Added eval_dir to Estimator so that user does not need to guess which directory contains evaluation summaries.

PiperOrigin-RevId: 196218167

Add missing #include. tensorflow::FunctionDef only happens to be available in this header because it happens to be forward-declared in one of the other .proto.h headers, but it's not actually used there and will go away.

PiperOrigin-RevId: 196217574

Correct accidental code reversion.

PiperOrigin-RevId: 196216176

[XLA] Roll forward fix to use TF macro.

PiperOrigin-RevId: 196213299

Disable flaky batch_dataset_op_test

PiperOrigin-RevId: 196212027

[XLA] Break out literal comparisons from testonly target.

Moves methods from LiteralTestUtil::* to Literal::* where they have nothing
to do with test infrastructure.

Pares down the "void" variants of the LiteralTestUtil methods and consolidates
to the version that return success/failure such that the values can be
EXPECT_TRUE / ASSERT_TRUE asserted in the caller test cases.

This way the literal comparison functionality can be used from cc_libraries
that are not test only / cc_binary.

PiperOrigin-RevId: 196209410

[XLA:GPU] Remove unused Thunk::ShouldBlockFutureThunks function.

PiperOrigin-RevId: 196206896

Internal change

PiperOrigin-RevId: 196205436

Checkpointable: Have RNN wrappers add their cells as dependencies

Also marks _SlimRNNCell as not checkpointable, and adds a more convenient way to tag such classes.

Ideally adding a wrapper around a cell wouldn't break a checkpoint. This could look like RNN cell wrappers inheriting the dependencies of the cell they're wrapping. Possible to add that later if there's demand, or users can just add a dependency on wrapper._cell in addition to/instead of the wrapper when modifying programs.

Fixes #19208.

PiperOrigin-RevId: 196202366

A test fix on Windows.

PiperOrigin-RevId: 196201610

Partial update of tf.keras to the Keras 2.1.6 API.

This covers the following features and associated unit tests:
- multi-output layer where `compute_output_mask` returns `None`.
- saving to, and loading from, an existing hdf5 file.
- `verbose` argument (1/0) in `evaluate_generator`.
- stateful metrics with generator methods.
- `data_format` argument in `Flatten`.
- `constants` argument in Bidirectional's `__call__`.

PiperOrigin-RevId: 196198134

[TPU]: If the $TPU_NAME env var is set, fallback to that.

PiperOrigin-RevId: 196196939

Pipe through warm_start_from parameter

PiperOrigin-RevId: 196194069

Add a HLO evaluator test case for gather

PiperOrigin-RevId: 196193959

Fix some races detected by the analysis tool.

collective_rma_distributed: Return WorkerInterface to cache
prior to invoking RecvFromPeer callback, instead of after.

broadcaster: put status_ updates inside mutex.
PiperOrigin-RevId: 196192631

[XLA] Redesign: change the docs to describe the new interfaces. This change is simply about replacing keywords and formatting files.
- s/ComputationDataHandle/XlaOp/
- s/ComputationBuilder/XlaBuilder/
- s/\<Computation\>/XlaComputation/
- s/client\/computation\.h/client\/xla_client\/xla_computation\.h/
- s/client\/computation_builder\.h/client\/xla_client\/xla_builder\.h/

PiperOrigin-RevId: 196189890

ring_reducer.cc errata:
1. Block in the current (blockable) thread when pre-copying input to
output rather than continuing in the callback which cannot block.
2. Clear RingField array on exit to more promptly release Refs on
output tensor buffer.
3. Properly set the forward_from_array parameter in SubContext.

PiperOrigin-RevId: 196188047

Enable support for crops in BatchToSpaceNd

PiperOrigin-RevId: 196186750

Export GCS object statting streamz metrics. Fix the wrong #define Guard name in gcs_file_system.h.

PiperOrigin-RevId: 196184962

Do not differentiate integers in the eager backprop API.

(with bugfix)

PiperOrigin-RevId: 196184587

Remove cancelling pairs of transposes that are separated by a non-branching chain of ops that preserve value, order, and shape. Off by default.

PiperOrigin-RevId: 196183111

Update ops-related pbtxt files.

PiperOrigin-RevId: 196179875

Fix bug due to incorrect nesting of return statement in eager iterator evaluation.

PiperOrigin-RevId: 196179837

Add Nearest Neighbor sampling to tf.image.crop_and_resize() op
- Prevent smearing when crop resize integer labels
- Faster than Bilinear sampling

PiperOrigin-RevId: 196177762

Removed duplicate implementation of Select, updated quant support for
select.

PiperOrigin-RevId: 196174442

Automated g4 rollback of changelist 195899829

PiperOrigin-RevId: 196173343

Replace SymbolicGradientEnv with FunctionOptimizerContext.

Do not construct FunctionLibraryDefinition twice.

PiperOrigin-RevId: 196172648

Enable Model training/eval from generator in eager execution. Fixes #18287

PiperOrigin-RevId: 196171525

Started work on a shape optimizer

PiperOrigin-RevId: 196170800

Increase size of test //third_party/tensorflow/contrib/distributions:distribution_test to avoid flaky timeouts

PiperOrigin-RevId: 196166582

Optimizations to DepthwiseConv

PiperOrigin-RevId: 196166118

Add missing FlatSet::insert(Key&&) overload.

PiperOrigin-RevId: 196162544

Fix a bug about getting arguments of partial functions.

PiperOrigin-RevId: 196157095

Make FlatSet and FlatMap movable.

PiperOrigin-RevId: 196156010

BUGFIX: correctly propagate dtype in distributions.special_math.

PiperOrigin-RevId: 196155994

DT_TEXTREL set by -Wl,-z,notext is incompatible with indirect functions (IFUNC).
NVFlex.o in cuda_9_0/lib64/libculibos.a has buggy .eh_frame, which overlaps with .rela.rodata R_X86_64_PC32 relocations and makes it not able to be linked with LLD.

PiperOrigin-RevId: 196155873

Break out node loop from ConstantFolding::SimplifyGraph.

PiperOrigin-RevId: 196154571

Make sure default GPU context is used within CollectiveRemoteAccessLocal::MemCpyAsync
when not explicitly set.

PiperOrigin-RevId: 196152927

Implementation of the unidirectional_sequence_rnn TFLite Op using the symmetric quantization.

PiperOrigin-RevId: 196152754

Use distribution_util.arguments instead of locals. This fixes a bug in newer python version
where locals is a dynamic list.

PiperOrigin-RevId: 196150149

Adds BaseLineEstimator, which accepts a user-specified head.

PiperOrigin-RevId: 196149694

Adds metric_class_ids argument in multi_label_head.

PiperOrigin-RevId: 196149006

Extracts PartialAssocOpConstFolding into a method.

PiperOrigin-RevId: 196146716

Optimizations for broadcast add operator.

PiperOrigin-RevId: 196145896

Implementation of the basic_rnn TFLite Op using the symmetric quantization.

PiperOrigin-RevId: 196144379

Traverse through control dependencies.

PiperOrigin-RevId: 196139886

Fix inaccurate docstring of Orthogonal initializer.

PiperOrigin-RevId: 196138675

Update documentation of ServingInputReceiver when a non-dict is passed as argument.

PiperOrigin-RevId: 196138375

Removing expected softmax test failure and improving logging.

PiperOrigin-RevId: 196134704

Register XLA device kernel for IdentityN op.

PiperOrigin-RevId: 196133882

Increase shard count yet more for tensorflow/contrib/metrics:metric_ops_test to avoid flaky timeouts

PiperOrigin-RevId: 196129385

Add citation for TF-Slim.

PiperOrigin-RevId: 196129248

For Estimators, SavedModels for multiple modes should be exported into the same
file.

PiperOrigin-RevId: 196128943

Automated g4 rollback of changelist 195878952

PiperOrigin-RevId: 196127751

Add EvaluateNodes to tests: AddOpsRewrite_AddOpsOfIdenticalShape, AddOpsRewrite_MultiplePasses, AddOpsRewrite_AddInputMultipleTimes, AddOpsRewrite_AddOpsOfSymbolicallyEqualShape, AddOpsRewrite_MinimizeBCast, AddOpsRewrite_MinimizeBCastWithSymbolicShapes, RemoveNegation, MinimizeBroadcasts_SimpleSwap, MinimizeBroadcasts_FlattenTallGraph, MinimizeBroadcasts_BuildTreeUp

PiperOrigin-RevId: 196125583

Support differing dimensions for strided_slice

PiperOrigin-RevId: 196101232

[XLA] Add log1p/expm1

A new HLO seems prudent as it allows implementations to use fancy techniques to
compute accurate results for small inputs.

PiperOrigin-RevId: 196078115

Increase size of test tensorflow/contrib/learn:graph_io_test to medium to avoid flaky timeouts

PiperOrigin-RevId: 196068593

Don't call into Eigen unless the input and output tensors are aligned

We teach TargetMachineFeatures about the alignment required for Eigen GEMM and
Conv and then pipe TargetMachineFeatures through the places that need to decide
whether a dot or a conv needs to be lowered to a call to Eigen.

I also had to fix a minor bug in our LLVM IR implementation for convolution.

PiperOrigin-RevId: 196065557

Partial update of tf.keras to the Keras 2.1.6 API.

Changes included are:
- Update docs on preprocessing image and text.
- Allow shift_range to be 1-D array-like or int in ImageDataGenerator.
- Add a test for image preprocessing function for flow_from_directory.
- Fix for off by one error in TimeSeriesGenerator.
- Correct tokenization with multi-character `split` in text_to_word_sequence.

PiperOrigin-RevId: 196062625

Implement sin operator

PiperOrigin-RevId: 196062186

Increase shard count for //third_party/tensorflow/contrib/learn:kmeans_test to avoid flaky timeouts

PiperOrigin-RevId: 196061508

Increase size of test tensorflow/contrib/distributions:mvn_tril_test to medium to avoid flaky timeouts

PiperOrigin-RevId: 196059863

[TF:XLA] Speed up HLO CSE.

Use a hash set to find equivalent instructions. This avoids worst-case n^2
instruction comparisons. Instead of checking all users of operand(0) for equivalent instructions, do a lookup in a hash set.

PiperOrigin-RevId: 196056689

Clarify error message.

PiperOrigin-RevId: 196056372

Fix FreezeSavedModel to handle traversal of operations with multiple outputs.

PiperOrigin-RevId: 196055377

Improve error status message in scoped_allocator_ops.cc.

PiperOrigin-RevId: 196051520

[XLA] Make hlo deserialization stable for HloModule by sorting by ids when creating from proto.

Also, delete the HloModule parameter HloInstruction::CreateFromProto, it's not used anywhere.

Also, in ToProto, set sharding to proto if there is sharding.

PiperOrigin-RevId: 196049173

Increase shard count for tensorflow/contrib/distributions:vector_diffeomixture_test to avoid flaky timeouts

PiperOrigin-RevId: 196046333

Add missing update of node map in the Mul(x,x) => Square(x) rewrite. This is what caused a failure in //photos/vision/object_detection/ranking:brain_embedder_test when the concat/split hoisting was enabled.

PiperOrigin-RevId: 196043455

Support saving Python state with object-based checkpoints

Allows SaveableObjects to specify feed dict addition callbacks for object-based saving.

For now just saves get_config() with Layers. Doesn't do any loading, and there isn't quite enough information to reconstruct a Model yet (needs topology).

My plan is to get Models to the point where they can be reconstructed from object-based checkpoints (probably one more change), add in SavedModel export (assuming no dynamic control flow for now), then add this "SavedModel+Python" format to Model.save / load_model.

PiperOrigin-RevId: 196043183

Allowing trivial passthrough ops to be turned into reshapes when they otherwise cannot be removed.

PiperOrigin-RevId: 196041444

Fix bug in which the ConvLSTM2D layer could not be cloned.

PiperOrigin-RevId: 196040413

Add option to set more generic module name filter for API generation.

PiperOrigin-RevId: 196036164

Run tensorflow/python/kernel_tests:conv2d_backprop_filter_grad_test only when omptimzing to avoid flaky timeouts

PiperOrigin-RevId: 196031762

[XLA] Allow HloInstructionMap and HloInstructionSet to contain null keys.

Null HloInstruction* keys may be useful for representing sentinel values.

PiperOrigin-RevId: 196028425

Use easy_install for pip installation for RBE images.

We will remove python-pip deb packages from rbe-{debian8, ubuntu16_04}:
  https://github.com/bazelbuild/bazel-toolchains/pull/46
So that we don't we have pip install by deb packages and Python's own package system (and they conflict with each other)

We only install pip by easy_install.

PiperOrigin-RevId: 196027421

Fix default direction to left when almost no sparsity for a sparse inequality split.

PiperOrigin-RevId: 196026149

Internal change.

PiperOrigin-RevId: 196024130

When using static_state_saving_rnn(..) in the following manner

    _, state = tf.nn.static_state_saving_rnn(..)

the runtime will be blocked after some time, because the save_state method of the state_saver object won't be executed as a part of the graph (that part depends only on output node in the current implementation).
Now it should depend on state as well, so the above implementation won't be blocked.

PiperOrigin-RevId: 196024050

Adding constant slice op support.

PiperOrigin-RevId: 196021899

Internal change.

PiperOrigin-RevId: 196020032

Update tf.nn.[max,avg]_pool to specify that it accepts list/tuple stride and kernel arguments, not tensor arguments.

If you actually specify a tensor argument here, you get the error:
TypeError: Expected list for 'ksize' argument to 'avg_pool' Op, not <tf.Tensor 'Const_1:0' shape=(4,) dtype=int32>.
PiperOrigin-RevId: 196019507

[XLA] First step in adding Literal slice classes, to improve interface safety
and prepare for enabling more efficient interfacing from Tensor to Literal to
reduce host to device latency.

More specically:
* Introducing a new LiteralBase abstract base class that contains all immutable
methods of from the old Literal class.

* Introducing a subclass LiteralSlice to replace original LiteralView class.
LiteralSlice class is read-only and does not own Shape nor any buffer through
the Pieces. Change a number of callers to use LiteralSlice directly.

* Change Literal class to explicitly own the underlying Shape as well as owning
the underlying buffer via Piece.

* Conversion from Literal to LiteralSlice is now done via an implicit
conversion constructor instead of inheritance.

* Decouple ShapeTree from Literal classes.

* Use copy-and-swap for assignment constructors.

* Other minor cleanups.

PiperOrigin-RevId: 196016576

Increase size of test tensorflow/python:basic_session_run_hooks_test to avoid flaky timeouts

PiperOrigin-RevId: 196016436

Add IsCondSwitch.

* Switch nodes are not part of the cond contexts of the tf.cond that they are the switches for, so check the contexts of the outputs of the switch to determine if a cond switch.
* Include the pivot of a cond in its cond context (there is one pivot per CondContext)
* If a cond is nested in a while loop, then the switch nodes of the cond is in the control flow context of the while loop, so only return that it is a loop switch if it isn't a cond switch.

PiperOrigin-RevId: 196015879

Collective Ops Part 6

Distributed-mode implementations of CollectiveRemoteAccess.
Extend Worker interface with corresponding new methods.

This change is part of a series of changes introducing infrastructure
for collective ops and initial implementations of reduction and broadcast.

PiperOrigin-RevId: 196010718

[TF:XLA] Bump open source llvm revision to r331867

PiperOrigin-RevId: 196009199

[tf.data] Saveable iterator for SqlDataset.

PiperOrigin-RevId: 196009176

Use parenthesis based construction instead of brace initialization

Updates all the construction calls for Status, ScopedActivateContext and
mutexes withing stream_executor to follow the recommendation in
https://abseil.io/tips/88

PiperOrigin-RevId: 196007931

Internal Change.

PiperOrigin-RevId: 196007623

Increase size of tensorflow/contrib/sparsemax:sparsemax_test to medium to avoid flaky timeouts

PiperOrigin-RevId: 196004443

TFTS: Make estimators_test non-flaky

Replaces a "loss decreased" check with basic shape checking (it should have been seeded already, so there's likely some race condition which I should track down...).

PiperOrigin-RevId: 196001526

[XLA] Make XLA's memory allocator return an owning smart pointer.

Previously, xla::DeviceMemoryAllocator::Allocate returned a
stream_executor::DeviceMemoryBase.  This is morally equivalent to a raw
pointer: It's on you the user to call Deallocate().

Unfortunately we ~never got this right.  Essentially all users of
Allocate() call it in a loop, and TF_RETURN_IF_ERROR within the loop.
If any of these allocations fails (mostly commonly, due to OOM), we leak
everything we've allocated up until then.

This patch changes our API so that it returns an owning pointer.  Now
things mostly Just Work.

Also worth calling out: The lambda in CpuExecutable::ExecuteOnStream
passed to ExecuteComputeFunction almost certainly had multithreaded
use-after-free bugs.  This patch fixes them.

PiperOrigin-RevId: 196000535

Benchmark for tf.scan in graph and eager modes. As of this writing, a simple tf.scan sum is ~80x faster in graph mode (including graph building time) for 32,000 nodes. Additionally, tf.scan exhibits quadratic scaling in eager mode but linear in graph.

PiperOrigin-RevId: 196000512

Increase the shard count of tensorflow/python/keras:wrappers_test to avoid flaky timeouts

PiperOrigin-RevId: 195998578

Avoid rebuilding the graph for every run.

* Use placeholder to avoid building the graph for every run in testIf.
* Update file comment.

PiperOrigin-RevId: 195997713

Test tensorflow/contrib/timeseries/python/timeseries:estimators_test only in opt mode to avoid flaky timeouts

PiperOrigin-RevId: 195993828

Fix a bug of literal prints in hlo_graph_dumper
Sigterm was raised when no literal info is associated with constant instructions in HloProto.

PiperOrigin-RevId: 195992305

Fix bug in handling of SAVERS collection for shutdown hook.

PiperOrigin-RevId: 195989954