Optimizations to DepthwiseConv

PiperOrigin-RevId: 196166118

Add missing FlatSet::insert(Key&&) overload.

PiperOrigin-RevId: 196162544

Fix a bug about getting arguments of partial functions.

PiperOrigin-RevId: 196157095

Make FlatSet and FlatMap movable.

PiperOrigin-RevId: 196156010

BUGFIX: correctly propagate dtype in distributions.special_math.

PiperOrigin-RevId: 196155994

DT_TEXTREL set by -Wl,-z,notext is incompatible with indirect functions (IFUNC).
NVFlex.o in cuda_9_0/lib64/libculibos.a has buggy .eh_frame, which overlaps with .rela.rodata R_X86_64_PC32 relocations and makes it not able to be linked with LLD.

PiperOrigin-RevId: 196155873

Break out node loop from ConstantFolding::SimplifyGraph.

PiperOrigin-RevId: 196154571

Make sure default GPU context is used within CollectiveRemoteAccessLocal::MemCpyAsync
when not explicitly set.

PiperOrigin-RevId: 196152927

Implementation of the unidirectional_sequence_rnn TFLite Op using the symmetric quantization.

PiperOrigin-RevId: 196152754

Use distribution_util.arguments instead of locals. This fixes a bug in newer python version
where locals is a dynamic list.

PiperOrigin-RevId: 196150149

Adds BaseLineEstimator, which accepts a user-specified head.

PiperOrigin-RevId: 196149694

Adds metric_class_ids argument in multi_label_head.

PiperOrigin-RevId: 196149006

Extracts PartialAssocOpConstFolding into a method.

PiperOrigin-RevId: 196146716

Optimizations for broadcast add operator.

PiperOrigin-RevId: 196145896

Implementation of the basic_rnn TFLite Op using the symmetric quantization.

PiperOrigin-RevId: 196144379

Traverse through control dependencies.

PiperOrigin-RevId: 196139886

Fix inaccurate docstring of Orthogonal initializer.

PiperOrigin-RevId: 196138675

Update documentation of ServingInputReceiver when a non-dict is passed as argument.

PiperOrigin-RevId: 196138375

Removing expected softmax test failure and improving logging.

PiperOrigin-RevId: 196134704

Register XLA device kernel for IdentityN op.

PiperOrigin-RevId: 196133882

Increase shard count yet more for tensorflow/contrib/metrics:metric_ops_test to avoid flaky timeouts

PiperOrigin-RevId: 196129385

Add citation for TF-Slim.

PiperOrigin-RevId: 196129248

For Estimators, SavedModels for multiple modes should be exported into the same
file.

PiperOrigin-RevId: 196128943

Automated g4 rollback of changelist 195878952

PiperOrigin-RevId: 196127751

Add EvaluateNodes to tests: AddOpsRewrite_AddOpsOfIdenticalShape, AddOpsRewrite_MultiplePasses, AddOpsRewrite_AddInputMultipleTimes, AddOpsRewrite_AddOpsOfSymbolicallyEqualShape, AddOpsRewrite_MinimizeBCast, AddOpsRewrite_MinimizeBCastWithSymbolicShapes, RemoveNegation, MinimizeBroadcasts_SimpleSwap, MinimizeBroadcasts_FlattenTallGraph, MinimizeBroadcasts_BuildTreeUp

PiperOrigin-RevId: 196125583

Support differing dimensions for strided_slice

PiperOrigin-RevId: 196101232

[XLA] Add log1p/expm1

A new HLO seems prudent as it allows implementations to use fancy techniques to
compute accurate results for small inputs.

PiperOrigin-RevId: 196078115

Increase size of test tensorflow/contrib/learn:graph_io_test to medium to avoid flaky timeouts

PiperOrigin-RevId: 196068593

Don't call into Eigen unless the input and output tensors are aligned

We teach TargetMachineFeatures about the alignment required for Eigen GEMM and
Conv and then pipe TargetMachineFeatures through the places that need to decide
whether a dot or a conv needs to be lowered to a call to Eigen.

I also had to fix a minor bug in our LLVM IR implementation for convolution.

PiperOrigin-RevId: 196065557

Partial update of tf.keras to the Keras 2.1.6 API.

Changes included are:
- Update docs on preprocessing image and text.
- Allow shift_range to be 1-D array-like or int in ImageDataGenerator.
- Add a test for image preprocessing function for flow_from_directory.
- Fix for off by one error in TimeSeriesGenerator.
- Correct tokenization with multi-character `split` in text_to_word_sequence.

PiperOrigin-RevId: 196062625

Implement sin operator

PiperOrigin-RevId: 196062186

Increase shard count for //third_party/tensorflow/contrib/learn:kmeans_test to avoid flaky timeouts

PiperOrigin-RevId: 196061508

Increase size of test tensorflow/contrib/distributions:mvn_tril_test to medium to avoid flaky timeouts

PiperOrigin-RevId: 196059863

[TF:XLA] Speed up HLO CSE.

Use a hash set to find equivalent instructions. This avoids worst-case n^2
instruction comparisons. Instead of checking all users of operand(0) for equivalent instructions, do a lookup in a hash set.

PiperOrigin-RevId: 196056689

Clarify error message.

PiperOrigin-RevId: 196056372

Fix FreezeSavedModel to handle traversal of operations with multiple outputs.

PiperOrigin-RevId: 196055377

Improve error status message in scoped_allocator_ops.cc.

PiperOrigin-RevId: 196051520

[XLA] Make hlo deserialization stable for HloModule by sorting by ids when creating from proto.

Also, delete the HloModule parameter HloInstruction::CreateFromProto, it's not used anywhere.

Also, in ToProto, set sharding to proto if there is sharding.

PiperOrigin-RevId: 196049173

Increase shard count for tensorflow/contrib/distributions:vector_diffeomixture_test to avoid flaky timeouts

PiperOrigin-RevId: 196046333

Add missing update of node map in the Mul(x,x) => Square(x) rewrite. This is what caused a failure in //photos/vision/object_detection/ranking:brain_embedder_test when the concat/split hoisting was enabled.

PiperOrigin-RevId: 196043455

Support saving Python state with object-based checkpoints

Allows SaveableObjects to specify feed dict addition callbacks for object-based saving.

For now just saves get_config() with Layers. Doesn't do any loading, and there isn't quite enough information to reconstruct a Model yet (needs topology).

My plan is to get Models to the point where they can be reconstructed from object-based checkpoints (probably one more change), add in SavedModel export (assuming no dynamic control flow for now), then add this "SavedModel+Python" format to Model.save / load_model.

PiperOrigin-RevId: 196043183

Allowing trivial passthrough ops to be turned into reshapes when they otherwise cannot be removed.

PiperOrigin-RevId: 196041444

Fix bug in which the ConvLSTM2D layer could not be cloned.

PiperOrigin-RevId: 196040413

Add option to set more generic module name filter for API generation.

PiperOrigin-RevId: 196036164

Run tensorflow/python/kernel_tests:conv2d_backprop_filter_grad_test only when omptimzing to avoid flaky timeouts

PiperOrigin-RevId: 196031762

[XLA] Allow HloInstructionMap and HloInstructionSet to contain null keys.

Null HloInstruction* keys may be useful for representing sentinel values.

PiperOrigin-RevId: 196028425

Use easy_install for pip installation for RBE images.

We will remove python-pip deb packages from rbe-{debian8, ubuntu16_04}:
  https://github.com/bazelbuild/bazel-toolchains/pull/46
So that we don't we have pip install by deb packages and Python's own package system (and they conflict with each other)

We only install pip by easy_install.

PiperOrigin-RevId: 196027421

Fix default direction to left when almost no sparsity for a sparse inequality split.

PiperOrigin-RevId: 196026149

Internal change.

PiperOrigin-RevId: 196024130

When using static_state_saving_rnn(..) in the following manner

    _, state = tf.nn.static_state_saving_rnn(..)

the runtime will be blocked after some time, because the save_state method of the state_saver object won't be executed as a part of the graph (that part depends only on output node in the current implementation).
Now it should depend on state as well, so the above implementation won't be blocked.

PiperOrigin-RevId: 196024050

Adding constant slice op support.

PiperOrigin-RevId: 196021899

Internal change.

PiperOrigin-RevId: 196020032

Update tf.nn.[max,avg]_pool to specify that it accepts list/tuple stride and kernel arguments, not tensor arguments.

If you actually specify a tensor argument here, you get the error:
TypeError: Expected list for 'ksize' argument to 'avg_pool' Op, not <tf.Tensor 'Const_1:0' shape=(4,) dtype=int32>.
PiperOrigin-RevId: 196019507

[XLA] First step in adding Literal slice classes, to improve interface safety
and prepare for enabling more efficient interfacing from Tensor to Literal to
reduce host to device latency.

More specically:
* Introducing a new LiteralBase abstract base class that contains all immutable
methods of from the old Literal class.

* Introducing a subclass LiteralSlice to replace original LiteralView class.
LiteralSlice class is read-only and does not own Shape nor any buffer through
the Pieces. Change a number of callers to use LiteralSlice directly.

* Change Literal class to explicitly own the underlying Shape as well as owning
the underlying buffer via Piece.

* Conversion from Literal to LiteralSlice is now done via an implicit
conversion constructor instead of inheritance.

* Decouple ShapeTree from Literal classes.

* Use copy-and-swap for assignment constructors.

* Other minor cleanups.

PiperOrigin-RevId: 196016576

Increase size of test tensorflow/python:basic_session_run_hooks_test to avoid flaky timeouts

PiperOrigin-RevId: 196016436

Add IsCondSwitch.

* Switch nodes are not part of the cond contexts of the tf.cond that they are the switches for, so check the contexts of the outputs of the switch to determine if a cond switch.
* Include the pivot of a cond in its cond context (there is one pivot per CondContext)
* If a cond is nested in a while loop, then the switch nodes of the cond is in the control flow context of the while loop, so only return that it is a loop switch if it isn't a cond switch.

PiperOrigin-RevId: 196015879

Collective Ops Part 6

Distributed-mode implementations of CollectiveRemoteAccess.
Extend Worker interface with corresponding new methods.

This change is part of a series of changes introducing infrastructure
for collective ops and initial implementations of reduction and broadcast.

PiperOrigin-RevId: 196010718

[TF:XLA] Bump open source llvm revision to r331867

PiperOrigin-RevId: 196009199

[tf.data] Saveable iterator for SqlDataset.

PiperOrigin-RevId: 196009176

Use parenthesis based construction instead of brace initialization

Updates all the construction calls for Status, ScopedActivateContext and
mutexes withing stream_executor to follow the recommendation in
https://abseil.io/tips/88

PiperOrigin-RevId: 196007931

Internal Change.

PiperOrigin-RevId: 196007623

Increase size of tensorflow/contrib/sparsemax:sparsemax_test to medium to avoid flaky timeouts

PiperOrigin-RevId: 196004443

TFTS: Make estimators_test non-flaky

Replaces a "loss decreased" check with basic shape checking (it should have been seeded already, so there's likely some race condition which I should track down...).

PiperOrigin-RevId: 196001526

[XLA] Make XLA's memory allocator return an owning smart pointer.

Previously, xla::DeviceMemoryAllocator::Allocate returned a
stream_executor::DeviceMemoryBase.  This is morally equivalent to a raw
pointer: It's on you the user to call Deallocate().

Unfortunately we ~never got this right.  Essentially all users of
Allocate() call it in a loop, and TF_RETURN_IF_ERROR within the loop.
If any of these allocations fails (mostly commonly, due to OOM), we leak
everything we've allocated up until then.

This patch changes our API so that it returns an owning pointer.  Now
things mostly Just Work.

Also worth calling out: The lambda in CpuExecutable::ExecuteOnStream
passed to ExecuteComputeFunction almost certainly had multithreaded
use-after-free bugs.  This patch fixes them.

PiperOrigin-RevId: 196000535

Benchmark for tf.scan in graph and eager modes. As of this writing, a simple tf.scan sum is ~80x faster in graph mode (including graph building time) for 32,000 nodes. Additionally, tf.scan exhibits quadratic scaling in eager mode but linear in graph.

PiperOrigin-RevId: 196000512

Increase the shard count of tensorflow/python/keras:wrappers_test to avoid flaky timeouts

PiperOrigin-RevId: 195998578

Avoid rebuilding the graph for every run.

* Use placeholder to avoid building the graph for every run in testIf.
* Update file comment.

PiperOrigin-RevId: 195997713

Test tensorflow/contrib/timeseries/python/timeseries:estimators_test only in opt mode to avoid flaky timeouts

PiperOrigin-RevId: 195993828

Fix a bug of literal prints in hlo_graph_dumper
Sigterm was raised when no literal info is associated with constant instructions in HloProto.

PiperOrigin-RevId: 195992305

Fix bug in handling of SAVERS collection for shutdown hook.

PiperOrigin-RevId: 195989954

[Functions] Fix unbounded memory growth in FunctionLibraryRuntime.

A recent change modified the behavior of `FunctionLibraryRuntimeImpl::ReleaseHandle()`
so that it no longer freed the memory associated with an instantiated function. Since
we rely on instantiating and releasing a potentially large number of instances of the
same function in tf.data to isolate the (e.g. random number generator) state in each
instance, this change meant that the memory consumption could grow without bound in
a simple program like:

```python

  ds = tf.data.Dataset.from_tensors(0).repeat(None)

  # The function `lambda y: y + 1` would be instantiated for each element in the input.
  ds = ds.flat_map(lambda x: tf.data.Dataset.from_tensors(x).map(
    lambda y: y + tf.random_uniform([], minval=0, maxval=10, dtype=tf.int32)))

  iterator = ds.make_one_shot_iterator()
  next_elem = iterator.get_next()

  with tf.Session() as sess:
    while True:
      sess.run(next_elem)
```

PiperOrigin-RevId: 195983977

Adds _DefinedFunction.stateful_ops.

PiperOrigin-RevId: 195979035

Add a few CHECKs here and there.

PiperOrigin-RevId: 195974944

Automated g4 rollback of changelist 195120627

PiperOrigin-RevId: 195966744

Run test tensorflow/python/kernel_tests:array_ops_test only when optimizing to avoid flaky timeouts

PiperOrigin-RevId: 195955576

Unifying argument documentation style in CudnnSupport.

PiperOrigin-RevId: 195926489

Implementation of Slice.

PiperOrigin-RevId: 195926057

Delete old op gen code and replace with eager op gen.

PiperOrigin-RevId: 195909821

[XLA] Make XlaAllocator obey retry_on_failure arg.

Previously we ignored it.

PiperOrigin-RevId: 195908178

[XLA:GPU] Disable multi-streaming by default.

Run all GPU work on one stream by default.  We've found experimentally
that multi-streaming creates significant additional memory pressure on
some models, and we don't have any good benchmarks where multi-streaming
helps on which to tune the stream-assignment heuristics.  So just
disable it for now.

PiperOrigin-RevId: 195903229

Include tensorflow::DataType header file

PiperOrigin-RevId: 195903041

Add two helper methods to the graphcycle class.

PiperOrigin-RevId: 195902659

Fix a dropped line in the DepthwiseConv2dNative model

PiperOrigin-RevId: 195900021

Skip convert_to_tensor in r_binary_op_wrapper in eager mode.

Should fallback from C if its not convertible.

PiperOrigin-RevId: 195899829

Make eager functions runable on TPU

PiperOrigin-RevId: 195897321

Set size of tensorflow/python/keras:normalization_test to medium to avoid flaky timeouts

PiperOrigin-RevId: 195894737

Only use integer values for event_ndims.

event_ndims have the semantics of being an integer. However, other code paths (such as const_value)
can return back numpy wrapped arrays, which can mess with how values are cached. Instead extract
everything as an integer.

PiperOrigin-RevId: 195894216

add test for pruning useless function lib in graph.

PiperOrigin-RevId: 195893756

Add test to test suite.

PiperOrigin-RevId: 195888932

Increase shard count of tensorflow/contrib/learn:state_saving_rnn_estimator_test to avoid flaky timeouts

PiperOrigin-RevId: 195887546

Increase size of tensorflow/contrib/distributions:batch_reshape_test to medium to avoid flaky timeouts

PiperOrigin-RevId: 195887374

Increase shard count of tensorflow/python/keras:lstm_test to avoid flaky timeouts

PiperOrigin-RevId: 195886372

Add missing ":haswell" match to list of platform selectors.

PiperOrigin-RevId: 195880275

Increase shard_count of tensorflow/python/estimator:estimator_test to avoid flaky asan timeouts

PiperOrigin-RevId: 195879364

Do not differentiage integers in the eager API.

This is similar to the change made in:
https://github.com/tensorflow/tensorflow/commit/f63750645826df65b05cad505546a86f0e347674
for backpropagation during graph construction via tf.gradients()

PiperOrigin-RevId: 195878952

Increase shard count of tensorflow/contrib/distributions:mixture_test to avoid flaky timeouts in asan mode

PiperOrigin-RevId: 195878809

Increase size of test tensorflow/contrib/layers:rev_block_lib_test to medium
to avoid flaky timeouts.

PiperOrigin-RevId: 195871947

Avoid string formatting in assert_same_float_dtype unless there's an error

Especially helpful when executing eagerly

PiperOrigin-RevId: 195871887

Better wrapping of stream executor's cuDNN API calls. Replacing mutex locking and setting the cuDNN stream followed by calling wrap::cudnn... with an RAII CudnnHandle object that handles the former two operations.

Distinguish three different API types:

A) APIs that don't take a cudnnHandle_t: These are thread-safe APIs that don't enqueue any CUDA work on a stream. They can be called directly without any extra precautions.

B) APIs that take a cudnnHandle_t and perform CUDA work. The CUDA context needs to be acquired and the stream needs to be set beforehand, calls need to be serialized. A CudnnHandle instance guarantees that this work has been performed before calling cuDNN.

C) APIs that do take a cudnnHandle_t, but (presumably, the API makes no guarantees) still don't perform any CUDA work. This is limited to the API to setup RNN descriptors. Calls need to be serialized, but most likely we wouldn't need to acquire the CUDA context or set the stream. We still do though using the legacy default stream, because there are no guarantees.

PiperOrigin-RevId: 195856300

Remove outdated CUDA SDK string (the text is now consistent with other version choices, and the '9.0' format is already present in the default).

PiperOrigin-RevId: 195855416