Arithemtic optimization: Rewite Sub(0, y) => Neg(y)

PiperOrigin-RevId: 187041872

Generalize the gather_indices dimension that stores indices

This is now exposed as a index_vector_dim dimension number.

Also fixed an off-by-one error in ValidateGatherDimensionNumbers in the
expression computing output_shape_rank.

PiperOrigin-RevId: 187040748

Fix some breakages in TensorFlow Windows build (#17271)

* Fix configure.py

* Add quantization_utils for building quantize_weights, quantize_nodes, round_weights

Caused by https://github.com/tensorflow/tensorflow/pull/16121

Upgrade Jenkins/Docker build scripts to Bazel 0.11.0. (#17280)

The 0.10.0 bazel has problems with static-linking on linux:
https://github.com/bazelbuild/bazel/issues/4474. This PR bumps to the
latest bazel that produces proper binaries w/o the linking issue.

Fix bad wrong jpeg/nasm mirror (#17277)

Add missing `override' (#17098)

This fixes a warning produced by clang:
./tensorflow/core/common_runtime/gpu/gpu_device.h:70:10: warning: 'FillContextMap' overrides a member function but is not marked 'override' [-Winconsistent-missing-override]
  Status FillContextMap(const Graph* graph,
         ^
./tensorflow/core/common_runtime/device.h:124:18: note: overridden virtual function is here
  virtual Status FillContextMap(const Graph* graph,

Merge pull request #17222 from kbsriram/pool-gradients

C++ gradients for MaxPool3D, AvgPool and AvgPool3D

Merge pull request #17279 from gunan/branch_187038889

Branch 187038889

Merge commit for internal changes

Fix pip install examples to match text: Use pip and point to Py2 packages

PiperOrigin-RevId: 187038889

Fix print format error.

PiperOrigin-RevId: 187033623

[XLA:GPU] Fix HLO profiling when multiple streams are involved.

We were enqueueing the timer on the main stream, but not blocking the
substreams, so the results were nonsensical.

PiperOrigin-RevId: 187032412

Add __str__ method to _RefVariableProcessor.

PiperOrigin-RevId: 187029027

Drop the getcallargs extension as its logic had to be moved to a higher level into api.py.

PiperOrigin-RevId: 187022717

Annotate attribute nodes with the value or type of their parent. This helps with resolving function owners, since using reflection to do it is unreliable.

PiperOrigin-RevId: 187017742

Fix typo (#17258)

* fix typo

[XLA] Remove bitcast-converts between same shape.

PiperOrigin-RevId: 186929931

Re-enables moving_average_optimizer_test. Resource variable bug fixed by apassos@

PiperOrigin-RevId: 186921623

update documentation to {0, 1} (#17245)

Ship TF Eager header with libtensorflow tarballs. (#17230)

* Ship TF Eager header with libtensorflow tarballs.

Use the new inspect_utils API to to get the function's namespace.

PiperOrigin-RevId: 186884307

Merge pull request #16503 from yongtang/16499-unique_with_counts-v2

Enable multi-dimensional and axis support for tf.unique_with_counts

Merge pull request #17234 from tensorflow/martinwicke-patch-2

Add nasm mirror

Update api_def for UniqueWithCounts/UniqueWithCountsV2

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Add test cases for unique_with_counts_v2

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Add python wrapper for unique_with_counts

to call gen_array_ops._unique_with_counts

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Hide UniqueWithCounts and UniqueWithCountsV2 in hidden_ops.txt

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Enable multi-dimensional and axis support for tf.unique_with_counts

This fix tries to address the issue raised in 16499 to bring
multi-dimensional and axis support for `unique_with_counts`.

When `UniqueV2` kernel was added in 12952, it actually supports
multi-dimensional and axis support for `unique_with_counts` as well,
just not registered.

This fix:
1. Register `UniqueWithCountsV2` kernel to have axis support.
2. Hide both `UniqueWithCounts` and `UniqueWithCountsV2`
3. Add python unique_with_counts wrapper to call `gen_array_ops._unique_with_counts`
4. If APi review passes and the PR merges, `unique_with_counts` will switch to `gen_array_ops._unique_with_counts_v2` (in 3 weeks).

This fix fixes 16499.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Exclude more tests for cuda_on_cpu.

PiperOrigin-RevId: 186851831

Refactor Keras engine by splitting it into short, specialized files.
The purpose of this change is to make the codebase more maintainable and readable.

Before:
engine/topology.py
models.py

After:
engine/base_layer.py
engine/input_layer.py
engine/network.py
engine/sequential.py
engine/saving.py

This is a large change but it only moves code around with no change in logic or API.

New files are all under 1000 lines of logic (network.py is 1500 lines, but under 1000 if you remove imports and docstrings), and often under 500.

PiperOrigin-RevId: 186847895

Add another utility that captures a function's namespace as a mapping from symbol names to actual values.
Update getmethodclass with a hopefully more robust method.

PiperOrigin-RevId: 186847003

Dropped from previous change.

PiperOrigin-RevId: 186846681

Checkpointable: compatibility mode with name-based saving

Allows loading a name-based checkpoint using the object-based API. When
graph building it's quite seamless. There's no restore-on-create for
eager, so it would require program changes to do much useful there (i.e.
is not seamless).

Adds several tests for checkpoint compatibility (name->object in eager/graph,
and eager->graph/graph->eager for object-based saving)

PiperOrigin-RevId: 186844431

Merge pull request #17134 from tensorflow/timeseries-head

TFTS: Enhancements to timeseries head

Checkpointable: allow using Checkpointable objects in a tf.train.Saver()

Checkpointable objects in a Saver's var_list will be unpacked into their
SaveableObjects, possibly running some Python logic along the way.

This should help keep the transition from name-based saving smooth: to save
either way, just override CheckpointableBase._gather_saveables_for_checkpoint.

PiperOrigin-RevId: 186843857

Registers None gradients for ArgMax

PiperOrigin-RevId: 186843686

Internal change.

PiperOrigin-RevId: 186843632

Internal change.

PiperOrigin-RevId: 186843326

Add nasm mirror

Add Kumaraswamy Bijector, and let Kumaraswamy distribution depend on it.

PiperOrigin-RevId: 186838045

Add custom registered graph optimizers run by MetaOptimizer.

PiperOrigin-RevId: 186837828

Checkpointable: Utility to gather initialization ops

A bit safer, since only variables which will be saved get initialized. Graph
building then raises an error when you've used one which won't be saved. Reduces
the need for the global collection.

Makes it a bit easier to deal with initialization when writing graph/eager
agnostic programs.

PiperOrigin-RevId: 186835744

eager: Change various examples to use tf.keras.Model instead of tfe.Network.

PiperOrigin-RevId: 186834891

Add test for bug in CUB that caused dynamic partition to fail on the GPU.

PiperOrigin-RevId: 186834668

Improvement to the eager device placement heuristic.

PiperOrigin-RevId: 186833677

Adds unit tests for mean op with uint8_t input data.

PiperOrigin-RevId: 186833364

Eager/C: Add a TF_Status argument to a couple of functions.

PiperOrigin-RevId: 186829318

Make tf.size() with optimize=True encode 0 if any dimension is 0.

PiperOrigin-RevId: 186824964

Merge pull request #17148 from halhorn/beam_search_decoder_for_float16

fix: Error on we feed float16 values into BeamSearchDecoder

Merge pull request #17152 from facaiy/BLD/ci_allow_bad_user_name

docker ci allows bad name user

Merge pull request #17224 from cclauss/patch-1

TF Lite: from six.moves import xrange for Python 3

Merge pull request #17139 from deroneriksson/operation_semantics_typos

Fix typos in Operation Semantics docs

Make it easier to debug @assert_no_garbage_created unit test failures

Prints a bunch of information about each object.

PiperOrigin-RevId: 186823593

* CUB updated to 1.8.0
* updated ShuffleIndex because of API change

PiperOrigin-RevId: 186822637

Preserve user placement as much as possible when optimizing the graph

PiperOrigin-RevId: 186822511

Automated g4 rollback of changelist 185688704

PiperOrigin-RevId: 186820593

Respects some form of log_device_placement in eager.

PiperOrigin-RevId: 186820292

Merge pull request #17111 from carlthome/patch-9

Add cast functions for complex64 and complex128

[XLA] Fix BF16 propagation pass to produce matching fusion root and output.

Previously, the propagation pass might produce different procision in the fused
computation's root than the fusion itself, when the fused root doesn't define a buffer.

Add explicit converts at such fusion roots.

PiperOrigin-RevId: 186812368

Merge pull request #17171 from ilya-biryukov/fix_cuda_compilation

Fix compiler error with cuda-clang

Merge pull request #17226 from yifeif/branch_186777369

Branch 186777369

Add usage example to KMeans Estimator documentation.

PiperOrigin-RevId: 186805772

[TF:XLA] Fix a bug where executor's device_ordinal should be passed to AllocateShapedBuffer. Also enable C64 type for interpreter device.

PiperOrigin-RevId: 186805709

Cleanup for graph functions.

(1) Define constants for the names of Arg and Retval ops, and use them in various places.
(2) Change the signature and documentation for `BuildControlFlow` to reflect the fact that the supplied Graph is not mutated.
(3) Expose the FunctionLibraryRuntime's DeviceMgr, in preparation for multi-device functions.

PiperOrigin-RevId: 186804968

[XLA] Internal change.

PiperOrigin-RevId: 186802115

Remove repeated defination due to auto-merge.

Merge commit for internal changes

Remove redundant line which is almost a duplicate of one a few lines below in
datasets_quickstart document.

PiperOrigin-RevId: 186788306

from six.moves import xrange for Python 3

Lines 1785 and 1818 contain calls to the Python 2-only builtin function __xrange()__ which was removed in Python 3 in favor of __range()__.  This PR adds the line [__from six.moves import xrange__](https://pythonhosted.org/six/#module-six.moves) for compatibility with both Python 2 and Python 3.

Allow setting of OpMetadata for Send HLOs.

PiperOrigin-RevId: 186777369

C++ gradients for MaxPool3D, AvgPool and AvgPool3D

Resolves tensorflow/tensorflow#17195

Let variables initialized from checkpoints answer ".initialized_value()" correctly.

PiperOrigin-RevId: 186741832

Merge pull request #17202 from yifeif/branch_186662441

Branch 186662441

Unify metropolis_hastings interface with HMC kernel.

PiperOrigin-RevId: 186716023

Enable constant propagation across Switch(x,x) by rewriting the two outputs as Const(false), Const(true) with appropriate control dependencies. This is a fairly common pattern when the graph contains assertions.

By rewriting the graph a bit, we can propagate the constants down the two output branches, and just use control dependencies to trigger the selected one at runtime. For example,
         +------+
     x-->|Switch|-->a
     x-->|      |-->b
         +------+

Is rewritten as

         +------+
     x-->|Switch|-->Identity--^>Const(false)-->a
     x-->|      |-->Identity--^>Const(true)-->b
         +------+

(In practice there may be multiple consumers of each output branch.)

PiperOrigin-RevId: 186714991

Pass 'mode' argument to input_fn if appropriate in TPUEstimator.

PiperOrigin-RevId: 186709373

Update ops-related pbtxt files.

PiperOrigin-RevId: 186707935

[XLA] Add SliceInDim to the local Python XLA client.
[XLA] Revise a comment regarding how the two-argument version of Reshape flattens dimensions (it's first-to-last, not major-to-minor since those terms apply to memory layout rather than logical dimensions, and the comment wasn't consistent about major-to-minor or minor-to-major).

PiperOrigin-RevId: 186707393

Add cost estimator tests for the BiasAdd, ReLU, and Conv2D operations.

PiperOrigin-RevId: 186705930

Fix fix Defun logic when returning a value captured from an outer scope.

Previously, the following would fail:

```python
c = tf.constant(...)
@Defun(...)
def Foo(...):
  return c
```

The fix involves ensuring that every output of the function is a member of the function graph, and invoking the capturing logic if it is not.

PiperOrigin-RevId: 186705800

Turn on strip_default_attrs by default during custom export.

PiperOrigin-RevId: 186704976

Moved LIBXSMM convolutions to a separate --define flag so that they are disabled by default.

PiperOrigin-RevId: 186700936

LSTM support: Quantized types, quantization params for 16-bit unfused LSTMs.

PiperOrigin-RevId: 186697357

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 186696903

Clarify ownership story of TfLiteIntArray* nodes_to_replace

PiperOrigin-RevId: 186696787

Support degenerate strided slicing under XLA.

For example, when start, end, and stride are all positive, but `start` is
greater than `end`, tf2xla used to raise an error instead of returning a
tensor with that dimension size being 0. Latter is the regular
tensorflow and python behavior. This change makes XLA behave the same
way.

PiperOrigin-RevId: 186695842

Internal change.

PiperOrigin-RevId: 186695534

[XLA] Enable most xla/tests for interpreter.

PiperOrigin-RevId: 186695486

Add to disabled tests the date they were last ran and failed.

This is to address the comments in cl/186664459.

PiperOrigin-RevId: 186695081

Add integration tests for remote build execution.

PiperOrigin-RevId: 186694734

New Mutex operations for a distributed-happy and Function-less CriticalSection.

Original idea by Alex Passos; impl and cancellation handling by Eugene Brevdo with help from Alex.

PiperOrigin-RevId: 186692306

Add a regression test for virtual_scheduler.

PiperOrigin-RevId: 186691392

Implement the logic to parse TensorProto (the tensor value for input or filter shape info) in op_level_cost_estimator.

PiperOrigin-RevId: 186685409

[tf.data] Handle a function-raised OutOfRange error correctly in ParallelMapDataset.

PiperOrigin-RevId: 186680982

Merge changes from github.

PiperOrigin-RevId: 186674197

Internal change.

PiperOrigin-RevId: 186673561

Adds support for identifying dilated convolution emulation.

Dilated convolution can be emulated by a chain of SpaceToBatchND -> Conv2D -> BatchtoSpaceND. This change adds a graph transformation that identifies this pattern, and variations of it, and substitutes a true dilated convolution instead.

PiperOrigin-RevId: 186669260

Enable int64 outfeed.

PiperOrigin-RevId: 186667574

[XLA] Enable F16 convolution test for CPU.

Remove TODO(b/72509305) as the issue has been fixed.

PiperOrigin-RevId: 186664459

Merge commit for internal changes