[XLA] Add more supported dtypes to the local Python client.

PiperOrigin-RevId: 187096144

[XLA] Fix #17090 a problem in IrArray::Index::SourceIndexOfTranspose.

Agebraic simplification transforms bitcast-equivalent transpose/reshape
instructions to bitcast instructions before IR emission. As such, we should
skip the checking on whether a transpose/reshape instruction is
bitcast-equivalent or not during IR emission. Remove the call from
IrArray::Index::SourceIndexOfTranspose to ShapeUtil::TransposeIsBitcast. Also
remove the call from IrArray::Index::SourceIndexOfReshape to
ShapeUtil::ReshapeIsBitcast.

Remove the calls to ShapeUtil::TransposeIsBitcast and
ShapeUtil::ReshapeIsBitcast from NotWorthHoistingIndividually
because layout assignment hasn't been done there yet. Instead, returns true
when the input is a transpose or reshape instruction, to prevent it from
being hoisted out of loops.

Add a check to ShapeUtil::TransposeIsBitcast and ShapeUtil::ReshapeIsBitcast
to make sure that both input shape and output shape have layouts.

Add two test cases.

PiperOrigin-RevId: 187093399

Uses a thread pool for graph functions in eager mode with inter_op_parallelism_threads.

PiperOrigin-RevId: 187092622

[XLA::Interpreter] Add support for kCall to HloEvaluator. Also enable
xla/tests/call_test to run on interpreter.

PiperOrigin-RevId: 187092587

Enable de/serialization of nested control flow.

This is a follow-up to the previous commit
(https://github.com/tensorflow/tensorflow/commit/23851760b7b099214bdd4f1b88156d7ac2bdd2a2).
It adds the new proto schemas, enables the behavior for reading and
writing the new protos, and adds a test for de/serializing nested
while loops.

There's still a bug preventing deserializing conds, which will be addressed
in another change.

PiperOrigin-RevId: 187082713

Track DebugOptions in AotCompilationOptions

In particular, I need this for supporting HLO profiling in the AOT backend.

PiperOrigin-RevId: 187081674

[TF:XLA] Bump open source llvm revision to r326083

PiperOrigin-RevId: 187081592

Add a function that allows to dynamically verify whether a function is white listed for graph mode.

PiperOrigin-RevId: 187080654

1st version of sequential feature columns.

PiperOrigin-RevId: 187080635

[XLA] GTE of a certain element of the tuple does not need not keep other elements alive.

This achieves two things:
1. Heap simulation runtime is no longer quadratic in the number of tuple elements (as we don't add each GetTupleElement to the liveset of each buffer defined by the tuple).
2. A reduction in the heap memory footprint.

PiperOrigin-RevId: 187079787

Adding documentation for dataset/iterator checkpointing.

PiperOrigin-RevId: 187078347

TFTS: Switch to using core feature columns

This fixes some shape issues that came up when using the tf.contrib.layers
parsing functions.

Adds a string -> embedding column API example to the LSTM example.

PiperOrigin-RevId: 187076400

Update eager uniform replay buffer microbenchmarks to compare against graph functions when possible.

PiperOrigin-RevId: 187075418

Include c_api_experimental in libtensorflow.so's dependencies.

PiperOrigin-RevId: 187068103

Maintain a cache of output dtypes of ops in TFE_Context.

PiperOrigin-RevId: 187062992

Internal change.

PiperOrigin-RevId: 187061863

Fix bug calling gradients_function inside custom_gradient

PiperOrigin-RevId: 187059871

Use optimized ops to handle GPU memory swapping: this avoids the need for 2
pairs of extra _send/_recv nodes which speeds things up a bit. This also
ensures that performance doesn't depend on the recv scheduling built in TF,
which isn't always optimal.

PiperOrigin-RevId: 187057831

Internal change.

PiperOrigin-RevId: 187056963

Add the internal module name prefix to the white list.

PiperOrigin-RevId: 187056701

Actually expose smart_cond and smart_constant_value in tf.contrib.framework

Also moves these methods into their own file in python/framework. This avoids further bloating control_flow_ops.py and makes the BUILD deps easier for a future change I'm working on.

PiperOrigin-RevId: 187055501

TFLite: Ensures pointers to tensors won't be invalidated unless 16+ tensors are added.
PiperOrigin-RevId: 187052100

Added const to Node* in various parts of the code base.

PiperOrigin-RevId: 187050526

Add support for parsing the "gather" HLO

PiperOrigin-RevId: 187050345

eager/examples/resnet50: Fix breakage.

PiperOrigin-RevId: 187050075

Bring in `isbuiltin`.

PiperOrigin-RevId: 187049824

Automated g4 rollback of changelist 185324160

PiperOrigin-RevId: 187048135

Integrate ClusterResolvers with TPUEstimator.

PiperOrigin-RevId: 187047094

[XLA] Do not recompute flattened sets inside layout assignment.

Cache the flattened sets instead of recomputing them. This matters for large graphs, since we may request the flattened set thousands of times on the same instruction, and it may be fairly expensive to construct for large tuples.

PiperOrigin-RevId: 187046642

[XLA] Add kConvert to EffectiveOperandPrecisionIsOutputPrecision list.

PiperOrigin-RevId: 187044921

Deleting references to outdated `translate/seq2seq` tutorial.

PiperOrigin-RevId: 187044697

Move accumulate_n_v2 to core.

PiperOrigin-RevId: 187042001

Arithemtic optimization: Rewite Sub(0, y) => Neg(y)

PiperOrigin-RevId: 187041872

Generalize the gather_indices dimension that stores indices

This is now exposed as a index_vector_dim dimension number.

Also fixed an off-by-one error in ValidateGatherDimensionNumbers in the
expression computing output_shape_rank.

PiperOrigin-RevId: 187040748

Fix some breakages in TensorFlow Windows build (#17271)

* Fix configure.py

* Add quantization_utils for building quantize_weights, quantize_nodes, round_weights

Caused by https://github.com/tensorflow/tensorflow/pull/16121

Upgrade Jenkins/Docker build scripts to Bazel 0.11.0. (#17280)

The 0.10.0 bazel has problems with static-linking on linux:
https://github.com/bazelbuild/bazel/issues/4474. This PR bumps to the
latest bazel that produces proper binaries w/o the linking issue.

Fix bad wrong jpeg/nasm mirror (#17277)

Add missing `override' (#17098)

This fixes a warning produced by clang:
./tensorflow/core/common_runtime/gpu/gpu_device.h:70:10: warning: 'FillContextMap' overrides a member function but is not marked 'override' [-Winconsistent-missing-override]
  Status FillContextMap(const Graph* graph,
         ^
./tensorflow/core/common_runtime/device.h:124:18: note: overridden virtual function is here
  virtual Status FillContextMap(const Graph* graph,

Merge pull request #17222 from kbsriram/pool-gradients

C++ gradients for MaxPool3D, AvgPool and AvgPool3D

Merge pull request #17279 from gunan/branch_187038889

Branch 187038889

Merge commit for internal changes

Fix pip install examples to match text: Use pip and point to Py2 packages

PiperOrigin-RevId: 187038889

Fix print format error.

PiperOrigin-RevId: 187033623

[XLA:GPU] Fix HLO profiling when multiple streams are involved.

We were enqueueing the timer on the main stream, but not blocking the
substreams, so the results were nonsensical.

PiperOrigin-RevId: 187032412

Add __str__ method to _RefVariableProcessor.

PiperOrigin-RevId: 187029027

Drop the getcallargs extension as its logic had to be moved to a higher level into api.py.

PiperOrigin-RevId: 187022717

Annotate attribute nodes with the value or type of their parent. This helps with resolving function owners, since using reflection to do it is unreliable.

PiperOrigin-RevId: 187017742

Fix typo (#17258)

* fix typo

[XLA] Remove bitcast-converts between same shape.

PiperOrigin-RevId: 186929931

Re-enables moving_average_optimizer_test. Resource variable bug fixed by apassos@

PiperOrigin-RevId: 186921623

update documentation to {0, 1} (#17245)

Ship TF Eager header with libtensorflow tarballs. (#17230)

* Ship TF Eager header with libtensorflow tarballs.

Use the new inspect_utils API to to get the function's namespace.

PiperOrigin-RevId: 186884307

Merge pull request #16503 from yongtang/16499-unique_with_counts-v2

Enable multi-dimensional and axis support for tf.unique_with_counts

Merge pull request #17234 from tensorflow/martinwicke-patch-2

Add nasm mirror

Update api_def for UniqueWithCounts/UniqueWithCountsV2

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Add test cases for unique_with_counts_v2

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Add python wrapper for unique_with_counts

to call gen_array_ops._unique_with_counts

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Hide UniqueWithCounts and UniqueWithCountsV2 in hidden_ops.txt

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Enable multi-dimensional and axis support for tf.unique_with_counts

This fix tries to address the issue raised in 16499 to bring
multi-dimensional and axis support for `unique_with_counts`.

When `UniqueV2` kernel was added in 12952, it actually supports
multi-dimensional and axis support for `unique_with_counts` as well,
just not registered.

This fix:
1. Register `UniqueWithCountsV2` kernel to have axis support.
2. Hide both `UniqueWithCounts` and `UniqueWithCountsV2`
3. Add python unique_with_counts wrapper to call `gen_array_ops._unique_with_counts`
4. If APi review passes and the PR merges, `unique_with_counts` will switch to `gen_array_ops._unique_with_counts_v2` (in 3 weeks).

This fix fixes 16499.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Exclude more tests for cuda_on_cpu.

PiperOrigin-RevId: 186851831

Refactor Keras engine by splitting it into short, specialized files.
The purpose of this change is to make the codebase more maintainable and readable.

Before:
engine/topology.py
models.py

After:
engine/base_layer.py
engine/input_layer.py
engine/network.py
engine/sequential.py
engine/saving.py

This is a large change but it only moves code around with no change in logic or API.

New files are all under 1000 lines of logic (network.py is 1500 lines, but under 1000 if you remove imports and docstrings), and often under 500.

PiperOrigin-RevId: 186847895

Add another utility that captures a function's namespace as a mapping from symbol names to actual values.
Update getmethodclass with a hopefully more robust method.

PiperOrigin-RevId: 186847003

Dropped from previous change.

PiperOrigin-RevId: 186846681

Checkpointable: compatibility mode with name-based saving

Allows loading a name-based checkpoint using the object-based API. When
graph building it's quite seamless. There's no restore-on-create for
eager, so it would require program changes to do much useful there (i.e.
is not seamless).

Adds several tests for checkpoint compatibility (name->object in eager/graph,
and eager->graph/graph->eager for object-based saving)

PiperOrigin-RevId: 186844431

Merge pull request #17134 from tensorflow/timeseries-head

TFTS: Enhancements to timeseries head

Checkpointable: allow using Checkpointable objects in a tf.train.Saver()

Checkpointable objects in a Saver's var_list will be unpacked into their
SaveableObjects, possibly running some Python logic along the way.

This should help keep the transition from name-based saving smooth: to save
either way, just override CheckpointableBase._gather_saveables_for_checkpoint.

PiperOrigin-RevId: 186843857

Registers None gradients for ArgMax

PiperOrigin-RevId: 186843686

Internal change.

PiperOrigin-RevId: 186843632

Internal change.

PiperOrigin-RevId: 186843326

Add nasm mirror

Add Kumaraswamy Bijector, and let Kumaraswamy distribution depend on it.

PiperOrigin-RevId: 186838045

Add custom registered graph optimizers run by MetaOptimizer.

PiperOrigin-RevId: 186837828

Checkpointable: Utility to gather initialization ops

A bit safer, since only variables which will be saved get initialized. Graph
building then raises an error when you've used one which won't be saved. Reduces
the need for the global collection.

Makes it a bit easier to deal with initialization when writing graph/eager
agnostic programs.

PiperOrigin-RevId: 186835744

eager: Change various examples to use tf.keras.Model instead of tfe.Network.

PiperOrigin-RevId: 186834891

Add test for bug in CUB that caused dynamic partition to fail on the GPU.

PiperOrigin-RevId: 186834668

Improvement to the eager device placement heuristic.

PiperOrigin-RevId: 186833677

Adds unit tests for mean op with uint8_t input data.

PiperOrigin-RevId: 186833364

Eager/C: Add a TF_Status argument to a couple of functions.

PiperOrigin-RevId: 186829318

Make tf.size() with optimize=True encode 0 if any dimension is 0.

PiperOrigin-RevId: 186824964

Merge pull request #17148 from halhorn/beam_search_decoder_for_float16

fix: Error on we feed float16 values into BeamSearchDecoder

Merge pull request #17152 from facaiy/BLD/ci_allow_bad_user_name

docker ci allows bad name user

Merge pull request #17224 from cclauss/patch-1

TF Lite: from six.moves import xrange for Python 3

Merge pull request #17139 from deroneriksson/operation_semantics_typos

Fix typos in Operation Semantics docs

Make it easier to debug @assert_no_garbage_created unit test failures

Prints a bunch of information about each object.

PiperOrigin-RevId: 186823593

* CUB updated to 1.8.0
* updated ShuffleIndex because of API change

PiperOrigin-RevId: 186822637

Preserve user placement as much as possible when optimizing the graph

PiperOrigin-RevId: 186822511

Automated g4 rollback of changelist 185688704

PiperOrigin-RevId: 186820593

Respects some form of log_device_placement in eager.

PiperOrigin-RevId: 186820292

Merge pull request #17111 from carlthome/patch-9

Add cast functions for complex64 and complex128

[XLA] Fix BF16 propagation pass to produce matching fusion root and output.

Previously, the propagation pass might produce different procision in the fused
computation's root than the fusion itself, when the fused root doesn't define a buffer.

Add explicit converts at such fusion roots.

PiperOrigin-RevId: 186812368

Merge pull request #17171 from ilya-biryukov/fix_cuda_compilation

Fix compiler error with cuda-clang

Merge pull request #17226 from yifeif/branch_186777369

Branch 186777369

Add usage example to KMeans Estimator documentation.

PiperOrigin-RevId: 186805772

[TF:XLA] Fix a bug where executor's device_ordinal should be passed to AllocateShapedBuffer. Also enable C64 type for interpreter device.

PiperOrigin-RevId: 186805709

Cleanup for graph functions.

(1) Define constants for the names of Arg and Retval ops, and use them in various places.
(2) Change the signature and documentation for `BuildControlFlow` to reflect the fact that the supplied Graph is not mutated.
(3) Expose the FunctionLibraryRuntime's DeviceMgr, in preparation for multi-device functions.

PiperOrigin-RevId: 186804968

[XLA] Internal change.

PiperOrigin-RevId: 186802115

Remove repeated defination due to auto-merge.

Merge commit for internal changes

Remove redundant line which is almost a duplicate of one a few lines below in
datasets_quickstart document.

PiperOrigin-RevId: 186788306