Internal change.

PiperOrigin-RevId: 188040866

Include spectral_ops_test_util in python deps.

PiperOrigin-RevId: 188037439

Implementation of tf.cast in TfLite

PiperOrigin-RevId: 188036286

StreamExecutor support for float64 convolutions and backprop.

PiperOrigin-RevId: 188025477

Implements MaxPoolGradGrad in tf2xla using bitwise trickery. Further detail covered by a comment inside pooling_ops.cc.

Retains 32 bits of gradient precision, but can confuse the backprop source for input cells that are equally maximal at 16 bits. We could in principle be accurate up to 31 bits of input, if we were willing to find gradients one bit at a time, or 24 bits of input 8 gradient bits at a time, etc.

PiperOrigin-RevId: 188025278

[XLA:GPU] Mark bitcasts as eligible for fusion.

Currently this never happens because we only turn rehaspes into bitcasts after
layout assignment. This changes when layout assignment runs before fusion. Once
layouts are available the pipeline turns reshapes into bitcasts, which would be
left unfused without this change.

PiperOrigin-RevId: 187999864

Add BatchNorm bijector.

PiperOrigin-RevId: 187975255

Lower logging levels of acceptable conditions

When using remote function invocation, these two conditions are okay, and are not cause for alarm. This change reduces them to VLOG's so they do not pollute the logs unnecessarily.

PiperOrigin-RevId: 187961803

[TPU Cluster Resolver]: Integrate with GKE

This change integrates the TPUClusterResolver with GKE's support for Cloud TPUs

PiperOrigin-RevId: 187961802

[tf.data] Fix uninitialized local variable in ParallelMapDataset.

PiperOrigin-RevId: 187960354

Fixes a number of usability issues with model_to_estimator, in particular:
- make it possible to use a model that was compiled with a TF optimizer (do not require a Keras optimizer)
- do not require input to be dict (input_fn supports plain arrays)
- do not require `config` to be a RunConfig instance, can now be a dict (better UX)
- make it possible to use a subclassed model (caveat: weights are not preserved, yet)
- clear error message when model isn't compiled; improve various error messages

PiperOrigin-RevId: 187959927

Properly recurse when checkpointing scopes.

PiperOrigin-RevId: 187958420

Add method for computing the maximal set of live LogicalBuffers in an allocation.

PiperOrigin-RevId: 187954755

disabling flaky test in msan

PiperOrigin-RevId: 187951549

gradients: Export tf.custom_gradients

(Moved from the tf.contrib.eager namespace)

PiperOrigin-RevId: 187950503

Improve the accuracy of the upper-bound of the sum of the size of an
HLO and all its dependencies. The previous implementation computed the
size of an HLO as the sum of dependencies weighted by the number of
paths to the each dependency. In the previous implementation the
"size" of some HLO overflowed an int64 for dependence graphs with a
large number of distinct paths. The new implementation computes the
min of the previous overestimate and the sum of all HLO's
before-and-including the current HLO in a topological sort of the
graph.

Both the current and the previous implementations are linear
time. Since the sum of the size of all HLOs will never overflow, the
"total size" of each HLO will never overflow. The new upper-bound is
the min of the previous upper bound and a new heuristic, so it is
always at least as tight a bound as the old implementation.

RELNOTES: n/a
PiperOrigin-RevId: 187948221

disabling msan flaky test

PiperOrigin-RevId: 187942643

Remove core:lib dependency in favor of Lite-specific logging helper

This CL makes an enormous swathe of TF Lite's tests buildable on Android
targets (and helps for many iOS tests, as well).

The only reason the tests dependended on tensorflow/core:lib was because lib was
the most common target that includes logging.h, which is necessary for
log-related tests.

This set of utilities may not be perfect (e.g. it still means that certain
TF-related test resources, like FLAGs, are not accessible), but it is an
improvement.

PiperOrigin-RevId: 187940806

Tests for running _Send and _Recv in eager.

PiperOrigin-RevId: 187940522

Remove unnecessary density functions.

distributions.py appropriately calls `log` or `exp` to compute missing cdf/prob functions.

PiperOrigin-RevId: 187938200

disabling timed out test in asan

PiperOrigin-RevId: 187935309

Update TensorBoard's tutorial on tensorflow.org with information on setting up as well as how long the tutorial should take.

PiperOrigin-RevId: 187933027

Add objective functions for variational inference with Csiszar f-divergences.

PiperOrigin-RevId: 187931921

Fix bug with multi_gpu_model / model.inputs.

PiperOrigin-RevId: 187931852

Correct op::Attr usage in C++ gradient implementations.

Also enabled TF_MUST_USE_RESULT for the generated Attr API, so we
can catch any new errors early.

Fixes #17360

PiperOrigin-RevId: 187925761

Adds test_util.IsMklEnabled() that returns true if TensorFlow has been built with MKL support. Fixes the failure of tensorflow/python/tools:print_selective_registration_header_test by using 'Mkl' prefix for MatMul op name when MKL is enabled.

PiperOrigin-RevId: 187925038

[XLA] Make HloEvaluator use wrap-around semantics for DynamicUpdateSlice.

PiperOrigin-RevId: 187923671

Add alternative paths for CUDA installation.

This detects negativo17's CUDA packages for Fedora.

PiperOrigin-RevId: 187923472

Add sequence_indicator_column

PiperOrigin-RevId: 187920673

Disable both "no_mac" and "nomac" tags when building on osx.

PiperOrigin-RevId: 187919812

Fix the issue where gpu_option is not respected for keras estimator.
Set keras backend session with the given config before any get_session call creates a new session.
Fix #14776.

PiperOrigin-RevId: 187916300

Add methods for extracting the shapes of the entry computation from an HloProto.

PiperOrigin-RevId: 187915821

Benchmark regression

PiperOrigin-RevId: 187914657

[XLA] Fix BF16 normalizer for CrossReplicaSum.

1. It may produce incorrect result when mixed precision is not supported and
BF16 is not support only for a particular operand. Then the pass may introduce
new mixed precision for an all-BF16 CRS. This is unlikely in practical
settings, but removing this constraint can enable auto-generating corner case
tests using this pass.

2. A cycle can be introduced in the tuple-shaped output output. This wasn't
caught by the test because the DFS happened to succeed. Now add verifier
explicitly.

PiperOrigin-RevId: 187908099

Simplify softmax_centered implementation.

This also resolves a bug with softmax_centered.inverse not working on inputs with
partially known.

PiperOrigin-RevId: 187907026

Make variable creator scope thread local (always).

PiperOrigin-RevId: 187904394

[XLA] Mark xla_internal_test_main as alwayslink.

PiperOrigin-RevId: 187903623

Return ComputationLayout as a reference from the HLO module.

PiperOrigin-RevId: 187900559

[XLA] Whitelist send/recv in BF16 passes.

PiperOrigin-RevId: 187899955

Shape function bug in tensor_list_stack

PiperOrigin-RevId: 187896505

Don't log an error if we can't set HTTP/2.

PiperOrigin-RevId: 187895652

Extract the EvaluateConstantTensorForEdge method from ShapeRefiner.

This change introduces a new stand-alone function, EvaluateConstantTensor,
pulled from ShapeRefiner. ShapeRefiner now calls this new function and the
old functions are removed.

I'm still depending on shape_refiner_test.cc for test coverage.

This is the first step towards making smart_cond better able to evaluate
constant tensors.

PiperOrigin-RevId: 187894976

[XLA] Allocate and track memory in replicas separately.

PiperOrigin-RevId: 187894473

[XLA:GPU] Allow merging into input fusion nodes in FusionMerger.

Seems to have been an oversight.  "Input fusion" means that the *output*
of the fusion node is the "real hero".  The inputs aren't special; we
can fuse more stuff in.

PiperOrigin-RevId: 187892975

Fix documentation of image size for inception-v3 (299 * 299)

PiperOrigin-RevId: 187889122

Make SavedModel builder validation accept signatures involving sparse tensors.

PiperOrigin-RevId: 187883080

Exposes poisson_regression_head in tf.contrib.estimator.

PiperOrigin-RevId: 187882494

[XLA:GPU] Add some VLOGs to FusionMerger.

Also use c_any_of and friends instead of std::any_of &c, and make some
minor whitespace fixes in comments.

No functional change.

PiperOrigin-RevId: 187880113

Change the default ps_ops to STANDARD_PS_OPS

PiperOrigin-RevId: 187875797

Fix a case in SparseSegmentReduction ops with missing segment IDs, where all segment IDs are empty. Added a test for this case.

PiperOrigin-RevId: 187873356

Internal change.

PiperOrigin-RevId: 187865303

Improve LinearValidOnShape.

It actually only needs to check that the operation is a bitcast (ignoring
element_type). So far, the check was more restrictive, which made this function
always return false for a non-trivial reshape operation.
However we still fail to make use of this less strict checking, because for
reshapes inside a fusion node, we don't have a layout and can therefore not
check if it is a bitcast or not.
Also add a disabled test that will be enabled once the layout issue is fixed.

PiperOrigin-RevId: 187860440

Automated g4 rollback of changelist 185073515

PiperOrigin-RevId: 187852929

[XLA] Minor comment fixes in instruction_fusion.cc.

No functional change.

PiperOrigin-RevId: 187852483

Adds checks to tf.nn.sparse_softmax_cross_entropy_with_logits to make sure that shapes for labels and logits (except last dimension) match. First, the static dimensions are checked, and only if the result is inconclusive a dynamic check is added.

In sparse_softmax_cross_entropy_with_logits the input dimensions are flattened, which can lead to unexpected bugs if the order of dimensions does not match (e.g. if one is time-major and the other is batch-major). This prevents such mistakes.

PiperOrigin-RevId: 187841750

Prevent accidental re-use of removed field.

PiperOrigin-RevId: 187798953

Fix nested bullets in docs. (Need 4 spaces indent)

PiperOrigin-RevId: 187763978

Fix broken links in docs.

PiperOrigin-RevId: 187755567

Internal change.

PiperOrigin-RevId: 187749767

Will open source this part of code.

PiperOrigin-RevId: 187747019

Internal Change.

PiperOrigin-RevId: 187738384

tfdbg: Add link to TensorBoard Debugger Plugin

from the CLI documentation

RELNOTES: tfdbg: TensorFlow Debugger's graphical user interface (GUI),
the [TensorBoard Debugger Plugin](https://github.com/tensorflow/tensorboard/blob/master/tensorboard/plugins/debugger/README.md), is now in alpha.
PiperOrigin-RevId: 187700265

Merged commit includes the following changes:
187697531  by andrewharp:

    Tweak whitespace for fft2d dep.

--
187696129  by A. Unique TensorFlower:

    Generalize support for logical expressions, comparison operators and multiple comparisons.

--
187692494  by vinuraja:

    * Adds a boolean attribute to ConfigureDistributedTPUOp for internal use.

    * Adds GraphRunner ctor which takes in the device to run the graph on.

--
187692129  by andrewharp:

    Audio utility classes for supporting MFCC and AudioSpectrogram operators

--

PiperOrigin-RevId: 187697531

Properly handle the case of functions with no inputs

PiperOrigin-RevId: 187691555

Don't throw errors if non-Checkpointable objects are passed to MultiRNNCell

PiperOrigin-RevId: 187689371

Loop optimizer: Convert StackPush nodes to Identity instead of eliminating them completely.
Move loop optimizer to run before dependency optimizer so identity nodes will be pruned.

PiperOrigin-RevId: 187685669

Checkpointable: Fix CPU/GPU device placement issues

Restore ops go on the CPU, then the value gets copied to whichever device it needs to be on. This I need to do manually for restores passed as initial_values; for regular save/restore it's done by the SaveableObjects for variables.

Also explicitly places some counters on the CPU.

Adds a GPU-using test for Checkpointable usage.

PiperOrigin-RevId: 187683050

eager/examples: Use tf.keras.Model in RNN examples.

Some notable differences between tf.keras.Model and tfe.Network:

- tf.keras.Model doesn't have a track_layer() method. It tracks Layer and Checkpointable valued attributes automatically. For list and other complex structures, __setattr__ performs the role of tfe.Network.track_layer()

- tf.keras.Model accepts a single positional argument. Thus either all arguments must be packaged into a single list/tuple (as in rnn_ptb.py) or be provided as keyword arguments (as in rnn_colorbot.py).

PiperOrigin-RevId: 187682716

Exit with failure if a free gpu is not found by parallel_gpu_execute.

If TF_GPU_COUNT was a value greater than the actual number of GPUs, it was
possible for tests to just pass without running when running under
parallel_gpu_execute.sh.

PiperOrigin-RevId: 187681032

Fix some compiler warnings in MKL build.

PiperOrigin-RevId: 187677893

Adds setUseNNAPI to Interpreter.java, to enable develoeprs turn on & off NNAPI.

PiperOrigin-RevId: 187677765

ReadVariableOp in C for eager (only for the fastpath)

PiperOrigin-RevId: 187676012

Begin a library for statistical testing of samplers.

So far, it consists of one-sample and two-sample equality-of-means
assertions, and power analysis and experimental design for those,
because that's what was needed for testing the LKJ distribution.
If this API shape proves viable, more to come.

PiperOrigin-RevId: 187675337

Add a small helper which is useful for quicker debugging.

PiperOrigin-RevId: 187673654

Checkpointable: Have MultiRNNCell add its dependent cells as dependencies

PiperOrigin-RevId: 187670464

[TF:XLA] Bump open source llvm revision to r326571

PiperOrigin-RevId: 187665541

Make shape inference error messages more consistent.

PiperOrigin-RevId: 187662562

Add /learning/tfx/ to the visibility group of tensorflow/compiler/jit.

PiperOrigin-RevId: 187661883

Make tfe.Metrics Checkpointable

Same principle as Layers: use add_variable to add a dependency on any variables
created. I've ignored the global/local distinction, since it makes more sense
for users to control saving by either adding a dependency on the Metric or not.

PiperOrigin-RevId: 187658433

Automated g4 rollback of changelist 187582263

PiperOrigin-RevId: 187657654

TFTS: Switch more variables to ResourceVariables to avoid race conditions

The LSTM example test was a bit flaky.

PiperOrigin-RevId: 187655714

Exclude flaky tests for cuda_on_cpu.

PiperOrigin-RevId: 187654568

FreezeSavedModel support for ResourceVariables.

PiperOrigin-RevId: 187653676

GCS: Extract block cache interface from implementation.

PiperOrigin-RevId: 187652953

Move the PS_OPS from Estimator to device_setter to benefit more users.

PiperOrigin-RevId: 187650283

GCS: Update throttle state even if disabled.

PiperOrigin-RevId: 187647263

Add a configurable preference for scheduling fuller batches sooner to the adaptive shared batcher.  A full batch will now be scheduled before an older, nearly empty batch as long as the age gap is less than full_batch_scheduling_boost_micros.

This parameter improves latency under heavy load, but too large a value will harm tail latency.

PiperOrigin-RevId: 187644796

[XLA] Support while loops and constant in HLO BF16 propagation.

PiperOrigin-RevId: 187644155

Updating toolchain configs for GPU builds

PiperOrigin-RevId: 187643585

tf.keras: Remove unnecessary "with self.test_sesion()" statements in tests.

The test decorator that runs the test twice (once with eager execution enabled,
once without) doesn't require the block, and this makes the code appear more
eager-friendly (as there is no concept of a session when eager execution is
enabled).

PiperOrigin-RevId: 187637008

Add bfloat16 support for CPU ops.

PiperOrigin-RevId: 187633511

No need to override _handle_device for variables anymore

PiperOrigin-RevId: 187631915

Only use softfp for android builds to make odroid builds work.

PiperOrigin-RevId: 187629282

Take into account the return value mapping of functions

PiperOrigin-RevId: 187628382

Add a testing utility that can be called from compiled code, and which can mock a TF module for internal tests. Use it in api_test.py

PiperOrigin-RevId: 187624343

Internal-only change.

PiperOrigin-RevId: 187623121

Eliminate the creation of unnecessary read ops when working with ResourceVariables.

In particular:
1. Don't create additional read ops when creating a ResourceVariable from a VariableDef proto.
2. Expose the ability to assign a ResourceVariable without reading & returning the new value.
3. Colocating with a ResourceVariable's ".op" property eliminates the creation of additional read ops.
4. Savers can read a variable's value using the _graph_element property, since these reads don't need control dependencies.

This makes the visualization of graphs on TensorBoard much nicer.

PiperOrigin-RevId: 187622122

Add support to convert ResourceVariables of graphs into constants.

This involves a change to the implementation of convert_variables_to_constants.

PiperOrigin-RevId: 187610062

Java: Update to 1.6.0

PiperOrigin-RevId: 187595636

[XLA:GPU] Extract multiplication of complex numbers into a helper function.

Also add helper functions for getting the real and the imaginary part of a
complex number.

PiperOrigin-RevId: 187593341