contrib/rnn: Fix #16703
(Bug introduced in
https://github.com/tensorflow/tensorflow/commit/3f579020bab8f00e4621e9c7c740cbf13136a809)

Kudos to @akhti for pointing this out.

PiperOrigin-RevId: 184570448

Bug fix: Don't dereference nullptr in OpKernelContext::input_alloc_attr().

PiperOrigin-RevId: 184566770

[TF:XLA] Making constant folding deterministic.

Making constant folding deterministic by doing DFS deterministically and inserting a serialization point based on nodes' names.

This is the last source of non-determinism remaining in the TF:XLA stack.

RELNOTES: Constant folding pass is now deterministic.
PiperOrigin-RevId: 184566644

Serialize the evaluation of the AssignAdd nodes to make the result more
deterministic
Improved testing

PiperOrigin-RevId: 184565483

Support parsing from text and fused op in contrib.

PiperOrigin-RevId: 184558131

Automated g4 rollback of changelist 184323369

PiperOrigin-RevId: 184551259

Proper reallocation of dynamic tensors.

PiperOrigin-RevId: 184550199

Make flat_transforms_to_matrices and matrices_to_flat_transforms public (#781).

PiperOrigin-RevId: 184549704

Changing the link to point to new android job.

PiperOrigin-RevId: 184546160

[XLA] add Conditional to the local Python XLA client.

PiperOrigin-RevId: 184544483

Clarify that tf.contrib.image.rotate angles are counterclockwise.

PiperOrigin-RevId: 184541776

Enable aggressive identity node pruning in dependency optimizer.

PiperOrigin-RevId: 184539756

Get control_flow_ops.py ready to support de/serializing nested control flow.

With this change, ControlFlowContexts keep track of their nested
contexts (the reverse lookup as ControlFlowContext.outer_context).
This is to enable de/serializing the nested contexts of each "root"
context, and only adding the root contexts to collections. This allows
for simple deserialization of each root context by recursively
deserializing its nested contexts.

The de/serialization logic is disabled and the corresponding
control_flow.proto changes are omitted for now for forwards
compatability (i.e. three-week-old binaries must be ready to accept
the new proto format once its commited). After this is committed for
three weeks, I'll commit a follow-up change enabling the new behavior.

Design note: I chose to serialize the nested contexts, rather than the
outer contexts, because it makes it easy to deserialize the contexts
in topological order and to assign the right outer context. If we
serialized the outer contexts, there'd need to be some mechanism for
either sorting all the serialized contexts first, or deserializing all
of them and then doing another pass to assign the outer contexts.

PiperOrigin-RevId: 184533406

Internal Change

PiperOrigin-RevId: 184532417

Expand the activity analysis to composite names.
Fix a bug in the cond template that caused bad syntax when there it no symbol that needs aliasing.
More refactoring in the process, including:
 * introduce the QN (qualified name) class to hold symbol information; it has value semantics and can generate the original symbol, a corresponding AST tree or a single-symbol form (e.g. "a.b" -> a_b)
 * allow the template mechanism to use QNs for substitutions
 * annotate *all* symbol nodes with their corresponding QN object; this is done as first step during static analysis, and automatically performed on all template expansions
 * start using typed annotation keys (Enum values) instead of plain strings
 * rename access.py to activity.py
 * sanitize nodes in template expansion by deep copying the AST without annotations, to avoid common references

PiperOrigin-RevId: 184528586

mini documentation fix

PiperOrigin-RevId: 184496843

Fixed sequence_mask behavior on unknown shape.

`sequence_mask` crashed when fed with a tensor of unknown rank.
Added a test for that, and expanded a bit existing tests.

Also fixed pre-existing lint errors.

PiperOrigin-RevId: 184493239

Support for quantized LSTM models.

PiperOrigin-RevId: 184476753

Minor fixes to the get started doc.

PiperOrigin-RevId: 184457074

Avoid retaining two copies of each constant in `ConstantOp`.

Presently, the kernel keeps two copies of the constant tensor value, which can be large:
1. In the `ConstantOp::tensor_` field.
2. In the `OpKernel::def_` field (as an attr of the `NodeDef`).

Since we can be sure that `ConstantOp` will never need to access the
tensor value from `OpKernel::def_`, this change introduces a mechanism
for `OpKernel` implementations to store a stripped `NodeDef` in the
base class, and uses it in `ConstantOp` to avoid storing the tensor
value attr.

PiperOrigin-RevId: 184455793

[XLA] Assign mandatory constraints in a DFS order and non-manatory constraints in a BFS order.

PiperOrigin-RevId: 184429818

[tf-signal] Fix exception when input shape is unknown in mfccs_from_log_mel_spectrograms.

PiperOrigin-RevId: 184400783

[XLA] Add tests for Clamp with scalars S32 and U32.

PiperOrigin-RevId: 184376425

Fix breakage: Can't build TFLite with Bazel for Mac / iOS.

PiperOrigin-RevId: 184375534

A more efficient implementation of the Op using batch operations.

PiperOrigin-RevId: 184367562

Extended TFE_OpSetDevice() with the ability to set an op device from non-GPU back to GPU.

Added unit testing, and also refined unit test logic for checking the presence
of a GPU device. The latter is needed when we add XLA device support.

PiperOrigin-RevId: 184366172

[XLA] Minor cleanups related to multi-output fusion.

- Add some comments about preexisting invariants, and add some CHECKs.

- In the LoopEmitter constructor, materialize the given
  ArraySlice<IrArray> to a vector, so we don't rely on the given
  ArraySlice having any particular lifetime.

- Add the invariant that the LoopEmitter constructor which takes a
  list of IrArrays is only for multi-output fusion.  Previously it said:
  If you only pass one array, then treat it as regular fusion.  But this
  results in an LLVM type mismatch, because the given
  target_element_generator should be passing a struct with one element.

PiperOrigin-RevId: 184365310

Propagate outfeed sharding, if specified from TensorFlow.

PiperOrigin-RevId: 184361221

Automated g4 rollback of changelist 184347012

PiperOrigin-RevId: 184360818

[tf.data] Add public header "tensorflow/core/framework/dataset.h".

This adds the ability to create a custom C++ Dataset implementation
without linking it statically into the TensorFlow library.  Note that
this internal API is experimental and subject to change between
versions of TensorFlow.

Fixes #16682.

PiperOrigin-RevId: 184356318

Check that the type of an implicitly dereferenced tensor matches the expected input type.

The dtype of a tensor reference can change between the point when it is "produced" by an
operation and consumed by the next operation. This evades checks in the executor that the
type of tensor on each edge matches the type signatures of the producing and consuming operation, which could lead to undefined behavior. Although there is no existing operation that changes the type of a tensor reference, it is possible to use the OpKernelContext API to do so, so we add a further check in the runtime to defend against operations that might be added in the future.

PiperOrigin-RevId: 184356242

Update global_step by default if the user specifies a host_call.

PiperOrigin-RevId: 184352399

Tpu cluster resolver only returns TF server addresses for 'HEALTHY' tpu nodes.

PiperOrigin-RevId: 184350480

Replacing _container_prefix with _graph_key to preserve its use in optimizer and deprecate others.

PiperOrigin-RevId: 184348303

TF_CALL_ALL_TYPES should include variant

PiperOrigin-RevId: 184347081

Rollback of recent changes to tensor.{h,cc}

PiperOrigin-RevId: 184347012

Adds batch inference support on TPU with TPUEstimator.predict.

PiperOrigin-RevId: 184339842

[TF RNN] Small optimization to rnn: only calculate copy_cond once.

PiperOrigin-RevId: 184335231

Changed minimal required version of bleach Python package from 1.5 to 2.0. bleach 1.5 causes problems with Jupyter as reported in #16424

PiperOrigin-RevId: 184332663

A few misc tweaks to TFE APIs.

PiperOrigin-RevId: 184329345

TFLite: Conv CBLAS kernel
PiperOrigin-RevId: 184328848

[tf.data] Move framework/dataset.h to framework/dataset_stateful_op_whitelist.h.

This will make way for the move of kernels/data/dataset.h to
framework/dataset.h, while preserving version control history, after
which we might recombine the headers.

PiperOrigin-RevId: 184327481

Support `float16` `dtype` in `tf.linalg.*`.
Note: not all `LinearOperator` functions will support `float16`. This change
merely enables constructing the `LinearOperator` object(s) using this `dtype`.

PiperOrigin-RevId: 184323477

Breaking change: Revise HMC interface to accept a list of Tensors representing a partitioning of chain state.

PiperOrigin-RevId: 184323369

Skip the node that has unexpected number of outputs.

PiperOrigin-RevId: 184320865

[TF:XLA] Bump open source llvm revision to r324073

PiperOrigin-RevId: 184318036

Update ops-related pbtxt files.

PiperOrigin-RevId: 184317521

[TF:XLA] Improve/refactor the handling of resource types/shapes.

Previously we used an xla::Shape to track the shape of a resource (Variable, TensorArray, Stack) shape. The xla::Shape described how the resource was represented to XLA, e.g., as a (buffer, size) pair for a Stack resource.

Instead, separate the TensorFlow abstract shape representation from the XLA shape representation and track it separately. This leads to simpler and more readable code.

PiperOrigin-RevId: 184310694

Allow ResizeBilinear to resize the output tensor in Prepare(), if the size tensor is const.

PiperOrigin-RevId: 184309687

Register resource_scatter_update for string types.

PiperOrigin-RevId: 184309674

Add shape inference for outside_compilation graph rewrite. Pull out enough of the graph to enable inference of the shape of a SendFromHost Op once the shape of corresponding RecvAtHost Ops are known.
END_PUBLIC

Fixed open source build breaks.

BEGIN_PUBLIC
Automated g4 rollback of changelist 184169668

PiperOrigin-RevId: 184306845

Register GPU host kernels for Identity and RefIdentity.

PiperOrigin-RevId: 184305574

Automated g4 rollback of changelist 184273245

PiperOrigin-RevId: 184303789

Remove hidden_ops.txt file. Instead, switch to use visibility attribute in ApiDef proto.

PiperOrigin-RevId: 184301076

Consider beyond immediate neighbors to find exit node.

Most of the exit nodes are immediate neighbors of the switch, except we do have
cases where the switch feeds into an identity that feeds into a exit.

PiperOrigin-RevId: 184297180

Show that we must over reallocate after resizing dynamic tensors.

PiperOrigin-RevId: 184296680

Fix latent bug in dependency optimizer.

PiperOrigin-RevId: 184291701

Disable graph optimizations (CSE) in test so that constant nodes are not deduped.

PiperOrigin-RevId: 184289685

[comment-only change]: Fix grammar error.

PiperOrigin-RevId: 184285125

Fix a bug in function inlining when the argument is an implicitly dereferenced ref tensor.

Previously the inliner would add an identity node with an invalid ref-type attr when the actual parameter had ref type. The changed version removes the reference.

PiperOrigin-RevId: 184285084

Enabling partitioned variables to work with TPU.
When partitioned variables are used in a TPU training loop,
concat gradient operations get generated for which XLA requires
the concat dimension argument to be a constant (or foldable to a constant).
However since such constant is defined outside of the train while context
an Enter node is generated in order to pass it.
The fix consists in detecting such case, and to duplicate the (scalar) constant
inside the while context, so that XLA can succesfully process the resulting
graph.

PiperOrigin-RevId: 184273245

Fix some tf-lite tests

PiperOrigin-RevId: 184247187

Fix tolerance too tight for Wasserstein distance test.

PiperOrigin-RevId: 184240222

Fix some tf-lite tests

PiperOrigin-RevId: 184247187

Fix tolerance too tight for Wasserstein distance test.

PiperOrigin-RevId: 184240222

Internal change

PiperOrigin-RevId: 184239740

Automated g4 rollback of changelist 183874527

PiperOrigin-RevId: 184236409

Supporting new saving op structure.

PiperOrigin-RevId: 184233513

Add darwin_x86_64 config in TF Lite BUILD file.

PiperOrigin-RevId: 184227786

Fixed the description of the fake GPU device to avoid a division by 0

PiperOrigin-RevId: 184225409

Fix tests

PiperOrigin-RevId: 184220615

Skip unknown devices since we can't optimize for them

PiperOrigin-RevId: 184220515

Allow reordering of execution order of nodes with indirect execution_plan.

Now whenever we want to operate in dependency order we use execution_plan.
It begins as identity map (0, ..., nodes_size()) but can be changed
in the future. This is the basis for more pluggable delegation.

PiperOrigin-RevId: 184216885

Automated g4 rollback of changelist 184188816

PiperOrigin-RevId: 184213576

GCS Throttle: 1 token == 1 Kb

Previously, 1 token was approximately 256 bytes. This is slightly less
intuitive than 1 kb.

PiperOrigin-RevId: 184212503

Add functionality to fold batch norm (supporting both fused and unfused batch norm) to support quantized training. The weights are always now scaled by gamma/sigma, where sigma is the moving standard deviation for stability prior to quantization.  For improved performance, the moving means and variances are frozen and the training graph modified accordingly.

An additional parameter freeze_batch_norm_delay is added to foldbatchnorm function to set the delay at which training switches from regular batch norm to frozen mean and variances.

Remove placement options within FoldBatchNorm as this causes folded training to place all ops on a single GPU. The modification now significantly speeds up distributed training.

The tests for folding batch norms are also updated to reflect the additional topological changes to the graph.

PiperOrigin-RevId: 184211434

Add iterate_batches arg to Estimator.predict

PiperOrigin-RevId: 184205196

Make jit_test.py work with C API enabled.

PiperOrigin-RevId: 184202470

[XLA] add DotGeneral to the local Python XLA client.

PiperOrigin-RevId: 184202425

Revert TensorBoard entry point back to run_main

PiperOrigin-RevId: 184201506

 Internal change.

PiperOrigin-RevId: 184194895

Throw an exception when the user's batch size isn't divisible by GPUs.

The alternative to this is to have an adaptive approach that would unevenly split input into per-tower batches.  The concern with that was that all towers will be as slow as the one with more input reducing the performance.  Batch size seems to be commonly tailored to the available hardware.

PiperOrigin-RevId: 184192793

Return an error instead of assertion when processing an ill-formed graph or an
invalid set of fetch nodes

PiperOrigin-RevId: 184192790

[TFXLA] Use data flow to determine switch grouping.

* Change how switch grouping works:
  - This is an intermediate step, next is combining
    DetermineBranchMapAndFrontier into one traversal.
* Homogeneous the naming (switch_nodes -> switches);
* Change graph dumping to be due to class member - currently still performed when vlog-level is sufficiently high;
* Pass in correct library when dumping graphs;

PiperOrigin-RevId: 184188816

Adding documentation on how to load & serve a model with the
TensorFlow Serving Model Server.

PiperOrigin-RevId: 184188752

Fixes a type conversion bug in losses.compute_weighted_loss for reduction=SUM_OVER_BATCH_SIZE.

PiperOrigin-RevId: 184186573

Fix segfault when Softmax is first in graph

PiperOrigin-RevId: 184183730

Verify tensor contents of tflite model

PiperOrigin-RevId: 184183725

Made the addn optimization aware of the graph topology

PiperOrigin-RevId: 184179246

Add a utility module that contains helper functions usable from within generated code.
Add a helper for the control dependencies context manager.

PiperOrigin-RevId: 184176409

Internal change.

PiperOrigin-RevId: 184174800

Update deprecated API use

PiperOrigin-RevId: 184173047

[tf.data] Fix bug where captured resources in shared iterators were invisible.

This change ensures that a shared iterator (which requires a private
FunctionLibraryRuntime that outlasts the calling op's runtime, because
it can outlive a single session) uses the same Device as a non-shared
iterator, and hence capturing resources from the creating graph will
work as intended.

Fixes #16481.

PiperOrigin-RevId: 184172498

Added a utility to traverse the graph in reverse DFS order, identifying loops
in the process.

PiperOrigin-RevId: 184172483

Automated g4 rollback of changelist 184153187

PiperOrigin-RevId: 184169668

Internal change.

PiperOrigin-RevId: 184165180

Add function paths to their signatures.

fixes #16167

PiperOrigin-RevId: 184160925

Fix nest bug with different dictionary key orderings.

PiperOrigin-RevId: 184160009

Add shape inference for outside_compilation graph rewrite. Pull out enough of the graph to enable inference of the shape of a SendFromHost Op once the shape of corresponding RecvAtHost Ops are known.

PiperOrigin-RevId: 184153187

Update ops-related pbtxt files.

PiperOrigin-RevId: 184141875