Fix a bug in function inlining when the argument is an implicitly dereferenced ref tensor.

Previously the inliner would add an identity node with an invalid ref-type attr when the actual parameter had ref type. The changed version removes the reference.

PiperOrigin-RevId: 184285084

Enabling partitioned variables to work with TPU.
When partitioned variables are used in a TPU training loop,
concat gradient operations get generated for which XLA requires
the concat dimension argument to be a constant (or foldable to a constant).
However since such constant is defined outside of the train while context
an Enter node is generated in order to pass it.
The fix consists in detecting such case, and to duplicate the (scalar) constant
inside the while context, so that XLA can succesfully process the resulting
graph.

PiperOrigin-RevId: 184273245

Fix some tf-lite tests

PiperOrigin-RevId: 184247187

Fix tolerance too tight for Wasserstein distance test.

PiperOrigin-RevId: 184240222

Fix some tf-lite tests

PiperOrigin-RevId: 184247187

Fix tolerance too tight for Wasserstein distance test.

PiperOrigin-RevId: 184240222

Internal change

PiperOrigin-RevId: 184239740

Automated g4 rollback of changelist 183874527

PiperOrigin-RevId: 184236409

Supporting new saving op structure.

PiperOrigin-RevId: 184233513

Add darwin_x86_64 config in TF Lite BUILD file.

PiperOrigin-RevId: 184227786

Fixed the description of the fake GPU device to avoid a division by 0

PiperOrigin-RevId: 184225409

Fix tests

PiperOrigin-RevId: 184220615

Skip unknown devices since we can't optimize for them

PiperOrigin-RevId: 184220515

Allow reordering of execution order of nodes with indirect execution_plan.

Now whenever we want to operate in dependency order we use execution_plan.
It begins as identity map (0, ..., nodes_size()) but can be changed
in the future. This is the basis for more pluggable delegation.

PiperOrigin-RevId: 184216885

Automated g4 rollback of changelist 184188816

PiperOrigin-RevId: 184213576

GCS Throttle: 1 token == 1 Kb

Previously, 1 token was approximately 256 bytes. This is slightly less
intuitive than 1 kb.

PiperOrigin-RevId: 184212503

Add functionality to fold batch norm (supporting both fused and unfused batch norm) to support quantized training. The weights are always now scaled by gamma/sigma, where sigma is the moving standard deviation for stability prior to quantization.  For improved performance, the moving means and variances are frozen and the training graph modified accordingly.

An additional parameter freeze_batch_norm_delay is added to foldbatchnorm function to set the delay at which training switches from regular batch norm to frozen mean and variances.

Remove placement options within FoldBatchNorm as this causes folded training to place all ops on a single GPU. The modification now significantly speeds up distributed training.

The tests for folding batch norms are also updated to reflect the additional topological changes to the graph.

PiperOrigin-RevId: 184211434

Add iterate_batches arg to Estimator.predict

PiperOrigin-RevId: 184205196

Make jit_test.py work with C API enabled.

PiperOrigin-RevId: 184202470

[XLA] add DotGeneral to the local Python XLA client.

PiperOrigin-RevId: 184202425

Revert TensorBoard entry point back to run_main

PiperOrigin-RevId: 184201506

 Internal change.

PiperOrigin-RevId: 184194895

Throw an exception when the user's batch size isn't divisible by GPUs.

The alternative to this is to have an adaptive approach that would unevenly split input into per-tower batches.  The concern with that was that all towers will be as slow as the one with more input reducing the performance.  Batch size seems to be commonly tailored to the available hardware.

PiperOrigin-RevId: 184192793

Return an error instead of assertion when processing an ill-formed graph or an
invalid set of fetch nodes

PiperOrigin-RevId: 184192790

[TFXLA] Use data flow to determine switch grouping.

* Change how switch grouping works:
  - This is an intermediate step, next is combining
    DetermineBranchMapAndFrontier into one traversal.
* Homogeneous the naming (switch_nodes -> switches);
* Change graph dumping to be due to class member - currently still performed when vlog-level is sufficiently high;
* Pass in correct library when dumping graphs;

PiperOrigin-RevId: 184188816

Adding documentation on how to load & serve a model with the
TensorFlow Serving Model Server.

PiperOrigin-RevId: 184188752

Fixes a type conversion bug in losses.compute_weighted_loss for reduction=SUM_OVER_BATCH_SIZE.

PiperOrigin-RevId: 184186573

Fix segfault when Softmax is first in graph

PiperOrigin-RevId: 184183730

Verify tensor contents of tflite model

PiperOrigin-RevId: 184183725

Made the addn optimization aware of the graph topology

PiperOrigin-RevId: 184179246

Add a utility module that contains helper functions usable from within generated code.
Add a helper for the control dependencies context manager.

PiperOrigin-RevId: 184176409

Internal change.

PiperOrigin-RevId: 184174800

Update deprecated API use

PiperOrigin-RevId: 184173047

[tf.data] Fix bug where captured resources in shared iterators were invisible.

This change ensures that a shared iterator (which requires a private
FunctionLibraryRuntime that outlasts the calling op's runtime, because
it can outlive a single session) uses the same Device as a non-shared
iterator, and hence capturing resources from the creating graph will
work as intended.

Fixes #16481.

PiperOrigin-RevId: 184172498

Added a utility to traverse the graph in reverse DFS order, identifying loops
in the process.

PiperOrigin-RevId: 184172483

Automated g4 rollback of changelist 184153187

PiperOrigin-RevId: 184169668

Internal change.

PiperOrigin-RevId: 184165180

Add function paths to their signatures.

fixes #16167

PiperOrigin-RevId: 184160925

Fix nest bug with different dictionary key orderings.

PiperOrigin-RevId: 184160009

Add shape inference for outside_compilation graph rewrite. Pull out enough of the graph to enable inference of the shape of a SendFromHost Op once the shape of corresponding RecvAtHost Ops are known.

PiperOrigin-RevId: 184153187

Update ops-related pbtxt files.

PiperOrigin-RevId: 184141875

[TF:XLA] Implement MatrixSetDiag and MatrixBandPart.
Add support for int32 indices to the MatrixBandPart operator.

PiperOrigin-RevId: 184133343

[TF:XLA] Fix tfcompile OSS build

 - The @org_tensorflow package designation is unnecessary, and breaks the build
   when building without a sandbox.

 - The generated tests must use tf_cc_test, not cc_test.  See the note in
   tensorflow/core/BUILD.

Partially addresses #15338

PiperOrigin-RevId: 184095571

Internal change

PiperOrigin-RevId: 184088913

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 184086955

Update ops-related pbtxt files.

PiperOrigin-RevId: 184085402

Add a new Dataset: PrependFromQueueAndPaddedBatchDataset.

PiperOrigin-RevId: 184078894

Test all TFLite kernel implementations (reference/optimized/...)

PiperOrigin-RevId: 184077940

TFE: Support `IndexedSlices` as inputs and outputs for `tfe.defun`.

In particular, this change fixes a bug that arose when attempting to
differentiate a defun-d function whose gradient yielded `IndexedSlices`.

PiperOrigin-RevId: 184077261

Add a doc explaining how to convert an `Estimator` to run on a Cloud TPU.

PiperOrigin-RevId: 184075365

[XLA] Support array layout specification in local Python XLA client.

PiperOrigin-RevId: 184069454

Add type check when assigning to a resource variable slice.

PiperOrigin-RevId: 184067663

eager: Fix dropout in MNIST example.

The dropout layer takes a training argument in __call__, which defaults
to false. So without this change, dropout was not being applied.

PiperOrigin-RevId: 184064465

MKL is no longer enabled via ./configure. Fixed documentation to reflect this.

PiperOrigin-RevId: 184060046

Change recommended option for building TensorFlow with MKL from -c opt to --config=opt. -c opt triggers optimized C++ compilation. --config=opt also uses additional optimization flags as set by running ./configure.

PiperOrigin-RevId: 184059060

Update external protobuf codebase version for Windows cmake build

PiperOrigin-RevId: 184057827

Enable AVX in all TF windows builds.

PiperOrigin-RevId: 184052414

Add grpcio as a pip dependency of tensorflow

PiperOrigin-RevId: 184052073

Fixes minor typos.

PiperOrigin-RevId: 184048812

[XLA] Initialize linear indices used by NearComparator.

In unoptimized builds, we'd see miscompares with insanely large indices when
comparing literals containing NaN.

The linear indices may never be updated/initialized if the value NaN was
compared, since:

(NaN > x) == false
(NaN < x) == false

Adds a few tests that were used when debugging, but not a perfect one for this
case. It's currently not possible to test that LiteralTestUtil::Near() fails
when given bad input since it uses the EXPECT_* family of macros, which would
cause the intentional miscompares to fail the test no matter what.

PiperOrigin-RevId: 184048275

Internal change.

PiperOrigin-RevId: 184047860

Tolerate Const nodes with no data or with smaller data than is required
by their shape, by zero-extending the Const data to the required size.

We wanted to generate an error on that, but too many
existing graphs already rely on current lax behavior.

PiperOrigin-RevId: 184039876

Automated g4 rollback of changelist 184003263

PiperOrigin-RevId: 184038801

[XLA:CPU] Generate correct IR for integer clamp

PiperOrigin-RevId: 184037078

[TF:XLA] Implement ExtractImagePatches.

PiperOrigin-RevId: 184033616

Remove contacts of ex-Googler

PiperOrigin-RevId: 184030353

[TF:XLA] Implement Acos, Asin, Atan in terms of Atan2 using half-angle formulae. This may not be the most efficient implementation but it is better than no implementation.

PiperOrigin-RevId: 184029858

[TF:XLA] Bump open source llvm revision to r323874

PiperOrigin-RevId: 184029790

Increfing tapes when keeping them around calls to python API functions.

These calls can trigger GIL releases or python GC which can trigger
a change to the set of live tapes and segmentation faults.

PiperOrigin-RevId: 184029146

De-bazel filename_test. Part of the effort to remove all_opensource_files.

PiperOrigin-RevId: 184021942

Go: Fix Scope.WithControlDependencies array-copying behavior.

The test fails with the old code, and passes with the new code.

PiperOrigin-RevId: 184021596

TPUEstimator: support host_call when use_tpu=False.

PiperOrigin-RevId: 184021299

Adding tf_export decorators/calls to TensorFlow functions and constants.

PiperOrigin-RevId: 184020524

Typo Correction.

PiperOrigin-RevId: 184016082

Add std:: to min/max in cuda code to unbreak cuda-clang build.

PiperOrigin-RevId: 184012479

Whitelisting stateful op for dataset checkpointing temporarily.

PiperOrigin-RevId: 184010966

[XLA] Disable transpose folding into reduce for reduces of rank 2 or higher.

PiperOrigin-RevId: 184009219

Update external protobuf codebase version

PiperOrigin-RevId: 184006959

Extending sparsify_gather to remove variables from the tensorflow summaries.

PiperOrigin-RevId: 184004859

Verify contents of tensors

PiperOrigin-RevId: 184003263

Fix docs generation for cluster_resolvers

Adds "cluster_resolver_pip" as a dependancy to opensource contrib, and applies a standard `remove_undocumented` to clear extra symbols.

Docs are build from a bazel bulid, and without this change the cluster resolvers are not directly accessible in "tf.contirb.cluster_resolver" during the docs build, so they do not get documented.

PiperOrigin-RevId: 183993115

Remove a failing test for gpu numbers when XLA is enabled.

The test assumes that all devices are either CPU or GPU, which is not true when XLA is enabled.

PiperOrigin-RevId: 183956872

Go: Support control dependencies.

Fixes #16464

PiperOrigin-RevId: 183946928

Adds input_fn-return-dataset for Per-Host input pipeline deployment.

PiperOrigin-RevId: 183940666

Adding tf_export decorators/calls to TensorFlow functions and constants.

PiperOrigin-RevId: 183936100

Remove Google-internal bug numbers from XLA error messages.

PiperOrigin-RevId: 183934860

internal change

PiperOrigin-RevId: 183932015

Eager support for tf.Keras.

PiperOrigin-RevId: 183928850

internal change

PiperOrigin-RevId: 183924520

Removed unused variable doReverseChannels.

PiperOrigin-RevId: 183923876

K-FAC: Wrap extract_image_patches() for compatibility with XLA.

PiperOrigin-RevId: 183923073

Add a CLIF wrapper for DeviceProperties.

PiperOrigin-RevId: 183921389

Give tf.contrib.summary a default suffix of .v2. This is so that it doesn't conflict with v1 summaries that are being created at the same time.

By default, MonitoredTrainingSession and Estimator will create v1 summaries, so using both currently creates a race condition, and the last one to create the event file writer wins.

PiperOrigin-RevId: 183919988

Update graph_matcher to include OneofPattern.

PiperOrigin-RevId: 183916547

[tf.data] Native support for `tf.SparseTensor` and serialization tests for the `tf.data` methods that can produce `tf.SparseTensor` elements.

PiperOrigin-RevId: 183909820

Fix _standardize_input_data function to allow users to use list of
ints/floats and list of lists as training and validation data input.

PiperOrigin-RevId: 183909545

[XLA] Add Clamp and Round to the local Python XLA client.

PiperOrigin-RevId: 183906722

Internal change.

PiperOrigin-RevId: 183904042

Internal change.

PiperOrigin-RevId: 183900332

Supporting paths for build_server script.

PiperOrigin-RevId: 183899675