Internal change

PiperOrigin-RevId: 188416325

Restore cholesky_outer_product_test, to contains for CholeskyOuterProduct

PiperOrigin-RevId: 188413575

Check df parameter > 0 for Chi2.

PiperOrigin-RevId: 188413552

Fixes a bug where the ProcFLR doesn't lookup existing instantiations in the
distributed (ClusterFLR) case. As a result multiple instantiations for the same
function were happening.

PiperOrigin-RevId: 188411978

Treat IdentityN nodes with a single input as regular Identity nodes.

PiperOrigin-RevId: 188411260

[tf.data] Fix potential destruction race in IteratorGetNext.

PiperOrigin-RevId: 188411125

Return kTfLiteError if calling delegate-specific functions from non-delegate code.

PiperOrigin-RevId: 188407931

Fix StridedSlice

PiperOrigin-RevId: 188403234

Fix typo in comment.

PiperOrigin-RevId: 188403010

[XLA]: Enhancement to the while loop simplifier HLO pass.

If a while-loop tuple element is initialized as a constant and isn't changed by
the while-body, replace the use of the tuple element in while-condition and
while-body with the constant value. This enables the simplification of
while-loops that have 0/1 iteration and loop bound passed in through the
while-loop tuple.

Add test cases for while-loops with 0/1 iteration and loop bound passed in
through the while-loop tuple.

PiperOrigin-RevId: 188397087

Fix bug in updating NodeMap when materializing shapes from ShapeN.
Fix a similar bug in MaybeRemoveControlInput.
Improve error message in dependency optimizer, so we can tell if the problem is in dependency optimizer itself or upstream of it.

PiperOrigin-RevId: 188394863

Add SSIM and PSNR functions to tf.image.

Add the following functions:

- tf.image.psnr()
- tf.image.ssim()
- tf.image.ssim_multiscale()
- tf.image.sobel_edges()
- tf.image.image_gradients()

Add test images in tensorflow/core/lib/ssim/testdata, .../psnr/testdata.

Fulfills request for SSIM, fixes #15370.

PiperOrigin-RevId: 188394631

Add/AddN optimizer/rewriter

Collapse a sub-graph of Add/AddN operations of fully specified
and identical shapes to a single AddN operation.

PiperOrigin-RevId: 188392302

Add document for TPUEstimate.predict, including limitations and example.

PiperOrigin-RevId: 188390287

disabling failing tsan test

PiperOrigin-RevId: 188385868

disbaling timeout in guitar

PiperOrigin-RevId: 188383577

Add basic TensorArray support. This is temporary, and will be replaced with lists (although we can keep the TAs if necessary).

PiperOrigin-RevId: 188382727

[TF Lite] Provide a fast path for Interpreter::SetTensorParametersReadOnly.

The fast path kicks in if shape matches tensor.dims and type matches
tensor.type.

In this case, the interpreter is not invalidated and AllocateTensors need not
be called after a call to SetTensorParametersReadOnly.

PiperOrigin-RevId: 188380596

Make adaptive SDCA the default.

PiperOrigin-RevId: 188380039

disabling tsan test that is currently failing

PiperOrigin-RevId: 188378908

Add support for literals to QN. Fix the AST logic and tests. Add some extra checks.

PiperOrigin-RevId: 188376050

Make benchmark_model work.

PiperOrigin-RevId: 188372156

Allow setting control dependencies on TensorArrays. Is this the right way to do it?

PiperOrigin-RevId: 188370600

Fix a typo in gcs_smoke_test test script.

PiperOrigin-RevId: 188367883

Decoupling hash and protobuf. This simplifies a little bit the dependency chain as
we don't have to link protobuf libraries just to use basic hash functions. The case
for deterministic serialization of protocol buffers if very specific and can be
handled by a new header file.

PiperOrigin-RevId: 188366713

Expose a version of model_fn for contrib Estimators. Make the body of get_timestamped_export_dir an Estimator util.

PiperOrigin-RevId: 188366199

TFLite: Delegate Buffer Handle interface (take 2)
PiperOrigin-RevId: 188366045

Add some simple HLO creation utilities to auto-infer result shapes

I need something like this for my Gather HLO->HLO lowering pass.

PiperOrigin-RevId: 188365102

This strengthens several checks of error codes returned by libcurl.  In all of the
cases that are changed by this CL, a failure indicates a software bug, not a runtime
condition that should be handled and continued beyond.  Continuing to execute only promotes silently-ignored bugs.

I also removed the useless call which attempts to set the HTTP protocol to HTTP/2, because this call always fails.  I opened b/74351157 to track the possible feature of adding support for HTTP/2.

Also simplified the code around constructing the error string when returning actual Status objects, by moving code into a lambda.

PiperOrigin-RevId: 188363531

[SE] Initial perftools::gputools::Platform initialization support

Adds initialization methods to Platform.  Some platforms require initialization.
Those that do not have trivial implementations of these methods.

PiperOrigin-RevId: 188363315

Updating Tensorflow Docs to add reference around measures to ensure forward compatibility around TF op attributes.

PiperOrigin-RevId: 188359164

Disable flaky checkpoint_utils_test everywhere

PiperOrigin-RevId: 188353354

Automated g4 rollback of changelist 188265500

PiperOrigin-RevId: 188343238

Optimize the destruction of CancellationManager and LocalRendezvousImpl.

In the common case of clean termination, we can avoid performing several atomic
operations and allocations.

PiperOrigin-RevId: 188339594

Fix feature fraction per tree.

PiperOrigin-RevId: 188339438

This creates a new helper, xla_launch_util, that contains the business logic
of launching an XLA computation.

Also changes the resource variable container from a std::vector<OptionalTensor>
to a std::map<int, OptionalTensor> in preparation for backends where the
resource variables aren't ordered densely at the end of the argument list.

PiperOrigin-RevId: 188335574

Add init op and target node support to benchmark

PiperOrigin-RevId: 188335233

Update the eager user guide to use object-based saving (and Model)

PiperOrigin-RevId: 188332858

Disable interleave_dataset_ops_test

PiperOrigin-RevId: 188327338

Enable test CompatibleUseLinearIndexWithReshape.

This requires adding a special case to SourceIndexOfBitcast if the bitcast is a
reshape.

PiperOrigin-RevId: 188324197

update docker containers used for remote CPU/GPU builds and the corresponding script.

PiperOrigin-RevId: 188324090

Extract the iterated expression of a for loop into a variable to avoid repeated staging.

PiperOrigin-RevId: 188316160

- FisherEstimator now supports computing products with arbitrary matrix powers of the approximate Fisher
- Added multi-tower support to multi/RNN fully connected layers
- All op creation is now done inside functions that explicitly create ops, thus allowing fine control of their placement. One result of this is that we no longer need any colocation statements (and these have been removed)
- Multi-tower computations are now handled using ParitionedTensor class, which appears to be a single tensor to the FisherFactors but actually contains a list of tensors.
- To achieve the above damping values are passed around as special functions that are packaged along with "ids" that can be used to uniquely identify the computation they perform.  Topohash might provide a better solution for this in the future.
- Variable creation in the factors is now done via special methods so we can have fine control over where these are placed
- FisherEstimator now has special functions to create ops and variables using different placement strategies (currently: no strategy, round-robin, and as thunks).  By default this will use the round-robin strategy and manufacture the usual convenience properties ("inv_update_ops", etc).  This default behavior is to preserve backwards compatibility but in the future we should deprecate this and require the user to ask for an explicit strategy.
- LossFunctions no longer make any ops in their constructors.  The only make ops when evaluated.  LayerCollection maintains a list of tensors/ops which we can colocate LossFunction computations with (typically their inputs)
- LossFunctions no longer support multi-tower/mini-batches directly. Instead LayerCollection maintains a list of these objects, one for each tower.  This solution is better since now the loss function related computations can take place exclusively on the corresponding tower.
- All loss functions now support multiple towers/minibatches (via LayerCollection).
- tf.gradients is passed list of loss function values instead of their sum, which will prevent extraneous gradient ops being placed on arbitrary devices.  Hopefully with this change and the above one for loss functions all ops associated with gradient computations (for computing stats) will occur completely on the device that defines that part of the graph.  e.g. this will do the right thing for multiple towers
- I've also made sure that sensible colocation occurs for the extra ops needed by the curvature_propagation and exact estimation modes.
- Variables and ops made by FisherEstimator are now placed inside of name scopes (based on the name given to FisherEstimator)
- Restored old variable use count tracker implementation, thus fixing the issue with how generic registrations were handled by check_registration().
- Restored interface to FisherEstimator (which was changed in the previous CL).
- Fixed bug in LazyKFacOptimizer: optional/named arguments weren't being passed in properly
- Lots of other minor refactors/improvements

PiperOrigin-RevId: 188310846

Automated g4 rollback of changelist 188263046

PiperOrigin-RevId: 188293315

Make comparison functors const

In libc++ std::map and std::multimap call the comparison functor
from a const object, which requires the `operator()` to be a const
method.

PiperOrigin-RevId: 188285407

Add support for ResourceVariable weights to the quantization rewriter.

PiperOrigin-RevId: 188284335

Disable the predict input warning in TPUEstimator.

PiperOrigin-RevId: 188273641

internal

PiperOrigin-RevId: 188273192

Fix docstring.

PiperOrigin-RevId: 188272354

[XLA]: Rewrite the test cases for while loop simplifier with HLO strings.

PiperOrigin-RevId: 188270727

PiperOrigin-RevId: 188267957

Remove StackPush nodes where the corresponding StackPop nodes have no consumers..

PiperOrigin-RevId: 188267649

TFE: Implement __r*__ operators for `Dimension`.

This lets you use Dimension objects in numerical computations; e.g.,
it lets you evaluate expressions like 3 + my_tensor.shape[0] when executing
eagerly.

At time of writing, without this change,

`matplotlib.pyplot.plt(my_tensor, my_other_tensor)`

fails when executing eagerly, but it works with this change.

PiperOrigin-RevId: 188265500

Add support for converting range, and an actual build rule for the builtins_test, which somehow got left out.

PiperOrigin-RevId: 188264644

Restores accumulate_n's functionality when shapes are unknown.

PiperOrigin-RevId: 188264080

Fix OP_REQUIRES to be OP_REQUIRES_ASYNC

PiperOrigin-RevId: 188263337

TFLite: Delegate Buffer Handle interface
PiperOrigin-RevId: 188263046

Internal-only change.

PiperOrigin-RevId: 188261279

Helpful ImportError message

PiperOrigin-RevId: 188261273

Add tracing annotations to RemoteCallOp's execution.

PiperOrigin-RevId: 188260984

Remove unneeded rewrite, now that contrib.quantize is ready and better.

PiperOrigin-RevId: 188257466

Internal change.

PiperOrigin-RevId: 188257136

eager: Export tf.enable_eager_execution() and tf.executing_eagerly()

PiperOrigin-RevId: 188255674

Checkpointable: Fix device placement when restoring name-based checkpoints.

Just need to put the restore ops on a CPU.

PiperOrigin-RevId: 188248198

Added tf.contrib.data.make_batched_features_dataset as replacement of tf.contrib.learn.io.read_batch_features. Added warning about the deprecation of tf.contrib.data.read_batch_features.

PiperOrigin-RevId: 188240046

Migrate AIS chain into `tfp.mcmc` and modularize its interface to take a TransitionKernel.

PiperOrigin-RevId: 188239559

py_func attaches full stack traces when an error is raised.

This should help debugging errors that occur inside a py_func.

PiperOrigin-RevId: 188238495

Remove unused parameter from GetQuantizationParamsFromMinMax.

PiperOrigin-RevId: 188236536

Fix GCS uploads occasionally failing when retrying.

GCS returns 400, invalid argument because it thinks the body is not empty. cURL, by default, sets "Transfer-Encoding: Chunked", which causes the server to ignore "Content-Length: 0":
https://developer.mozilla.org/en-US/docs/Web/HTTP/Headers/Transfer-Encoding

The server considers the HTTP request incomplete and may non-deterministically fail.

PiperOrigin-RevId: 188235030

Don't populate linear_ with a logical index

We use linear_ to directly emit array element access in some cases so populating
it with the logical linear index seems incorrect.

PiperOrigin-RevId: 188234902

Create mobile testing rules for TF Lite known-portable targets

This CL tags all known-already-portable TF Lite tests as portable, and
(from those tests) tags those known as not portable.

Adding tflite_portable_test_suite() to the bottom of a package marks all
previous cc_tests as "intended to be portable". I've included all tests
that I was able to naively make buildable on Android with my previous
change that created a custom logging.h library. Most tests are buildable
on Android already, but there is something in the common dependencies
for the kernel tests that is not compatible with iOS.

Outside of Google, this change does nothing except tag tests that are
known to not be buildable on certain platforms.

PiperOrigin-RevId: 188234489

[TF:XLA] Bump open source llvm revision to r326829

PiperOrigin-RevId: 188229669

[tf.data] Optimize `Dataset.filter()` when the predicate returns one of its args.

This change avoids the overhead of function dispatch (~10--15us) when
the filter predicate simply returns one of its arguments directly. It
also adds a benchmark to track the performance of this optimization.

The checkpointing code required minor modifications to enable functions to be
instantiated in the `FilterDatasetOp::Compute()` method when an iterator is being
restored.

PiperOrigin-RevId: 188229570

Update graph rewrites for host compute ops

PiperOrigin-RevId: 188228489

[tpu.datasets]: Improve the performance of the StreamingFilesDataset.

In order to effectively pipeline the transfers, set num_parallel_calls=4.

PiperOrigin-RevId: 188227890

Further small support for quantized unfused LSTMs.

PiperOrigin-RevId: 188221169

Internal Change

PiperOrigin-RevId: 188217110

TFE_Context gets its local devices from the source instead of a session.

PiperOrigin-RevId: 188216178

Add support for padding tf.string tensors on CPU.

PiperOrigin-RevId: 188215092

eager: Rename in_eager_mode to executing_eagerly and get rid of in_graph_mode.

This is in preparation to introduce one public, stable symbol: tf.executing_eagerly()
(i.e., part of moving APIs related to eager execution from "contrib" to a namespace
where we provide API stability guarantees)

PiperOrigin-RevId: 188212646

Convert functions with multiple returns to use a single return.

PiperOrigin-RevId: 188212324

Support for transpose convolution. Includes striding, and a reference implementation.

PiperOrigin-RevId: 188210975

Making sure that the proc FLR doesn't get deleted before lib_ (in FunctionBufferingResource).

PiperOrigin-RevId: 188206611

Move `tf.contrib.bayesflow.layers` to `tfp.layers`.

PiperOrigin-RevId: 188203941

Optimizations to DepthwiseConv using 3x3 filters.

PiperOrigin-RevId: 188202344

Properly parse input strings in the dependency optimizer

PiperOrigin-RevId: 188201284

Docs: Add simple_save section to SavedModel APIs, and add
to article intro. Rename headers to make consistent.

PiperOrigin-RevId: 188199437

Migrate Halton Sequence sampler into tensorflow_probability.

PiperOrigin-RevId: 188191091

boosted_trees: fix the comments about gain by removing a confusing dash.

PiperOrigin-RevId: 188191012

[tf.data] Improve docstring for `tf.data.Dataset.padded_batch()`.

PiperOrigin-RevId: 188190458

Switch the eager GAN MNIST example to object-based checkpointing

- Removes variable_scopes, since they're no longer necessary (duplicate variable names are OK)
- Switches up the counters a bit (global_step -> step_counter, checkpoint the epoch counter)

PiperOrigin-RevId: 188190128

Add missing equality assertion between the shape of the 2 inputs to the tile op.

PiperOrigin-RevId: 188190067

Add instrumentation interfaces to the GCS file system.

PiperOrigin-RevId: 188187793

Fix tf.train.Saver's max_to_keep when executing eagerly.

It was keeping everything, since the list of things to delete was reset in
build() and build() was called every save.

PiperOrigin-RevId: 188187349

[tf.data] Expose `tf.contrib.data.SqlDataset`.

PiperOrigin-RevId: 188185438

Add a template helper that generates expressions from single-statement nodes.

PiperOrigin-RevId: 188184507

Add support for the "DEQUANTIZE" op. This cover only ops that are generated by TOCO
in order to handle UINT8 input to floating-point models.

PiperOrigin-RevId: 188182372

Make sure the string returned is a string in Python 3 because of different string handling processes.

PiperOrigin-RevId: 188180206

Update the code to play more nicely with Python3.

PiperOrigin-RevId: 188167618

[XLA:GPU] Fuse broadcasts into reduction fusions

We didn't do this because reconstructing a layout was hard. With
layout_assignment before fusion this becomes much easier. Remove the
limitations.

PiperOrigin-RevId: 188167436