disabling tsan test that is currently failing

PiperOrigin-RevId: 188378908

Add support for literals to QN. Fix the AST logic and tests. Add some extra checks.

PiperOrigin-RevId: 188376050

Make benchmark_model work.

PiperOrigin-RevId: 188372156

Allow setting control dependencies on TensorArrays. Is this the right way to do it?

PiperOrigin-RevId: 188370600

Fix a typo in gcs_smoke_test test script.

PiperOrigin-RevId: 188367883

Decoupling hash and protobuf. This simplifies a little bit the dependency chain as
we don't have to link protobuf libraries just to use basic hash functions. The case
for deterministic serialization of protocol buffers if very specific and can be
handled by a new header file.

PiperOrigin-RevId: 188366713

Expose a version of model_fn for contrib Estimators. Make the body of get_timestamped_export_dir an Estimator util.

PiperOrigin-RevId: 188366199

TFLite: Delegate Buffer Handle interface (take 2)
PiperOrigin-RevId: 188366045

Add some simple HLO creation utilities to auto-infer result shapes

I need something like this for my Gather HLO->HLO lowering pass.

PiperOrigin-RevId: 188365102

This strengthens several checks of error codes returned by libcurl.  In all of the
cases that are changed by this CL, a failure indicates a software bug, not a runtime
condition that should be handled and continued beyond.  Continuing to execute only promotes silently-ignored bugs.

I also removed the useless call which attempts to set the HTTP protocol to HTTP/2, because this call always fails.  I opened b/74351157 to track the possible feature of adding support for HTTP/2.

Also simplified the code around constructing the error string when returning actual Status objects, by moving code into a lambda.

PiperOrigin-RevId: 188363531

[SE] Initial perftools::gputools::Platform initialization support

Adds initialization methods to Platform.  Some platforms require initialization.
Those that do not have trivial implementations of these methods.

PiperOrigin-RevId: 188363315

Updating Tensorflow Docs to add reference around measures to ensure forward compatibility around TF op attributes.

PiperOrigin-RevId: 188359164

Disable flaky checkpoint_utils_test everywhere

PiperOrigin-RevId: 188353354

Automated g4 rollback of changelist 188265500

PiperOrigin-RevId: 188343238

Optimize the destruction of CancellationManager and LocalRendezvousImpl.

In the common case of clean termination, we can avoid performing several atomic
operations and allocations.

PiperOrigin-RevId: 188339594

Fix feature fraction per tree.

PiperOrigin-RevId: 188339438

This creates a new helper, xla_launch_util, that contains the business logic
of launching an XLA computation.

Also changes the resource variable container from a std::vector<OptionalTensor>
to a std::map<int, OptionalTensor> in preparation for backends where the
resource variables aren't ordered densely at the end of the argument list.

PiperOrigin-RevId: 188335574

Add init op and target node support to benchmark

PiperOrigin-RevId: 188335233

Update the eager user guide to use object-based saving (and Model)

PiperOrigin-RevId: 188332858

Disable interleave_dataset_ops_test

PiperOrigin-RevId: 188327338

Enable test CompatibleUseLinearIndexWithReshape.

This requires adding a special case to SourceIndexOfBitcast if the bitcast is a
reshape.

PiperOrigin-RevId: 188324197

update docker containers used for remote CPU/GPU builds and the corresponding script.

PiperOrigin-RevId: 188324090

Extract the iterated expression of a for loop into a variable to avoid repeated staging.

PiperOrigin-RevId: 188316160

- FisherEstimator now supports computing products with arbitrary matrix powers of the approximate Fisher
- Added multi-tower support to multi/RNN fully connected layers
- All op creation is now done inside functions that explicitly create ops, thus allowing fine control of their placement. One result of this is that we no longer need any colocation statements (and these have been removed)
- Multi-tower computations are now handled using ParitionedTensor class, which appears to be a single tensor to the FisherFactors but actually contains a list of tensors.
- To achieve the above damping values are passed around as special functions that are packaged along with "ids" that can be used to uniquely identify the computation they perform.  Topohash might provide a better solution for this in the future.
- Variable creation in the factors is now done via special methods so we can have fine control over where these are placed
- FisherEstimator now has special functions to create ops and variables using different placement strategies (currently: no strategy, round-robin, and as thunks).  By default this will use the round-robin strategy and manufacture the usual convenience properties ("inv_update_ops", etc).  This default behavior is to preserve backwards compatibility but in the future we should deprecate this and require the user to ask for an explicit strategy.
- LossFunctions no longer make any ops in their constructors.  The only make ops when evaluated.  LayerCollection maintains a list of tensors/ops which we can colocate LossFunction computations with (typically their inputs)
- LossFunctions no longer support multi-tower/mini-batches directly. Instead LayerCollection maintains a list of these objects, one for each tower.  This solution is better since now the loss function related computations can take place exclusively on the corresponding tower.
- All loss functions now support multiple towers/minibatches (via LayerCollection).
- tf.gradients is passed list of loss function values instead of their sum, which will prevent extraneous gradient ops being placed on arbitrary devices.  Hopefully with this change and the above one for loss functions all ops associated with gradient computations (for computing stats) will occur completely on the device that defines that part of the graph.  e.g. this will do the right thing for multiple towers
- I've also made sure that sensible colocation occurs for the extra ops needed by the curvature_propagation and exact estimation modes.
- Variables and ops made by FisherEstimator are now placed inside of name scopes (based on the name given to FisherEstimator)
- Restored old variable use count tracker implementation, thus fixing the issue with how generic registrations were handled by check_registration().
- Restored interface to FisherEstimator (which was changed in the previous CL).
- Fixed bug in LazyKFacOptimizer: optional/named arguments weren't being passed in properly
- Lots of other minor refactors/improvements

PiperOrigin-RevId: 188310846

Automated g4 rollback of changelist 188263046

PiperOrigin-RevId: 188293315

Make comparison functors const

In libc++ std::map and std::multimap call the comparison functor
from a const object, which requires the `operator()` to be a const
method.

PiperOrigin-RevId: 188285407

Add support for ResourceVariable weights to the quantization rewriter.

PiperOrigin-RevId: 188284335

Disable the predict input warning in TPUEstimator.

PiperOrigin-RevId: 188273641

internal

PiperOrigin-RevId: 188273192

Fix docstring.

PiperOrigin-RevId: 188272354

[XLA]: Rewrite the test cases for while loop simplifier with HLO strings.

PiperOrigin-RevId: 188270727

PiperOrigin-RevId: 188267957

Remove StackPush nodes where the corresponding StackPop nodes have no consumers..

PiperOrigin-RevId: 188267649

TFE: Implement __r*__ operators for `Dimension`.

This lets you use Dimension objects in numerical computations; e.g.,
it lets you evaluate expressions like 3 + my_tensor.shape[0] when executing
eagerly.

At time of writing, without this change,

`matplotlib.pyplot.plt(my_tensor, my_other_tensor)`

fails when executing eagerly, but it works with this change.

PiperOrigin-RevId: 188265500

Add support for converting range, and an actual build rule for the builtins_test, which somehow got left out.

PiperOrigin-RevId: 188264644

Restores accumulate_n's functionality when shapes are unknown.

PiperOrigin-RevId: 188264080

Fix OP_REQUIRES to be OP_REQUIRES_ASYNC

PiperOrigin-RevId: 188263337

TFLite: Delegate Buffer Handle interface
PiperOrigin-RevId: 188263046

Internal-only change.

PiperOrigin-RevId: 188261279

Helpful ImportError message

PiperOrigin-RevId: 188261273

Add tracing annotations to RemoteCallOp's execution.

PiperOrigin-RevId: 188260984

Remove unneeded rewrite, now that contrib.quantize is ready and better.

PiperOrigin-RevId: 188257466

Internal change.

PiperOrigin-RevId: 188257136

eager: Export tf.enable_eager_execution() and tf.executing_eagerly()

PiperOrigin-RevId: 188255674

Checkpointable: Fix device placement when restoring name-based checkpoints.

Just need to put the restore ops on a CPU.

PiperOrigin-RevId: 188248198

Added tf.contrib.data.make_batched_features_dataset as replacement of tf.contrib.learn.io.read_batch_features. Added warning about the deprecation of tf.contrib.data.read_batch_features.

PiperOrigin-RevId: 188240046

Migrate AIS chain into `tfp.mcmc` and modularize its interface to take a TransitionKernel.

PiperOrigin-RevId: 188239559

py_func attaches full stack traces when an error is raised.

This should help debugging errors that occur inside a py_func.

PiperOrigin-RevId: 188238495

Remove unused parameter from GetQuantizationParamsFromMinMax.

PiperOrigin-RevId: 188236536

Fix GCS uploads occasionally failing when retrying.

GCS returns 400, invalid argument because it thinks the body is not empty. cURL, by default, sets "Transfer-Encoding: Chunked", which causes the server to ignore "Content-Length: 0":
https://developer.mozilla.org/en-US/docs/Web/HTTP/Headers/Transfer-Encoding

The server considers the HTTP request incomplete and may non-deterministically fail.

PiperOrigin-RevId: 188235030

Don't populate linear_ with a logical index

We use linear_ to directly emit array element access in some cases so populating
it with the logical linear index seems incorrect.

PiperOrigin-RevId: 188234902

Create mobile testing rules for TF Lite known-portable targets

This CL tags all known-already-portable TF Lite tests as portable, and
(from those tests) tags those known as not portable.

Adding tflite_portable_test_suite() to the bottom of a package marks all
previous cc_tests as "intended to be portable". I've included all tests
that I was able to naively make buildable on Android with my previous
change that created a custom logging.h library. Most tests are buildable
on Android already, but there is something in the common dependencies
for the kernel tests that is not compatible with iOS.

Outside of Google, this change does nothing except tag tests that are
known to not be buildable on certain platforms.

PiperOrigin-RevId: 188234489

[TF:XLA] Bump open source llvm revision to r326829

PiperOrigin-RevId: 188229669

[tf.data] Optimize `Dataset.filter()` when the predicate returns one of its args.

This change avoids the overhead of function dispatch (~10--15us) when
the filter predicate simply returns one of its arguments directly. It
also adds a benchmark to track the performance of this optimization.

The checkpointing code required minor modifications to enable functions to be
instantiated in the `FilterDatasetOp::Compute()` method when an iterator is being
restored.

PiperOrigin-RevId: 188229570

Update graph rewrites for host compute ops

PiperOrigin-RevId: 188228489

[tpu.datasets]: Improve the performance of the StreamingFilesDataset.

In order to effectively pipeline the transfers, set num_parallel_calls=4.

PiperOrigin-RevId: 188227890

Further small support for quantized unfused LSTMs.

PiperOrigin-RevId: 188221169

Internal Change

PiperOrigin-RevId: 188217110

TFE_Context gets its local devices from the source instead of a session.

PiperOrigin-RevId: 188216178

Add support for padding tf.string tensors on CPU.

PiperOrigin-RevId: 188215092

eager: Rename in_eager_mode to executing_eagerly and get rid of in_graph_mode.

This is in preparation to introduce one public, stable symbol: tf.executing_eagerly()
(i.e., part of moving APIs related to eager execution from "contrib" to a namespace
where we provide API stability guarantees)

PiperOrigin-RevId: 188212646

Convert functions with multiple returns to use a single return.

PiperOrigin-RevId: 188212324

Support for transpose convolution. Includes striding, and a reference implementation.

PiperOrigin-RevId: 188210975

Making sure that the proc FLR doesn't get deleted before lib_ (in FunctionBufferingResource).

PiperOrigin-RevId: 188206611

Move `tf.contrib.bayesflow.layers` to `tfp.layers`.

PiperOrigin-RevId: 188203941

Optimizations to DepthwiseConv using 3x3 filters.

PiperOrigin-RevId: 188202344

Properly parse input strings in the dependency optimizer

PiperOrigin-RevId: 188201284

Docs: Add simple_save section to SavedModel APIs, and add
to article intro. Rename headers to make consistent.

PiperOrigin-RevId: 188199437

Migrate Halton Sequence sampler into tensorflow_probability.

PiperOrigin-RevId: 188191091

boosted_trees: fix the comments about gain by removing a confusing dash.

PiperOrigin-RevId: 188191012

[tf.data] Improve docstring for `tf.data.Dataset.padded_batch()`.

PiperOrigin-RevId: 188190458

Switch the eager GAN MNIST example to object-based checkpointing

- Removes variable_scopes, since they're no longer necessary (duplicate variable names are OK)
- Switches up the counters a bit (global_step -> step_counter, checkpoint the epoch counter)

PiperOrigin-RevId: 188190128

Add missing equality assertion between the shape of the 2 inputs to the tile op.

PiperOrigin-RevId: 188190067

Add instrumentation interfaces to the GCS file system.

PiperOrigin-RevId: 188187793

Fix tf.train.Saver's max_to_keep when executing eagerly.

It was keeping everything, since the list of things to delete was reset in
build() and build() was called every save.

PiperOrigin-RevId: 188187349

[tf.data] Expose `tf.contrib.data.SqlDataset`.

PiperOrigin-RevId: 188185438

Add a template helper that generates expressions from single-statement nodes.

PiperOrigin-RevId: 188184507

Add support for the "DEQUANTIZE" op. This cover only ops that are generated by TOCO
in order to handle UINT8 input to floating-point models.

PiperOrigin-RevId: 188182372

Make sure the string returned is a string in Python 3 because of different string handling processes.

PiperOrigin-RevId: 188180206

Update the code to play more nicely with Python3.

PiperOrigin-RevId: 188167618

[XLA:GPU] Fuse broadcasts into reduction fusions

We didn't do this because reconstructing a layout was hard. With
layout_assignment before fusion this becomes much easier. Remove the
limitations.

PiperOrigin-RevId: 188167436

[XLA:GPU] Move layout_assignment before fusion

This will allow code simplification and opens up new optimization. Currently we
don't emit layouts inside of fusion and tracing layouts through fusion is very
hard. Changing the pipeline sidesteps this issue. This is mostly perf-neutral.

PiperOrigin-RevId: 188158481

Fix ShapeUtil::CompatibleIgnoringElementType for scalar vs tuple comparision

Previously if the lhs was a scalar and the rhs was a tuple of arbitrary
shape it reported them as compatible what is clearly wrong.

PiperOrigin-RevId: 188155575

[XLA:GPU] Rewrite elemental emission of bitcasts

My first attempt at this only handled bitcasts that implement a reshape
operation, now transposes or mixed bitcasts are handled as well. There is
probably some optimization potential to reduce the amount of address arithmetic
emitted to IR for a follow-up.

This is already tested fairly well with the existing test suite, there are
failing tests with layout_assignment before fusion without this change.

PiperOrigin-RevId: 188155082

Build definition cleanup.

PiperOrigin-RevId: 188135683

Typo correction, no method `set_stats_aggregator_op(..)` to associate `StatsAggregator` with `iterator`.

PiperOrigin-RevId: 188132675

Minor fixes to tutorials/index.md and programmers_guide/index.md

PiperOrigin-RevId: 188128441

Makes GLSTMCell accept input of any compatible dimension.

Currently, GLSTMCell requires that the input dimension is is the same as the output dimension.  After this change, the input can be any compatible dimension---i.e., anything divisible by the number of groups.  The input size is still assumed to be the output size in the case where the innermost dimension of the input is not statically-defined.

PiperOrigin-RevId: 188123536

[TF:XLA] Bump open source llvm revision to r326687

PiperOrigin-RevId: 188122825

Made sure all the nodes in the body of an inlined function run in the same frame

PiperOrigin-RevId: 188121852

Add basic support for explicit type annotations. This is done by inserting a no-op function call. Note that this is meant as fallback, and we prefer the following alternatives (in their order) for inferring the type:
 1. Automatic from context, e.g. the type of a list based on the elements added to it (WIP)
 2. Type annotations (Python 3.6+ only)

PiperOrigin-RevId: 188120527

Add helper function for Xor in HLO.

RELNOTES: n/a
PiperOrigin-RevId: 188119450

Avoid merging colocation sets that include parameter/result buffers

PiperOrigin-RevId: 188117187

PiperOrigin-RevId: 188112759

Adding support for subscripts to qualified names.  This also removes the QN copy constructor and adds an assert to ensure that the no attribute/no subscript QN constructor does not receive any strings with '.', '[', or ']'.  Additionally this changes the self.qn construction to be a tuple of (base QN, attribute/subscript) instead of a concatenation of the base QN and attribute/subscript so that the has_attr and has_subscript fields are handled properly.  Constant subscripts are not yet supported.

PiperOrigin-RevId: 188111933

Remove dead code. We're guaranteed to have CURLE_OK because we return early above.

PiperOrigin-RevId: 188110480

Fix build.

PiperOrigin-RevId: 188109002

Make graph construction work while graph is being concurrently run.

The overall approach is to use Graph._lock to synchronize Session.run calls and construction methods that rely on graph mutation. We don't want to synchronize the actual running of the graph, only the Extend call, so this change exposes an ExtendSession method to the Python API and disables extending automatically in TF_SessionRun.

PiperOrigin-RevId: 188106818

Add metadata for gathering information about host compute transfers while compiling XLA.

PiperOrigin-RevId: 188102740

Re-enable math_utils_test msan

PiperOrigin-RevId: 188102388