Fix a bug in create_python_api.py

I got an error complaining about "RuntimeError: dictionary changed size during iteration", this change fixes it.

PiperOrigin-RevId: 195144333

[XLA] Add new optimization that sinks constants into while loop bodies

Example transformation:

   state = (..., const, ...)
   while (pred(state)) {
     (..., v, ...) = state
     use(v)
     state = (..., v, ...)
   }

 =>

   state = (..., const, ...)
   while (pred(state)) {
     (..., v, ...) = state
     use(const)
     state = (..., v, ...)
   }

PiperOrigin-RevId: 195143323

Re-enabling a test.

PiperOrigin-RevId: 195142105

Fix tsan failure in batch_dataset_op_test.
The error was being caused because we were trying to save invocation_results_` while the function call was in progress. Now we wait for all invocations to finish before saving both `invocation_results_` and `batch_results_`.

Did local A/B testing for tsan.
Before: 12/100 failed
After: All passed
PiperOrigin-RevId: 195141349

Increasing test size to reflect recent additions and prevent test timeouts.

PiperOrigin-RevId: 195138565

[XLA] Redesign: Dump HloSnapshot in local service as well. And support replaying HloSnapshot.

PiperOrigin-RevId: 195138472

Added support for packing of symbolic shapes

PiperOrigin-RevId: 195137239

docs: Link to the appropriately branched version of the live colab notebooks.

And update that link on release changes.

PiperOrigin-RevId: 195133689

Turn on two half precision tests for GPU.

PiperOrigin-RevId: 195128326

Replaced calls to tensorflow::StringPiece::ToString with std::string conversions.
That is, instances of sp.ToString() are replaced with std::string(sp).

This will allow tensorflow::StringPiece::ToString to be removed, which is necessary before it can be replaced with absl::string_view.

PiperOrigin-RevId: 195126422

Internal-only change.

PiperOrigin-RevId: 195125476

[XLA:GPU] Unroll unfused elementwise op kernels.

So far we only unrolled loop fusions, elementwise ops is a logical extension.
We don't spend a lot of time in unfused elementwise ops in benchmarks, so this
is only worth a small speedup on V100.

PiperOrigin-RevId: 195121530

Automated g4 rollback of changelist 194981511

PiperOrigin-RevId: 195120627

Renames _regression_head_with_mean_squared_error_loss to _regression_head.

PiperOrigin-RevId: 195117425

Initialize all members of CollectiveParams at construction time to avoid
warnings of uninit memory access by dynamic analysis tools.

PiperOrigin-RevId: 195117321

Fix some nits in cpu_literal_caching_test that I noticed after submission

PiperOrigin-RevId: 195114829

Internal-only change.

PiperOrigin-RevId: 195113702

Optimized the analysis of rank and size operations.

PiperOrigin-RevId: 195108832

Instantiate SwapDimension1And2InTensor3 for Eigen::half

PiperOrigin-RevId: 195107839

Add Name String to GraphOptimizationPass and Log Registered Passes

Added a name string to GraphOptimization class and set to the class name through REGISTER_OPTIMIZATION macro.
Modified RunGrouping function to log the name and phase of optimization pass that's running.
Added two additional functions to log all registered optimization passes in the order of execution.

PiperOrigin-RevId: 195106355

Automated g4 rollback of changelist 195091587

PiperOrigin-RevId: 195098224

Use experimental auto_sharding in multi worker dataset.

PiperOrigin-RevId: 195092992

ArraysExtraInfo: Add name_regexp field and regexp name matching.
PiperOrigin-RevId: 195091587

BUGFIX: Convert inputs and list of gradients into tuple if they are not instance of tuple. Otherwise this causes "unhashable keys" error when we try to hash.
Also fixed lint error.

PiperOrigin-RevId: 195061425

Add missing colocated element in test in buffer_assignment_test.
This was resulting in a flaky test because sometimes the live set would include this missing colocated element perhaps because the buffers in the allocation has some nondeterministic order (read from a map?).

PiperOrigin-RevId: 195039311

Minor refactor: establish some operator naming conventions and apply them, so that the interface is a bit more consistent.

PiperOrigin-RevId: 195034691

Make the CRF work when sequence_lengths are int32.

PiperOrigin-RevId: 195034218

[XLA:CPU] Re-use the same llvm::GlobalVariable for identical literals

This isn't necessary today, but it will be after an optimization change I'm
about to make.

LLVM has a constant merging pass too, but one of the motivations here is to
avoid the LLVM compile time overhead of having many large arrays in the IR.

PiperOrigin-RevId: 195032900

Internal change

PiperOrigin-RevId: 195028221

Internal change.

PiperOrigin-RevId: 195027918

Re-apply CL 194140820, which reverts #18251 (convolution change).

PiperOrigin-RevId: 195027049

test fix

PiperOrigin-RevId: 195023740

Sharding for tensorflow/contrib/timeseries/python/timeseries/state_space_models:structural_ensemble_test

PiperOrigin-RevId: 195019968

Fix wrongly ordered lines

PiperOrigin-RevId: 195019769

Avoid making a copy of the graph needlessly

PiperOrigin-RevId: 195017837

Adds logistic_regression_head.

PiperOrigin-RevId: 195017830

Check for overflow in shape calculation.

PiperOrigin-RevId: 195017114

Allow `warm_start_from` argument to be a SavedModel path.

PiperOrigin-RevId: 195015356

[TF:XLA] Separate on-host and on-device shape and layout in HloModule.

Previously, only one layout was stored with an HLO module. This CL allows
HLO passes to modify the on-device layouts without affecting the on-host
layout (provided by the client)

PiperOrigin-RevId: 195014875

Implementation of the fully-connected TFLite Op using the symmetric quantization.

PiperOrigin-RevId: 195010312

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 195010310

Fixed some outdated comments

PiperOrigin-RevId: 195006088

Minor JNI performance improvement.

PiperOrigin-RevId: 195002949

Making ids unique in nn.embedding_lookup_sparse. This helps to reduce RPC calls for looking up the embeddings when there are repeated ids in the batch.

PiperOrigin-RevId: 195002785

Fix bug in peak buffer accounting in buffer assignment.
Buffer assignment keeps track of the set of logical buffers which are live at
the point of peak memory usage for each allocation. Previously colocated
buffers were not properly accounted for. This CL addresses this problem.

PiperOrigin-RevId: 195001567

Merge changes from github.

PiperOrigin-RevId: 194997009

Make tower-local variables non-trainable even with the default
DistributionStrategy.

PiperOrigin-RevId: 194996819

Enable checkpointless eval and predict for tf.estimator.

PiperOrigin-RevId: 194993191

Update community/swift

PiperOrigin-RevId: 194991305

Update schema.

PiperOrigin-RevId: 194989704

Relax the stringent memory allocator constraints in AssignOp if a Grappler graph analysis determines it to be safe. This will allow Assign to reuse the input buffer to initialize the variable in many cases.

PiperOrigin-RevId: 194988134

Collective Ops Part 5

Distributed-mode implementations of DeviceResolverInterface
and ParamResolverInterface.  Extend Worker interface with
new methods in support of these interfaces.

This change is part of a series of changes introducing infrastructure
for collective ops and initial implementations of reduction and broadcast.

PiperOrigin-RevId: 194984585

Open source infeed test

PiperOrigin-RevId: 194983270

Add utility to auto shard a dataset pipeline in the appropriate place by locating the file readers and sharding their input files.

PiperOrigin-RevId: 194982311

Add a pointer from Device to its owning DeviceMgr.
Allow remote function execution on TPU devices.

PiperOrigin-RevId: 194981511

Implements matrix multiply-accumulate for linear no-offset (aka symmetric) quantizer.

PiperOrigin-RevId: 194978865

Add device_util.resolve method which merges with current device as well.

PiperOrigin-RevId: 194976633

Simplified shape inference.

PiperOrigin-RevId: 194975603

Improve shape inference for tf.contrib.signal.frame.

PiperOrigin-RevId: 194972934

Boosted trees: support indicator column.

PiperOrigin-RevId: 194971229

eager: Update sample notebooks with API changes in the last few releases.

Most notably:
- Avoid using tf.contrib.eager since equivalent functionality if available outside tf.contrib
- Datasets can be directly iterated on.
- Use tf.GradientTape instead of tf.contrib.eager.implicit_gradients

PiperOrigin-RevId: 194971115

Automated g4 rollback of changelist 194917415

PiperOrigin-RevId: 194962702

Fix crash in HloGraphDumper where it crashes on tuple shaped constants

The problem is that it tries to use a special logic for 0 element constants
but the logic used to check the number of elements only supports array shapes.

PiperOrigin-RevId: 194945246

Preventing RemoveTrivialBinary from removing broadcasts.

PiperOrigin-RevId: 194937001

Protocol buffer classes now list their fields in dir(cls)

PiperOrigin-RevId: 194917415

[XLA:CPU] Open source some tests.

PiperOrigin-RevId: 194903752

Update ops-related pbtxt files.

PiperOrigin-RevId: 194883351

Move LinearOperatorKronecker and LinearOperatorBlockDiag to core.

PiperOrigin-RevId: 194881237

[XLA] Redesign: dump HloSnapshot at the point where it used to dump the SessionModule.

PiperOrigin-RevId: 194880385

Internal change.

PiperOrigin-RevId: 194877173

Remove proto header import from core/framework/tracking_allocator.h

The goal is to make kernels mostly independent of proto headers, which will let us lock down our .so import.

PiperOrigin-RevId: 194876569

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 194874988

[XLA] Redesign: migrate tensorflow/compiler/tf2xla, tensorflow/compiler/aot:
- xla::ComputationBuilder -> xla::XlaBuilder
- xla::ComputationDataHandle -> xla::XlaOp
- xla::Computation -> xla::XlaComputation
- xla::CompileOnlyClient::AotComputationInstance -> xla::CompileOnlyClient::AotXlaComputationInstance
- xla::SessionModule -> xla::HloSnapshot

PiperOrigin-RevId: 194874462

[tf.data] Adding an experimental `group_by_reducer` transformation which groups elements of an input pipeline by a key, applies a reduce function to elements of each group "on-the-fly", and outputs the results once all input elements have been processed.

PiperOrigin-RevId: 194874087

Internal cleanup.

PiperOrigin-RevId: 194871141

Faster reduce_logsoftmax (specially in eager) and bugfixes in broadcast_to

PiperOrigin-RevId: 194870645

Small fix to prevent a crash if the delegate has not implemented FreeBufferHandle.

PiperOrigin-RevId: 194866595

Add MultiNodeDataset and MultiNodeIterator which are intended to work for multi-node distribution strategy.

PiperOrigin-RevId: 194862215

[XLA] Change the TF2XLA bridge to perform F16 reduction using F32 data type.

Add test cases to test that reduce sum for bfloat16 and float16 doesn't lose too
much precision.

PiperOrigin-RevId: 194862078

Improve error message for pip_smoke_test.

PiperOrigin-RevId: 194859591

Do not allocate memory for literal as it will be allocated later.

PiperOrigin-RevId: 194857422

Enhancements to GRAPHVIZ_DOT output:
    -edge weights added to encourage straighter main data-flow
    -line thickness proportional to log(data_size)
    -set global parameter "nslimit" to prevent excessive layout time for difficult graphs

PiperOrigin-RevId: 194854051

Implement unary chain hoisting optimization for Concat, Split, and SplitV.

For Concat, hoist prefix chains of unary ops before concatenation, e.g.
  // Rewrites
  //       Concat({Cos(Exp(a)), Cos(Exp(b)), Cos(Exp(c))})
  // into
  //       Cos(Exp(Concat({a, b, c}))).

For Split/SplitV hoist unary postfix chains before the split, e.g.
  // Rewrites
  //          [Cos(Exp(y)) for y in Split(x)]
  // into
  //          [y for y in Split(Cos(Exp(x)))].

The new optimization is off by default.

PiperOrigin-RevId: 194850318

Add XLA logo to its documentation page

PiperOrigin-RevId: 194847599

Do not cast int64 to int32 in keras embedding lookups.

Often when working on the GPU with tf int64s are more efficient as int32s will
be copied back and forth to the host quite a bit.

PiperOrigin-RevId: 194846629

[TF:XLA] Fix some unexpected memory leak in hlo_graph_dumper_test.

PiperOrigin-RevId: 194845792

Removing an obsolete TODO

PiperOrigin-RevId: 194845376

Push down const inputs into the function of specialized functions.

PiperOrigin-RevId: 194843380

[tf.data] Adding support for `tf.SparseTensor` into `tf.contrib.data.scan()`

PiperOrigin-RevId: 194842266

Extend SDCAOptimizer functionality to prune negative indices (the default value for OOV with tf.feature_column.FeatureColumn, sparse / categorical).

PiperOrigin-RevId: 194839178

Fix a bug in profiler.

PiperOrigin-RevId: 194838948

Cleanup handling of non-Tensor valued event_ndims in Bijector.

PiperOrigin-RevId: 194836408

Fix device assignment in xla/service/service.cc to build the assignment based on
the provided device handles rather than using the default assignment.

PiperOrigin-RevId: 194829761

Fix typos in tf.GradientTape documentation.

PiperOrigin-RevId: 194829506

When a mirrored variable is fetched in cross-tower mode, fetch its primary variable.

This prevents errors like
ValueError: Fetch argument MirroredVariable({'/job:localhost/replica:0/task:0/device:GPU:0': <tf.Variable 'global_step:0' shape=() dtype=int64>, '/job:localhost/replica:0/task:0/device:GPU:1': <tf.Variable 'global_step/replica_1:0' shape=() dtype=int64>}) cannot be interpreted as a Tensor. (Device /job:localhost/replica:0/task:0/device:CPU:0 not found in ['/job:localhost/replica:0/task:0/device:GPU:0', '/job:localhost/replica:0/task:0/device:GPU:1'] (current device ))

I ran distribute/examples/resnet with and without the change and it fixed the problem.

PiperOrigin-RevId: 194828672

[TF:XLA] Bump open source llvm revision to r331173

PiperOrigin-RevId: 194827639

Use the default rewriter config instead of a custom one

PiperOrigin-RevId: 194824761

Fix bugs in AssignOp:
 1. Releasing the unique_ptr would "leak" a TensorBuffer refcount.
 2. The output shape is defined by rhs, not lhs.

PiperOrigin-RevId: 194822802

-Miscellaneous code clean-up

PiperOrigin-RevId: 194821201

Add --keep_going flag to bazel query in pip_smoke_test to bypass bazel query cannot handle select statement.

PiperOrigin-RevId: 194816816