Merge pull request #19072 from caisq/branch_195301913

Branch 195301913

Fix minor typos (#19070)

Merge commit for internal changes

tfdbg + tflearn: replace deprecated classes and methods in example & docs

* `tf.contrib.learn.Experiment` is deprecated. Remove it from debug_tflearn_iris.py.
* Use `tf.estimator.DNNClassifier`, instead of the older one from `tf.contrib.learn`.
* Use `train()`, instead of `fit()` of Estimators.
* `Estimator.predict()` supports hooks. Add example lines for that.

PiperOrigin-RevId: 195301913

Checkpointable: Utilities to read object metadata

Useful for inspecting checkpoints programatically (e.g. in unit tests).

PiperOrigin-RevId: 195300780

Fix bugs in model pruner.

PiperOrigin-RevId: 195298816

Simplified the implementation of shape_n since the optimized code path isn't needed anymore and can be incorrect in some rare cases.

PiperOrigin-RevId: 195298813

Change all std::bind usages in GCS to lambdas. Fix the wrong #define Guard name in retrying_file_system.h.

PiperOrigin-RevId: 195297877

Enable unary chain hoisting optimization for concat/split/splitv by default.

PiperOrigin-RevId: 195297330

[TF:XLA] Bump open source llvm revision to r331442

PiperOrigin-RevId: 195297133

Small fix for an eager colab notebook.

PiperOrigin-RevId: 195296384

Simplify file reading and support SavedModel.

PiperOrigin-RevId: 195291836

Do not delegate temporary tensors to NNAPI.
  - also added delegation for MUL, and set the default scale to be 0.0f.

PiperOrigin-RevId: 195288948

[XLA] Redesign: add ExecuteGraph to grpc service.

PiperOrigin-RevId: 195281004

Update learning.py (#19064)

Fixed Typos (#18806)

* fixed typos

Post-transform pass to dedupe large constant arrays.

PiperOrigin-RevId: 195260578

Grammar fixes on architecture.md (#19035)

Merge pull request #19040 from tensorflow/merge_branch

Merge r1.8 back to master after 1.8.0 release.

correct code snippets to python3 style (#19052)

Use tensorflow size to determine number of elements instead of the static shape, which can sometimes be missing.

PiperOrigin-RevId: 195209826

Enabling support for S3 and Google Storage for the MKL Docker image. (#19039)

Simplify getter and setter method for GraphOptimizationPass::name_

PiperOrigin-RevId: 195199912

Expose Interpreter to tensorflow.contrib.lite

PiperOrigin-RevId: 195198645

Fix typos (#18475)

Fix tf.variable_scope unique name after entering root scope
Closes #18702.

PiperOrigin-RevId: 195192460

Update ops-related pbtxt files.

PiperOrigin-RevId: 195190335

Replaced calls to tensorflow::StringPiece::ToString with std::string conversions.
That is, instances of sp.ToString() are replaced with std::string(sp).

This will allow tensorflow::StringPiece::ToString to be removed, which is necessary before it can be replaced with absl::string_view.

PiperOrigin-RevId: 195188185

Compute shape of segment_ids dynamically in _unsorted_segment_N

PiperOrigin-RevId: 195186950

Remove duplicated emplace_back floor operator.

PiperOrigin-RevId: 195185567

Automated g4 rollback of changelist 195091587

PiperOrigin-RevId: 195184798

Add complex128 support to FFT, FFT2D, FFT3D, IFFT, IFFT2D, and IFFT3D.

NumPy automatically upcasts to complex128 when computing FFTs, leading to issues like:
#10749

This change allows users to choose between 32-bit and 64-bit precision FFTs on CPU and GPU.

PiperOrigin-RevId: 195183206

Add go_package to proto definition files (#17262)

* Add go_package to proto definition files

This fix tries to address the issue raised in 16282 by
add go_package to proto files, so that generated go files
have correct path.

This fix fixes 16282.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add go_package to proto definition in tensorflow/core/framework

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add go_package to proto definition in tensorflow/core/example

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add go_package to proto definition in tensorflow/core/example

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Add a collect_trace option to run_op_benchmark for cases when callers just want
to pass RunOptions.FULL_TRACE but don't want to store trace in extras.

PiperOrigin-RevId: 195181533

BufferValue is a new base class for LogicalBuffer and HloValue. This makes it
easier to migrate from TuplePointsToAnalysis/LogicalBuffer to
HloDataflowAnalysis/HloValue. No functional changes.

PiperOrigin-RevId: 195179676

Handle negative values when slicing symbolic shapes

PiperOrigin-RevId: 195176133

Allow `Layer.add_loss` to receive non-tensor; fixes error triggered when using a weight regularizer of factor 0.

PiperOrigin-RevId: 195175909

Enable reshape of _ScopedAllocatorConcat output.

The _ScopedAllocatorConcat kernel outputs the backing tensor after performing
runtime bounds checks.  However, the shape of the backing tensor may not match
the desired output shape of the concat operation.

This change adds a "reshape" boolean attribute to _ScopedAllocatorConcat kernel.
When this attribute is set to true, the kernel outputs a reshaped backing tensor
according to the "shape" attribute.

PiperOrigin-RevId: 195169105

Add RNNEstimator which takes in arbitrary heads.

PiperOrigin-RevId: 195167853

Mark all nodes processed by AddOpsRewrite/MinBCast stages with a tag.

PiperOrigin-RevId: 195167597

Allow evaluation and prediction through warm-starting (no current checkpoint / model_dir).

PiperOrigin-RevId: 195165732

Adds the EvalListener support for run_local.

PiperOrigin-RevId: 195163507

Adding a version of rolled triangular solver code for the right-multiply case, which is used in Cholesky decomposition.  Replacing the unrolled version with a While loop drastically reduces XLA compilation times which allows much larger models to be run on TPU.

PiperOrigin-RevId: 195163298

Add prefetching to one device distribution strategy.

PiperOrigin-RevId: 195162570

Replaced calls to tensorflow::StringPiece::ToString with std::string conversions.
That is, instances of sp.ToString() are replaced with std::string(sp).

This will allow tensorflow::StringPiece::ToString to be removed, which is necessary before it can be replaced with absl::string_view.

PiperOrigin-RevId: 195162126

Merge pull request #18909 from samikama/optimization_pass

Optimization pass and Memory allocator integration

Merge 1.8.0 back to master.

Optimize LogicalOr and LogicalAnd with all true or false inputs:

LogicalOr(x, true) = true
LogicalOr(x, false) = x
LogicalAnd(x, true) = x
LogicalAnd(x, false) = false

and similar if the first argument is constant.

PiperOrigin-RevId: 195161140

[XLA] BF16 propagation: do not change if propagation is confined inside a fusion.

We now use a set to track all the potential changes, and do the actual changes
on the HLOs at the end. This also makes the boolean return value (whether
anything is changed) correct.

PiperOrigin-RevId: 195160025

[TF:XLA] Bump open source llvm revision to r331338

PiperOrigin-RevId: 195158710

Add steps_per_run to LoggingTensorHook and StepCounterHook and other logging bug fixes.

PiperOrigin-RevId: 195158238

Fix support for batch_normalization with mixed precision

When the type of the input tensor `x` is not the same as the type of
the parameters `mean`, `variance`, `offset`, and `scale`, a cast is
required.

This mixed precision case occurs when using the BatchNormalization
layer with a data type of float16 or bfloat16.

PiperOrigin-RevId: 195157279

Fix breaking tests

Merge pull request #19030 from annarev/copy_modules_before_iterating

Copy module list before iterating over it

Updated ABSL to latest version in workspace.bzl.

PiperOrigin-RevId: 195144612

Fix a bug in create_python_api.py

I got an error complaining about "RuntimeError: dictionary changed size during iteration", this change fixes it.

PiperOrigin-RevId: 195144333

Copy module list file in the while statement instead of creating a new variable

[XLA] Add new optimization that sinks constants into while loop bodies

Example transformation:

   state = (..., const, ...)
   while (pred(state)) {
     (..., v, ...) = state
     use(v)
     state = (..., v, ...)
   }

 =>

   state = (..., const, ...)
   while (pred(state)) {
     (..., v, ...) = state
     use(const)
     state = (..., v, ...)
   }

PiperOrigin-RevId: 195143323

Re-enabling a test.

PiperOrigin-RevId: 195142105

Fix tsan failure in batch_dataset_op_test.
The error was being caused because we were trying to save invocation_results_` while the function call was in progress. Now we wait for all invocations to finish before saving both `invocation_results_` and `batch_results_`.

Did local A/B testing for tsan.
Before: 12/100 failed
After: All passed
PiperOrigin-RevId: 195141349

Increasing test size to reflect recent additions and prevent test timeouts.

PiperOrigin-RevId: 195138565

[XLA] Redesign: Dump HloSnapshot in local service as well. And support replaying HloSnapshot.

PiperOrigin-RevId: 195138472

Merge pull request #19031 from smitshilu/patch-3

command Typo

Added support for packing of symbolic shapes

PiperOrigin-RevId: 195137239

docs: Link to the appropriately branched version of the live colab notebooks.

And update that link on release changes.

PiperOrigin-RevId: 195133689

command Typo

Turn on two half precision tests for GPU.

PiperOrigin-RevId: 195128326

Replaced calls to tensorflow::StringPiece::ToString with std::string conversions.
That is, instances of sp.ToString() are replaced with std::string(sp).

This will allow tensorflow::StringPiece::ToString to be removed, which is necessary before it can be replaced with absl::string_view.

PiperOrigin-RevId: 195126422

Internal-only change.

PiperOrigin-RevId: 195125476

Copy module list before iterating over it. Also, import python module for clarity

Fix formatting and linter issues

[XLA:GPU] Unroll unfused elementwise op kernels.

So far we only unrolled loop fusions, elementwise ops is a logical extension.
We don't spend a lot of time in unfused elementwise ops in benchmarks, so this
is only worth a small speedup on V100.

PiperOrigin-RevId: 195121530

Automated g4 rollback of changelist 194981511

PiperOrigin-RevId: 195120627

Renames _regression_head_with_mean_squared_error_loss to _regression_head.

PiperOrigin-RevId: 195117425

Initialize all members of CollectiveParams at construction time to avoid
warnings of uninit memory access by dynamic analysis tools.

PiperOrigin-RevId: 195117321

Fix some nits in cpu_literal_caching_test that I noticed after submission

PiperOrigin-RevId: 195114829

Internal-only change.

PiperOrigin-RevId: 195113702

Fix Makefile to not use benchmark anymore (switch to minimal) (#19019)

Minimal uses nothing and does almost nothing, but it does nothing
requiring protos or rest of tensorflow runtime.

Benchmark_model originally was more like this, but it became
useful for actually benchmarking, making it less useful as a minimal
example.

Merge pull request #19025 from caisq/branch_195061425

Branch 195061425

Optimized the analysis of rank and size operations.

PiperOrigin-RevId: 195108832

Instantiate SwapDimension1And2InTensor3 for Eigen::half

PiperOrigin-RevId: 195107839

Add Name String to GraphOptimizationPass and Log Registered Passes

Added a name string to GraphOptimization class and set to the class name through REGISTER_OPTIMIZATION macro.
Modified RunGrouping function to log the name and phase of optimization pass that's running.
Added two additional functions to log all registered optimization passes in the order of execution.

PiperOrigin-RevId: 195106355

Automated g4 rollback of changelist 195091587

PiperOrigin-RevId: 195098224

Merge pull request #18989 from ctiijima/fix-benchmarks.md

Grammar fixes in BENCHMARKS.md

Merge branch 'master' of https://github.com/tensorflow/tensorflow into optimization_pass

Use experimental auto_sharding in multi worker dataset.

PiperOrigin-RevId: 195092992

ArraysExtraInfo: Add name_regexp field and regexp name matching.
PiperOrigin-RevId: 195091587

Allow tfdbg mouse down scroll in curses UI (#18942)

* Allow tfdbg mouse down scroll in curses UI

This commit allows users to continuously scroll the screen when the mouse
is held down on the scroll bar when using the curses UI.

* Only allow click-hold scrolling on scroll bar arrows

Reverting changes from 495d511 that break install_pip_packages.sh in Ubuntu 16.04 containers, causing nightly mkl ci builds to fail. (#18888)

Fix string issue for temp_export_dir (#18951)

* Fix string issue for temp_export_dir

Merge commit for internal changes

BUGFIX: Convert inputs and list of gradients into tuple if they are not instance of tuple. Otherwise this causes "unhashable keys" error when we try to hash.
Also fixed lint error.

PiperOrigin-RevId: 195061425

Add missing colocated element in test in buffer_assignment_test.
This was resulting in a flaky test because sometimes the live set would include this missing colocated element perhaps because the buffers in the allocation has some nondeterministic order (read from a map?).

PiperOrigin-RevId: 195039311

Minor refactor: establish some operator naming conventions and apply them, so that the interface is a bit more consistent.

PiperOrigin-RevId: 195034691

Make the CRF work when sequence_lengths are int32.

PiperOrigin-RevId: 195034218

[XLA:CPU] Re-use the same llvm::GlobalVariable for identical literals

This isn't necessary today, but it will be after an optimization change I'm
about to make.

LLVM has a constant merging pass too, but one of the motivations here is to
avoid the LLVM compile time overhead of having many large arrays in the IR.

PiperOrigin-RevId: 195032900

Internal change

PiperOrigin-RevId: 195028221

Internal change.

PiperOrigin-RevId: 195027918

Re-apply CL 194140820, which reverts #18251 (convolution change).

PiperOrigin-RevId: 195027049

test fix

PiperOrigin-RevId: 195023740