[XLA:CPU] Fix the parallel task assignment to not parallelize dot operations.

The IR emitter currently generates incorrect code for parallelized dot
operations.

Add test cases to check for dot operation parallelization.

PiperOrigin-RevId: 189216963

Broadcast Sub and Div from #17123 except for quantization.

PiperOrigin-RevId: 189216312

Refactor and enable loop optimizer tests.

PiperOrigin-RevId: 189215781

Internal change.

PiperOrigin-RevId: 189213372

Really delete old checkpoints this time.

Follows up on cl/188187349, which fixed checkpoint management for tf.train.Saver
when executing eagerly. Except I was recreating the tf.train.Saver objects each
save, so tfe.Checkpoint and friends did not benefit from that change.

Keeps the same tf.train.Saver around when executing eagerly. This limits object
graph mutations just like when graph building; if there are complaints I can
assign to Saver._var_list instead, since eager tf.train.Saver is not specialized
to its var_list argument.

PiperOrigin-RevId: 189211552

[XLA] Add --xla_hlo_profile_last_run flag to replay_computation.

When using replay_computation for profiling, you usually only want to
do one or two warmup runs and then profile the last run of your model.
This flag makes that possible.

PiperOrigin-RevId: 189208924

TFE: Modify initialization of `ContextStack` to ensure eager context is kept.

When eager execution is enabled in the main thread, the fact that it was
enabled is propagated to subsequently created threads. This
change ...

(1) ensures that the fact that eager was enabled is also propagated to the `ContextStack`, which is renamed to `_ContextSwitchStack`, for clarity;
(2) adds a `_ContextSwitchStack` object to `Context` as a member, removing the global `context_stack`.

PiperOrigin-RevId: 189206207

  add grpc service stub for TPUProfilerAnalysis

PiperOrigin-RevId: 189198495

Enable constant folding optimizations in loop bodies by copying constants across Enter nodes.

PiperOrigin-RevId: 189197514

Expose setNumThreads in the Java API.

PiperOrigin-RevId: 189193847

Disable Add/AddN rewrite (temp).

PiperOrigin-RevId: 189189997

Removed the pointer to model from interpreter.

PiperOrigin-RevId: 189186901

Add ability to use feature_columns in KMeans Estimator.

PiperOrigin-RevId: 189179304

[SE] [XLA:GPU] Inform --xla_hlo_profile of the GPU's memory bandwidth.

Add a memory_bandwidth() property to StreamExecutor's DeviceDescription,
and use this in the GPU's --xla_hlo_profile.

PiperOrigin-RevId: 189157407

Enable Add/AddN tree rewrite for symbolically equal shapes.

1) Rewrite a tree of Add/AddN ops with a single AddN,
   if all shapes are symbolically equal
2) Lookup shape properties using GraphProperties instead
   of direct access to Node attributes

PiperOrigin-RevId: 189131726

Internal change.

PiperOrigin-RevId: 189131526

Make hash.h a public header.

PiperOrigin-RevId: 189130768

Add int64 to randomized tests.

PiperOrigin-RevId: 189129641

Checkpointable: Add logic for late-naming of SaveableObjects

Previously SaveableObjects returned by _gather_saveables_for_checkpoint ran into a sanity check for naming, and would otherwise have been saved under the wrong key. This change has _gather_saveables_for_checkpoint returning factories for SaveableObjects instead, which are either passed the object-based saving key or are called with no arguments when using the global name.

Variables didn't run into this, since the Saver was generating their names.

PiperOrigin-RevId: 189124512

[XLA] Add a test for F32 -> U32 conversion

PiperOrigin-RevId: 189124355

[tf.data] Fix Python shape inference for `tf.contrib.data.map_and_batch()`.

Previously, it would incorrectly report that all batches have the same size, not accounting for the possibility of the last batch being partial.

Fixes #17720.

PiperOrigin-RevId: 189121488

Turn on strip_default_attrs in custom export strategy. Validated that the change WAI on a local pipeline.

PiperOrigin-RevId: 189118106

Automated g4 rollback of changelist 189060958

PiperOrigin-RevId: 189110935

Check for the value of the _XlaCompile boolean since xla often creates it with
the default value of false.

PiperOrigin-RevId: 189110514

Automated g4 rollback of changelist 189089672

PiperOrigin-RevId: 189104013

Enable async eager mode in python. Add some benchmarks.

PiperOrigin-RevId: 189101670

Automated g4 rollback of changelist 188525171

PiperOrigin-RevId: 189100846

Automated g4 rollback of changelist 189071037

PiperOrigin-RevId: 189097692

Re-phrase some tests in replicate_model_fn using parameterized tests.

PiperOrigin-RevId: 189096779

Remove underscore prefix from ref_identity op.

PiperOrigin-RevId: 189096108

Ensure zeros constant created is dominated by Switch node of cond context.

All values entering control flow context either has to be via a switch or dominated by one.

PiperOrigin-RevId: 189092017

Adding non-linear image warping ops to tf.contrib.image

New ops are:
tf.contrib.image.sparse_image_warp, tf.contrib.image.dense_image_warp, and tf.contrib.image.interpolate_spline.

PiperOrigin-RevId: 189089672

Rename KMeans _parse_tensor_or_dict to _parse_features_if_necessary and add a unit test.

PiperOrigin-RevId: 189087384

Removing underscore prefix from _enter and _ref_enter.

PiperOrigin-RevId: 189082871

Remove nsync header files from tensorflow/core/platform/default/mutex.h

The implementation of tensorflow/core/platform/default/mutex.h uses the nsync
library, so mutex.h has included nsync header files.

This has been awkward, because each TensorFlow build (bazel, cmake, make, plus
the instructions for compiling individual custom ops, on all the various
platforms) has needed to handle the include paths correctly, reaching into a
package that is downloaded separately from TensorFlow itself.

This change avoids that awkwardness, instead taking on two different
irritations:
- mutex.h now defines two structs that are large enough and aligned enough to
  contain an nsync_mu and an nsync_cv.  This is an abstraction violation,
  because TensorFlow's source should not need to know how big these data
  structures are.  However, this is unlikely to cause problems because:
  1) this is checked by a static assertion in mutex.cc, so we will notice
     immediately should a change be needed, and
  2) this will likely never fail because we have no intent of allowing nsync's
     data strcutures to get bigger.

- The methods of mutex and condition_variable can no longer be inlined, because
  that too would require mutex.h to include the nsync header files.  (Or we'd
  need to declare the nsync functions directly in mutex.h, which would be
  another abstraction violation.)   However, this is a small imposition
  because the overhead of a procedure call is typically small.

The assumption behind this CL is that these irritations are less important than
the ongoing frustration of maintaining the complex include path in multiple build
systems.

PiperOrigin-RevId: 189079523

Set shard count to 4 for tensorflow/contrib/linalg:linear_operator_block_diag_test to avoid timeouts

This was getting flaky timeouts because it was taking over 300s about 25% of the time.
This change increases the shard count to 4 to reduce the total elapsed time.
With 4 shards, the maximum time per shard is about 180s.

PiperOrigin-RevId: 189079453

Removing underscore prefix from _scalar_summary and _histogram_summary.

PiperOrigin-RevId: 189073787

Fix tensorflow/python/eager:benchmarks_test.

PiperOrigin-RevId: 189073615

Check for very large chunk sizes in WAV decoding
Change how chunk sizes larger than 2GB are handled, since they're stored as
unsigned int32s, so there are lots of ways for conversions to confuse the
decoding logic. The new behavior is to fail with an error, since such
large WAV files are not common, and are unsupported by many readers.

PiperOrigin-RevId: 189071037

[TF:XLA] Bump open source llvm revision to r327491

PiperOrigin-RevId: 189069844

Add test in select and scatter to test tie breaking logic.

- Add test in select and scatter to test we break ties by lexicographical order.
- Fix reference util to break ties by lexicographical order.
- Fix evaluator to break ties by lexicographical order.
RELNOTES: select and scatter in reference util and evaluator now uses lexicographical order to break ties.
PiperOrigin-RevId: 189067946

Java: Released 1.7.0-rc0

PiperOrigin-RevId: 189067733

[XLA] Add XlaBuilder. This is the first step of implementing the client-service interface redesign. Implemented ops: Add, Call, Constant, Parameter.

PiperOrigin-RevId: 189061445

Move StringPieceHasher from stringpiece.h to hash.h (where there is already a hash<StringPiece>).

PiperOrigin-RevId: 189060958

Small portability fixes to build scripts.

PiperOrigin-RevId: 189060812

Include test_ops_kernels in main TF build rule.

We already include the test_ops Python library. Without the
corresponding C++ library, these ops can't be created with the C API
enabled.

PiperOrigin-RevId: 189058853

Implement partial constant folding for Concat.

PiperOrigin-RevId: 189055561

Add ScopedAllocator and ScopedAllocatorMgr.

A ScopedAllocator is a new memory allocator which manages slices of a large
tensor.  ScopedAllocatorMgr manages all scoped allocators per device.  The
ScopedAllocatorMgr comprises of multiple ScopedAllocatorContainers, one per
step id.  If a step terminates abnormally, the corresponding
ScopedAllocatorContainer will clean up all allocated memory in that step.

PiperOrigin-RevId: 189051914

Extend reduce_ops test to integers.

PiperOrigin-RevId: 189049525

Add interface in HloModuleGroupMetadata to return all channels

PiperOrigin-RevId: 189044541

Check for the value of the _XlaCompile boolean since xla often creates it with
the default value of false.

PiperOrigin-RevId: 189041421

Removed stray/dead code that snuck in there in an earlier change.

PiperOrigin-RevId: 189034502

Support for the Is and IsNot comparator nodes

PiperOrigin-RevId: 189022386

Test use of tensor_list inside loops, as well as changing the contained type of a tensor_list inside of a loop.

PiperOrigin-RevId: 189021593

Fix std::accumulate init value in xla::Product

The return type for std::accumulate is determined by the type of the
init value what was incorrect resulting in wrong result for large
numbers.

PiperOrigin-RevId: 189019412

[TF:XLA] Add compiler fuel to mark_for_compilation_pass.

This is a useful debugging tool.

PiperOrigin-RevId: 189007771

[XLA] Supports fusion ops in HloEvaluator.

PiperOrigin-RevId: 188985924

Avoid live lock in a loop.

PiperOrigin-RevId: 188973527

Add LinearOperatorBlockDiagonal, which supports matrix-free block diagonal structure.

Also update linear_operator_util_test to support passing in multiple shapes.

PiperOrigin-RevId: 188972221

[tf.data] Support tf.SparseTensor components in tf.contrib.data.get_single_element().

PiperOrigin-RevId: 188970548

Add a GatherExpander pass that can rewrite Gather ops back into HLO soup

With this pass we now have a minimal viable implementation of gather on all
platforms.  The code is a bit gnarly but conceptually this is very similar to
what we do in the tf2xla bridge today.

PiperOrigin-RevId: 188968478

  Adds R2 ReduceWindow test and generalizes the R2 test suite, particularly to
  allow arbitary padding.

PiperOrigin-RevId: 188966155

Add ops to API that have tf_export decorators but haven't been added to API.

PiperOrigin-RevId: 188965158

Remove underscore prefix from _concat.

PiperOrigin-RevId: 188964168

[XLA] Handle scalar predicate in Select correctly in HloEvaluator.

Previously the HloEvaluator would always assume the predicate is an array of
boolean type, and does not handle cases where on_true and on_false are of Tuple
types. This change fixes both and in turn removes the last blocker in full
tuple support in the evaluator.

Also enables xla/tests:tuple_test and xla/tests:deconstruct_tuple_test for the interpreter.

PiperOrigin-RevId: 188962022

Automated g4 rollback of changelist 188937484

PiperOrigin-RevId: 188957662

Transpose test updated so that unsupported transpose is not optimized away.

PiperOrigin-RevId: 188956982

Change the way we get argument list for get_local_variable. Current documentation for get_local_variable displays arguments as *args and **kwargs: https://tensorflow.org/versions/r1.3/api_docs/python/tf/get_local_variable .
Current decorator also doesn't play well with @tf_export decorator.
So I am switching to approach that adds __wrapped__ variable to get_local_variable so that we can get argument list from __wrapped__ function.

PiperOrigin-RevId: 188956520

tfdbg: split session_debug_grpc_test

* so that the test sizes are medium for both the existing session_debug_grpc_test
  and the new grpc_large_data_test

Also in this CL
* Consolidate the functions for creating no-grappler-rewrite ConfigProtos
  in one place: in session_debug_testlib.py

PiperOrigin-RevId: 188955135

Added tf.contrib.data.make_csv_dataset as a convenience method to create a
dataset from csv files.

PiperOrigin-RevId: 188954555

Introduce _USE_C_SHAPES toggle along with _USE_C_API toggle.

This is a second level of staging before fully enabling the C
API. With _USE_C_API enabled but _USE_C_SHAPES disabled, the C API is
used for everything but retrieving the shape of Tensors (i.e. we
continue using the existing Python shape inference to implement
Tensor.shape).

This is useful because many tests fail with the C API fully
enabled. This will allow us to enable everything but the full shape
inference, fix the remaining broken tests, and then enable the full
shape shape inference.

This change also introduces the test_util.enable_c_shapes test method
decorator. This can be used to enable C shapes for a specific test
method. This is useful for tests that have already been modified to
work with full C shape inference.

PiperOrigin-RevId: 188949619

Currently, multi-image summaries have their image indices removed and so they show up as a single summary (you have to use the timeline bar to cycle between the several images for the same step). This CL separates them to give the normal/expected behavior for image summaries where max_outputs > 1 (multiple images displayed simultaneously).

PiperOrigin-RevId: 188947797

[XLA]: Enhancement to the while loop simplifier HLO pass.

If a while-loop tuple element is initialized as a scalar constant and isn't
changed by the while-body, replace the use of the tuple element in
while-condition and while-body with the constant value. This enables the
simplification of while-loops that have 0/1 iteration and loop bound passed in
through the while-loop tuple.

Add test cases for while-loops with 0/1 iteration and loop bound passed in
through the while-loop tuple.

PiperOrigin-RevId: 188945375

Add test for API generated with tf_export calls to api_compatibility_test.py.
Also, fix remaining differences between this new API and the current TensorFlow
API.

PiperOrigin-RevId: 188943768

Merged commit includes the following changes:
188942386  by mikecase:

    Internal Change.

--
188941669  by A. Unique TensorFlower:

    Change TensorFlow Lite Java Interpreter to use Checker Framework @NonNull annotation

--
188937484  by zhixianyan:

    Convert saved_model to tflite flatbuffer.

--

PiperOrigin-RevId: 188942386

Resubmit changes which were accidentally rolled back.

PiperOrigin-RevId: 188934018

Fix a couple of null-ptr dereferences

PiperOrigin-RevId: 188929375

Internal Google Cleanup

PiperOrigin-RevId: 188921801

Break the dependency between platform/types.h and bfloat16.h, and between
hash.h and bfloat16.h. This change introduces a generic mechanism for adapting
types that are meant to be used in tensorflow's error objects.

PiperOrigin-RevId: 188920678

Move session info into op info.

PiperOrigin-RevId: 188912426

Removing hidden_ops.txt file.

PiperOrigin-RevId: 188911958

Enable int8 tf.pad on GPU.

PiperOrigin-RevId: 188911859

[TF:XLA] Bump open source llvm revision to r327373

PiperOrigin-RevId: 188908427

Internal cleanup.

PiperOrigin-RevId: 188905507

Proper name scoping in contrib summaries.

PiperOrigin-RevId: 188905080

Change back TFE_Execute logic to set '*num_retvals' on return.

PiperOrigin-RevId: 188903892

Add TransformShardedTileShape helper method to HloSharding

It transforms an existing sharding to be compatible with a new shape
with an optional transform method to adjust the tile size for the
sharded dimensions.

PiperOrigin-RevId: 188903257

Automated g4 rollback of changelist 188353354

PiperOrigin-RevId: 188902517

Replace the unknown dimension of signature input when building grappler items.
Fix the bug where same feed nodes or fetch nodes would be added more than once.

PiperOrigin-RevId: 188902101

Enable arithmetic optimizations for Fill nodes that are all zeros or ones.

PiperOrigin-RevId: 188893722

Add TFLite Interpreter bindings.

PiperOrigin-RevId: 188890943

Performing the finalization of the LayerCollection outside of FisherEstimator's constructor.  This allows layers and losses to be registered after the FisherEstimator (or KFACOptimizer) has been constructed.

PiperOrigin-RevId: 188889252

include the graph.pb->tensorboard script in pip package

This will allow you to run it with:

`python -m tensorflow.python.tools.import_pb_to_tensorboard ...`

Without any additional downloads or setup.

see #8854

PiperOrigin-RevId: 188888501

Internal change

PiperOrigin-RevId: 188880419

[TFLite] Don't always treat inputs and outputs as encoded floats.

PiperOrigin-RevId: 188880237

Introduce output fusion for (A dot B) * alpha

We allow now to fuse (A dot B) times a constant, which is available in cublas.

PiperOrigin-RevId: 188878210

PiperOrigin-RevId: 188860028

tfdbg: add reference to the TensorBoard Debugger Plugin in README.md
PiperOrigin-RevId: 188828898

PiperOrigin-RevId: 188860028

tfdbg: add reference to the TensorBoard Debugger Plugin in README.md
PiperOrigin-RevId: 188828898