Add ScopedAllocator and ScopedAllocatorMgr.

A ScopedAllocator is a new memory allocator which manages slices of a large
tensor.  ScopedAllocatorMgr manages all scoped allocators per device.  The
ScopedAllocatorMgr comprises of multiple ScopedAllocatorContainers, one per
step id.  If a step terminates abnormally, the corresponding
ScopedAllocatorContainer will clean up all allocated memory in that step.

PiperOrigin-RevId: 189051914

Extend reduce_ops test to integers.

PiperOrigin-RevId: 189049525

Add interface in HloModuleGroupMetadata to return all channels

PiperOrigin-RevId: 189044541

Check for the value of the _XlaCompile boolean since xla often creates it with
the default value of false.

PiperOrigin-RevId: 189041421

Removed stray/dead code that snuck in there in an earlier change.

PiperOrigin-RevId: 189034502

Support for the Is and IsNot comparator nodes

PiperOrigin-RevId: 189022386

Test use of tensor_list inside loops, as well as changing the contained type of a tensor_list inside of a loop.

PiperOrigin-RevId: 189021593

Fix std::accumulate init value in xla::Product

The return type for std::accumulate is determined by the type of the
init value what was incorrect resulting in wrong result for large
numbers.

PiperOrigin-RevId: 189019412

[TF:XLA] Add compiler fuel to mark_for_compilation_pass.

This is a useful debugging tool.

PiperOrigin-RevId: 189007771

[XLA] Supports fusion ops in HloEvaluator.

PiperOrigin-RevId: 188985924

Avoid live lock in a loop.

PiperOrigin-RevId: 188973527

Add LinearOperatorBlockDiagonal, which supports matrix-free block diagonal structure.

Also update linear_operator_util_test to support passing in multiple shapes.

PiperOrigin-RevId: 188972221

[tf.data] Support tf.SparseTensor components in tf.contrib.data.get_single_element().

PiperOrigin-RevId: 188970548

Add a GatherExpander pass that can rewrite Gather ops back into HLO soup

With this pass we now have a minimal viable implementation of gather on all
platforms.  The code is a bit gnarly but conceptually this is very similar to
what we do in the tf2xla bridge today.

PiperOrigin-RevId: 188968478

  Adds R2 ReduceWindow test and generalizes the R2 test suite, particularly to
  allow arbitary padding.

PiperOrigin-RevId: 188966155

Add ops to API that have tf_export decorators but haven't been added to API.

PiperOrigin-RevId: 188965158

Remove underscore prefix from _concat.

PiperOrigin-RevId: 188964168

[XLA] Handle scalar predicate in Select correctly in HloEvaluator.

Previously the HloEvaluator would always assume the predicate is an array of
boolean type, and does not handle cases where on_true and on_false are of Tuple
types. This change fixes both and in turn removes the last blocker in full
tuple support in the evaluator.

Also enables xla/tests:tuple_test and xla/tests:deconstruct_tuple_test for the interpreter.

PiperOrigin-RevId: 188962022

Automated g4 rollback of changelist 188937484

PiperOrigin-RevId: 188957662

Transpose test updated so that unsupported transpose is not optimized away.

PiperOrigin-RevId: 188956982

Change the way we get argument list for get_local_variable. Current documentation for get_local_variable displays arguments as *args and **kwargs: https://tensorflow.org/versions/r1.3/api_docs/python/tf/get_local_variable .
Current decorator also doesn't play well with @tf_export decorator.
So I am switching to approach that adds __wrapped__ variable to get_local_variable so that we can get argument list from __wrapped__ function.

PiperOrigin-RevId: 188956520

tfdbg: split session_debug_grpc_test

* so that the test sizes are medium for both the existing session_debug_grpc_test
  and the new grpc_large_data_test

Also in this CL
* Consolidate the functions for creating no-grappler-rewrite ConfigProtos
  in one place: in session_debug_testlib.py

PiperOrigin-RevId: 188955135

Added tf.contrib.data.make_csv_dataset as a convenience method to create a
dataset from csv files.

PiperOrigin-RevId: 188954555

Introduce _USE_C_SHAPES toggle along with _USE_C_API toggle.

This is a second level of staging before fully enabling the C
API. With _USE_C_API enabled but _USE_C_SHAPES disabled, the C API is
used for everything but retrieving the shape of Tensors (i.e. we
continue using the existing Python shape inference to implement
Tensor.shape).

This is useful because many tests fail with the C API fully
enabled. This will allow us to enable everything but the full shape
inference, fix the remaining broken tests, and then enable the full
shape shape inference.

This change also introduces the test_util.enable_c_shapes test method
decorator. This can be used to enable C shapes for a specific test
method. This is useful for tests that have already been modified to
work with full C shape inference.

PiperOrigin-RevId: 188949619

Currently, multi-image summaries have their image indices removed and so they show up as a single summary (you have to use the timeline bar to cycle between the several images for the same step). This CL separates them to give the normal/expected behavior for image summaries where max_outputs > 1 (multiple images displayed simultaneously).

PiperOrigin-RevId: 188947797

[XLA]: Enhancement to the while loop simplifier HLO pass.

If a while-loop tuple element is initialized as a scalar constant and isn't
changed by the while-body, replace the use of the tuple element in
while-condition and while-body with the constant value. This enables the
simplification of while-loops that have 0/1 iteration and loop bound passed in
through the while-loop tuple.

Add test cases for while-loops with 0/1 iteration and loop bound passed in
through the while-loop tuple.

PiperOrigin-RevId: 188945375

Add test for API generated with tf_export calls to api_compatibility_test.py.
Also, fix remaining differences between this new API and the current TensorFlow
API.

PiperOrigin-RevId: 188943768

Merged commit includes the following changes:
188942386  by mikecase:

    Internal Change.

--
188941669  by A. Unique TensorFlower:

    Change TensorFlow Lite Java Interpreter to use Checker Framework @NonNull annotation

--
188937484  by zhixianyan:

    Convert saved_model to tflite flatbuffer.

--

PiperOrigin-RevId: 188942386

Resubmit changes which were accidentally rolled back.

PiperOrigin-RevId: 188934018

Fix a couple of null-ptr dereferences

PiperOrigin-RevId: 188929375

Internal Google Cleanup

PiperOrigin-RevId: 188921801

Break the dependency between platform/types.h and bfloat16.h, and between
hash.h and bfloat16.h. This change introduces a generic mechanism for adapting
types that are meant to be used in tensorflow's error objects.

PiperOrigin-RevId: 188920678

Move session info into op info.

PiperOrigin-RevId: 188912426

Removing hidden_ops.txt file.

PiperOrigin-RevId: 188911958

Enable int8 tf.pad on GPU.

PiperOrigin-RevId: 188911859

[TF:XLA] Bump open source llvm revision to r327373

PiperOrigin-RevId: 188908427

Internal cleanup.

PiperOrigin-RevId: 188905507

Proper name scoping in contrib summaries.

PiperOrigin-RevId: 188905080

Change back TFE_Execute logic to set '*num_retvals' on return.

PiperOrigin-RevId: 188903892

Add TransformShardedTileShape helper method to HloSharding

It transforms an existing sharding to be compatible with a new shape
with an optional transform method to adjust the tile size for the
sharded dimensions.

PiperOrigin-RevId: 188903257

Automated g4 rollback of changelist 188353354

PiperOrigin-RevId: 188902517

Replace the unknown dimension of signature input when building grappler items.
Fix the bug where same feed nodes or fetch nodes would be added more than once.

PiperOrigin-RevId: 188902101

Enable arithmetic optimizations for Fill nodes that are all zeros or ones.

PiperOrigin-RevId: 188893722

Add TFLite Interpreter bindings.

PiperOrigin-RevId: 188890943

Performing the finalization of the LayerCollection outside of FisherEstimator's constructor.  This allows layers and losses to be registered after the FisherEstimator (or KFACOptimizer) has been constructed.

PiperOrigin-RevId: 188889252

include the graph.pb->tensorboard script in pip package

This will allow you to run it with:

`python -m tensorflow.python.tools.import_pb_to_tensorboard ...`

Without any additional downloads or setup.

see #8854

PiperOrigin-RevId: 188888501

Internal change

PiperOrigin-RevId: 188880419

[TFLite] Don't always treat inputs and outputs as encoded floats.

PiperOrigin-RevId: 188880237

Introduce output fusion for (A dot B) * alpha

We allow now to fuse (A dot B) times a constant, which is available in cublas.

PiperOrigin-RevId: 188878210

PiperOrigin-RevId: 188860028

tfdbg: add reference to the TensorBoard Debugger Plugin in README.md
PiperOrigin-RevId: 188828898

PiperOrigin-RevId: 188860028

tfdbg: add reference to the TensorBoard Debugger Plugin in README.md
PiperOrigin-RevId: 188828898

PiperOrigin-RevId: 188860028

tfdbg: add reference to the TensorBoard Debugger Plugin in README.md
PiperOrigin-RevId: 188828898

Merges (embedding|indicator)_column with their sequence counterparts, and exposes sequence methods under tf.contrib.feature_column.

PiperOrigin-RevId: 188826187

Update ops-related pbtxt files.

PiperOrigin-RevId: 188824362

Support NHWC <--> HWNC permutation.

PiperOrigin-RevId: 188824058

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 188817976

Merge changes from github.

PiperOrigin-RevId: 188817194

Remove integration_tests directory and associated files.

PiperOrigin-RevId: 188815493

Demystify MaterializeShapes a bit.

PiperOrigin-RevId: 188812445

Make tf.add_to_collections visible.

PiperOrigin-RevId: 188807786

[XLA:Tools] Make hlo_runner understand --xla_hlo_profile.

PiperOrigin-RevId: 188803724

Don't evaluate control flow in EvaluateConstantTensor.

ExtractConstantSubgraph doesn't copy control edges, which are sometimes necessary
to correctly evaluate conds (at the very least). Avoid evaluating conds at all to
address this.

PiperOrigin-RevId: 188803649

BREAKING_CHANGE: Split out event_ndims=0 bijectors from Affine and CholeskyOuterProduct.
    - Deprecate event_ndims argument
    - Create a Square bijector for the scalar case of CholeskyOuterProduct (which now only operates on matrices).
    - Create a AffineScalar bijector for the scalar case of Affine (which now only operates on vectors)

PiperOrigin-RevId: 188801116

Switch BuildGraphOptions to wrap CallableOptions.

This change harmonizes the graph construction codepaths for DirectSession and
MasterSession, which will make it easier to add new subgraph creation features.

PiperOrigin-RevId: 188799932

Don't use shapes unless it's safe to do so.

PiperOrigin-RevId: 188796626

[tf.data] Enable Dataset.make_one_shot_iterator() and Dataset.__iter__() in eager mode.

This change partially replicates the code in `tf.contrib.eager.Iterator`.
However, since that class depends on contrib-level functionality (viz.
cross-device prefetching support), we cannot move it wholesale to core.

PiperOrigin-RevId: 188790349

TFLite Delegate: Expose input / output tensor indicies in `Init`

PiperOrigin-RevId: 188784614

Fix typo in the doc: tf.multiplytiply

https://www.tensorflow.org/api_docs/python/tf/multiply

PiperOrigin-RevId: 188782466

K-FAC: FisherBlocks for tf.nn.{depthwise_conv2d, separable_conv2d, convolution}.

PiperOrigin-RevId: 188778072

Move "hoist common factor out of aggregation" optimization
to a separate stage.

1) Use a new naming scheme for optimized ops,
   share it with AddOpsRewrite
2) Make sure that tests actually test that optimized
   nodes exists in a graph

PiperOrigin-RevId: 188772892

[TF:XLA] Bump open source llvm revision to r327201

PiperOrigin-RevId: 188771994

[TFLite] Don't require a std::vector for Interpreter::SetTensorParameters*.

PiperOrigin-RevId: 188770522

Move `loss_reduction` argument from `replicate_model_fn` to `TowerOptimizer.

PiperOrigin-RevId: 188766477

Add is_discrete, is_continuous, is_bounded methods to TensorSpecs.

PiperOrigin-RevId: 188766232

Fix another eager PyObject leak

Shockingly this one was also due to PySequence_GetItem.

PiperOrigin-RevId: 188765548

Add custom_gradient function.

PiperOrigin-RevId: 188765271

Extend TF Eager C API to allow asynchronous execution.

PiperOrigin-RevId: 188763442

[XLA] [Copy insertion] Deterministically iterate through instructions to copy

- Use HloInstructionMap to get deterministic iteration order.

PiperOrigin-RevId: 188755375

Switch op_hint.py to use _set_attr.

This is in preparation for enabling the C API. Modifying an op's NodeDef
directly has no effect with the C API enabled.

PiperOrigin-RevId: 188754464

Standardize "op" capitalization, see "adding_an_op".

PiperOrigin-RevId: 188753529

Improve usability of `tf.contrib.bayesflow.custom_gradient` by removing need for `axis` arg and support taking lists.

PiperOrigin-RevId: 188751894

Transposes are can be merged into reshapes when the ordering of non-one
dimensions remains unchanged.

PiperOrigin-RevId: 188751074

boosted_trees: infer the output shapes of Quantiles Op from the input shapes.

PiperOrigin-RevId: 188750079

Avoid capturing unused variables in lambda functions

PiperOrigin-RevId: 188747641

Fix race in C API.

RecordMutation could race with ExtendSessionGraphHelper, which would
release the graph lock and only keep the session lock when extending
the session.

Also makes sure thread annotations are on declarations, not definitions
(otherwise they have no effect).

PiperOrigin-RevId: 188747158

Turn trivial Pack ops with a single input into ExpandDims ops to avoid copying the tensor.

PiperOrigin-RevId: 188742516

Make default number of threads trigger the default behavior for both eigen
and gemmlowp. In gemmlowp the default is '1', while in eigen it is 'number of
processors'.

PiperOrigin-RevId: 188742087

Convert Squeeze into Reshape: Support empty output shapes.

PiperOrigin-RevId: 188740288

Supporting quantization of Gather ops and removal of trivial Relu1s when quantized.

PiperOrigin-RevId: 188738133

Plug a few more PyObject leaks, test for them.

PiperOrigin-RevId: 188731961

Don't let the grappler item builder fail if the graph contains unknown custom
ops.

PiperOrigin-RevId: 188730560

Don't remove identity nodes if they follow a device crossing and have consumers on a device different than themselves. They may be used to cache or route data between devices in a deliberate manner.

Simplify code in DependencyOptimizer a bit.

PiperOrigin-RevId: 188730185

ResourceScatterUpdate: Gracefully handle inconsistent indices and updates in
the kernel.

With graph execution, consistency between the shapes of the arguments to
ResourceScatterUpdate is validated by the shape inference functions at graph
construction time.

With eager execution, the shape inference logic isn't executed, so inconsistent
arguments could be provided to the kernel, which would result in a segmentation
fault prior to this change. As demonstrated by the added tests.

PiperOrigin-RevId: 188729154

Turn on function optimization by default

PiperOrigin-RevId: 188722505

Reuse the linear index when broadcasting a contiguous range of dimensions.

This potentially allows us to get rid of additional mod and div operations.

PiperOrigin-RevId: 188719238

Lint some files.

PiperOrigin-RevId: 188698275

this test is also timing out in cuda so disabling for now

PiperOrigin-RevId: 188685611