[TF/XLA] Add validation to find ops incompatible with the given device type at the beginning of graph compilation.

PiperOrigin-RevId: 198421828

  Support NHWC_VECT_W in MakeShapeFromFormat.

PiperOrigin-RevId: 198421617

Add AnonymousIteratorHandleOp for non-shared Iterator resources

Fixes Iterator cleanup when executing eagerly. DestroyResourceOp will now remove the last reference from the Iterator resource when it runs (after the last Python reference to an EagerIterator is removed).

Previously EagerIterator used IteratorHandleOp to create resource handles, which used one kernel per (unique) shared name since the shared name was an attribute. These kernels each held a reference to their resource, which kept it alive indefinitely.

Fixes #19499.

PiperOrigin-RevId: 198417997

Clarify argument types and relationships in docstrings of statistical_testing.py.

PiperOrigin-RevId: 198414898

Eliminate self.test_session in favor of self.evaluate in statistical_testing_test.py.

PiperOrigin-RevId: 198410306

Clean up: handle the hidden additional clause on for loops in a way that's clearer about what it does.

PiperOrigin-RevId: 198409797

Clean up: remove useless super delegation.

PiperOrigin-RevId: 198405670

Allow assignment to subscripts in static analysis.

Move the handling of syntactic unpackings to a generic helper function since the pattern is used in multiple places. Update the type info analyzer to correctly process function arguments.

PiperOrigin-RevId: 198401368

Generalize assert_true_mean_equal and assert_true_mean_equal_two_sample to assert_true_mean_in_interval.

PiperOrigin-RevId: 198400265

Re-apply #18192.

PiperOrigin-RevId: 198358055

Fix an incorrect precondition check in IndexedArrayAnalysis

PiperOrigin-RevId: 198354001

Pass HloOpcode instead of HloInstruction; NFC

Minor code cleanup change.

PiperOrigin-RevId: 198351045

Make IndexedArrayAnalysis behave well around StatusOr

PiperOrigin-RevId: 198348355

Adding tf.data optimization for rewriting `map(...).batch(...)` to `map_and_batch(...)`.

PiperOrigin-RevId: 198310806

Sort variables in C++ instead of Python.

PiperOrigin-RevId: 198298103

Relax compatibility checks for Protocol Buffer classes, to not rely on the exact layout of the generated classes. The definition of the message is checked instead.

PiperOrigin-RevId: 198292780

[XLA] Don't display metadata inline in HLO graph dump.

We only want to display it in the tooltip.

PiperOrigin-RevId: 198235268

TPUEstimator.export_savedmodel() saves a SavedModel with both TPU and CPU graphs.

PiperOrigin-RevId: 198229550

Extracts the 'remove random shuffle node' optimization into its own method.

PiperOrigin-RevId: 198169790

Fix the issue where returned Status is not used.

PiperOrigin-RevId: 198146500

DepthwiseConv Optimizations

PiperOrigin-RevId: 198144118

Use dict(locals()) instead of distribution_util.parent_frame_arguments. This will be much
faster at object construction time (going forward we'll figure out a way to make this a function to call).

PiperOrigin-RevId: 198141184

[XLA] Don't compute relative error when the expected value is 0.

In literal_comparison, don't try to compute a relative error when the
expected value is 0, because doing so would mean that the only
acceptable value *is* zero, which probably isn't what you mean.

PiperOrigin-RevId: 198137414

Add support for unary and binary ops to indexed tensor analysis

I've added a TODO to clean up the use of ValueOrDie which I will address in an
immediately following CL.

PiperOrigin-RevId: 198134579

[Hlo Graphviz] Always show metadata as tooltips

Always show metadata as tooltips.

PiperOrigin-RevId: 198134430

Add a type-erased broadcast implementation to xla::Literal

And use this in HLO evaluator.  Since broadcast only moves bytes around we don't
need a type specialized implementation.

I'll use this in a later change.

PiperOrigin-RevId: 198128524

Minor eager performance improvements

- remove linear regression dependence on global step.
  This speeds things up a lot for the benchmark (since it removes a bunch of
  unnecessary code), but is obviously not a fair comparison.
  I think its worth doing, since I don't see any reason to have a global step
  in eager.

- nn_ops dropout had an unnecessary convert_to_tensor, convert back to numpy
  (with a GPU this would copy out, copy back).
- cudnn_recurrent reshape would always fallback to the slow path - so I just
  converted it to be in the fastpath - this will be low impact.

- tensor_shape should not generate a new object every time
- remove unnecessary list creation and searching in some dtypes functions

PiperOrigin-RevId: 198127757

[TF:XLA] Add direct implementation of AssignVariableOp for XLA devices.

This allows us to avoid an XLA compilation and tensor copies when assigning to a variable placed on an XLA device.

PiperOrigin-RevId: 198127062

Turn on heuristic (mostly-NHWC) convolution layout assignment for (V100, fp16) by default.

Also increase the column reduction tile size to reduce atomic operations.

PiperOrigin-RevId: 198126505

Enable while loop constant sinking for GPU

To avoid keeping constants in while loop bodies after optimization (where they
may cause extra copies) we run a late pass of LICM that has been asked to hoist
constants when it can.

PiperOrigin-RevId: 198126497

Provide a step container to OpKernelContexts when running eagerly.

This lets us run some ops that require step containers (e.g.
TensorArray-related ops).

 Before change:
 Benchmark                    Time(ns)        CPU(ns)     Iterations
-------------------------------------------------------------------
 BM_CreateGraph                  61292          80915           8581
 BM_RunGraph                      7899          13398          51251
 BM_CreateAndDestroySession       2588           2594         269838
 BM_KernelAndDeviceInit           2971           2976         235908
 BM_KernelAndDeviceRun             505            506        1000000

 After change:
 Benchmark                    Time(ns)        CPU(ns)     Iterations
 -------------------------------------------------------------------
 BM_CreateGraph                  78295         105539           8698
 BM_RunGraph                      9907          16988          47908
 BM_CreateAndDestroySession       2773           2778         247635
 BM_KernelAndDeviceInit           2678           2682         270054
 BM_KernelAndDeviceRun             553            554        1000000

PiperOrigin-RevId: 198125630

[tf.data] Fixing concurrency issue in `map_and_batch`.

PiperOrigin-RevId: 198124860

Ignore while loops instead of mangling them in the automatic control dependencies.

PiperOrigin-RevId: 198122188

Extracts the 'remove reverse node' optimization into its own method.

PiperOrigin-RevId: 198122165

Automated g4 rollback of changelist 198087342

PiperOrigin-RevId: 198117552

Add warning to LookupOrCreate about reentrancy issue

PiperOrigin-RevId: 198110382

Add EagerTensor profiler and device shape utilities

This change includes the following steps to make
EagerTensor profiler work:
 - Add a PaddedShapeFn to XlaDevice::Metadata. We need a
   backend-independent way to get a fully-padded shape and
   its layout on the device. This function is set during
   device construction. CPU and GPU devices effectively get
   an identity function since they neither change the layout
   nor pad. TPU gets the appropriate function.
 - Add TFE_TensorDebugInfo struct and C API methods for it.
   These methods are necessary to fetch the shape and layout
   from under the C API to the Python level. This can be a home
   for more debug information later.
 - Make EagerTensor weak referencable. This involves adding a
   pointer to the list of current weak references. This addition
   should have negligible overhead when profiler is not used.
   The only operations on this field are setting it to null on
   construction and checking if it is null on destruction.
 - Adding C++ functions callable from Python to register an instance
   of EagerTensorProfiler and retrieve debug information for a given
   EagerTensor. These functions are used in the new "inspect" module.
 - Finally, writing the actual profiler.

PiperOrigin-RevId: 198098380

Disable //tensorflow/contrib/lite/python:lite_test on Windows

PiperOrigin-RevId: 198096344

   [tpu:profiler] Capture the data for generating a memory viewer of the profiling results.

PiperOrigin-RevId: 198095564

[TF:XLA] Bump open source llvm revision to r333273

PiperOrigin-RevId: 198095416

Public API to switch between eager execution and graph building.

Now, after tf.enable_eager_execution() has been executed, entering the context
manager of a tf.Graph will enable graph mode. So, for example

```
tf.enable_eager_execution()
with tf.Graph().as_default():
  c = tf.constant(1.0)  # this is a graph tensor
c2 = tf.constant(1.0)  # this is an eager tensor
```

The main use-case of this is allowing documentation writers to make a single
notebook which starts with eager execution and seamlessly transitions to
building graphs.

This also makes many explicit enablings of graph mode in the code redundant
(a cleanup cl will follow).

PiperOrigin-RevId: 198092991

Use functions to build dense splits. Tensorflow Function invocations share the same graph so using them reduces the graph construction overhead.

PiperOrigin-RevId: 198090110

   [tpu:profiler] Minor change in the description of tool name proto.

PiperOrigin-RevId: 198089875

Add ScopedAllocatorOptimizer in support of CollectiveReduce.

The efficiency of CollectiveReduce is greatly improved by merging
multiple parallel reductions over smaller tensors into a single
reduction over a larger tensor that is the concatentation of the
smaller tensors.  Because CollectiveReduce is essentially an
element-wise array operation which operates on a 1-D reshape of
the input tensor it is eligible for a ScopedAllocation optimization.

The optimization works by looking for serially independent instances
of CollectiveReduce that lie within the same name-scope tier and
have the same control-flow (e.g. loop) embedding structure.  Where
two or more such nodes are found the upstream nodes that generate
their inputs are modified to write their outputs into consecutive
regions of a single tensor buffer maintained by a ScopedAllocator.
The multiple CollectiveReduce nodes are then replaced by a single
CollectiveReduce that operates in-place on the backing buffer.

The effectiveness of the optimization depends on there being candidate
CollectiveReduce nodes with these characteristics that become eligible
for execution at close to the same time.  If the name scope is too
large, and includes nodes that become execution eligible at very different
times, this graph rewrite could result in a slowdown.

Note that this optimization is experimental: it is not guaranteed to
work, especially for ops other than CollectiveReduce.

PiperOrigin-RevId: 198089642

enhance Tensorflow GBDT and GBRT model by exposing a new two dimensional output in prediction ops (example id, tree leaf node index id) for input as other model features

PiperOrigin-RevId: 198087342

Extracts the 'simplify slice' optimization into its own method.

PiperOrigin-RevId: 198085532

[TF:XLA] Register Switch and Merge ops on XLA devices.

PiperOrigin-RevId: 198083156

Automated g4 rollback of changelist 192848921

PiperOrigin-RevId: 198079927

Extracts the 'simplify strided slice' optimization into its own method.

PiperOrigin-RevId: 198078724

Bump TPU batch size and wrap apply_grads in defun

PiperOrigin-RevId: 198077643

Release C++ lock before calling back into python

PiperOrigin-RevId: 198073059

DepthwiseConv optimizations.

PiperOrigin-RevId: 198071709

Link to tf.estimator docs for premade estimators.

PiperOrigin-RevId: 198070157

Code simplification in dump_graphviz.cc:
Just output all arrays, before writing edges, so we don't
need to keep track of which arrays we've already output.

PiperOrigin-RevId: 198055327

Minor clarification to model_to_estimator() doc string

PiperOrigin-RevId: 198044106

eager: Update introduction notebooks.

PiperOrigin-RevId: 198022387

Fix typo, fix build.

PiperOrigin-RevId: 198017870

Extracts the 'simplify tile node' optimization into its own method.

PiperOrigin-RevId: 197996636

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 197993384

Initialize the score threshold to -inf to avoid filtering out negative logits

PiperOrigin-RevId: 197993147

Update ops-related pbtxt files.

PiperOrigin-RevId: 197991672

Merge changes from github.
Revert #18413. Too many internal test failures due to the name scope change caused by this change.
Revert #18192. Cannot use re2::StringPiece internally. Need alternative for set call. Will pull and clean this up in a separate change.

PiperOrigin-RevId: 197991247

Extracts the 'simplify pad node' optimization into its own method.

PiperOrigin-RevId: 197989813

Rename TileLoader to MemoryTile; NFC

In a later change I will expand MemoryTile to store tiles and load "3d" tiles
(where we broadcast along one dimension as we load).

PiperOrigin-RevId: 197987185

Add heuristic on picking NHWC layout for (V100, fp16) convolutions.

Also move AlgorithmPicker after layout assignment, as now
cudnn_convolution_runner will return failures on invalid input layouts.

Also add a backend debug option to switch the layout heuristic. By default
it has the old behavior (all NCHW).

PiperOrigin-RevId: 197983747

Enabling some potential optimization using the restrict qualifier.

PiperOrigin-RevId: 197979118

When converting a numpy float64 to an EagerTensor, always ensure that it
becomes a float64 tensor.

Earlier py_seq_tensor would fall back to a float32 if not explicitly requesting
a float64 (which would not happen if we had no other information).

PiperOrigin-RevId: 197977260

Don't XLA-compile naked variable reads

Before this change, when we executed a naked variable read (i.e. outside of
a defun, directly running <xla_device>->Compute()), tf2xla kernel would
copy the variable's tensor leading to many unnecessary copies.

This change uses the regular non-tf2xla kernel for naked variable reads
and marks the tf2xla one for CompilationOnly().

PiperOrigin-RevId: 197976146

move wide string manipulations out of windows_file_system

PiperOrigin-RevId: 197974385

Remove _get_backward_fn and depend on _gradient_function directly.

(_magic_gradient_function was renamed to _gradient_function)

Before:
entry {
  name: "MicroBenchmarks.benchmark_tf_gradient_forward_identity"
  iters: 30000
  wall_time: 5.88456789653
  extras {
    key: "examples_per_sec"
    value {
      double_value: 169936.011885
    }
  }
}

After:
entry {
  name: "MicroBenchmarks.benchmark_tf_gradient_forward_identity"
  iters: 30000
  wall_time: 5.04853725433
  extras {
    key: "examples_per_sec"
    value {
      double_value: 198077.175551
    }
  }
}
PiperOrigin-RevId: 197972668

Fix the generated builtin_ops enum header.

PiperOrigin-RevId: 197969642

Extracts the 'simplify squeeze node' optimization into its own method.

PiperOrigin-RevId: 197968452

[XLA] Remove maps with a single instruction

These maps aren't really pulling their weight, fold them to the instruction
that they compute.

PiperOrigin-RevId: 197967117

Avoid infinite recursion when checking for indexed slices.

PiperOrigin-RevId: 197965508

Allow combinations to be used on the class level.  Make "mode" optional.

Applying a generator to a class is the same as applying that generator to every member of that class.  It is meant to allow avoiding repetition in some cases.

The implementation relies on some internals of parameterized tests and how it works with a class level declaration:  https://github.com/abseil/abseil-py/blob/master/absl/testing/parameterized.py#L319.

The "mode" argument is required before this change.  To accommodate cases where execution mode isn't the point of the test, "mode" became optional with "graph" mode being default.  Another idea I had was to pick a random mode by default.

PiperOrigin-RevId: 197964501

Add local_init_run_options to SessionManager and Supervisor so that
collective_graph_key can be passed in when collective ops are used
in variable initialization.

PiperOrigin-RevId: 197964316

Rename getInt64 to GetInt64 to follow Google style

PiperOrigin-RevId: 197963232

Windows build script change for release job

PiperOrigin-RevId: 197959602

Small fix so that GDN can run on TPU

PiperOrigin-RevId: 197959536

Raise ValueError when calling model.summary() before it is built

PiperOrigin-RevId: 197959372

[TF:XLA] Avoid buffer copy when copying a Tensor onto an XLA device.

PiperOrigin-RevId: 197952565

[XLA] Convert infeed call to take a LiteralSlice.

PiperOrigin-RevId: 197949637

tfdbg: fix issue where total source file size exceeds gRPC message size limit

* Source file content is now sent one by one, making it less likely that individual
  messages will have sizes above the 4-MB gRPC message size limit.
* In case the message for a single source file exceeds the limit, the client handles
  it gracefully by skipping the sending and print a warning message.

Fixes: https://github.com/tensorflow/tensorboard/issues/1118
PiperOrigin-RevId: 197949416

Fix bugs with the code blocks in defun's docstring.

PiperOrigin-RevId: 197943921

Automated g4 rollback of changelist 197868028

PiperOrigin-RevId: 197942379

add maxpoolgrad transposer for layout optimizer.

PiperOrigin-RevId: 197942180

Removing outdated links.

PiperOrigin-RevId: 197941740

Extracts the Simplify Pack optimization into its own method.

PiperOrigin-RevId: 197941474

Ensure ResourceMgr::LookupOrCreate calls create fn just once

This addresses a race condition where LookupOrCreate is called at the same time from two threads, and both Lookup()s fail, so the creator() function is run twice, even though only a single Create() will then succeed.

The motivation is that some creator() functions have side-effects, e.g. tf.contrib.summary.create_file_writer()'s init op opens an events file.  This change ensures that if two init ops for file writers with the same resource name are run in the same session.run() call, only one events file will be created.  (Current behavior will often open two files; typically the second one overwrites the first but this won't happen if the filename_suffix values are different or the timestamps happen to straddle a second boundary.)

PiperOrigin-RevId: 197940607

Updated documentation for tf.reduce_join.

PiperOrigin-RevId: 197939808

Only wait for one of the input tensors to be ready.
The waiting was implemented to avoid reading stale models as much as possible.
However with this dependency, each input column creates a Send/Recv to PS0
which slows down training significantly.
Colocate Quantile and Stats accumulators for the same handler.

PiperOrigin-RevId: 197939327

Modify tf.image.central_crop to support batched-input.

Currently central_crop works on singular images with dynamic dimensions. For large image classification models, it would be nice if central_crop can be modified to support batched input. This CL makes that change.

PiperOrigin-RevId: 197935606

Mark queue related ops as having side effect

PiperOrigin-RevId: 197933941

Don't use hex floats.

Hex float literals are in C11 and C++17, but not in C++11, so use plain float notation.

PiperOrigin-RevId: 197933744

Fix doc: "--input_arrays" instead of "--input_array".

PiperOrigin-RevId: 197932202

[TF:XLA] Bump open source llvm revision to r333167

PiperOrigin-RevId: 197929434

Fix `tf_inspect.getargspec` callable objects other than functions.

PiperOrigin-RevId: 197927601

[tf.data] Add `tf.contrib.data.choose_from_datasets()`.

This is a deterministic counterpart to `tf.contrib.data.sample_from_datasets()`.

PiperOrigin-RevId: 197926386

Extracts the 'Move Constants Past Enter Node' optimization into its own method.

PiperOrigin-RevId: 197924962

Make the existing checkpointable data structure a CheckpointableDataStructure

Gives it better/more consistent handling of Layers.

PiperOrigin-RevId: 197923880