[tf nest] Add additional key yielder.

This is just copying a utility function created by Malcolm Reynolds.

PiperOrigin-RevId: 179775504

Revert change to ParseBytesList that failed on some platforms.

PiperOrigin-RevId: 179775354

Go: Update generated wrapper functions for TensorFlow ops.

PiperOrigin-RevId: 179769852

Internal change.

PiperOrigin-RevId: 179769382

Update ops-related pbtxt files.

PiperOrigin-RevId: 179769207

[tf.data] Add `tf.contrib.data.parse_single_example()`.

The new op is a fused implementation of the existing
`tf.parse_single_example()`, which is more efficient when parsing a
single Example at a time.

PiperOrigin-RevId: 179768512

Automated g4 rollback of changelist 179757188

PiperOrigin-RevId: 179766237

Go: Update generated wrapper functions for TensorFlow ops.

PiperOrigin-RevId: 179761889

Automated g4 rollback of changelist 179735577

PiperOrigin-RevId: 179761787

Update ops-related pbtxt files.

PiperOrigin-RevId: 179757188

[XLA] Add CrossReplicaSum to Python API bindings.

Add support to CPU for the trivial replica_count=1 case.

PiperOrigin-RevId: 179756956

[XLA] Fix HLO graph dumper not to assume that instruction names start with "%".

HLO graph dumper needs to be aware that we've gotten rid of the "%"
prefix in HLO names so it doesn't print e.g.

  reduce
  reduce.42
  Subcomputation: add
  ...

but instead simply prints

  reduce.42
  Subcomputation: add
  ...

PiperOrigin-RevId: 179756922

Fix typo in struct name: RecvNodeDescritorHash -> RecvNodeDescriptorHash.

PiperOrigin-RevId: 179756840

Fix the condition check for int8 fused_conv so that it works on Volta.

PiperOrigin-RevId: 179756490

[XLA] Add Collapse and Rev ops to the local XLA Python client.

PiperOrigin-RevId: 179753056

implicit_gradients always sorts its return values by variable creation order

PiperOrigin-RevId: 179750392

Support max pool v2.

PiperOrigin-RevId: 179747281

Automated g4 rollback of changelist 179729641

PiperOrigin-RevId: 179742670

Truncate status messages before converting to gRPC.

PiperOrigin-RevId: 179736746

Implements the fill op for int64 indices.

PiperOrigin-RevId: 179735577

[TF:XLA] Move XlaResource into its own file, and refactor it into a better-abstracted class. No functional changes intended.

PiperOrigin-RevId: 179734920

[XLA] Add reassociation rule for adds, and add canonicalization rules for add/sub of a constant.

This patch adds a new algebraic simplification:

* (A + C0) + C1 => A + (C0 + C1), where C0 and C1 are constants.  This
  allows us to constant-fold C0 + C1.

In service of this rule, this patch also adds two new canonicalizations:

* Const + A => A + Const
* A - Const => A + (-1 * Const)

PiperOrigin-RevId: 179731747

Adds a randomized test for Atan.
Resolves TODOs that are out of scope because conv op registration is non-C64 only.

PiperOrigin-RevId: 179730049

Add the capability of verbose logging for HTTP requests to the TensorFlow GCS client.

This change allows the GCS client within TensorFlow to log verbose information about HTTP requests to the standard Google logger.  (Actually, to the TensorFlow variant of the standard Google logger.)

This capability is disabled by default. It is enabled by setting the environment variable GCS_LOG_HTTP_REQUEST_VERBOSE=1 (or =true).

PiperOrigin-RevId: 179729641

Make tf_cc_test compilable by default for Android

This change adjusts the build options for tf_cc_test targets so that
they can be built for Android devices by default. Many targets will
still need additional options on a per-target basis.

Android requires that executables be compiled with `-pie`.

PiperOrigin-RevId: 179729092

Destroy batch_thread_pool_ first. For the new in flight batches implementation, the callbacks scheduled on this thread pool refer to other class members which must remain alive until the thread pool is empty.

Also fix a similar lifetime issue in the unit tests.

PiperOrigin-RevId: 179726389

Extend DataFormatDimMap to handle tensors.

PiperOrigin-RevId: 179726269

Add prefetching into parallel_interleave

This change adds 2 parameters to parallel_interleave:
 - prefetch_input_elements: determines the number of iterators to prefetch
     allowing buffers to warm up and data to be pre-fetched without blocking
     the main thread (i.e. the GetNext() call).
 - buffer_output_elements: in order to avoid creating thousands of threads, we
     fuse in the .prefetch() operator as an additional parameter. The value of
     this parameter is identical to the value passed to `.prefetch()`

PiperOrigin-RevId: 179726088

Restore escaping to string attribute list summaries accidentally removed by previous change.

PiperOrigin-RevId: 179725715

Support SplitV op.

PiperOrigin-RevId: 179725704

[XLA] Remove inappropriate plugin linkage.

PiperOrigin-RevId: 179724373

Fix logging of excessive unsupported operations.

An operator precedence issue with the previous version triggered errors when models had a large number of summaries.

PiperOrigin-RevId: 179722697

Convert Status-based call sequence checks to CHECK-based.

Call sequence requirements are correctness requirements; any violation of a correctness requirement is a code defect / bug. Currently, some code in the TF GCS client uses Status objects to report call sequence violations. This tolerates bugs, allowing them to go undetected and uncorrected.

This change converts many call sequence checks to use CHECK, rather than Status. The result is code that is simpler, and that exposes bugs, rather than protecting them.

PiperOrigin-RevId: 179709047

Adding mention of contrib optimizers and new learning rate decays.

PiperOrigin-RevId: 179706954

Adding an optimizer module for ConstantSGD.

PiperOrigin-RevId: 179703560

Adding missing comma in __init__.py and fixing links in NOS optimizers docs.

PiperOrigin-RevId: 179701465

Reduce the number of warning messages for unsupported operations.

PiperOrigin-RevId: 179700417

Support more control flow ops. Delete ops that require ref inputs (e.g.
variables); these ops are not applicable to layout optimizer, because
layout-agnostic nodes are never directly connected to variables, but to
other layout-sensitive nodes such as conv and pooling.

PiperOrigin-RevId: 179699124

Add some unit tests for memory optimizer _recompute_hint Python usage (mostly
for documentation purposes).

PiperOrigin-RevId: 179697882

Fix a flaky test.

In the old code, `a` can be freed before bytes_in_use, making the result of
`bytes_in_use` unstable. In the new code, `b` uses `a` and control-depends on
`bytes_in_use`, so `a` cannot be freed before `bytes_in_use`.

PiperOrigin-RevId: 179690026

Add support for constant resolution of the Fill op.

PiperOrigin-RevId: 179684795

rename files

PiperOrigin-RevId: 179683700

Replace std::pow with MathUtil::IPow when the exponent is a non-negative integer.

Includes minor test cleanup.

PiperOrigin-RevId: 179680628

Remove unused BUILD dependencies

PiperOrigin-RevId: 179680552

PiperOrigin-RevId: 179639611

[TF:XLA] Move ShardingBuilder out of computation_builder.h

ShardingBuilder does not belong in computation_builder.h - its presence there is puzzling and unintuitive.

PiperOrigin-RevId: 179675257

Specify that only NHWC is supported for certain ops on CPU specifically, rather than in general.

PiperOrigin-RevId: 179637312

Elide long strings and lists when summarizing AttrValues.

PiperOrigin-RevId: 179635492

Adds some more distributed training related fields into TF_CONFIG.

PiperOrigin-RevId: 179635491

Support ternary ops.

PiperOrigin-RevId: 179634713

Update ops-related pbtxt files.

PiperOrigin-RevId: 179634365

Go: Update generated wrapper functions for TensorFlow ops.

PiperOrigin-RevId: 179632513

Minor cleanup, now that there's a single Executable::ExecuteOnStream method.

PiperOrigin-RevId: 179630890

[XLA:GPU] Make the use of scratch allocator in convolution_thunk safe.

Add member function Thunk::ShouldFutureScheduledThunksDependOn for
convolution_thunk to tell thunk executor that all future scheduled thunks
should wait for convolution_thunk. This can ensure that the use of scratch
allocator in convolution_thunk is safe.

PiperOrigin-RevId: 179628764

Read ApiDef from TensorFlow Go API.

PiperOrigin-RevId: 179625412

[tf.data] Add a transformation for getting the unique elements of a dataset.

PiperOrigin-RevId: 179625211

Implement convolution operations in the local Python XLA client.

PiperOrigin-RevId: 179624737

tfdbg: send graph traceback and source files from TensorBoard wrapper and hook

To this end:
* Refactor some common, shared constants and methods to a new file: common.py

PiperOrigin-RevId: 179624165

TFE copy across gpus

PiperOrigin-RevId: 179622259

K-FAC: Cross Replica Mean for TPU

Adds an op for taking the average of a Tensor across all TPU cores, and uses it
before updating covariance statistics. This is a no-op if TPUs aren't used.

PiperOrigin-RevId: 179620193

[XLA] Rename CreateFullWithMonotonicDim0MajorLayout to CreateFullWithDescendingLayout.

We've renamed MonotonicDim0MajorLayout to DescendingLayout.

PiperOrigin-RevId: 179619563

Add comparison ufuncs for numpy bfloat16 type.
Fix 2 bfloat16 tests.

PiperOrigin-RevId: 179614898

[XLA] Fix return type of LayoutUtil::PaddedDimensions

We should not use const here.

PiperOrigin-RevId: 179614367

Remove unused namespace alias.

PiperOrigin-RevId: 179612102

Support fused batch norm v2.

PiperOrigin-RevId: 179609646

[XLA] Turn pad and reduce window of zero sized inputs into a broadcast.

PiperOrigin-RevId: 179608875

[XLA] Rename "MonotonicDim0MajorLayout" to "DescendingLayout".

This is shorter, and hopefully less confusing.

As a result, we rename NormalizeShapeToMonotonicDim0MajorLayout to the
more descriptive MakeShapeWithDescendingLayoutAndSamePhysicalLayout,
and rename MakeShapewithMonotonicDim0MajorLayout to
MakeShapeWithDescendingLayout.

We also beef up the comments on the first function.

PiperOrigin-RevId: 179608145

K-FAC: ResourceVariable support

PiperOrigin-RevId: 179603654

Migrate SavedModel simple save functionality from contrib to
tensorflow/python/saved_model.

PiperOrigin-RevId: 179599527

Fixed a couple of bugs in transitive reduction:
   1. Only consider paths through nodes reachable from the source in the inner loop.
   2. Ignore paths through Merge nodes, since we cannot know which branch executed.
   3. Ignore function nodes, since we are potentially mixing paths from multiple instantiations.
   4. Process control inputs to be removed in reverse order of input slot, so we don't clobber the repeated field.

PiperOrigin-RevId: 179596846

Make sure function.defun can handle nested inputs with namedtuples and dicts.

PiperOrigin-RevId: 179595879

Initial checkin for outside_compilation. Adds a new attribute for encapsulating XLA subgraphs that will in the future be used to mark some Ops in the subgraph as 'outside_compilation' meaning they will be run as interpreted TensorFlow via a callout from a compiled XLA subgraph.

This is the first of a sequence of checkins. It adds new types of edges entering and leaving the subgraphs, suitable for send/recv between a compiled XLA subgraph and the 'host', i.e., uncompiled TensorFlow.

For now no code sets the new 'outside_compilation' attributes, and the Ops to perform the send/recv are not present in the codebase; these will follow in subsequent checkins.

PiperOrigin-RevId: 179591853

Support IdentityN op.

PiperOrigin-RevId: 179591229

Protect all calls to launch cuSolver & cuBlas kernels by a lock. The code appears not to be threadsafe pre Cuda 9, and we have several report of crashes. Since the overhead is modest, better to be safe.

PiperOrigin-RevId: 179589983

Specifically add TMP directory for Android

There is an oversight in the adb tool that causes `adb shell` ->
$<command> to set the TMPDIR env param, but `adb shell <command>` does
not. Binaries that use env.cc on Android will have inconsistent behavior
between interactive and non-interactive versions of `adb shell` until
that bug (which has been fixed internally) arrives on released versions
of adb.

This change adds the /data/local/tmp directory as a final fallback for
Android devices that support it (/data/local/tmp seems to be the de
facto "anyone can use this" Android tmp directory based on Mobile
Harness's use of it, my own discovery that it works better than other
directories, and that searching for it seems to back up the idea, but I
can't find official documentation supporting this). Devices that don't
support that directory will continue to fail, as they did before.

PiperOrigin-RevId: 179587386

Support for strings input/output in Toco

PiperOrigin-RevId: 179586555

[tf.data] Saveable iterator for ScanDataset.

PiperOrigin-RevId: 179583460

[tf.data] Saveable iterator for DenseToSparseBatchDataset.

PiperOrigin-RevId: 179583450

Support more binary ops.

PiperOrigin-RevId: 179583326

Remove a series of allocations and memcpys from the GCS read path (TF infeed path).

The GCS client uses an intermediate std::vector<char> buffer for all reads. This turns out to have a substantial cost, in allocations and in memcpys. During load testing with a simple tool for measuring GCS throughput (but not running TensorFlow), removing this allocation and memcpy increased throughput by about 8%, and significantly reduced steady-state heap memory used.  I have not measured the impact when running the full TensorFlow pipeline, but I expect there to be gains, due to the lower memory utilization and the lower cache demand.

PiperOrigin-RevId: 179581563

Fix comment.

PiperOrigin-RevId: 179578952

[XLA] Add support for atan2 on CPU

This leans on the libm's atan2 for the actual routine but allows us to share
the implementation of other complex operations between CPU and GPU.

PiperOrigin-RevId: 179569666

Automated g4 rollback of changelist 179506342

PiperOrigin-RevId: 179552496

Run ResizeArea tests on random data rather than all 0s.

PiperOrigin-RevId: 179552297

Automated g4 rollback of changelist 179529787

PiperOrigin-RevId: 179546698

Go: Update generated wrapper functions for TensorFlow ops.

PiperOrigin-RevId: 179542713

Update ops-related pbtxt files.

PiperOrigin-RevId: 179542009

Avoid casting to/from int64 in Categorical._sample_n

PiperOrigin-RevId: 179529787

[XLA] Adding more tests for conditional.

PiperOrigin-RevId: 179514274

Changed the buffer liveness such that the buffers pointed to by the root
instruction have liveness to the end of the computation.

PiperOrigin-RevId: 179506342

Added virtual gpu support.

PiperOrigin-RevId: 179504116

[XLA] Hlo parser: don't crash if no computation is specified as ENTRY. Also disallow multiple entry computations and multiple root intructions.

PiperOrigin-RevId: 179498839

Support more unary ops.

PiperOrigin-RevId: 179498141

Support more activation ops.

PiperOrigin-RevId: 179493169

Add probabilistic convolutional layers.

PiperOrigin-RevId: 179490700

[XLA] Add pow(pow(A, X), Y) => pow(A, X*Y) simplification.

PiperOrigin-RevId: 179487434

Fix typo in comment for GetRoot().

PiperOrigin-RevId: 179486882

[XLA] Add format field to layout

Format will describe the method used to store array data in memory. Currently
only DENSE is supported, which represents the way XLA currently stores arrays.

Scalars have a DENSE format. Tuples and opaque shapes use INVALID_FORMAT.

Adds checks to code that uses minor_to_major to ensure the layout is dense.

PiperOrigin-RevId: 179475450

Delete the instructions regarding manually installing protobuf.

PiperOrigin-RevId: 179464468

SavedModel tag logging.

PiperOrigin-RevId: 179460064