[TF:XLA] Refactor large list of hard-coded compile-time constant arguments to operators. Add a new .CompileTimeConstInput() annotation on kernel registrations instead.

PiperOrigin-RevId: 180008567

Automated g4 rollback of changelist 179983419

PiperOrigin-RevId: 180000981

Adds FFT for XLA: CPU via Eigen, GPU via cuFFT.

GPU support includes plan reuse with new scratch allocator per execution in fft_thunk.

PiperOrigin-RevId: 179983419

Fill the 4th and 5th output of FusedBatchNormGradOp with zeros so that check_op won't fail.

PiperOrigin-RevId: 179981448

Adds train_hooks into _TrainingExecutor.

PiperOrigin-RevId: 179978502

Remove a few unused constructions and simplfy some code

PiperOrigin-RevId: 179978470

Go: Update generated wrapper functions for TensorFlow ops.

PiperOrigin-RevId: 179977826

Update ops-related pbtxt files.

PiperOrigin-RevId: 179976854

Clarify Eager Metrics docs.
Add Metric.value()

PiperOrigin-RevId: 179976743

Changing tf.contrib.data.dense_to_sparse_batch to return tf.SparseTensor.

PiperOrigin-RevId: 179975122

Produces RunMetadata from eager execution when tracing is explicitly enabled.

This will allow downstream profiling tools to work with eager execution.

PiperOrigin-RevId: 179974238

Allow ImportGraphDef to ignore shape validation to match semantics of ConvertGraphDefToGraph optionally.

PiperOrigin-RevId: 179974220

Shard and turn on the layout optimizer test
Tag the dataset test

PiperOrigin-RevId: 179974079

Replaces custom _lengths_to_masks function with the official, more efficient sequence_mask function that supersedes it.

PiperOrigin-RevId: 179971521

Run gen_git_source.py inside of a repo_rule instead of configure.

PiperOrigin-RevId: 179971055

Avoid unnecessary copying and allocation in `ExecutorBarrier::WhenDone()`.

Previously the code would make a copy of the `done_cb_` and update the status
on a successful completion, neither of which is necessary, and both of which
showed up in trace amounts in profiling.

PiperOrigin-RevId: 179970701

Adding page to tensorflow.org with directions for building the TFLite demo on Android.

PiperOrigin-RevId: 179970218

[XLA] Hlo parser: update readme.

PiperOrigin-RevId: 179969357

Output of a slice op can alias its operand.

PiperOrigin-RevId: 179969317

Make the analytical estimator and the virtual cluster own the ready_node_manager to be used   by the virtual_scheduler. This allows us to customize the ready_node_manager for each analyzer instance.

PiperOrigin-RevId: 179967778

Extracts the tpu_job_name from TF_CONFIG if set.

PiperOrigin-RevId: 179966184

Use assert_near in mvn_full_covariance to assert symmetric.

PiperOrigin-RevId: 179964717

Automated g4 rollback of changelist 179846085

PiperOrigin-RevId: 179963793

Fix documentation error in tensorflow feature_utils.h

Need to take address of the example for modifying its feature

PiperOrigin-RevId: 179963317

Support non-constant param input of AvgPoolGrad and Sum.

PiperOrigin-RevId: 179962212

Fix typo in direct_session_test.cc.

PiperOrigin-RevId: 179960797

[TFE] Add link to other exapmles from spinn/README.md

PiperOrigin-RevId: 179960166

Adds more useful debug information to an error message when no kernels are found.

PiperOrigin-RevId: 179957977

Update ops-related pbtxt files.

PiperOrigin-RevId: 179955796

Go: Update generated wrapper functions for TensorFlow ops.

PiperOrigin-RevId: 179954704

Merge changes from github.

PiperOrigin-RevId: 179953488

Updated the virtual cluster to return the proper error code if the simulated
peak memory usage exceeds the available memory.

PiperOrigin-RevId: 179952918

Uses ImportGraphDef instead of ConvertGraphDefToGraph in tflite.

This has the right semantics for backwards compatibility.

PiperOrigin-RevId: 179951639

Adding performance guide for the `tf.data` API.

PiperOrigin-RevId: 179947300

assert_near added to check_ops.py

PiperOrigin-RevId: 179946066

[TF:XLA] Implement AdjustContrastv2, AdjustHue, AdjustSaturation, HSVToRGB, RGBToHSV in XLA bridge.

PiperOrigin-RevId: 179945310

Fixing tf.contrib.data API declarations.

PiperOrigin-RevId: 179943582

[XLA] Remove Power architecture support from CPU backend.

The Power support is unused, untested, and buggy. Remove it until it is fixed.

PiperOrigin-RevId: 179942340

In FirstReady node manager, use node name as tie-breaker when multiple nodes
have same time_ready.

PiperOrigin-RevId: 179940344

Fix allow_smaller_final_batches for bucket_by_sequence_length.
Closes #14420.

PiperOrigin-RevId: 179940036

Adds support in stream executor interface to update the scratch allocator used with a cuFFT plan. This enables plan reuse without requiring we keep the scratch allocation alive between executions.

PiperOrigin-RevId: 179939994

Extract placement restrictions for a graph

PiperOrigin-RevId: 179939679

[XLA:GPU] Fix implementation of Thunk::ShouldBlockFutureThunks.

The old implementation did not do what it was intended to do.  Instead
of making the next thunk on each other stream wait for this thunk to
complete, it made all following thunks on this stream wait for this
thunk to complete.  (Which is redundant, since streams are serialized
anyway.)

PiperOrigin-RevId: 179938424

No need to and don't add layout transform to control nodes.

PiperOrigin-RevId: 179934839

Mark the Arg and RetVal ops as inexpensive.

This change avoids gratuitous context switches at the beginning of a
step (for each fed value) and end of a step (for each fetched
value). These OpKernels are trivial, so the cost of executing it
inline is typically smaller than waking up another thread to perform
the work.

PiperOrigin-RevId: 179933412

Add comments to link convolutional factors code with definitions in the KFC paper.

PiperOrigin-RevId: 179925679

Added an option to download a fresh release of clang for doing cuda_clang builds.

Tested only on Linux, but should also work for Mac.
No support for Windows is available yet.

PiperOrigin-RevId: 179910980

[XLA] Support conditional in all backends.

PiperOrigin-RevId: 179900775

Support multiple loss and multiple optimizers in replicate_model_fn.

Instead of supplying `optimizer_fn`, the user is now expected to wrap their optimizer in GatheringOptimizer.  The latter will gather gradients, reduce and apply them.

There can be multiple instances of GatheringOptimizer inside the model.

PiperOrigin-RevId: 179899422

Made hard colocation constraints (i.e constraints that must be met for the
model to be executable) available from python

PiperOrigin-RevId: 179892785

[XLA] Print out missing extra-info for many instructions in the HLO graph dumper.

Now we use the same functionality as HloInstruction::ToString() to print
instructions' extra info.  This fills in a lot of previously-missing
info, like reduce-windows' windows, and dots' dot-dimension-numbers.

PiperOrigin-RevId: 179892469

[XLA] Update the parsing and stringfication of the Dot dimension numbers.

PiperOrigin-RevId: 179888764

[XLA] Add zero-sized batchnorm test.

Also fix out-of-bounds read in ReferenceUtil::Reduce4DTo1D.

PiperOrigin-RevId: 179888724

Support fill op.

PiperOrigin-RevId: 179888184

[XLA] Run ZeroSizedHloElimination after BatchNormExpander.

BatchNormExpander can create zero-sized HLOs even if it's run after
ZeroSizedHloElimination.  For example, you might have a
BatchNormTraining op with shape (f32[0, 10], f32[10], f32[10]).  This
won't be eliminated by ZeroSizedHloElimination, but when it's
decomposed, it will result in many zero-sized HLOs.

PiperOrigin-RevId: 179885417

[XLA:GPU] Implement BatchNormThunk as a call into cudnn.

Using cudnn for these calls is disabled by default, because it's not a
performance win on our benchmarks.

PiperOrigin-RevId: 179882911

Automated g4 rollback of changelist 179872807

PiperOrigin-RevId: 179882393

No external change.

PiperOrigin-RevId: 179881638

Internal change.

PiperOrigin-RevId: 179880234

Adding a test that checks that Grappler is able to infer shapes for core `tf.data` API.

PiperOrigin-RevId: 179878973

Added a comment to explain why we can't reorder BiasAdd

PiperOrigin-RevId: 179878687

Add test coverage for example parsing with a feature that is an empty string.

PiperOrigin-RevId: 179875758

Fold FuseBatchNorm correctly.

PiperOrigin-RevId: 179874901

Extract placement restrictions for a graph

PiperOrigin-RevId: 179872807

Update ops-related pbtxt files.

PiperOrigin-RevId: 179872583

Automated g4 rollback of changelist 179858783

PiperOrigin-RevId: 179870508

[XLA] Transform division-by-fp-constant to multiplication by its inverse.

Backends can do this transformation, but in general they won't if the
divisor is not a constant.  In addition, this formulation allows more
aggressive fusion.

PiperOrigin-RevId: 179869591

Internal change.

PiperOrigin-RevId: 179866603

Only squeeze the last dimension of outputs and indices in infer_graph of
kmeans.

PiperOrigin-RevId: 179865588

Saving a couple of us in IteratorGetNextOp::ComputeAsync.

PiperOrigin-RevId: 179863871

Automated g4 rollback of changelist 179782067

PiperOrigin-RevId: 179861781

Merged commit includes the following changes:
179858783  by gunan:

    [XLA] Add a pass to replace all non-side-effecting and removable zero sized
    HLOs.

--
179853916  by A. Unique TensorFlower:

    Fix missing backtick in parse_example docstring, causing wrong markdown formatting.

--
179852823  by apassos:

    Another attempt at adding int64 indices to Fill.

--
179852553  by A. Unique TensorFlower:

    Stop grappler optimization to reorder BiasAdd ops.

--
179850703  by yaozhang:

    Support reverse op.

--
179850204  by blakehechtman:

    [XLA] Add a pass to replace all non-side-effecting and removable zero sized
    HLOs.

--

PiperOrigin-RevId: 179858783

Automated g4 rollback of changelist 179836027

PiperOrigin-RevId: 179848421

Make it possible to wrap tf.layers.Layer's 'call' method in tfe.defun.

This change wraps Layer's `build` method in an `init_scope`, which has the effect of lifting all ops created in `build` out of function-building graphs and control flow scopes; the `init_scope` also pauses the gradient tape.

PiperOrigin-RevId: 179846085

Tagged the grappler python tests

PiperOrigin-RevId: 179844728

Add links to low level API intro

PiperOrigin-RevId: 179844300

This change adds a mechanism to the internal C API for updating an output handle's shapes and types after its source operation has been created.

Context: framework/ops.py was recently updated to use the C API when setting shapes for an op's outputs. This update broke shape inference for graph functions that captured resource handles; this, in turn, made it impossible to create graph functions from Python methods that required fully defined shapes (e.g., like MNIST's `call` method). In particular, the C API computes shapes for ops when they are created and does not update them thereafter; this is problematic because when a resource handle is captured while building a function, we need to update the captured operation's output handle in order to propagate its outputs shapes and dtypes.
PiperOrigin-RevId: 179837104

Fix padding for int8 fused convolution.

cudnnConvolutionBiasActivationForward doesn't work when filter size >= 6 and
there is padding. This CL works around this cudnn bug.

PiperOrigin-RevId: 179836819

Adding support for to resolve constant FloorDiv, FloorMod, StridedSlice, Stack, Rank and Range.

PiperOrigin-RevId: 179836027

[XLA] Make dumped_computation_to_text print the short parsable hlo text.

PiperOrigin-RevId: 179835513

Adds eval session master into TF_CONFIG

PiperOrigin-RevId: 179835208

[TFE] Return a byte-encoded value for tfe.defun's name

This is necessary when the function object is passed to an op constructor;
the op's func attribute is a protobuf field and must be bytes in python3.

PiperOrigin-RevId: 179822007

sparse_ops:  Static shape update.

* .sparse_reshape:  Set static shape on output when shape includes inferred dims.
* .transpose:  Set static shape if all shapes are known.

PiperOrigin-RevId: 179820175

tfdbg: allow writing tensor values to filesystem as numpy files

Command example:
tfdbg> pt Softmax:0 -w /tmp/softmax.npy
tfdbg> eval 'np.sum(`Softmax:0`, axis=1)' -w /tmp/softmax_sum.npy

The saved file can later be loaded in Python:
>> import numpy as np
>> np.load('/tmp/softmax.npy')
>> np.load('/tmp/softmax_sum.npy')

RELNOTES: For `pt` and `eval` commands, allow writing tensor values to filesystem as numpy files.
PiperOrigin-RevId: 179817453

Implement Clone for kSend,kRecv,kSendDone and kRecvDone.

PiperOrigin-RevId: 179808928

Modernize old "get_started/get_started.md", as "programmers_guide/low_level_intro.md".

PiperOrigin-RevId: 179807033

Roll CL 177989542 forward with fix: Wrappers for CUDA 9 warp-synchronous intrinsics.

PiperOrigin-RevId: 179782067

[tf nest] Add additional key yielder.

This is just copying a utility function created by Malcolm Reynolds.

PiperOrigin-RevId: 179775504

Revert change to ParseBytesList that failed on some platforms.

PiperOrigin-RevId: 179775354

Go: Update generated wrapper functions for TensorFlow ops.

PiperOrigin-RevId: 179769852

Internal change.

PiperOrigin-RevId: 179769382

Update ops-related pbtxt files.

PiperOrigin-RevId: 179769207

[tf.data] Add `tf.contrib.data.parse_single_example()`.

The new op is a fused implementation of the existing
`tf.parse_single_example()`, which is more efficient when parsing a
single Example at a time.

PiperOrigin-RevId: 179768512

Automated g4 rollback of changelist 179757188

PiperOrigin-RevId: 179766237

Go: Update generated wrapper functions for TensorFlow ops.

PiperOrigin-RevId: 179761889

Automated g4 rollback of changelist 179735577

PiperOrigin-RevId: 179761787

Update ops-related pbtxt files.

PiperOrigin-RevId: 179757188

[XLA] Add CrossReplicaSum to Python API bindings.

Add support to CPU for the trivial replica_count=1 case.

PiperOrigin-RevId: 179756956

[XLA] Fix HLO graph dumper not to assume that instruction names start with "%".

HLO graph dumper needs to be aware that we've gotten rid of the "%"
prefix in HLO names so it doesn't print e.g.

  reduce
  reduce.42
  Subcomputation: add
  ...

but instead simply prints

  reduce.42
  Subcomputation: add
  ...

PiperOrigin-RevId: 179756922

Fix typo in struct name: RecvNodeDescritorHash -> RecvNodeDescriptorHash.

PiperOrigin-RevId: 179756840