Internal change

PiperOrigin-RevId: 180576390

Implement reference transpose kernel.

PiperOrigin-RevId: 180571064

[tf.data] Move existing tests to use dataset_serialization_test_base.

PiperOrigin-RevId: 180571052

Support PadV2, MirrorPad, and MirrorPadGrad ops.

PiperOrigin-RevId: 180571040

Update docstring to be more accurate and indicate notes of usage.

PiperOrigin-RevId: 180571039

[TF] TPU context subclasses an XLA context from core.

Making it easier to tell in the future if we are inside an XLA context.

PiperOrigin-RevId: 180570231

re-enabling a test after the llvm bug was fixed

PiperOrigin-RevId: 180565013

Remove using directives. Test appertaining to ops have been moved into namespace tensorflow::ops; all other tests now use explicit using-declarations.

Some tests are now using unnamed namespaces more aggressively to make as many names internal as possible.

PiperOrigin-RevId: 180564422

[XLA] Fix a bug in --xla_hlo_profile and add a test that would have caught it

I'm pretty sure I introduced the bug when refactoring HloExecutionProfile some
time back.

Also change the bytes-per-cycle field to use a floating point format when its
value is less than 1, to avoid rounding down to 0 (common on CPU).

PiperOrigin-RevId: 180563380

Let tf.constant_initializer accept tuples as intiail values

following CL/180416775

PiperOrigin-RevId: 180561696

Grappler item_test: fix item order dependency

by replacing assertEqual() with assertItemsEqual()

Fixes test failures such as:
http://ci.tensorflow.org/view/Tensorflow%20Jenkins%20Monitored%20builds/job/nightly-matrix-cpu/TF_BUILD_IS_PIP=NO_PIP,TF_BUILD_PYTHON_VERSION=PYTHON3,label=cpu-slave/763/consoleFull

PiperOrigin-RevId: 180550331

Remove 'gpu_clang' CI Docker image, use 'gpu' image instead.

The clang is now downloaded using the new TF_DOWNLOAD_CLANG option at build
time.

Also removes GPU-specific env vars from 'tools/ci_build/builds/configured',
they are now passed directly to 'docker run' instead.

PiperOrigin-RevId: 180536813

K-FAC: Support onehot categorical in kfac.loss_functions.

PiperOrigin-RevId: 180536416

Disable flaky replicate_model_fn_test.

PiperOrigin-RevId: 180512413

Design tweaks of Fisher Factor classes.  Now they don't declare ops in their constructors, except possibly for making the cov variables (is this considered an op?).  This should allow for easier control over device placement of various ops in the future.

Fixed some problems with how colocations were done for ops computed in the base class and in the RNN class.

Colocations now controlled with global configuration variable (similar to the rest of the configuration of the FisherFactor classes).

PiperOrigin-RevId: 180441903

Usability improvement for tf.constant_initializer

* Raise TypeError if the input value is not one of the expected types,
  e.g., a tf.Tensor. Previously, the error is delayed until Session.run()
  time and the message is very obscure, e.g.,
  "TypeError: Expected float32, got list containing Tensors of type
   '_Message' instead."

PiperOrigin-RevId: 180416775

Update TOCO for user friendly error messages.

PiperOrigin-RevId: 180368346

Add dependency on gast.

PiperOrigin-RevId: 180354109

Minor change to make tpu.rewrite compatible with Python 3.

AttrValue is a byte array, and handling this is different between Python 2 and 3.

PiperOrigin-RevId: 180306415

Go: Update generated wrapper functions for TensorFlow ops.

PiperOrigin-RevId: 180305698

Update ops-related pbtxt files.

PiperOrigin-RevId: 180305277

Fix tf.train.piecewise_constant docstring example.

The example currently implies that if the global_step is on the first boundary, it takes the second value, not the first. In reality, it takes the first value.

PiperOrigin-RevId: 180304929

[XLA:CPU] Use a simpler mechanism to fetch llvm::TargetTransformInfo

This resolves the TODO.  The backing change landed in LLVM in
https://reviews.llvm.org/rL321375

PiperOrigin-RevId: 180304271

[TF:XLA] Bump open source llvm revision to r321490

PiperOrigin-RevId: 180302351

Merge changes from github.

PiperOrigin-RevId: 180301735

Fix saved_model_cli _print_tensor_info for REF types.
Fix #15611.

PiperOrigin-RevId: 180292752

[XLA] Fix hlo_graph_dumper: don't crash if the computation has a constant root instruction.

PiperOrigin-RevId: 180285687

[XLA:CPU] Implement RngBernoulli for F32 and F64

PiperOrigin-RevId: 180283205

Upgrade TF CI scripts to use cuda 9.

PiperOrigin-RevId: 180246669

Improve a text comment in replicate_model_fn.GatheringOptimizer.

PiperOrigin-RevId: 180224227

Bump the limit on checkpopint_utils_test as it is failing consistently with the current number by a small margin.

PiperOrigin-RevId: 180207280

Hack around a bug caused by bazel+tempfile+multiprocessing.

PiperOrigin-RevId: 180207077

Fix typo in export_savedmodel api doc.

PiperOrigin-RevId: 180203426

Optionally store the status code/message in the response
body for RunGraph and RunStep RPCs, to workaround the fact that the
RPC subsystem truncates long metadata messages.

PiperOrigin-RevId: 180203356

tfdbg: Fix a bug in source file content reading

Previously, calling strip() removed not only the trailing newline character, but also any leading spaces and tabs, which actually should be preserved. This CL fixes it.

PiperOrigin-RevId: 180198179

Remove unwrapping for function argument inspection in Estimator.

PiperOrigin-RevId: 180147476

Assign subgraph created by cudnn_rnn saveable to the 1st GPU.

PiperOrigin-RevId: 180053468

[TF:XLA] Refactor large list of hard-coded compile-time constant arguments to operators. Add a new .CompileTimeConstInput() annotation on kernel registrations instead.

PiperOrigin-RevId: 180008567

Automated g4 rollback of changelist 179983419

PiperOrigin-RevId: 180000981

Adds FFT for XLA: CPU via Eigen, GPU via cuFFT.

GPU support includes plan reuse with new scratch allocator per execution in fft_thunk.

PiperOrigin-RevId: 179983419

Fill the 4th and 5th output of FusedBatchNormGradOp with zeros so that check_op won't fail.

PiperOrigin-RevId: 179981448

Adds train_hooks into _TrainingExecutor.

PiperOrigin-RevId: 179978502

Remove a few unused constructions and simplfy some code

PiperOrigin-RevId: 179978470

Go: Update generated wrapper functions for TensorFlow ops.

PiperOrigin-RevId: 179977826

Update ops-related pbtxt files.

PiperOrigin-RevId: 179976854

Clarify Eager Metrics docs.
Add Metric.value()

PiperOrigin-RevId: 179976743

Changing tf.contrib.data.dense_to_sparse_batch to return tf.SparseTensor.

PiperOrigin-RevId: 179975122

Produces RunMetadata from eager execution when tracing is explicitly enabled.

This will allow downstream profiling tools to work with eager execution.

PiperOrigin-RevId: 179974238

Allow ImportGraphDef to ignore shape validation to match semantics of ConvertGraphDefToGraph optionally.

PiperOrigin-RevId: 179974220

Shard and turn on the layout optimizer test
Tag the dataset test

PiperOrigin-RevId: 179974079

Replaces custom _lengths_to_masks function with the official, more efficient sequence_mask function that supersedes it.

PiperOrigin-RevId: 179971521

Run gen_git_source.py inside of a repo_rule instead of configure.

PiperOrigin-RevId: 179971055

Avoid unnecessary copying and allocation in `ExecutorBarrier::WhenDone()`.

Previously the code would make a copy of the `done_cb_` and update the status
on a successful completion, neither of which is necessary, and both of which
showed up in trace amounts in profiling.

PiperOrigin-RevId: 179970701

Adding page to tensorflow.org with directions for building the TFLite demo on Android.

PiperOrigin-RevId: 179970218

[XLA] Hlo parser: update readme.

PiperOrigin-RevId: 179969357

Output of a slice op can alias its operand.

PiperOrigin-RevId: 179969317

Make the analytical estimator and the virtual cluster own the ready_node_manager to be used   by the virtual_scheduler. This allows us to customize the ready_node_manager for each analyzer instance.

PiperOrigin-RevId: 179967778

Extracts the tpu_job_name from TF_CONFIG if set.

PiperOrigin-RevId: 179966184

Use assert_near in mvn_full_covariance to assert symmetric.

PiperOrigin-RevId: 179964717

Automated g4 rollback of changelist 179846085

PiperOrigin-RevId: 179963793

Fix documentation error in tensorflow feature_utils.h

Need to take address of the example for modifying its feature

PiperOrigin-RevId: 179963317

Support non-constant param input of AvgPoolGrad and Sum.

PiperOrigin-RevId: 179962212

Fix typo in direct_session_test.cc.

PiperOrigin-RevId: 179960797

[TFE] Add link to other exapmles from spinn/README.md

PiperOrigin-RevId: 179960166

Adds more useful debug information to an error message when no kernels are found.

PiperOrigin-RevId: 179957977

Update ops-related pbtxt files.

PiperOrigin-RevId: 179955796

Go: Update generated wrapper functions for TensorFlow ops.

PiperOrigin-RevId: 179954704

Merge changes from github.

PiperOrigin-RevId: 179953488

Updated the virtual cluster to return the proper error code if the simulated
peak memory usage exceeds the available memory.

PiperOrigin-RevId: 179952918

Uses ImportGraphDef instead of ConvertGraphDefToGraph in tflite.

This has the right semantics for backwards compatibility.

PiperOrigin-RevId: 179951639

Adding performance guide for the `tf.data` API.

PiperOrigin-RevId: 179947300

assert_near added to check_ops.py

PiperOrigin-RevId: 179946066

[TF:XLA] Implement AdjustContrastv2, AdjustHue, AdjustSaturation, HSVToRGB, RGBToHSV in XLA bridge.

PiperOrigin-RevId: 179945310

Fixing tf.contrib.data API declarations.

PiperOrigin-RevId: 179943582

[XLA] Remove Power architecture support from CPU backend.

The Power support is unused, untested, and buggy. Remove it until it is fixed.

PiperOrigin-RevId: 179942340

In FirstReady node manager, use node name as tie-breaker when multiple nodes
have same time_ready.

PiperOrigin-RevId: 179940344

Fix allow_smaller_final_batches for bucket_by_sequence_length.
Closes #14420.

PiperOrigin-RevId: 179940036

Adds support in stream executor interface to update the scratch allocator used with a cuFFT plan. This enables plan reuse without requiring we keep the scratch allocation alive between executions.

PiperOrigin-RevId: 179939994

Extract placement restrictions for a graph

PiperOrigin-RevId: 179939679

[XLA:GPU] Fix implementation of Thunk::ShouldBlockFutureThunks.

The old implementation did not do what it was intended to do.  Instead
of making the next thunk on each other stream wait for this thunk to
complete, it made all following thunks on this stream wait for this
thunk to complete.  (Which is redundant, since streams are serialized
anyway.)

PiperOrigin-RevId: 179938424

No need to and don't add layout transform to control nodes.

PiperOrigin-RevId: 179934839

Mark the Arg and RetVal ops as inexpensive.

This change avoids gratuitous context switches at the beginning of a
step (for each fed value) and end of a step (for each fetched
value). These OpKernels are trivial, so the cost of executing it
inline is typically smaller than waking up another thread to perform
the work.

PiperOrigin-RevId: 179933412

Add comments to link convolutional factors code with definitions in the KFC paper.

PiperOrigin-RevId: 179925679

Added an option to download a fresh release of clang for doing cuda_clang builds.

Tested only on Linux, but should also work for Mac.
No support for Windows is available yet.

PiperOrigin-RevId: 179910980

[XLA] Support conditional in all backends.

PiperOrigin-RevId: 179900775

Support multiple loss and multiple optimizers in replicate_model_fn.

Instead of supplying `optimizer_fn`, the user is now expected to wrap their optimizer in GatheringOptimizer.  The latter will gather gradients, reduce and apply them.

There can be multiple instances of GatheringOptimizer inside the model.

PiperOrigin-RevId: 179899422

Made hard colocation constraints (i.e constraints that must be met for the
model to be executable) available from python

PiperOrigin-RevId: 179892785

[XLA] Print out missing extra-info for many instructions in the HLO graph dumper.

Now we use the same functionality as HloInstruction::ToString() to print
instructions' extra info.  This fills in a lot of previously-missing
info, like reduce-windows' windows, and dots' dot-dimension-numbers.

PiperOrigin-RevId: 179892469

[XLA] Update the parsing and stringfication of the Dot dimension numbers.

PiperOrigin-RevId: 179888764

[XLA] Add zero-sized batchnorm test.

Also fix out-of-bounds read in ReferenceUtil::Reduce4DTo1D.

PiperOrigin-RevId: 179888724

Support fill op.

PiperOrigin-RevId: 179888184

[XLA] Run ZeroSizedHloElimination after BatchNormExpander.

BatchNormExpander can create zero-sized HLOs even if it's run after
ZeroSizedHloElimination.  For example, you might have a
BatchNormTraining op with shape (f32[0, 10], f32[10], f32[10]).  This
won't be eliminated by ZeroSizedHloElimination, but when it's
decomposed, it will result in many zero-sized HLOs.

PiperOrigin-RevId: 179885417

[XLA:GPU] Implement BatchNormThunk as a call into cudnn.

Using cudnn for these calls is disabled by default, because it's not a
performance win on our benchmarks.

PiperOrigin-RevId: 179882911

Automated g4 rollback of changelist 179872807

PiperOrigin-RevId: 179882393

No external change.

PiperOrigin-RevId: 179881638

Internal change.

PiperOrigin-RevId: 179880234

Adding a test that checks that Grappler is able to infer shapes for core `tf.data` API.

PiperOrigin-RevId: 179878973

Added a comment to explain why we can't reorder BiasAdd

PiperOrigin-RevId: 179878687

Add test coverage for example parsing with a feature that is an empty string.

PiperOrigin-RevId: 179875758

Fold FuseBatchNorm correctly.

PiperOrigin-RevId: 179874901