Adding several utility functions to TF2XLA to help with the Cholesky refactor.  Mainly responsible for handling batching properly.

PiperOrigin-RevId: 193090634

Update ops-related pbtxt files.

PiperOrigin-RevId: 193089301

Simplify the implementation of break_statements.py

PiperOrigin-RevId: 193086371

boosted_trees: Make some regularizer/hyper-params as inputs instead of attributes.

PiperOrigin-RevId: 193085059

Early TPU distribution strategy and the associated testing infrastructure.

PiperOrigin-RevId: 193080098

Tighten label check in BinaryLogisticHeadWithSigmoidCrossEntropyLoss

PiperOrigin-RevId: 193078844

Add a common transformer feature that allows keeping temporary state across nodes. To be used in the break, continue and return canonicalizers.

PiperOrigin-RevId: 193078359

Copy the if statement handlers over to the operators module. They will enabled in a follow-up CL.

PiperOrigin-RevId: 193078348

Remove obsolete tests. Patch the unexpected print output in Python 3.

PiperOrigin-RevId: 193078330

Mark the parent list as modified for index writes. Add special case for constructors where we know setting an attribute actually creates a new symbol. Clean up the tests a bit.

PiperOrigin-RevId: 193075909

Refactoring: Rename the __ops module to ag__ (double underscore prefix has special meaning in Python). Consolidate all internal API calls through the ag__ module.

PiperOrigin-RevId: 193074379

Internal testing changes

PiperOrigin-RevId: 193071881

Remove the hidden replicate_model_fn copy from core.

PiperOrigin-RevId: 193070799

Porting tests for the `decode_proto` and `encode_proto` to OS.

PiperOrigin-RevId: 193070420

Prefix clip_by_value with underscore in gen_math_ops so that it doesn't
interfere with clip_ops.clip_by_value when importing.

PiperOrigin-RevId: 193069700

PiperOrigin-RevId: 193059174

Update for ObjectMemoryBuffer.h rename in upstream LLVM.

This will require a version bump in workspace.bzl

PiperOrigin-RevId: 193052084

Internal change

PiperOrigin-RevId: 192981122

Minor cleanup.

PiperOrigin-RevId: 192971080

Style nit: avoid creating local variables when not required.

PiperOrigin-RevId: 192876802

Make sure that same nodes are not optimized as part of multiple groups.

Replace recusrsion with iteration in AbsorbInputByOptimizedNodesGroup.

PiperOrigin-RevId: 192874364

[XLA] Use pattern matcher in algebraic simplifier

PiperOrigin-RevId: 192862841

Upgrade gRPC version used in OSS Tensorflow

PiperOrigin-RevId: 192862541

Check there are no duplicate entries in sparse features as this would invalidate the example norm computation in SDCA.

PiperOrigin-RevId: 192861834

Adding 1d and 3d orthogonal kernels convolutions.

PiperOrigin-RevId: 192861809

Internal Change

PiperOrigin-RevId: 192856330

Update ops-related pbtxt files.

PiperOrigin-RevId: 192856167

Clarify a caveat about metrics.

PiperOrigin-RevId: 192855733

Merge changes from github.

PiperOrigin-RevId: 192850372

Java: Bump release to 1.8.0-rc0

PiperOrigin-RevId: 192850310

Add a caveat about make_initiliazable_iterator to the README.

PiperOrigin-RevId: 192850014

VLOG(1) all OutOfRange CtxFailures, and LOG(WARNING) all other CtxFailures. This
unifies the logging behavior of the OP_REQUIRES and OP_REQUIRES_OK macros.

PiperOrigin-RevId: 192848921

Revamp Cudnn RNN kernels for incoming autotune changes.

* Create DoForward() and DoBackward() to be used by fwd/bak kernels and later autotune.
* Simplify CudnnRnnForward Comupute() function. Offload the majority of its logic to other member functions.

PiperOrigin-RevId: 192848100

TFLite: Copy output data from BufferHandle to CPU memory by default.
PiperOrigin-RevId: 192846824

Automated g4 rollback of changelist 192784701

PiperOrigin-RevId: 192842670

Improve layout optimizer tests -- Evaluate nodes before and after optimization, to confirm the graph's behavior is maintained after optimization.

PiperOrigin-RevId: 192842623

Upgrade SQLite

PiperOrigin-RevId: 192837358

Restore definitions of static members in MklCpuAllocator.

These were removed in #17396 which made the static member variables of
MklCpuAllocator into inline variables, which are a C++17 feature, and not
properly restored in #18006 which reverted the inline declarations, leading to
an ODR violation that is apparently ignored with some compilers.
END_PUBLIC

RELNOTES: n/a

BEGIN_PUBLIC
Automated g4 rollback of changelist 191305220

PiperOrigin-RevId: 192836808

Enable remote functions for TPU_SYSTEM.

PiperOrigin-RevId: 192836098

Avoid mixing `Dimension` type and `int` when defining kernel shapes in conv layers.

PiperOrigin-RevId: 192834255

[XLA] Pattern matcher for HLO, Shapes, Layouts

PiperOrigin-RevId: 192834129

Add broadcasting to all LinearOperators.

This will broadcast in cases where batch shapes are not equal (but tries to determine statically if this is the case). The broadcasting is not as efficient as doing the broadcast in C++, but makes for the API to at least be completely broadcastable.

PiperOrigin-RevId: 192832919

[TF] Enable half precision XLA compiler tests for the gpu backend.

Modify some tests to allow larger error for half precision.

Enable half precision SpaceToBatchNDTest for the cpu backend.

PiperOrigin-RevId: 192831909

Added PmfToQuantizedCdf op to contrib/coder in TensorFlow.

The added op transforms probability mass functions (PMF) to quantized
cumulative distribution function (CDF), which can be used by range coder ops in
contrib/coder.

The op takes greedy approach to ensure that the post-quantization probability
masses do not sum over the maximum quantized value. The op does not make any
adjustment when the post-quantization probability masses already sum less than
the maximum value.

PiperOrigin-RevId: 192827779

Allow tf.train.Saver to load object-based checkpoints (using names)

This is the second part of the compatibility story. Object-based checkpointing APIs can already read name-based checkpoints, and now the name-based APIs can read object-based checkpoints by looking up the modified keys in the object graph proto.

PiperOrigin-RevId: 192824907

[XLA] Redesign: add ~XlaOp() and ~XlaComputation().

PiperOrigin-RevId: 192822559

Small tag change

PiperOrigin-RevId: 192821895

Extend Keras symbol-feeding to dynamic-length tensors and tensors of different dtypes from the target placeholders.

PiperOrigin-RevId: 192821770

Internal change.

PiperOrigin-RevId: 192821482

Support scalar mean in resolve_batch_normalization

PiperOrigin-RevId: 192816848

Remove closure_js_proto_library rule for tf.example protos.

PiperOrigin-RevId: 192809073

[XLA] Redesign: add a constructor: XlaComputation(HloModuleProto).

PiperOrigin-RevId: 192808038

[XLA] Redesign: add a method that creates fake data for XlaComputation.

PiperOrigin-RevId: 192807851

Expose tf.decode_compressed to the public API.

PiperOrigin-RevId: 192805605

Fixing output alternatives

PiperOrigin-RevId: 192795596

[TF:XLA] Start a TensorFlow library that contains direct wrappers for XLA operators.

Add new XlaReduceWindow and XlaDynamicUpdateSlice operators.
Add new tests for the existing XlaWhile operator.
Add wrappers for XlaSend and XlaRecv.

PiperOrigin-RevId: 192795174

Add more logging for failure cases in CUDATimer

PiperOrigin-RevId: 192793983

Fix comment in xla_data.proto related to padding value for Windows.

PiperOrigin-RevId: 192792971

Internal change.

PiperOrigin-RevId: 192791493

Disable x * x -> square(x) Grapler rewrite for complex types unless the op is on CPU. Square is not registered for complex types on GPU, and doing so produces a crash in with CUDA_ILLEGAL_INSTRUCTION when running it on open source ubuntu.

PiperOrigin-RevId: 192788160

DepthwiseConv Optimization Fixes

PiperOrigin-RevId: 192787669

Enable GCS remote cache in Windows Bazel Build

PiperOrigin-RevId: 192784701

Add debugging checks for setting cuda stream, so it will check fail if the
stream is not set or set to a wrong one when running cudnn methods that
conceptually require a stream.

Also add missing cudnnSetStream()s for DoRnnForwardImpl() and
DoRnnBackwardImpl().

Implementation details:
1. a current_cudnn_stream_ member is added which will be set in cudnnSetStream()
2. a different macro is used to wrap cudnn methods that require a stream in
   order to verify whether the provided stream is same as current_cudnn_stream_,
   and the program will check fail if not

PiperOrigin-RevId: 192783913

Experiment with pre-shuffled fully-connected weights

PiperOrigin-RevId: 192771889

Refactor to remove the duplicate calls to obtain a function's namespace. This removes the need to explicitly import internal components (barring the tf module which cannot be imported directly).

PiperOrigin-RevId: 192771440

Add support to TFLite for dilated convolution.

PiperOrigin-RevId: 192770919

Automated g4 rollback of changelist 192768744

PiperOrigin-RevId: 192770717

Split byte_order.h off cpu_info.h

PiperOrigin-RevId: 192768744

Demo: RNN colorbot with Estimators.

PiperOrigin-RevId: 192765203

Keep function doc string at the top of the function.

PiperOrigin-RevId: 192761604

- Fixed small bug in example script

PiperOrigin-RevId: 192756152

Update for upstream LLVM *.def -> *.inc rename

PiperOrigin-RevId: 192752798

Fix bug in converted_call, and add tests for it.

PiperOrigin-RevId: 192751211

Implementation of Less

PiperOrigin-RevId: 192728635

-- Add a new histogram/cdf computation method compatible with the TPU.
-- Refactor utility functions into pruning_utils.py and add tests

PiperOrigin-RevId: 192727737

[XLA] Rename Interpreter{Executor,Platform} -> XlaInterpreter{Executor,Platform}.

These types live inside StreamExecutor's namespace, but they are
specific to XLA.  Therefore they either shouldn't live in SE's namespace
or should have "XLA" in the name.

Moving them out of SE's namespace is ugly, because almost every type
used inside of these headers then needs to be qualified.  So name-change
it is.

This patch was generated by a mechanical find/replace.

PiperOrigin-RevId: 192724238

Automated g4 rollback of changelist 192698931

PiperOrigin-RevId: 192718697

Automated g4 rollback of changelist 192504411

PiperOrigin-RevId: 192711501

Add boolean type to tflite in favor of comparison implementations.

PiperOrigin-RevId: 192711203

Automated g4 rollback of changelist 192691078

PiperOrigin-RevId: 192708480

Enable efficient feeding of symbolic tensors to placeholders in the Keras backend.

PiperOrigin-RevId: 192707345

Avoid calling K.learning_phase() when not necessary in Dropout layer since it instantiates a placeholder_with_default, which is not supported by TPU compilation.

PiperOrigin-RevId: 192705478

Convert GrapplerFunctionItem to (Specialized)FunctionDef.

PiperOrigin-RevId: 192704808

Adding autograph built-in function checker.

PiperOrigin-RevId: 192703924

Reintroducing support for constants as outputs of tf.data.map(). This fixes a regression introduced by cl/176147440.

PiperOrigin-RevId: 192702279

Print error msg in CUDATimer.Init() when CreateEvent() is not ok().

PiperOrigin-RevId: 192699277

Porting tests for `rpc_op` to OS.

PiperOrigin-RevId: 192698931

Move dummy AssertOp and CheckNumericsOp to //third_party/tensorflow/compiler/tf2xla/kernels.
Enable type DT_STRING for AssertOp and ConstOp, in order to make dummy Assert compile with a const string (assert message) as its input.

PiperOrigin-RevId: 192695938

Fix a typo in cross_tower_ops.

PiperOrigin-RevId: 192694794

Misc. small optimizations in Grappler and shape inference code.

Impact on time per optimizer on inception graph:

model_pruner:          590 ms -> 550 ms   (-7%)
function_optimizer:    130 ms -> 130 ms   (-0%)
constant_folding:     7600 ms -> 7550 ms  (-0.7%)
arithmetic_optimizer: 1860 ms -> 1550 ms  (-20%)
loop_optimizer:        320 ms -> 320 ms   (-0%)
dependency_optimizer: 1300 ms -> 720 ms   (-45%)
layout:               1400 ms -> 1400 ms  (-0%)
memory_optimizer:     4200 ms -> 3540 ms  (-16%)
PiperOrigin-RevId: 192694528

Document support for boolean values in tf.contrib.training.HParams.

PiperOrigin-RevId: 192694244

[XLA:GPU] Pass all four args to custom-call convs when they're created.

A custom-call-conv should have four arguments: lhs, rhs, algorithm, and
use-tensor-cores.  CudnnAlgorithmPicker did the right thing, and that
path is exercised 99% of the time.  But CudnnAlgorithmPicker can fail,
and if it does, we're stuck with whatever we had before.  What we had
before only had three of the four args, which is bad.

In addition to fixing it, added an e2e test that catches the bug.

PiperOrigin-RevId: 192694119

Propagate sharding of the source instruction to the copies added by layout assignment.

PiperOrigin-RevId: 192693972

Change assertions to use the tensor 'x' rather than 'x.op.name'. This enables eager execution in validate_args=True contexts.

PiperOrigin-RevId: 192693458

Exposing tensorflow.contrib.proto in the pip package.

PiperOrigin-RevId: 192691078

Add support for RNN state array of type tf.identity.

PiperOrigin-RevId: 192689747

Added a utility to compute a topo ordering of a graph

PiperOrigin-RevId: 192683166

[tf.data] Clean up //tensorflow/contrib/data/python/ops/BUILD.

Create spearate targets for each submodule, so that each test can depend on
the appropriate subset of Python files.

PiperOrigin-RevId: 192679856

Check if the session has been deleted before releasing a callable.

In some versions of Python, the Session._session field may be cleared
(in `Session.__del__()`) before a callable that has a reference to
that Session is deleted. Add a defensive check in the
`Session._Callable.__del__()` method.

PiperOrigin-RevId: 192679796

K-FAC: Deprecate tf.contrib.kfac.

As LayerCollections are required to instantiate KfacOptimizer and FisherEstimator, a deprecation warning is printed upon instantiating LayerCollection.

PiperOrigin-RevId: 192671370