Avoid ToString() in Eager's TFE_Execute.

Also use InlinedVector instead of std::vector for non-async path

Before:
Benchmark              Time(ns)        CPU(ns)     Iterations
-------------------------------------------------------------
BM_Execute/0               1895           1898         360200  Execute
BM_Execute/1               1193           1942         358322  ExecuteAsync
BM_ExecuteFunction/0       5812           5825         100000  ExecuteFunction
BM_ExecuteFunction/1       5015           5374         100000  ExecuteFunctionAsync

After:
Benchmark              Time(ns)        CPU(ns)     Iterations
-------------------------------------------------------------
BM_Execute/0               1604           1607         428262  Execute
BM_Execute/1               1150           1765         404821  ExecuteAsync
BM_ExecuteFunction/0       5615           5626         100000  ExecuteFunction
BM_ExecuteFunction/1       5111           5476         100000  ExecuteFunctionAsync
PiperOrigin-RevId: 193218331

Change the contract of dynamic_builtin to reject all functions it can't process.

PiperOrigin-RevId: 193215246

Estimate IdentityN as Identity.

PiperOrigin-RevId: 193207469

Fix incorrect rejection of xrange.

PiperOrigin-RevId: 193205016

Add uint32/uint64 support to Gather op.

PiperOrigin-RevId: 193195939

Fix the type info analysis to correctly process loops. Simplify the implementation by reusing some of the transformer base functions. Allow set_element_type to use literals. Add additional tests.

PiperOrigin-RevId: 193192409

Automated g4 rollback of changelist 192842670

PiperOrigin-RevId: 193168327

[tf.data] Add an API for randomly sampling from multiple datasets.

Fixes #15999.

PiperOrigin-RevId: 193152683

Make ParallelInterleaveDataset saveable.

PiperOrigin-RevId: 193142302

Supply a dtype to super constructor, without which build() seems to crash.

PiperOrigin-RevId: 193139585

BoostedTreesEstimator in contrib: train_in_memory works with input_fns returning data.Dataset.
Only one batch of data is expected, so dataset.batch() is disallowed,
and dataset.repeat() will be ignored (only the first one would be used)

PiperOrigin-RevId: 193137094

Remove proto imports in header files for core/kernels/hexagon.

The goal is to make kernels mostly independent of proto headers, which will let us lock down our .so imports.

PiperOrigin-RevId: 193134710

Add a simple Profiler and instrument operator invocations in Interpreter.

PiperOrigin-RevId: 193133955

Adding min node weight regularization

PiperOrigin-RevId: 193131300

Remove deprecated/unused python related Bazel options.

Since py_runtime was introduced, Bazel ignores options such as
--force_python2 and --python2_path. Deleting to clean stuff up and
make sure people are not misled.

PiperOrigin-RevId: 193127681

[tf.data] Sort the results of `tf.matching_files()` to enable `Dataset.list_files()` to be determinstic.

PiperOrigin-RevId: 193126572

Don't rely on graph contruction for an initial shape inference.

PiperOrigin-RevId: 193124836

Add LinearOperatorKronecker, representing the Kronecker product.

PiperOrigin-RevId: 193123894

Internal change.

PiperOrigin-RevId: 193119953

Port the list append into the operators module. Not enabled yet.

PiperOrigin-RevId: 193118940

disabling flaky asan test

PiperOrigin-RevId: 193117611

Internal change

PiperOrigin-RevId: 193117142

Create copy of locals() before copying, since modifying locals does not always affect the values. https://docs.python.org/2/library/functions.html#locals.

PiperOrigin-RevId: 193116254

Replacing the current inner Cholesky decomposition loop with a While loop rolled version.

This will allow for much larger Cholesky decompositions (and thus matrix inversions) than previously possible on TPU because of the use of rolled While loops so XLA compilation will no longer timeout.

While there is a minor runtime performance decrease (now 25ms vs 15ms for a 500x500 matrix) the compilation time is significantly faster (12.8s vs 55.2s for a 500x500 matrix.)

PiperOrigin-RevId: 193114816

Fix trace collection to properly remove the suffix.

PiperOrigin-RevId: 193113074

Internal change.

PiperOrigin-RevId: 193112205

Increase softmax gpu unittest numeric stability

PiperOrigin-RevId: 193103363

Porting tests for `rpc_op` to OS.

PiperOrigin-RevId: 193102564

Exposes InputPipelineConfig as tf.contrib.tpu.InputPipelineConfig.
This type is expected by the `per_host_input_for_training` argument of the TPUConfig constructor, but is not currently visible.

PiperOrigin-RevId: 193101540

disabling test that fails tensorflow.asan

PiperOrigin-RevId: 193097794

Use fixed sized tensor arrays and max loop iterations in dynamic_decode if the user supplies it and if the inputs were created in an XLA context.

PiperOrigin-RevId: 193097293

Simplify the recursion when processing unpackings.

PiperOrigin-RevId: 193094078

[XLA] Document and enforce reduction order of init value

All existing backends apply the init_value on the lhs, except for the evaluator.  This causes problems for reductions which apply an identity function to a reduce or reduce window.

PiperOrigin-RevId: 193091323

Adding several utility functions to TF2XLA to help with the Cholesky refactor.  Mainly responsible for handling batching properly.

PiperOrigin-RevId: 193090634

Update ops-related pbtxt files.

PiperOrigin-RevId: 193089301

Simplify the implementation of break_statements.py

PiperOrigin-RevId: 193086371

boosted_trees: Make some regularizer/hyper-params as inputs instead of attributes.

PiperOrigin-RevId: 193085059

Early TPU distribution strategy and the associated testing infrastructure.

PiperOrigin-RevId: 193080098

Tighten label check in BinaryLogisticHeadWithSigmoidCrossEntropyLoss

PiperOrigin-RevId: 193078844

Add a common transformer feature that allows keeping temporary state across nodes. To be used in the break, continue and return canonicalizers.

PiperOrigin-RevId: 193078359

Copy the if statement handlers over to the operators module. They will enabled in a follow-up CL.

PiperOrigin-RevId: 193078348

Remove obsolete tests. Patch the unexpected print output in Python 3.

PiperOrigin-RevId: 193078330

Mark the parent list as modified for index writes. Add special case for constructors where we know setting an attribute actually creates a new symbol. Clean up the tests a bit.

PiperOrigin-RevId: 193075909

Refactoring: Rename the __ops module to ag__ (double underscore prefix has special meaning in Python). Consolidate all internal API calls through the ag__ module.

PiperOrigin-RevId: 193074379

Internal testing changes

PiperOrigin-RevId: 193071881

Remove the hidden replicate_model_fn copy from core.

PiperOrigin-RevId: 193070799

Porting tests for the `decode_proto` and `encode_proto` to OS.

PiperOrigin-RevId: 193070420

Prefix clip_by_value with underscore in gen_math_ops so that it doesn't
interfere with clip_ops.clip_by_value when importing.

PiperOrigin-RevId: 193069700

PiperOrigin-RevId: 193059174

Update for ObjectMemoryBuffer.h rename in upstream LLVM.

This will require a version bump in workspace.bzl

PiperOrigin-RevId: 193052084

Internal change

PiperOrigin-RevId: 192981122

Minor cleanup.

PiperOrigin-RevId: 192971080

Style nit: avoid creating local variables when not required.

PiperOrigin-RevId: 192876802

Make sure that same nodes are not optimized as part of multiple groups.

Replace recusrsion with iteration in AbsorbInputByOptimizedNodesGroup.

PiperOrigin-RevId: 192874364

[XLA] Use pattern matcher in algebraic simplifier

PiperOrigin-RevId: 192862841

Upgrade gRPC version used in OSS Tensorflow

PiperOrigin-RevId: 192862541

Check there are no duplicate entries in sparse features as this would invalidate the example norm computation in SDCA.

PiperOrigin-RevId: 192861834

Adding 1d and 3d orthogonal kernels convolutions.

PiperOrigin-RevId: 192861809

Internal Change

PiperOrigin-RevId: 192856330

Update ops-related pbtxt files.

PiperOrigin-RevId: 192856167

Clarify a caveat about metrics.

PiperOrigin-RevId: 192855733

Merge changes from github.

PiperOrigin-RevId: 192850372

Java: Bump release to 1.8.0-rc0

PiperOrigin-RevId: 192850310

Add a caveat about make_initiliazable_iterator to the README.

PiperOrigin-RevId: 192850014

VLOG(1) all OutOfRange CtxFailures, and LOG(WARNING) all other CtxFailures. This
unifies the logging behavior of the OP_REQUIRES and OP_REQUIRES_OK macros.

PiperOrigin-RevId: 192848921

Revamp Cudnn RNN kernels for incoming autotune changes.

* Create DoForward() and DoBackward() to be used by fwd/bak kernels and later autotune.
* Simplify CudnnRnnForward Comupute() function. Offload the majority of its logic to other member functions.

PiperOrigin-RevId: 192848100

TFLite: Copy output data from BufferHandle to CPU memory by default.
PiperOrigin-RevId: 192846824

Automated g4 rollback of changelist 192784701

PiperOrigin-RevId: 192842670

Improve layout optimizer tests -- Evaluate nodes before and after optimization, to confirm the graph's behavior is maintained after optimization.

PiperOrigin-RevId: 192842623

Upgrade SQLite

PiperOrigin-RevId: 192837358

Restore definitions of static members in MklCpuAllocator.

These were removed in #17396 which made the static member variables of
MklCpuAllocator into inline variables, which are a C++17 feature, and not
properly restored in #18006 which reverted the inline declarations, leading to
an ODR violation that is apparently ignored with some compilers.
END_PUBLIC

RELNOTES: n/a

BEGIN_PUBLIC
Automated g4 rollback of changelist 191305220

PiperOrigin-RevId: 192836808

Enable remote functions for TPU_SYSTEM.

PiperOrigin-RevId: 192836098

Avoid mixing `Dimension` type and `int` when defining kernel shapes in conv layers.

PiperOrigin-RevId: 192834255

[XLA] Pattern matcher for HLO, Shapes, Layouts

PiperOrigin-RevId: 192834129

Add broadcasting to all LinearOperators.

This will broadcast in cases where batch shapes are not equal (but tries to determine statically if this is the case). The broadcasting is not as efficient as doing the broadcast in C++, but makes for the API to at least be completely broadcastable.

PiperOrigin-RevId: 192832919

[TF] Enable half precision XLA compiler tests for the gpu backend.

Modify some tests to allow larger error for half precision.

Enable half precision SpaceToBatchNDTest for the cpu backend.

PiperOrigin-RevId: 192831909

Added PmfToQuantizedCdf op to contrib/coder in TensorFlow.

The added op transforms probability mass functions (PMF) to quantized
cumulative distribution function (CDF), which can be used by range coder ops in
contrib/coder.

The op takes greedy approach to ensure that the post-quantization probability
masses do not sum over the maximum quantized value. The op does not make any
adjustment when the post-quantization probability masses already sum less than
the maximum value.

PiperOrigin-RevId: 192827779

Allow tf.train.Saver to load object-based checkpoints (using names)

This is the second part of the compatibility story. Object-based checkpointing APIs can already read name-based checkpoints, and now the name-based APIs can read object-based checkpoints by looking up the modified keys in the object graph proto.

PiperOrigin-RevId: 192824907

[XLA] Redesign: add ~XlaOp() and ~XlaComputation().

PiperOrigin-RevId: 192822559

Small tag change

PiperOrigin-RevId: 192821895

Extend Keras symbol-feeding to dynamic-length tensors and tensors of different dtypes from the target placeholders.

PiperOrigin-RevId: 192821770

Internal change.

PiperOrigin-RevId: 192821482

Support scalar mean in resolve_batch_normalization

PiperOrigin-RevId: 192816848

Remove closure_js_proto_library rule for tf.example protos.

PiperOrigin-RevId: 192809073

[XLA] Redesign: add a constructor: XlaComputation(HloModuleProto).

PiperOrigin-RevId: 192808038

[XLA] Redesign: add a method that creates fake data for XlaComputation.

PiperOrigin-RevId: 192807851

Expose tf.decode_compressed to the public API.

PiperOrigin-RevId: 192805605

Fixing output alternatives

PiperOrigin-RevId: 192795596

[TF:XLA] Start a TensorFlow library that contains direct wrappers for XLA operators.

Add new XlaReduceWindow and XlaDynamicUpdateSlice operators.
Add new tests for the existing XlaWhile operator.
Add wrappers for XlaSend and XlaRecv.

PiperOrigin-RevId: 192795174

Add more logging for failure cases in CUDATimer

PiperOrigin-RevId: 192793983

Fix comment in xla_data.proto related to padding value for Windows.

PiperOrigin-RevId: 192792971

Internal change.

PiperOrigin-RevId: 192791493

Disable x * x -> square(x) Grapler rewrite for complex types unless the op is on CPU. Square is not registered for complex types on GPU, and doing so produces a crash in with CUDA_ILLEGAL_INSTRUCTION when running it on open source ubuntu.

PiperOrigin-RevId: 192788160

DepthwiseConv Optimization Fixes

PiperOrigin-RevId: 192787669

Enable GCS remote cache in Windows Bazel Build

PiperOrigin-RevId: 192784701

Add debugging checks for setting cuda stream, so it will check fail if the
stream is not set or set to a wrong one when running cudnn methods that
conceptually require a stream.

Also add missing cudnnSetStream()s for DoRnnForwardImpl() and
DoRnnBackwardImpl().

Implementation details:
1. a current_cudnn_stream_ member is added which will be set in cudnnSetStream()
2. a different macro is used to wrap cudnn methods that require a stream in
   order to verify whether the provided stream is same as current_cudnn_stream_,
   and the program will check fail if not

PiperOrigin-RevId: 192783913

Experiment with pre-shuffled fully-connected weights

PiperOrigin-RevId: 192771889

Refactor to remove the duplicate calls to obtain a function's namespace. This removes the need to explicitly import internal components (barring the tf module which cannot be imported directly).

PiperOrigin-RevId: 192771440

Add support to TFLite for dilated convolution.

PiperOrigin-RevId: 192770919

Automated g4 rollback of changelist 192768744

PiperOrigin-RevId: 192770717