Removed duplicate statement.

PiperOrigin-RevId: 188663018

Fixes a race condition in function instantiation.

Previously, if the same function was being concurrently instantiated
and released:

1. Thread one could begin to instantiate the function, determine
   that it already existed in the runtime, then be preempted.
2. Thread two could release the handle on the function, causing it to
   be freed and removed from the `FunctionLibraryRuntime::items_` map.
3. Thread one could then incorrectly assume that the function still
   existed, and fail to find it in the `FunctionLibraryRuntime::items_`
   map, causing a segfault when it attempted to increment the refcount
   on an uninitialized object.

PiperOrigin-RevId: 188661500

Specify the `maximum_iterations` to tf.while_loop in tf.scan to be compatible with XLA.

PiperOrigin-RevId: 188652533

Selectively re-enable bfloat16 tests for the GPU backend.

PiperOrigin-RevId: 188651655

Improve errors raised when an object does not match the RNNCell interface.

PiperOrigin-RevId: 188651070

Fix windows GPU build scripts.

PiperOrigin-RevId: 188629017

Adds a warning to help user to debug the TPU program hanging for predict() call.

PiperOrigin-RevId: 188624174

Turn the following ops into Identity.
 * Slice when the Size input matches the size of the input tensor
 * Tile when the multiples input is a tensor of '1'
 * Pad/PadV2 when the paddings input is a tensor of 0
 * Squeeze when the squeeze dimensions are known to be > 1

PiperOrigin-RevId: 188609800

Increment node_ids when merging CostGraphDef.

PiperOrigin-RevId: 188586552

[XLA] Speed up colocated buffer merging.

PiperOrigin-RevId: 188581202

Fix DepthToSpace and SpaceToDepth to silently return instead of failing when the input tensor is empty.

PiperOrigin-RevId: 188580972

Fix docstring for `embedding_lookup_sparse`.

Example with weighted mean combiner implies that single-key embeddings not normalized (the weighted sum answer). However, the code and test shows normalization regardless of number of keys.

PiperOrigin-RevId: 188575982

Unified test util PlaceHolderFloat() into PlaceHolder(), and extended the latter
to take a TF_DataType param.

PiperOrigin-RevId: 188570493

Propagate min/max for StridedSlice

PiperOrigin-RevId: 188569611

Move optimizations to arithmetic optimizer stages

1) Redundant Bitcast
2) Redundant Cast
3) Remove inverse transpose

PiperOrigin-RevId: 188569367

Add experimental Session::MakeCallable() API and implement it for DirectSession.

The intent of this new API matches the Python `tf.Session.make_callable()`
method: it splits the two roles of the `Session::Run()` method into separate
methods:

1. `Session::MakeCallable()` takes information about a subgraph (such as the
   names of nodes to feed and fetch), and prunes and optimizes that graph,
   returning a simple handle.
2. `Session::RunCallable()` takes that handle, plus any values to be fed,
   and executes the graph, returning whatever outputs are produced.

This split moves string processing off the critical path of running a
step. We also add a new method `Session::ReleaseCallable()` that makes
it possible to free the resources associated with a cached subgraph,
and could be useful for seldom-executed graphs such as initializers.

PiperOrigin-RevId: 188566635

Fix flakiness in common_runtime/function_test.cc.

The flakiness was due to nondeterministic names being chosen for
folded constants; the fix was to split out the source of the
nondetermism into a separate test.

PiperOrigin-RevId: 188565362

Allowing ReorderActivationFunctions to reorder output arrays and adding support for propagating activation functions into Gather ops and as constant ops.

PiperOrigin-RevId: 188556574

[XLA] Add a whole graph execution interface.

PiperOrigin-RevId: 188554206

ProcFLR: Include the remote function target in the function_key

PiperOrigin-RevId: 188548941

Move a utility function into the eager C internal API

PiperOrigin-RevId: 188548393

Copy `replicate_model_fn` to core.

PiperOrigin-RevId: 188547527

Migrate tf.contrib.bayesflow.optimizers to tfp.optimziers.

PiperOrigin-RevId: 188547477

Eager: Fix a Dimension PyObject leak, test for it.

PiperOrigin-RevId: 188540944

Internal Change.

PiperOrigin-RevId: 188540659

Part of the update of tf.keras to the Keras 2.1.5 API.

PiperOrigin-RevId: 188540513

Automated g4 rollback of changelist 188501394

PiperOrigin-RevId: 188536863

[TF:XLA] Bump open source llvm revision to r326989

PiperOrigin-RevId: 188536576

Add smart_case that calls smart_cond.

PiperOrigin-RevId: 188534066

Remove the nondeterminism from a test for initializing variables from checkpoints.

PiperOrigin-RevId: 188533156

[XLA:Doc] Fix an typo "Alternately" -> "Alternatively".

PiperOrigin-RevId: 188532135

LSTM support: Add non-uint8 quantized operators.

PiperOrigin-RevId: 188529107

Internal Change

PiperOrigin-RevId: 188528771

Automated g4 rollback of changelist 188492233

PiperOrigin-RevId: 188525453

Automated g4 rollback of changelist 188433328

PiperOrigin-RevId: 188525171

Move warm_starting_util from third_party/tensorflow/python/estimator to third_party/tensorflow/python/training (move WarmStartSettings definition to third_party/tensorflow/python/estimator/estimator.py), and make _warm_start() public under tf.train.warm_start().  WarmStartSettings and VocabInfo are both available under tf.estimator, and VocabInfo is also available under tf.train.

PiperOrigin-RevId: 188522820

Allowing for FunctionLibraryRuntime::Run calls to not be provided with a runner to execute kernels with. In that case, it defaults to using the threadpool provided by the device.
Also makes sure each device has a default threadpool to fall back on.

PiperOrigin-RevId: 188520648

Add more debugging output, filtering by int_type in XLA test, more tests.

PiperOrigin-RevId: 188513895

Add bool type for tflite.

PiperOrigin-RevId: 188512706

[XLA:GPU] Don't fuse get-tuple-element.

Fusing GTE works, but it's slower than not fusing.  (In some sense, GTE
is *always* fused; it's just that our "implicit fusion" implementation
is faster than our explicit fusion implementation.)

PiperOrigin-RevId: 188509801

Make SetNumThreads apply to the eigen threads. (This creates a dependency on eigen!)

PiperOrigin-RevId: 188504172

Automated g4 rollback of changelist 188397087

PiperOrigin-RevId: 188503184

[XLA:GPU] Convert FusionMergerTest to use module strings.

This is a nice cleanup, but it also makes this a proper unit test -- the
module strings we use are post fusion.  (Without module strings, fusion
computations are a real pain to create.)

PiperOrigin-RevId: 188502642

Implement partial constant folding for Concat.

PiperOrigin-RevId: 188501394

Ensure that the rank of the input to tf.Unique is 1 as shape inference time instead of letting the kernel catch invalid inputs.

PiperOrigin-RevId: 188496351

Use the multithreaded conv only when threads are available.

PiperOrigin-RevId: 188495357

Enable the Grappler arithmetic optimizer for all python tests.

PiperOrigin-RevId: 188492233

Desugar IfExp nodes

PiperOrigin-RevId: 188491604

Adding support for constant Gather ops.

PiperOrigin-RevId: 188478173

Convert Squeeze into Reshape and support squeezes on all dimensions.

PiperOrigin-RevId: 188477922

[StreamExecutor] Remove ThenDoHostCallbackForTest -- it's identical to ThenDoHostCallback.

The reason this came about is: ThenDoHostCallback was once private, and
ThenDoHostCallbackForTest was public.  Then at some point
ThenDoHostCallback became public, but the *ForTest one was never
removed.

PiperOrigin-RevId: 188459741

Fix misleading comment.

PiperOrigin-RevId: 188450336

Remove a layer of templatization

With this change

 - HloTestBase always calls HloRunner with an array of non-owning Literal
   pointers as arguments
 - HloRunner no longer has a general LiteralPtr, but just provides explicit
   overloads for std::unique_ptr<Literal> and Literal*

This was prompted by a dependent change that needs to call
HloTestBase::RunAndCompare with Literal* arguments.
PiperOrigin-RevId: 188446331

Collapse adjacent dimensions that have no paddings.

For example,

tf.pad(<4D tensor>, [[0, 0], [0, 0], [0, 0], [0, 1]])

is equivalent to a 2D pad, which is faster.

PiperOrigin-RevId: 188440916

Removing certain attributes from pom-android.xml.

PiperOrigin-RevId: 188433792

Adding AudioSpectrogram and MFCC operator support to tflite

PiperOrigin-RevId: 188433328

Fix typo in error message

PiperOrigin-RevId: 188425637

TFE: Implement __r*__ operators for `Dimension`.

This lets you use Dimension objects in numerical computations; e.g.,
it lets you evaluate expressions like 3 + my_tensor.shape[0] when executing
eagerly.

At time of writing, without this change,

`matplotlib.pyplot.plt(my_tensor, my_other_tensor)`

fails when executing eagerly, but it works with this change.

This change also makes it possible to right-multiply a dimension by a list
(e.g., dimension * [3]); previously, only the left-multiply worked ([3] *
dimension).

PiperOrigin-RevId: 188424557

Pulling Rendezvous initialization out of TFE_Context constructor.

PiperOrigin-RevId: 188423386

Remove no-longer-needed work-around for resource variables in Optimizer.

PiperOrigin-RevId: 188419224

Internal change

PiperOrigin-RevId: 188416325

Restore cholesky_outer_product_test, to contains for CholeskyOuterProduct

PiperOrigin-RevId: 188413575

Check df parameter > 0 for Chi2.

PiperOrigin-RevId: 188413552

Fixes a bug where the ProcFLR doesn't lookup existing instantiations in the
distributed (ClusterFLR) case. As a result multiple instantiations for the same
function were happening.

PiperOrigin-RevId: 188411978

Treat IdentityN nodes with a single input as regular Identity nodes.

PiperOrigin-RevId: 188411260

[tf.data] Fix potential destruction race in IteratorGetNext.

PiperOrigin-RevId: 188411125

Return kTfLiteError if calling delegate-specific functions from non-delegate code.

PiperOrigin-RevId: 188407931

Fix StridedSlice

PiperOrigin-RevId: 188403234

Fix typo in comment.

PiperOrigin-RevId: 188403010

[XLA]: Enhancement to the while loop simplifier HLO pass.

If a while-loop tuple element is initialized as a constant and isn't changed by
the while-body, replace the use of the tuple element in while-condition and
while-body with the constant value. This enables the simplification of
while-loops that have 0/1 iteration and loop bound passed in through the
while-loop tuple.

Add test cases for while-loops with 0/1 iteration and loop bound passed in
through the while-loop tuple.

PiperOrigin-RevId: 188397087

Fix bug in updating NodeMap when materializing shapes from ShapeN.
Fix a similar bug in MaybeRemoveControlInput.
Improve error message in dependency optimizer, so we can tell if the problem is in dependency optimizer itself or upstream of it.

PiperOrigin-RevId: 188394863

Add SSIM and PSNR functions to tf.image.

Add the following functions:

- tf.image.psnr()
- tf.image.ssim()
- tf.image.ssim_multiscale()
- tf.image.sobel_edges()
- tf.image.image_gradients()

Add test images in tensorflow/core/lib/ssim/testdata, .../psnr/testdata.

Fulfills request for SSIM, fixes #15370.

PiperOrigin-RevId: 188394631

Add/AddN optimizer/rewriter

Collapse a sub-graph of Add/AddN operations of fully specified
and identical shapes to a single AddN operation.

PiperOrigin-RevId: 188392302

Add document for TPUEstimate.predict, including limitations and example.

PiperOrigin-RevId: 188390287

disabling failing tsan test

PiperOrigin-RevId: 188385868

disbaling timeout in guitar

PiperOrigin-RevId: 188383577

Add basic TensorArray support. This is temporary, and will be replaced with lists (although we can keep the TAs if necessary).

PiperOrigin-RevId: 188382727

[TF Lite] Provide a fast path for Interpreter::SetTensorParametersReadOnly.

The fast path kicks in if shape matches tensor.dims and type matches
tensor.type.

In this case, the interpreter is not invalidated and AllocateTensors need not
be called after a call to SetTensorParametersReadOnly.

PiperOrigin-RevId: 188380596

Make adaptive SDCA the default.

PiperOrigin-RevId: 188380039

disabling tsan test that is currently failing

PiperOrigin-RevId: 188378908

Add support for literals to QN. Fix the AST logic and tests. Add some extra checks.

PiperOrigin-RevId: 188376050

Make benchmark_model work.

PiperOrigin-RevId: 188372156

Allow setting control dependencies on TensorArrays. Is this the right way to do it?

PiperOrigin-RevId: 188370600

Fix a typo in gcs_smoke_test test script.

PiperOrigin-RevId: 188367883

Decoupling hash and protobuf. This simplifies a little bit the dependency chain as
we don't have to link protobuf libraries just to use basic hash functions. The case
for deterministic serialization of protocol buffers if very specific and can be
handled by a new header file.

PiperOrigin-RevId: 188366713

Expose a version of model_fn for contrib Estimators. Make the body of get_timestamped_export_dir an Estimator util.

PiperOrigin-RevId: 188366199

TFLite: Delegate Buffer Handle interface (take 2)
PiperOrigin-RevId: 188366045

Add some simple HLO creation utilities to auto-infer result shapes

I need something like this for my Gather HLO->HLO lowering pass.

PiperOrigin-RevId: 188365102

This strengthens several checks of error codes returned by libcurl.  In all of the
cases that are changed by this CL, a failure indicates a software bug, not a runtime
condition that should be handled and continued beyond.  Continuing to execute only promotes silently-ignored bugs.

I also removed the useless call which attempts to set the HTTP protocol to HTTP/2, because this call always fails.  I opened b/74351157 to track the possible feature of adding support for HTTP/2.

Also simplified the code around constructing the error string when returning actual Status objects, by moving code into a lambda.

PiperOrigin-RevId: 188363531

[SE] Initial perftools::gputools::Platform initialization support

Adds initialization methods to Platform.  Some platforms require initialization.
Those that do not have trivial implementations of these methods.

PiperOrigin-RevId: 188363315

Updating Tensorflow Docs to add reference around measures to ensure forward compatibility around TF op attributes.

PiperOrigin-RevId: 188359164

Disable flaky checkpoint_utils_test everywhere

PiperOrigin-RevId: 188353354

Automated g4 rollback of changelist 188265500

PiperOrigin-RevId: 188343238

Optimize the destruction of CancellationManager and LocalRendezvousImpl.

In the common case of clean termination, we can avoid performing several atomic
operations and allocations.

PiperOrigin-RevId: 188339594

Fix feature fraction per tree.

PiperOrigin-RevId: 188339438

This creates a new helper, xla_launch_util, that contains the business logic
of launching an XLA computation.

Also changes the resource variable container from a std::vector<OptionalTensor>
to a std::map<int, OptionalTensor> in preparation for backends where the
resource variables aren't ordered densely at the end of the argument list.

PiperOrigin-RevId: 188335574

Add init op and target node support to benchmark

PiperOrigin-RevId: 188335233

Update the eager user guide to use object-based saving (and Model)

PiperOrigin-RevId: 188332858

Disable interleave_dataset_ops_test

PiperOrigin-RevId: 188327338

Enable test CompatibleUseLinearIndexWithReshape.

This requires adding a special case to SourceIndexOfBitcast if the bitcast is a
reshape.

PiperOrigin-RevId: 188324197