Fix another eager PyObject leak

Shockingly this one was also due to PySequence_GetItem.

PiperOrigin-RevId: 188765548

Add custom_gradient function.

PiperOrigin-RevId: 188765271

Extend TF Eager C API to allow asynchronous execution.

PiperOrigin-RevId: 188763442

[XLA] [Copy insertion] Deterministically iterate through instructions to copy

- Use HloInstructionMap to get deterministic iteration order.

PiperOrigin-RevId: 188755375

Switch op_hint.py to use _set_attr.

This is in preparation for enabling the C API. Modifying an op's NodeDef
directly has no effect with the C API enabled.

PiperOrigin-RevId: 188754464

Standardize "op" capitalization, see "adding_an_op".

PiperOrigin-RevId: 188753529

Improve usability of `tf.contrib.bayesflow.custom_gradient` by removing need for `axis` arg and support taking lists.

PiperOrigin-RevId: 188751894

Transposes are can be merged into reshapes when the ordering of non-one
dimensions remains unchanged.

PiperOrigin-RevId: 188751074

boosted_trees: infer the output shapes of Quantiles Op from the input shapes.

PiperOrigin-RevId: 188750079

Avoid capturing unused variables in lambda functions

PiperOrigin-RevId: 188747641

Fix race in C API.

RecordMutation could race with ExtendSessionGraphHelper, which would
release the graph lock and only keep the session lock when extending
the session.

Also makes sure thread annotations are on declarations, not definitions
(otherwise they have no effect).

PiperOrigin-RevId: 188747158

Turn trivial Pack ops with a single input into ExpandDims ops to avoid copying the tensor.

PiperOrigin-RevId: 188742516

Make default number of threads trigger the default behavior for both eigen
and gemmlowp. In gemmlowp the default is '1', while in eigen it is 'number of
processors'.

PiperOrigin-RevId: 188742087

Convert Squeeze into Reshape: Support empty output shapes.

PiperOrigin-RevId: 188740288

Supporting quantization of Gather ops and removal of trivial Relu1s when quantized.

PiperOrigin-RevId: 188738133

Plug a few more PyObject leaks, test for them.

PiperOrigin-RevId: 188731961

Don't let the grappler item builder fail if the graph contains unknown custom
ops.

PiperOrigin-RevId: 188730560

Don't remove identity nodes if they follow a device crossing and have consumers on a device different than themselves. They may be used to cache or route data between devices in a deliberate manner.

Simplify code in DependencyOptimizer a bit.

PiperOrigin-RevId: 188730185

ResourceScatterUpdate: Gracefully handle inconsistent indices and updates in
the kernel.

With graph execution, consistency between the shapes of the arguments to
ResourceScatterUpdate is validated by the shape inference functions at graph
construction time.

With eager execution, the shape inference logic isn't executed, so inconsistent
arguments could be provided to the kernel, which would result in a segmentation
fault prior to this change. As demonstrated by the added tests.

PiperOrigin-RevId: 188729154

Turn on function optimization by default

PiperOrigin-RevId: 188722505

Reuse the linear index when broadcasting a contiguous range of dimensions.

This potentially allows us to get rid of additional mod and div operations.

PiperOrigin-RevId: 188719238

Lint some files.

PiperOrigin-RevId: 188698275

this test is also timing out in cuda so disabling for now

PiperOrigin-RevId: 188685611

propagate fix from tensorflow/models#3561

PiperOrigin-RevId: 188675327

Fix assets for the TF camera example.

Mobile net model is downloaded from tf_http_archive("tf_mobilenet") rule and renaming the asset file in assets folder has no effect.

PiperOrigin-RevId: 188672531

disable flaky asan test

PiperOrigin-RevId: 188670616

Fix typo in description of INTERNAL error code.

PiperOrigin-RevId: 188666142

Removed duplicate statement.

PiperOrigin-RevId: 188663018

Fixes a race condition in function instantiation.

Previously, if the same function was being concurrently instantiated
and released:

1. Thread one could begin to instantiate the function, determine
   that it already existed in the runtime, then be preempted.
2. Thread two could release the handle on the function, causing it to
   be freed and removed from the `FunctionLibraryRuntime::items_` map.
3. Thread one could then incorrectly assume that the function still
   existed, and fail to find it in the `FunctionLibraryRuntime::items_`
   map, causing a segfault when it attempted to increment the refcount
   on an uninitialized object.

PiperOrigin-RevId: 188661500

Specify the `maximum_iterations` to tf.while_loop in tf.scan to be compatible with XLA.

PiperOrigin-RevId: 188652533

Selectively re-enable bfloat16 tests for the GPU backend.

PiperOrigin-RevId: 188651655

Improve errors raised when an object does not match the RNNCell interface.

PiperOrigin-RevId: 188651070

Fix windows GPU build scripts.

PiperOrigin-RevId: 188629017

Adds a warning to help user to debug the TPU program hanging for predict() call.

PiperOrigin-RevId: 188624174

Turn the following ops into Identity.
 * Slice when the Size input matches the size of the input tensor
 * Tile when the multiples input is a tensor of '1'
 * Pad/PadV2 when the paddings input is a tensor of 0
 * Squeeze when the squeeze dimensions are known to be > 1

PiperOrigin-RevId: 188609800

Increment node_ids when merging CostGraphDef.

PiperOrigin-RevId: 188586552

[XLA] Speed up colocated buffer merging.

PiperOrigin-RevId: 188581202

Fix DepthToSpace and SpaceToDepth to silently return instead of failing when the input tensor is empty.

PiperOrigin-RevId: 188580972

Fix docstring for `embedding_lookup_sparse`.

Example with weighted mean combiner implies that single-key embeddings not normalized (the weighted sum answer). However, the code and test shows normalization regardless of number of keys.

PiperOrigin-RevId: 188575982

Unified test util PlaceHolderFloat() into PlaceHolder(), and extended the latter
to take a TF_DataType param.

PiperOrigin-RevId: 188570493

Propagate min/max for StridedSlice

PiperOrigin-RevId: 188569611

Move optimizations to arithmetic optimizer stages

1) Redundant Bitcast
2) Redundant Cast
3) Remove inverse transpose

PiperOrigin-RevId: 188569367

Add experimental Session::MakeCallable() API and implement it for DirectSession.

The intent of this new API matches the Python `tf.Session.make_callable()`
method: it splits the two roles of the `Session::Run()` method into separate
methods:

1. `Session::MakeCallable()` takes information about a subgraph (such as the
   names of nodes to feed and fetch), and prunes and optimizes that graph,
   returning a simple handle.
2. `Session::RunCallable()` takes that handle, plus any values to be fed,
   and executes the graph, returning whatever outputs are produced.

This split moves string processing off the critical path of running a
step. We also add a new method `Session::ReleaseCallable()` that makes
it possible to free the resources associated with a cached subgraph,
and could be useful for seldom-executed graphs such as initializers.

PiperOrigin-RevId: 188566635

Fix flakiness in common_runtime/function_test.cc.

The flakiness was due to nondeterministic names being chosen for
folded constants; the fix was to split out the source of the
nondetermism into a separate test.

PiperOrigin-RevId: 188565362

Allowing ReorderActivationFunctions to reorder output arrays and adding support for propagating activation functions into Gather ops and as constant ops.

PiperOrigin-RevId: 188556574

[XLA] Add a whole graph execution interface.

PiperOrigin-RevId: 188554206

ProcFLR: Include the remote function target in the function_key

PiperOrigin-RevId: 188548941

Move a utility function into the eager C internal API

PiperOrigin-RevId: 188548393

Copy `replicate_model_fn` to core.

PiperOrigin-RevId: 188547527

Migrate tf.contrib.bayesflow.optimizers to tfp.optimziers.

PiperOrigin-RevId: 188547477

Eager: Fix a Dimension PyObject leak, test for it.

PiperOrigin-RevId: 188540944

Internal Change.

PiperOrigin-RevId: 188540659

Part of the update of tf.keras to the Keras 2.1.5 API.

PiperOrigin-RevId: 188540513

Automated g4 rollback of changelist 188501394

PiperOrigin-RevId: 188536863

[TF:XLA] Bump open source llvm revision to r326989

PiperOrigin-RevId: 188536576

Add smart_case that calls smart_cond.

PiperOrigin-RevId: 188534066

Remove the nondeterminism from a test for initializing variables from checkpoints.

PiperOrigin-RevId: 188533156

[XLA:Doc] Fix an typo "Alternately" -> "Alternatively".

PiperOrigin-RevId: 188532135

LSTM support: Add non-uint8 quantized operators.

PiperOrigin-RevId: 188529107

Internal Change

PiperOrigin-RevId: 188528771

Automated g4 rollback of changelist 188492233

PiperOrigin-RevId: 188525453

Automated g4 rollback of changelist 188433328

PiperOrigin-RevId: 188525171

Move warm_starting_util from third_party/tensorflow/python/estimator to third_party/tensorflow/python/training (move WarmStartSettings definition to third_party/tensorflow/python/estimator/estimator.py), and make _warm_start() public under tf.train.warm_start().  WarmStartSettings and VocabInfo are both available under tf.estimator, and VocabInfo is also available under tf.train.

PiperOrigin-RevId: 188522820

Allowing for FunctionLibraryRuntime::Run calls to not be provided with a runner to execute kernels with. In that case, it defaults to using the threadpool provided by the device.
Also makes sure each device has a default threadpool to fall back on.

PiperOrigin-RevId: 188520648

Add more debugging output, filtering by int_type in XLA test, more tests.

PiperOrigin-RevId: 188513895

Add bool type for tflite.

PiperOrigin-RevId: 188512706

[XLA:GPU] Don't fuse get-tuple-element.

Fusing GTE works, but it's slower than not fusing.  (In some sense, GTE
is *always* fused; it's just that our "implicit fusion" implementation
is faster than our explicit fusion implementation.)

PiperOrigin-RevId: 188509801

Make SetNumThreads apply to the eigen threads. (This creates a dependency on eigen!)

PiperOrigin-RevId: 188504172

Automated g4 rollback of changelist 188397087

PiperOrigin-RevId: 188503184

[XLA:GPU] Convert FusionMergerTest to use module strings.

This is a nice cleanup, but it also makes this a proper unit test -- the
module strings we use are post fusion.  (Without module strings, fusion
computations are a real pain to create.)

PiperOrigin-RevId: 188502642

Implement partial constant folding for Concat.

PiperOrigin-RevId: 188501394

Ensure that the rank of the input to tf.Unique is 1 as shape inference time instead of letting the kernel catch invalid inputs.

PiperOrigin-RevId: 188496351

Use the multithreaded conv only when threads are available.

PiperOrigin-RevId: 188495357

Enable the Grappler arithmetic optimizer for all python tests.

PiperOrigin-RevId: 188492233

Desugar IfExp nodes

PiperOrigin-RevId: 188491604

Adding support for constant Gather ops.

PiperOrigin-RevId: 188478173

Convert Squeeze into Reshape and support squeezes on all dimensions.

PiperOrigin-RevId: 188477922

[StreamExecutor] Remove ThenDoHostCallbackForTest -- it's identical to ThenDoHostCallback.

The reason this came about is: ThenDoHostCallback was once private, and
ThenDoHostCallbackForTest was public.  Then at some point
ThenDoHostCallback became public, but the *ForTest one was never
removed.

PiperOrigin-RevId: 188459741

Fix misleading comment.

PiperOrigin-RevId: 188450336

Remove a layer of templatization

With this change

 - HloTestBase always calls HloRunner with an array of non-owning Literal
   pointers as arguments
 - HloRunner no longer has a general LiteralPtr, but just provides explicit
   overloads for std::unique_ptr<Literal> and Literal*

This was prompted by a dependent change that needs to call
HloTestBase::RunAndCompare with Literal* arguments.
PiperOrigin-RevId: 188446331

Collapse adjacent dimensions that have no paddings.

For example,

tf.pad(<4D tensor>, [[0, 0], [0, 0], [0, 0], [0, 1]])

is equivalent to a 2D pad, which is faster.

PiperOrigin-RevId: 188440916

Removing certain attributes from pom-android.xml.

PiperOrigin-RevId: 188433792

Adding AudioSpectrogram and MFCC operator support to tflite

PiperOrigin-RevId: 188433328

Fix typo in error message

PiperOrigin-RevId: 188425637

TFE: Implement __r*__ operators for `Dimension`.

This lets you use Dimension objects in numerical computations; e.g.,
it lets you evaluate expressions like 3 + my_tensor.shape[0] when executing
eagerly.

At time of writing, without this change,

`matplotlib.pyplot.plt(my_tensor, my_other_tensor)`

fails when executing eagerly, but it works with this change.

This change also makes it possible to right-multiply a dimension by a list
(e.g., dimension * [3]); previously, only the left-multiply worked ([3] *
dimension).

PiperOrigin-RevId: 188424557

Pulling Rendezvous initialization out of TFE_Context constructor.

PiperOrigin-RevId: 188423386

Remove no-longer-needed work-around for resource variables in Optimizer.

PiperOrigin-RevId: 188419224

Internal change

PiperOrigin-RevId: 188416325

Restore cholesky_outer_product_test, to contains for CholeskyOuterProduct

PiperOrigin-RevId: 188413575

Check df parameter > 0 for Chi2.

PiperOrigin-RevId: 188413552

Fixes a bug where the ProcFLR doesn't lookup existing instantiations in the
distributed (ClusterFLR) case. As a result multiple instantiations for the same
function were happening.

PiperOrigin-RevId: 188411978

Treat IdentityN nodes with a single input as regular Identity nodes.

PiperOrigin-RevId: 188411260

[tf.data] Fix potential destruction race in IteratorGetNext.

PiperOrigin-RevId: 188411125

Return kTfLiteError if calling delegate-specific functions from non-delegate code.

PiperOrigin-RevId: 188407931

Fix StridedSlice

PiperOrigin-RevId: 188403234

Fix typo in comment.

PiperOrigin-RevId: 188403010

[XLA]: Enhancement to the while loop simplifier HLO pass.

If a while-loop tuple element is initialized as a constant and isn't changed by
the while-body, replace the use of the tuple element in while-condition and
while-body with the constant value. This enables the simplification of
while-loops that have 0/1 iteration and loop bound passed in through the
while-loop tuple.

Add test cases for while-loops with 0/1 iteration and loop bound passed in
through the while-loop tuple.

PiperOrigin-RevId: 188397087

Fix bug in updating NodeMap when materializing shapes from ShapeN.
Fix a similar bug in MaybeRemoveControlInput.
Improve error message in dependency optimizer, so we can tell if the problem is in dependency optimizer itself or upstream of it.

PiperOrigin-RevId: 188394863

Add SSIM and PSNR functions to tf.image.

Add the following functions:

- tf.image.psnr()
- tf.image.ssim()
- tf.image.ssim_multiscale()
- tf.image.sobel_edges()
- tf.image.image_gradients()

Add test images in tensorflow/core/lib/ssim/testdata, .../psnr/testdata.

Fulfills request for SSIM, fixes #15370.

PiperOrigin-RevId: 188394631

Add/AddN optimizer/rewriter

Collapse a sub-graph of Add/AddN operations of fully specified
and identical shapes to a single AddN operation.

PiperOrigin-RevId: 188392302