Change back TFE_Execute logic to set '*num_retvals' on return.

PiperOrigin-RevId: 188903892

Add TransformShardedTileShape helper method to HloSharding

It transforms an existing sharding to be compatible with a new shape
with an optional transform method to adjust the tile size for the
sharded dimensions.

PiperOrigin-RevId: 188903257

Automated g4 rollback of changelist 188353354

PiperOrigin-RevId: 188902517

Replace the unknown dimension of signature input when building grappler items.
Fix the bug where same feed nodes or fetch nodes would be added more than once.

PiperOrigin-RevId: 188902101

Enable arithmetic optimizations for Fill nodes that are all zeros or ones.

PiperOrigin-RevId: 188893722

Add TFLite Interpreter bindings.

PiperOrigin-RevId: 188890943

Performing the finalization of the LayerCollection outside of FisherEstimator's constructor.  This allows layers and losses to be registered after the FisherEstimator (or KFACOptimizer) has been constructed.

PiperOrigin-RevId: 188889252

include the graph.pb->tensorboard script in pip package

This will allow you to run it with:

`python -m tensorflow.python.tools.import_pb_to_tensorboard ...`

Without any additional downloads or setup.

see #8854

PiperOrigin-RevId: 188888501

Internal change

PiperOrigin-RevId: 188880419

[TFLite] Don't always treat inputs and outputs as encoded floats.

PiperOrigin-RevId: 188880237

Introduce output fusion for (A dot B) * alpha

We allow now to fuse (A dot B) times a constant, which is available in cublas.

PiperOrigin-RevId: 188878210

PiperOrigin-RevId: 188860028

tfdbg: add reference to the TensorBoard Debugger Plugin in README.md
PiperOrigin-RevId: 188828898

PiperOrigin-RevId: 188860028

tfdbg: add reference to the TensorBoard Debugger Plugin in README.md
PiperOrigin-RevId: 188828898

PiperOrigin-RevId: 188860028

tfdbg: add reference to the TensorBoard Debugger Plugin in README.md
PiperOrigin-RevId: 188828898

Merges (embedding|indicator)_column with their sequence counterparts, and exposes sequence methods under tf.contrib.feature_column.

PiperOrigin-RevId: 188826187

Update ops-related pbtxt files.

PiperOrigin-RevId: 188824362

Support NHWC <--> HWNC permutation.

PiperOrigin-RevId: 188824058

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 188817976

Merge changes from github.

PiperOrigin-RevId: 188817194

Remove integration_tests directory and associated files.

PiperOrigin-RevId: 188815493

Demystify MaterializeShapes a bit.

PiperOrigin-RevId: 188812445

Make tf.add_to_collections visible.

PiperOrigin-RevId: 188807786

[XLA:Tools] Make hlo_runner understand --xla_hlo_profile.

PiperOrigin-RevId: 188803724

Don't evaluate control flow in EvaluateConstantTensor.

ExtractConstantSubgraph doesn't copy control edges, which are sometimes necessary
to correctly evaluate conds (at the very least). Avoid evaluating conds at all to
address this.

PiperOrigin-RevId: 188803649

BREAKING_CHANGE: Split out event_ndims=0 bijectors from Affine and CholeskyOuterProduct.
    - Deprecate event_ndims argument
    - Create a Square bijector for the scalar case of CholeskyOuterProduct (which now only operates on matrices).
    - Create a AffineScalar bijector for the scalar case of Affine (which now only operates on vectors)

PiperOrigin-RevId: 188801116

Switch BuildGraphOptions to wrap CallableOptions.

This change harmonizes the graph construction codepaths for DirectSession and
MasterSession, which will make it easier to add new subgraph creation features.

PiperOrigin-RevId: 188799932

Don't use shapes unless it's safe to do so.

PiperOrigin-RevId: 188796626

[tf.data] Enable Dataset.make_one_shot_iterator() and Dataset.__iter__() in eager mode.

This change partially replicates the code in `tf.contrib.eager.Iterator`.
However, since that class depends on contrib-level functionality (viz.
cross-device prefetching support), we cannot move it wholesale to core.

PiperOrigin-RevId: 188790349

TFLite Delegate: Expose input / output tensor indicies in `Init`

PiperOrigin-RevId: 188784614

Fix typo in the doc: tf.multiplytiply

https://www.tensorflow.org/api_docs/python/tf/multiply

PiperOrigin-RevId: 188782466

K-FAC: FisherBlocks for tf.nn.{depthwise_conv2d, separable_conv2d, convolution}.

PiperOrigin-RevId: 188778072

Move "hoist common factor out of aggregation" optimization
to a separate stage.

1) Use a new naming scheme for optimized ops,
   share it with AddOpsRewrite
2) Make sure that tests actually test that optimized
   nodes exists in a graph

PiperOrigin-RevId: 188772892

[TF:XLA] Bump open source llvm revision to r327201

PiperOrigin-RevId: 188771994

[TFLite] Don't require a std::vector for Interpreter::SetTensorParameters*.

PiperOrigin-RevId: 188770522

Move `loss_reduction` argument from `replicate_model_fn` to `TowerOptimizer.

PiperOrigin-RevId: 188766477

Add is_discrete, is_continuous, is_bounded methods to TensorSpecs.

PiperOrigin-RevId: 188766232

Fix another eager PyObject leak

Shockingly this one was also due to PySequence_GetItem.

PiperOrigin-RevId: 188765548

Add custom_gradient function.

PiperOrigin-RevId: 188765271

Extend TF Eager C API to allow asynchronous execution.

PiperOrigin-RevId: 188763442

[XLA] [Copy insertion] Deterministically iterate through instructions to copy

- Use HloInstructionMap to get deterministic iteration order.

PiperOrigin-RevId: 188755375

Switch op_hint.py to use _set_attr.

This is in preparation for enabling the C API. Modifying an op's NodeDef
directly has no effect with the C API enabled.

PiperOrigin-RevId: 188754464

Standardize "op" capitalization, see "adding_an_op".

PiperOrigin-RevId: 188753529

Improve usability of `tf.contrib.bayesflow.custom_gradient` by removing need for `axis` arg and support taking lists.

PiperOrigin-RevId: 188751894

Transposes are can be merged into reshapes when the ordering of non-one
dimensions remains unchanged.

PiperOrigin-RevId: 188751074

boosted_trees: infer the output shapes of Quantiles Op from the input shapes.

PiperOrigin-RevId: 188750079

Avoid capturing unused variables in lambda functions

PiperOrigin-RevId: 188747641

Fix race in C API.

RecordMutation could race with ExtendSessionGraphHelper, which would
release the graph lock and only keep the session lock when extending
the session.

Also makes sure thread annotations are on declarations, not definitions
(otherwise they have no effect).

PiperOrigin-RevId: 188747158

Turn trivial Pack ops with a single input into ExpandDims ops to avoid copying the tensor.

PiperOrigin-RevId: 188742516

Make default number of threads trigger the default behavior for both eigen
and gemmlowp. In gemmlowp the default is '1', while in eigen it is 'number of
processors'.

PiperOrigin-RevId: 188742087

Convert Squeeze into Reshape: Support empty output shapes.

PiperOrigin-RevId: 188740288

Supporting quantization of Gather ops and removal of trivial Relu1s when quantized.

PiperOrigin-RevId: 188738133

Plug a few more PyObject leaks, test for them.

PiperOrigin-RevId: 188731961

Don't let the grappler item builder fail if the graph contains unknown custom
ops.

PiperOrigin-RevId: 188730560

Don't remove identity nodes if they follow a device crossing and have consumers on a device different than themselves. They may be used to cache or route data between devices in a deliberate manner.

Simplify code in DependencyOptimizer a bit.

PiperOrigin-RevId: 188730185

ResourceScatterUpdate: Gracefully handle inconsistent indices and updates in
the kernel.

With graph execution, consistency between the shapes of the arguments to
ResourceScatterUpdate is validated by the shape inference functions at graph
construction time.

With eager execution, the shape inference logic isn't executed, so inconsistent
arguments could be provided to the kernel, which would result in a segmentation
fault prior to this change. As demonstrated by the added tests.

PiperOrigin-RevId: 188729154

Turn on function optimization by default

PiperOrigin-RevId: 188722505

Reuse the linear index when broadcasting a contiguous range of dimensions.

This potentially allows us to get rid of additional mod and div operations.

PiperOrigin-RevId: 188719238

Lint some files.

PiperOrigin-RevId: 188698275

this test is also timing out in cuda so disabling for now

PiperOrigin-RevId: 188685611

propagate fix from tensorflow/models#3561

PiperOrigin-RevId: 188675327

Fix assets for the TF camera example.

Mobile net model is downloaded from tf_http_archive("tf_mobilenet") rule and renaming the asset file in assets folder has no effect.

PiperOrigin-RevId: 188672531

disable flaky asan test

PiperOrigin-RevId: 188670616

Fix typo in description of INTERNAL error code.

PiperOrigin-RevId: 188666142

Removed duplicate statement.

PiperOrigin-RevId: 188663018

Fixes a race condition in function instantiation.

Previously, if the same function was being concurrently instantiated
and released:

1. Thread one could begin to instantiate the function, determine
   that it already existed in the runtime, then be preempted.
2. Thread two could release the handle on the function, causing it to
   be freed and removed from the `FunctionLibraryRuntime::items_` map.
3. Thread one could then incorrectly assume that the function still
   existed, and fail to find it in the `FunctionLibraryRuntime::items_`
   map, causing a segfault when it attempted to increment the refcount
   on an uninitialized object.

PiperOrigin-RevId: 188661500

Specify the `maximum_iterations` to tf.while_loop in tf.scan to be compatible with XLA.

PiperOrigin-RevId: 188652533

Selectively re-enable bfloat16 tests for the GPU backend.

PiperOrigin-RevId: 188651655

Improve errors raised when an object does not match the RNNCell interface.

PiperOrigin-RevId: 188651070

Fix windows GPU build scripts.

PiperOrigin-RevId: 188629017

Adds a warning to help user to debug the TPU program hanging for predict() call.

PiperOrigin-RevId: 188624174

Turn the following ops into Identity.
 * Slice when the Size input matches the size of the input tensor
 * Tile when the multiples input is a tensor of '1'
 * Pad/PadV2 when the paddings input is a tensor of 0
 * Squeeze when the squeeze dimensions are known to be > 1

PiperOrigin-RevId: 188609800

Increment node_ids when merging CostGraphDef.

PiperOrigin-RevId: 188586552

[XLA] Speed up colocated buffer merging.

PiperOrigin-RevId: 188581202

Fix DepthToSpace and SpaceToDepth to silently return instead of failing when the input tensor is empty.

PiperOrigin-RevId: 188580972

Fix docstring for `embedding_lookup_sparse`.

Example with weighted mean combiner implies that single-key embeddings not normalized (the weighted sum answer). However, the code and test shows normalization regardless of number of keys.

PiperOrigin-RevId: 188575982

Unified test util PlaceHolderFloat() into PlaceHolder(), and extended the latter
to take a TF_DataType param.

PiperOrigin-RevId: 188570493

Propagate min/max for StridedSlice

PiperOrigin-RevId: 188569611

Move optimizations to arithmetic optimizer stages

1) Redundant Bitcast
2) Redundant Cast
3) Remove inverse transpose

PiperOrigin-RevId: 188569367

Add experimental Session::MakeCallable() API and implement it for DirectSession.

The intent of this new API matches the Python `tf.Session.make_callable()`
method: it splits the two roles of the `Session::Run()` method into separate
methods:

1. `Session::MakeCallable()` takes information about a subgraph (such as the
   names of nodes to feed and fetch), and prunes and optimizes that graph,
   returning a simple handle.
2. `Session::RunCallable()` takes that handle, plus any values to be fed,
   and executes the graph, returning whatever outputs are produced.

This split moves string processing off the critical path of running a
step. We also add a new method `Session::ReleaseCallable()` that makes
it possible to free the resources associated with a cached subgraph,
and could be useful for seldom-executed graphs such as initializers.

PiperOrigin-RevId: 188566635

Fix flakiness in common_runtime/function_test.cc.

The flakiness was due to nondeterministic names being chosen for
folded constants; the fix was to split out the source of the
nondetermism into a separate test.

PiperOrigin-RevId: 188565362

Allowing ReorderActivationFunctions to reorder output arrays and adding support for propagating activation functions into Gather ops and as constant ops.

PiperOrigin-RevId: 188556574

[XLA] Add a whole graph execution interface.

PiperOrigin-RevId: 188554206

ProcFLR: Include the remote function target in the function_key

PiperOrigin-RevId: 188548941

Move a utility function into the eager C internal API

PiperOrigin-RevId: 188548393

Copy `replicate_model_fn` to core.

PiperOrigin-RevId: 188547527

Migrate tf.contrib.bayesflow.optimizers to tfp.optimziers.

PiperOrigin-RevId: 188547477

Eager: Fix a Dimension PyObject leak, test for it.

PiperOrigin-RevId: 188540944

Internal Change.

PiperOrigin-RevId: 188540659

Part of the update of tf.keras to the Keras 2.1.5 API.

PiperOrigin-RevId: 188540513

Automated g4 rollback of changelist 188501394

PiperOrigin-RevId: 188536863

[TF:XLA] Bump open source llvm revision to r326989

PiperOrigin-RevId: 188536576

Add smart_case that calls smart_cond.

PiperOrigin-RevId: 188534066

Remove the nondeterminism from a test for initializing variables from checkpoints.

PiperOrigin-RevId: 188533156

[XLA:Doc] Fix an typo "Alternately" -> "Alternatively".

PiperOrigin-RevId: 188532135

LSTM support: Add non-uint8 quantized operators.

PiperOrigin-RevId: 188529107

Internal Change

PiperOrigin-RevId: 188528771

Automated g4 rollback of changelist 188492233

PiperOrigin-RevId: 188525453