Merge changes from github.

PiperOrigin-RevId: 186073337

Adds a `shape` property to LabeledTensor.
#labeledtensor

PiperOrigin-RevId: 186073035

[XLA] Pass the module to HloDataflowAnalysis by const reference.

PiperOrigin-RevId: 186072673

Activates Eigen path for CPU implementation of atrous/dilated convolution (only forward path).

PiperOrigin-RevId: 186071285

Changes keep_dims to keepdims to remove deprecation warning.
#labeledtensor

PiperOrigin-RevId: 186071210

Make tf.py_func and tf.smart_cond play better with eager mode.

PiperOrigin-RevId: 186063941

Initializing the thread-local device to the right value.

PiperOrigin-RevId: 186062850

Reset the DAZ bit when entering the XLA CPU/GPU compiler

In an ideal world this won't make a difference since the compiler should be
disciplined about not leaking host-level optimization artifacts into generated
code.  However, I think this provides some defense-in-depth in preventing
non-obvious denormal behavior on the host side from messing up floating point
constants etc. we want to embed into generated code.

PiperOrigin-RevId: 186061140

Checkpointable: Don't run ops automatically when graph building.

This is a prerequisite to moving toward a Saver-like model when graph building. We no longer mess with initializers (when graph building; eager needs it), and restore ops just get queued up and returned.

Since initializers are left alone when graph building, there is a new special case for slot variables which needs to be handled. This is the third(!) queue for deferred slot restorations ((1) variable -> slot, (2) optimizer -> slot, (3) (optimizer, variable) -> slot), and should be the last one I need (it's a hypergraph with 3-tuple edges).

The plan after this is to switch over to tf.train.Saver's existing restore op creation infrastructure, which will handle any SaveableObjects. There will also be a few CLs for making graph usage prettier, and eventually allowing eager/graph agnostic save/restore.

PiperOrigin-RevId: 186059387

Default eager tensor device name should match default device name.

PiperOrigin-RevId: 186055679

[XLA] Add some plumbing, documentation, verification and shape inference for Gather

Pretty much everything other than HLO verification and shape inference will fail
for Gather with Unimplemented.

Note that this CL is intentionally incomplete -- I figured it would be nicer to
get some of the boiler-platey stuff out of the way early.  Let me know if you
want me to send in a larger but more complete CL instead.

PiperOrigin-RevId: 186055521

Expose the main API to the generated code as well. This allows recursive runtime conversion, and is a prerequisite to supporting dynamic non-recursive functions.

PiperOrigin-RevId: 186053846

TFLite Conv2D: Create temporary tensors in Prepare phase.

PiperOrigin-RevId: 186053793

Add qint8 to list of types supported by the GPU ConstOp.

PiperOrigin-RevId: 186053061

Add support for explicit `training` argument in subclassed models.

PiperOrigin-RevId: 186051752

Add a `hash_keys` argument to the sparse hash column to enable it hash a single input to multiple hash ids. This column can be then used by one_hot_column to create a multi-hot column.

PiperOrigin-RevId: 186050928

Fix sentence in Getting Started for ML Beginners guide.

PiperOrigin-RevId: 186050529

Fix crop on images in datasets_performance guide.

PiperOrigin-RevId: 186049156

Changed FTRL formula for scalars to match vector version better.

PiperOrigin-RevId: 186048665

[TF:XLA] Adds HostCompute HLO - a pseudo-op to represent host-side computation.

PiperOrigin-RevId: 186047964

Automated g4 rollback of changelist 186018787

PiperOrigin-RevId: 186046129

[XLA] HLO scheduling: update entries in ready queue when priority changes.

PiperOrigin-RevId: 186045619

Optimization of quantized LSTM cell for the common case of batch size 1,
where it needs efficient matrix*vector ("GEMV") code, but it's not
exactly the same as the case of stand-alone fully-connected layers
as here the output activations are 16bit-quantized.

PiperOrigin-RevId: 186044068

Remove the __setattr__ override for Variables

Was slowing down the creation of _UnreadVariable objects. Adds CheckpointableBase without the __setattr__ override.

It's tempting to just override __setattr__ in variables to try making it faster, but it's already just doing an isinstance check. Removing the override entirely seems to be the cleanest option.

PiperOrigin-RevId: 186041147

TFTS: Support tf.Example input

PiperOrigin-RevId: 186039949

[XLA:CPU] Minor cleanup to simple_orc_jit

SimpleResolver became unused after an LLVM upstream merge, and we never needed
the name mangling logic in what is now FindCompiledSymbol.

PiperOrigin-RevId: 186039307

Automated g4 rollback of changelist 185623948

PiperOrigin-RevId: 186038783

Clarifying the docstring for how gradients are reduced across towers in replicate_model_fn

PiperOrigin-RevId: 186037416

Fix pontential issue with number of blocks launched for depthwise kernels: the number of work_elements was too small, which could return a block_count that is too small to cover all elements.

We also have been ignoring the suggested thread_per_block, so were potentially launching more blocks than necessary to fill the GPU (which is inefficient, but functionally correct).

Changing 'assert(false && ...' to LOG(FATAL) because it shouldn't be debug only.

PiperOrigin-RevId: 186037306

Add TODOs.

PiperOrigin-RevId: 186032527

Optimized quantized LSTM cell runtime NEON implementation.

Notice: unlike many NEON paths that we have in this optimized_ops.h file,
which are enabled also on x86 by means of arm_neon_sse.h (#ifdef USE_NEON),
this one is only enabled on real NEON (#ifdef GEMMLOWP_NEON). The reason
for that is that gemmlowp's FixedPoint class is templatized in the
underlying raw integer/register type, e.g. here int16x8_t, and on SSE
there is only a single __m128i type for all integer types (both int16x8_t
and int32x4_t), making it non-trivial to support this on SSE without
contriving this code on NEON.
PiperOrigin-RevId: 186031054

[XLA] Factor out the code which adds operands to a fusion node

This makes it easier for Hlo passes to do interesting rewrites with new,
additional parameters which were not operands to the original fusion node.

PiperOrigin-RevId: 186024182

Cache a variable scope context manager in EagerTemplate as a minor optimization

PiperOrigin-RevId: 186021666

Add getmodule to tf_inspect.

PiperOrigin-RevId: 186021386

Internal change

PiperOrigin-RevId: 186019263

Automated g4 rollback of changelist 185927310

PiperOrigin-RevId: 186018787

Made cost_analyzer_tool accept fetch nodes when running with metagraph option. Also made it read metagraph in either binary or text format.

PiperOrigin-RevId: 186010810

Remove "make_oneshot_iterator" from "datasets_quickstart.md"

Also mention iterator initialization in the "datasets" section of "low_level_intro.md"

see: PR #3389
PiperOrigin-RevId: 186005742

Avoid running //third_party/tensorflow/contrib/gan:train_test under tsan

PiperOrigin-RevId: 186005130

[TF:XLA] Bump open source llvm revision to r325320

PiperOrigin-RevId: 186004694

build fix

PiperOrigin-RevId: 185996203

Unifying common CMake CUDA file copy between Windows and Linux.

PiperOrigin-RevId: 185995922

Adapt to API changes in LLVM revisions r325155 and r325180.

PiperOrigin-RevId: 185979538

Remove a possible ambiguity in the `py_func` documentation.

PiperOrigin-RevId: 185968663

Code generator for builtin_ops.h, and a test to ensure its consistency

PiperOrigin-RevId: 185957720

Make the default values for experimental and non experimental apis match.

PiperOrigin-RevId: 185952648

Automated g4 rollback of changelist 185891869

PiperOrigin-RevId: 185944719

optimized quantized softmax

PiperOrigin-RevId: 185943132

Fix handling of types in RNN state import. Sanitize TF node names.

PiperOrigin-RevId: 185942921

Add tuple targets to the context handling mechanism in templates.

PiperOrigin-RevId: 185941851

Error out when building XLA's CPU and GPU backends with fast-math

In an ideal world this won't make a difference since the compiler should be
disciplined about not leaking host-level optimization artifacts into generated
code.  However, I think this provides some defense-in-depth in preventing
fast-math optimization on the host side from messing up floating point constants
etc. we want to embed into generated code.

PiperOrigin-RevId: 185941549

TFE SPINN example: use tensor instead of numpy array

in inference output.

PiperOrigin-RevId: 185939805

Add a new tag no_cuda_on_cpu_tap for excluding failing non-gpu cuda tests.

PiperOrigin-RevId: 185937687

Bug fix and typo fixes.

PiperOrigin-RevId: 185935199

Add stateful metrics support in tf.keras.

PiperOrigin-RevId: 185935092

Address timeout of conv_ops_test.

PiperOrigin-RevId: 185931585

Keep the results below 2^31 in exp() test to avoid overflowing.

PiperOrigin-RevId: 185931075

Use np.frombuffer instead of np.fromstring to avoid DeprecationWarning.

Resolves #17020

PiperOrigin-RevId: 185927310

Fixes broken test

PiperOrigin-RevId: 185926797

Adding Shape inference functions to infeed ops.

PiperOrigin-RevId: 185923685

K-FAC: Support for embedding layers, add FisherFactor.{multiply, multiply_inverse}.

PiperOrigin-RevId: 185920837

Update eager's MNIST example to inherit from `tf.keras.Model`.

Also make estimator utils compatible with `tf_decorator`-wrapped functions.

PiperOrigin-RevId: 185916290

Fix a typo in model.cc error message.

PiperOrigin-RevId: 185916196

Don't spam the logs.

PiperOrigin-RevId: 185916071

Add /learning/tfx/ to the visibility group of tensorflow/compiler/tf2xla/python.

PiperOrigin-RevId: 185912486

Update tf.keras to Keras 2.1.4 API

PiperOrigin-RevId: 185908711

Implement Split

PiperOrigin-RevId: 185904437

Automated g4 rollback of changelist 185072479

PiperOrigin-RevId: 185900165

[tf.data] Return OK and set `*end_of_sequence = true` when repeating an empty dataset.

Returning an error status could lead to situations (like
`empty_ds.repeat(None).interleave(...)`) where the wrong exception was raised.
This change ensures that the proper `OutOfRangeError` is raised in the user
program.

PiperOrigin-RevId: 185900119

Update tf.keras to version 2.1.4.

PiperOrigin-RevId: 185897606

Object-based saving: Switch to "everything is Checkpointable"

The only sane way to use/test this is to have Variables be Checkpointable, so this CL includes a move of the base class to core. No public methods are exposed, and I've attempted to not throw any errors on __setattr__.

Allows dynamic dependencies (track after restore) and restoring variables on assignment to a Checkpointable object, and includes the protocol buffer modifications necessary for saving information with each object.

There are still some prominent TODOs:
 - Stop modifying the graph after the first save/restore (likely cache ops in Checkpointable objects)
 - Add some overridable methods for saving Python strings when restore() is called, fed when graph building rather than embedded as constants in the graph
 - Work on the initialization story for graph building. Currently the unit tests rely on collections for this.
 - Support for more objects, move the prototype modifications in checkpointable_test to core.

The diff is larger than I was hoping (mostly deletions and unit tests); that could be reduced a bit (or at least "lines added" converted to "lines deleted") by diffbasing on cl/180950921, which was my first attempt at dynamic dependencies. This CL is more of a re-write than a modification, so sending that one out seems a bit silly. The unit tests are still good, though.

PiperOrigin-RevId: 185893387

Wrap XlaOpRegistry::DeviceKernels call to call in python.

PiperOrigin-RevId: 185892888

Optimize dot(DynamicSlice(ConstA), ConstantB) by memoizing dot(ConstA, ConstB)

Make transformation when ConstA and ConstB are 2D, and DynamicSlice is slicing a full row, column respectively.
Handle:
dot(DynamicSlice(Index, ConstA), ConstB) => DynamicSlice(Index, dot*(ConstA, ConstB));
and
dot(ConstA, DynamicSlice(Index, ConstB)) => DynamicSlice(Index, dot*(ConstA, ConstB));
PiperOrigin-RevId: 185891869

Add auc_with_confidence_intervals

This method computes the AUC and corresponding confidence intervals using an efficient algorithm.

PiperOrigin-RevId: 185884228

Register kernels for Assign and AssignVariableOp on GPU for integer types.

PiperOrigin-RevId: 185882834

[XLA] Fix priority queue in HLO scheduling.

The priority of an HLO can change during the scheduling. Use immutable values in
priority queue entries, and reinsert an entry if its priority goes up.

PiperOrigin-RevId: 185878562

Register "Snapshot" op inserted by Grappler arithmetic optimization. For (mostly) pure XLA graphs, this op is identical to "Identity".

PiperOrigin-RevId: 185873337

Implementation of tf.nn.top_k in TfLite

PiperOrigin-RevId: 185872292

Make conversions from ShapedBuffer <-> ScopedShapedBuffer efficient by
moving memory ownership instead of copying.

PiperOrigin-RevId: 185871648

[HLOEval] Logical right shift returns 0 if shift amount exceeds bitwidth.

PiperOrigin-RevId: 185871170

Enable half precision convolution for the CPU and GPU backends.

Enhance the CPU IR emitter to support F16 dot operation and convolution
operation.
Add a CPU runtime implementation for F16 convolution.
Enhance the GPU backend to handle F16 convolution thunk.
Convert some F32 xla convolution tests to support both F32 and F16 and disable
the tests for the CPU backend due to b/72509305.

PiperOrigin-RevId: 185862438

Fix a bug of overestimating AUC_PR. When TP and FP are both 0s, the precision should be 0 instead of 1.

PiperOrigin-RevId: 185842713

Optimize away multiply by constant zero

PiperOrigin-RevId: 185831862

Fix "cudnn64_7.dll" in install_windows.md

PiperOrigin-RevId: 185818395

Java: Release 1.6.0-rc1

PiperOrigin-RevId: 185801747

tf.image.resize_bilinear gradient support for float16

The required kernel changes were implemented almost 2 years ago
in 80da0a63200cb7c9c449188620992c7a8d18c8b9, but we forgot to
change the Python gradient registry.

PiperOrigin-RevId: 185790703

Fix a bug to update reduction axes for all supported cases. Turn off layout
optimizer for all reference runs, as it is on by default now.

PiperOrigin-RevId: 185782777

Error out if user provided num_shards is incorrect for non-model-parallelism case.

PiperOrigin-RevId: 185780685

Fix integer overflow in BMP decoder by making the checks in DecodeBmp
more stringent.  Add fuzzer to improve the robustness of the decoder
in the future.

PiperOrigin-RevId: 185780111

Internal-only change.

PiperOrigin-RevId: 185778955

Fix the build hdrs dependency for gpu_id. Reported by #16976.

PiperOrigin-RevId: 185778815

Extract ReadOutput method to test runner

PiperOrigin-RevId: 185773920

Add env-var to specify whether to use CUDNN_BATCHNORM_SPATIAL_PERSISTENT for cudnn batchnorm.

PiperOrigin-RevId: 185771595

Removes odd stack traces from trying to delete things that aren't
resources. Or at least provides a more informative error message.

A guess is that these came from constructing SummaryWriter(None).

PiperOrigin-RevId: 185768814

Remove dynamic shape check from Bernoulli.

PiperOrigin-RevId: 185764927

Test to show how TOCO fails with mismatched shapes in strided_slice.

PiperOrigin-RevId: 185762074

Add dedicated code for the print function instead of wrapping it generically to py_func.
For now, we keep tf.Print disabled until we can find a way to test it. This might require launching the compiled code in a Python subprocess.

PiperOrigin-RevId: 185759599

[XLA:python] Add ability to set result layouts via Python API.

PiperOrigin-RevId: 185755948

Build error fix - make allocator_ to be VisitableAllocator* instead of Allocator*. Allocator does not have AddAllocVisitor() and AddFreeVisitor() methods.

PiperOrigin-RevId: 185753346

[TF:XLA] Add a hook to allow reshaping of TensorFlow variables when storing them in their XLA representation.

PiperOrigin-RevId: 185748660