[TF:XLA] Bump open source llvm revision to r325553

PiperOrigin-RevId: 186339171

Temporarily disable flaky test.

PiperOrigin-RevId: 186336341

Add numpy compatibility note to transpose operations.

fixes #15994

PiperOrigin-RevId: 186331307

Doc fixes for switching to 10.12.6 (Sierra) as min supported macOS

see: #15933
PiperOrigin-RevId: 186331121

Introduce tflite diff test to verify difference between tf and tf lite model

PiperOrigin-RevId: 186330891

Support multiple fetch nodes and add a flag for memory report.

PiperOrigin-RevId: 186329308

Replace private method call _ref() with read_value()

PiperOrigin-RevId: 186328404

TFLite: Check if builtin_code is in valid range by best effort.
PiperOrigin-RevId: 186326496

Add API to switch certain parts of Graph state to be thread-local.

For example, this can allow two threads to create ops under varying ops.device().

PiperOrigin-RevId: 186314978

Implementation of `len` that uses multiple dispatch. Replaces the current blank `tf.shape()[0]` code.

PiperOrigin-RevId: 186313178

Internal change.

PiperOrigin-RevId: 186300438

Automated g4 rollback of changelist 186260342

PiperOrigin-RevId: 186266857

Reduce tfp.layers boilerplate via programmable docstrings.

PiperOrigin-RevId: 186260342

[tf.data] Delete contrib version of dataset_ops.py, which was re-added by a merge from GitHub.

PiperOrigin-RevId: 186249376

Share Variable objects among collections when importing metagraphs.

This mirrors the behavior of usual graph construction where a Variable object is added to multiple collections.

PiperOrigin-RevId: 186214551

Remove experimental C API from srcs rule as it requires other sources

PiperOrigin-RevId: 186213207

[TF:XLA] Select the update value instead of the buffer to support negative
index scatter.

PiperOrigin-RevId: 186202761

Tweak `tf.slice` documentation.

Add the input argument (`foo`) to `tf.slice` example so that it actually works if it were run.
Previously, the input argument was missing (perhaps implied), but the example is clearer with its inclusion.

PiperOrigin-RevId: 186105694

[XLA:GPU] Fix a problem in DoGemmAutotune.

Replace DCHECK with CHECK so that DoGemmWithAlgorithm is also called in
non-debug mode to perform autotune.

PiperOrigin-RevId: 186103809

Automated g4 rollback of changelist 186019263

PiperOrigin-RevId: 186098155

Added an experimental C API TF_EnableXLACompilation() to enable XLA compilation.

Also ran "buildozer warn //third_party/tensorflow/c/BUILD" and removed an unused symbol.

PiperOrigin-RevId: 186081948

Automated g4 rollback of changelist 186053793

PiperOrigin-RevId: 186075274

Modify reference quantized LSTM implementation so that it only needs one instantiation of fixed-point Tanh, for 3 integer bits, regardless of the value of StateIntegerBits

PiperOrigin-RevId: 186075161

Merge changes from github.

PiperOrigin-RevId: 186073337

Adds a `shape` property to LabeledTensor.
#labeledtensor

PiperOrigin-RevId: 186073035

[XLA] Pass the module to HloDataflowAnalysis by const reference.

PiperOrigin-RevId: 186072673

Activates Eigen path for CPU implementation of atrous/dilated convolution (only forward path).

PiperOrigin-RevId: 186071285

Changes keep_dims to keepdims to remove deprecation warning.
#labeledtensor

PiperOrigin-RevId: 186071210

Make tf.py_func and tf.smart_cond play better with eager mode.

PiperOrigin-RevId: 186063941

Initializing the thread-local device to the right value.

PiperOrigin-RevId: 186062850

Reset the DAZ bit when entering the XLA CPU/GPU compiler

In an ideal world this won't make a difference since the compiler should be
disciplined about not leaking host-level optimization artifacts into generated
code.  However, I think this provides some defense-in-depth in preventing
non-obvious denormal behavior on the host side from messing up floating point
constants etc. we want to embed into generated code.

PiperOrigin-RevId: 186061140

Checkpointable: Don't run ops automatically when graph building.

This is a prerequisite to moving toward a Saver-like model when graph building. We no longer mess with initializers (when graph building; eager needs it), and restore ops just get queued up and returned.

Since initializers are left alone when graph building, there is a new special case for slot variables which needs to be handled. This is the third(!) queue for deferred slot restorations ((1) variable -> slot, (2) optimizer -> slot, (3) (optimizer, variable) -> slot), and should be the last one I need (it's a hypergraph with 3-tuple edges).

The plan after this is to switch over to tf.train.Saver's existing restore op creation infrastructure, which will handle any SaveableObjects. There will also be a few CLs for making graph usage prettier, and eventually allowing eager/graph agnostic save/restore.

PiperOrigin-RevId: 186059387

Default eager tensor device name should match default device name.

PiperOrigin-RevId: 186055679

[XLA] Add some plumbing, documentation, verification and shape inference for Gather

Pretty much everything other than HLO verification and shape inference will fail
for Gather with Unimplemented.

Note that this CL is intentionally incomplete -- I figured it would be nicer to
get some of the boiler-platey stuff out of the way early.  Let me know if you
want me to send in a larger but more complete CL instead.

PiperOrigin-RevId: 186055521

Expose the main API to the generated code as well. This allows recursive runtime conversion, and is a prerequisite to supporting dynamic non-recursive functions.

PiperOrigin-RevId: 186053846

TFLite Conv2D: Create temporary tensors in Prepare phase.

PiperOrigin-RevId: 186053793

Add qint8 to list of types supported by the GPU ConstOp.

PiperOrigin-RevId: 186053061

Add support for explicit `training` argument in subclassed models.

PiperOrigin-RevId: 186051752

Add a `hash_keys` argument to the sparse hash column to enable it hash a single input to multiple hash ids. This column can be then used by one_hot_column to create a multi-hot column.

PiperOrigin-RevId: 186050928

Fix sentence in Getting Started for ML Beginners guide.

PiperOrigin-RevId: 186050529

Fix crop on images in datasets_performance guide.

PiperOrigin-RevId: 186049156

Changed FTRL formula for scalars to match vector version better.

PiperOrigin-RevId: 186048665

[TF:XLA] Adds HostCompute HLO - a pseudo-op to represent host-side computation.

PiperOrigin-RevId: 186047964

Automated g4 rollback of changelist 186018787

PiperOrigin-RevId: 186046129

[XLA] HLO scheduling: update entries in ready queue when priority changes.

PiperOrigin-RevId: 186045619

Optimization of quantized LSTM cell for the common case of batch size 1,
where it needs efficient matrix*vector ("GEMV") code, but it's not
exactly the same as the case of stand-alone fully-connected layers
as here the output activations are 16bit-quantized.

PiperOrigin-RevId: 186044068

Remove the __setattr__ override for Variables

Was slowing down the creation of _UnreadVariable objects. Adds CheckpointableBase without the __setattr__ override.

It's tempting to just override __setattr__ in variables to try making it faster, but it's already just doing an isinstance check. Removing the override entirely seems to be the cleanest option.

PiperOrigin-RevId: 186041147

TFTS: Support tf.Example input

PiperOrigin-RevId: 186039949

[XLA:CPU] Minor cleanup to simple_orc_jit

SimpleResolver became unused after an LLVM upstream merge, and we never needed
the name mangling logic in what is now FindCompiledSymbol.

PiperOrigin-RevId: 186039307

Automated g4 rollback of changelist 185623948

PiperOrigin-RevId: 186038783

Clarifying the docstring for how gradients are reduced across towers in replicate_model_fn

PiperOrigin-RevId: 186037416

Fix pontential issue with number of blocks launched for depthwise kernels: the number of work_elements was too small, which could return a block_count that is too small to cover all elements.

We also have been ignoring the suggested thread_per_block, so were potentially launching more blocks than necessary to fill the GPU (which is inefficient, but functionally correct).

Changing 'assert(false && ...' to LOG(FATAL) because it shouldn't be debug only.

PiperOrigin-RevId: 186037306

Add TODOs.

PiperOrigin-RevId: 186032527

Optimized quantized LSTM cell runtime NEON implementation.

Notice: unlike many NEON paths that we have in this optimized_ops.h file,
which are enabled also on x86 by means of arm_neon_sse.h (#ifdef USE_NEON),
this one is only enabled on real NEON (#ifdef GEMMLOWP_NEON). The reason
for that is that gemmlowp's FixedPoint class is templatized in the
underlying raw integer/register type, e.g. here int16x8_t, and on SSE
there is only a single __m128i type for all integer types (both int16x8_t
and int32x4_t), making it non-trivial to support this on SSE without
contriving this code on NEON.
PiperOrigin-RevId: 186031054

[XLA] Factor out the code which adds operands to a fusion node

This makes it easier for Hlo passes to do interesting rewrites with new,
additional parameters which were not operands to the original fusion node.

PiperOrigin-RevId: 186024182

Cache a variable scope context manager in EagerTemplate as a minor optimization

PiperOrigin-RevId: 186021666

Add getmodule to tf_inspect.

PiperOrigin-RevId: 186021386

Internal change

PiperOrigin-RevId: 186019263

Automated g4 rollback of changelist 185927310

PiperOrigin-RevId: 186018787

Made cost_analyzer_tool accept fetch nodes when running with metagraph option. Also made it read metagraph in either binary or text format.

PiperOrigin-RevId: 186010810

Remove "make_oneshot_iterator" from "datasets_quickstart.md"

Also mention iterator initialization in the "datasets" section of "low_level_intro.md"

see: PR #3389
PiperOrigin-RevId: 186005742

Avoid running //third_party/tensorflow/contrib/gan:train_test under tsan

PiperOrigin-RevId: 186005130

[TF:XLA] Bump open source llvm revision to r325320

PiperOrigin-RevId: 186004694

build fix

PiperOrigin-RevId: 185996203

Unifying common CMake CUDA file copy between Windows and Linux.

PiperOrigin-RevId: 185995922

Adapt to API changes in LLVM revisions r325155 and r325180.

PiperOrigin-RevId: 185979538

Remove a possible ambiguity in the `py_func` documentation.

PiperOrigin-RevId: 185968663

Code generator for builtin_ops.h, and a test to ensure its consistency

PiperOrigin-RevId: 185957720

Make the default values for experimental and non experimental apis match.

PiperOrigin-RevId: 185952648

Automated g4 rollback of changelist 185891869

PiperOrigin-RevId: 185944719

optimized quantized softmax

PiperOrigin-RevId: 185943132

Fix handling of types in RNN state import. Sanitize TF node names.

PiperOrigin-RevId: 185942921

Add tuple targets to the context handling mechanism in templates.

PiperOrigin-RevId: 185941851

Error out when building XLA's CPU and GPU backends with fast-math

In an ideal world this won't make a difference since the compiler should be
disciplined about not leaking host-level optimization artifacts into generated
code.  However, I think this provides some defense-in-depth in preventing
fast-math optimization on the host side from messing up floating point constants
etc. we want to embed into generated code.

PiperOrigin-RevId: 185941549

TFE SPINN example: use tensor instead of numpy array

in inference output.

PiperOrigin-RevId: 185939805

Add a new tag no_cuda_on_cpu_tap for excluding failing non-gpu cuda tests.

PiperOrigin-RevId: 185937687

Bug fix and typo fixes.

PiperOrigin-RevId: 185935199

Add stateful metrics support in tf.keras.

PiperOrigin-RevId: 185935092

Address timeout of conv_ops_test.

PiperOrigin-RevId: 185931585

Keep the results below 2^31 in exp() test to avoid overflowing.

PiperOrigin-RevId: 185931075

Use np.frombuffer instead of np.fromstring to avoid DeprecationWarning.

Resolves #17020

PiperOrigin-RevId: 185927310

Fixes broken test

PiperOrigin-RevId: 185926797

Adding Shape inference functions to infeed ops.

PiperOrigin-RevId: 185923685

K-FAC: Support for embedding layers, add FisherFactor.{multiply, multiply_inverse}.

PiperOrigin-RevId: 185920837

Update eager's MNIST example to inherit from `tf.keras.Model`.

Also make estimator utils compatible with `tf_decorator`-wrapped functions.

PiperOrigin-RevId: 185916290

Fix a typo in model.cc error message.

PiperOrigin-RevId: 185916196

Don't spam the logs.

PiperOrigin-RevId: 185916071

Add /learning/tfx/ to the visibility group of tensorflow/compiler/tf2xla/python.

PiperOrigin-RevId: 185912486

Update tf.keras to Keras 2.1.4 API

PiperOrigin-RevId: 185908711

Implement Split

PiperOrigin-RevId: 185904437

Automated g4 rollback of changelist 185072479

PiperOrigin-RevId: 185900165

[tf.data] Return OK and set `*end_of_sequence = true` when repeating an empty dataset.

Returning an error status could lead to situations (like
`empty_ds.repeat(None).interleave(...)`) where the wrong exception was raised.
This change ensures that the proper `OutOfRangeError` is raised in the user
program.

PiperOrigin-RevId: 185900119

Update tf.keras to version 2.1.4.

PiperOrigin-RevId: 185897606

Object-based saving: Switch to "everything is Checkpointable"

The only sane way to use/test this is to have Variables be Checkpointable, so this CL includes a move of the base class to core. No public methods are exposed, and I've attempted to not throw any errors on __setattr__.

Allows dynamic dependencies (track after restore) and restoring variables on assignment to a Checkpointable object, and includes the protocol buffer modifications necessary for saving information with each object.

There are still some prominent TODOs:
 - Stop modifying the graph after the first save/restore (likely cache ops in Checkpointable objects)
 - Add some overridable methods for saving Python strings when restore() is called, fed when graph building rather than embedded as constants in the graph
 - Work on the initialization story for graph building. Currently the unit tests rely on collections for this.
 - Support for more objects, move the prototype modifications in checkpointable_test to core.

The diff is larger than I was hoping (mostly deletions and unit tests); that could be reduced a bit (or at least "lines added" converted to "lines deleted") by diffbasing on cl/180950921, which was my first attempt at dynamic dependencies. This CL is more of a re-write than a modification, so sending that one out seems a bit silly. The unit tests are still good, though.

PiperOrigin-RevId: 185893387

Wrap XlaOpRegistry::DeviceKernels call to call in python.

PiperOrigin-RevId: 185892888

Optimize dot(DynamicSlice(ConstA), ConstantB) by memoizing dot(ConstA, ConstB)

Make transformation when ConstA and ConstB are 2D, and DynamicSlice is slicing a full row, column respectively.
Handle:
dot(DynamicSlice(Index, ConstA), ConstB) => DynamicSlice(Index, dot*(ConstA, ConstB));
and
dot(ConstA, DynamicSlice(Index, ConstB)) => DynamicSlice(Index, dot*(ConstA, ConstB));
PiperOrigin-RevId: 185891869

Add auc_with_confidence_intervals

This method computes the AUC and corresponding confidence intervals using an efficient algorithm.

PiperOrigin-RevId: 185884228

Register kernels for Assign and AssignVariableOp on GPU for integer types.

PiperOrigin-RevId: 185882834

[XLA] Fix priority queue in HLO scheduling.

The priority of an HLO can change during the scheduling. Use immutable values in
priority queue entries, and reinsert an entry if its priority goes up.

PiperOrigin-RevId: 185878562

Register "Snapshot" op inserted by Grappler arithmetic optimization. For (mostly) pure XLA graphs, this op is identical to "Identity".

PiperOrigin-RevId: 185873337