Make CPUAllocator VisitableAllocator, for better RDMA networking.

PiperOrigin-RevId: 186518037

Make with_c_api a no-op if the C API is already enabled.

This will help transition to turning the C API on by default by
preventing new tests from breaking.

PiperOrigin-RevId: 186516976

[XLA:CPU] Don't hard-code lane width in horizontal sum routine

The bulk of change is actually in dot_operation_test to get it to the point
where it would have caught this bug.  I made the following changes:

 - Moved some tests under a "no layout assignment pass runs" mode.  This lets
   us test the layout specific aspects of the dot operation more thoroughly.
   Unfortunately not many tests can be run in this mode -- for instance dot
   tests that calls into Eigen won't work here because they need a specific
   layout assignment for correctness.  Tests that runs with layout assignment
   enabled but with non-default layouts are essentially integration tests that
   check that the layout assignment pass + the dot lowering work correctly.

 - Changed the matrix-vector dot tests to check all 4 layouts and the
   matrix-vector Ax+b fusion tests to check all 8 layouts.

 - Duplicated some of the F32 tests to run for F64.

 - Added some new test shapes.

PiperOrigin-RevId: 186511289

Internal change.

PiperOrigin-RevId: 186510594

Activity analysis annotation on FunctionDef

PiperOrigin-RevId: 186510035

In VirtualScheduler, if there is a Recv without a Send, handle the Recv as an
initially ready node.

PiperOrigin-RevId: 186509851

K-FAC: LM algorithm for adapting damping, Example to train MNIST autoencoder model using variable size training data and update damping parameter, add KFACOptimizer.{update_damping}.

PiperOrigin-RevId: 186509305

Made tf.HParams compatible with https://github.com/google/pytype.

PiperOrigin-RevId: 186508693

Add test that checks all core ops have shape functions.

This is meant to be a replacement for the current Python code that
checks that core ops have shape functions registered. Some ops were
missing a shape function, so I added UnknownShape.

This also adds an OpRegistry::GetOpRegistrationData() method for
fetching all the shape functions.

PiperOrigin-RevId: 186508356

Change node to Identity operation for shuffle/reverse operations on scalar values, but not
directly removing those nodes from the graph.

PiperOrigin-RevId: 186505857

Ensure that final layer of networks (which doesn't have an activation) get correctly quantized.

PiperOrigin-RevId: 186505814

Fix a bug in tf.metrics.mean_tensor for case that the weights are very small.

We have renamed metrics_test.MeanTensorTest.testWeighted1d as metrics_test.MeanTensorTest.testBinaryWeighted1d, since the weights on the instances are zeros and ones.

We have added a new metrics_test.MeanTensorTest.testWeighted1d that has small weights. It was failing for the previous implementation, but passes now.

Now the code for mean_tensor() and mean() now use the same _safe_div method. Previously, mean_tensor() used a different means to ensure that we don't divide by zero. This set the denominator to max(1., sum(weights)), which was inaccurate when sum(weights) is non-zero, but less than one.

PiperOrigin-RevId: 186503714

Allow non-integer values for Poisson CDF/PMF.

PiperOrigin-RevId: 186502845

Merge tf.layers.GraphNetwork into tf.keras.Network and remove it.

PiperOrigin-RevId: 186502476

eager/mnist: Point to the example in tensorflow/models instead.

PiperOrigin-RevId: 186502375

framework/ops.py: Stricter check for use of the C API for graph construction.

Fixes #16913

Didn't add an explicit test for this since arguably use of the C API for graph
construction will soon become the default, so I figured testing that
tfe.defun's use of _use_c_api_hack() would only add code that should be deleted
soon.

PiperOrigin-RevId: 186502140

Automatically add a tf.name_scope of the function or class name as the first line of each function.  For functions inside a class, the class name is also prepended to the name scope.  Also adds a decorator param to turn this off (it defaults to True.)

PiperOrigin-RevId: 186499660

Adds inverse_link_fn argument in regression_head. This is used in generalized regression.

PiperOrigin-RevId: 186497656

Add bidirectional sequence LSTM to TFLite Ops.

PiperOrigin-RevId: 186497571

Adding support for dilated convolution.

PiperOrigin-RevId: 186496353

Temporarily disabled part of a test that fails on MacOS

PiperOrigin-RevId: 186494795

Fast-path for losses code.

PiperOrigin-RevId: 186494736

Add S64 add/subtract test.

PiperOrigin-RevId: 186494344

Add link to SECURITY.md from doc describing model loading.

PiperOrigin-RevId: 186489041

Internal change.

PiperOrigin-RevId: 186487354

[XLA] Add FindInstruction and FindComputation helpers to HloTestBase.

These are useful for tests that create HLOs and then search for a
particular computation/instruction.

While we're at it, add a c_find_if utility and fix up the (lack of)
perfect forwarding in some of our other c_foo utilities.

PiperOrigin-RevId: 186482111

Create fast path for common case of finite values in CheckNumericsOp

PiperOrigin-RevId: 186474851

Internal Change

PiperOrigin-RevId: 186472818

Internal updates.

PiperOrigin-RevId: 186472487

In the arithmetic optimizer enqueue the fanout of optimized nodes in a
deterministic order

PiperOrigin-RevId: 186468633

memory_size should be expressed in Bytes, but port::AvailableRam() returns kB.

PiperOrigin-RevId: 186468461

fix not_covered anchor

PiperOrigin-RevId: 186467828

Modify optimized quantized LSTM implementation so that it only needs one instantiation of fixed-point Tanh, for 3 integer bits, regardless of the value of StateIntegerBits

PiperOrigin-RevId: 186464604

Adding some beginner advice to the README.

PiperOrigin-RevId: 186461145

Minor corrections in feature_columns doc

PiperOrigin-RevId: 186449350

[XLA:CPU] Add FP32<->FP16 conversion routines

LLVM generates calls to these functions when lowering some fp16 operations on
certain architectures.  These symbols are defined in compiler-rt but we don't
always link to compiler-rt so these symbols are sometimes absent.

This change adds __gnu_f2h_ieee and __gnu_h2f_ieee as weak symbols.  Making them
weak ensures that we are able to build successfully even when linking to a
compiler-rt that defines these symbols.

PiperOrigin-RevId: 186416684

Add a small test to ensure that rewrites are idempotent.

PiperOrigin-RevId: 186410356

Clarify the shape of convolution arguments.

Replace n-d with size n, as n-d often means rank n, while the arguments here are arrays of size n.

PiperOrigin-RevId: 186406143

TFLite: Define a DELEGATE op type.
PiperOrigin-RevId: 186405366

TFLite Conv2D: Create temporary tensors in Prepare phase.

PiperOrigin-RevId: 186402268

[TF2XLA] Account for input edge of predicate.

PiperOrigin-RevId: 186397549

Make sure the nodes that are refered to by a collection are preserved during an
optimization

PiperOrigin-RevId: 186394467

Automated g4 rollback of changelist 186260342

PiperOrigin-RevId: 186393300

Update decorators transformer with additional clarifications in the tests and handling of the more rare cases when multiple decorators are applied together, as well as when decorators are used with local functions.

PiperOrigin-RevId: 186390564

Add a utility that generalizes getcallargs to non-function callables like constructors and __call__ operators.

PiperOrigin-RevId: 186390545

Fill the new `custom_initial_data(_size)?` fields in TfLiteNode.

PiperOrigin-RevId: 186389819

[XLA] Emit saturating shifts on CPU, GPU and interpreter

With this change shifting out >= bitwidth for shift left and logical shift right
produces 0, and shifting out >= bitwidth for arithmetic shift right produces -1
if the LHS is negative and 0 otherwise.  Before this we were invoking undefined
behavior for these out-of-bounds shifts in LLVM and the HLO evaluator.

PiperOrigin-RevId: 186379160

Shorten grappler per-node report by default with previous behavior behind --verbose.

PiperOrigin-RevId: 186369380

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 186365924

Fix a typo in the comment (TFLite)

PiperOrigin-RevId: 186363449

Update contrib/quantize docs to add description of how to use rewrites.

PiperOrigin-RevId: 186362791

Update ops-related pbtxt files.

PiperOrigin-RevId: 186361455

[tf.data] Fix memory leak when not all elements of a `Dataset.from_generator()` are consumed.

This change introduces a new C++ Dataset implementation
(`GeneratorDataset`) that takes three functions:

1. An initialization function that is called before the first use.
2. A "get next" function that is called to produce the elements, until a call
   raises the OutOfRange error.
3. A finalization function that is called before the iterator is destroyed.

Previously, the generator state would only be cleaned up if the caller
consumed *every* element of the generator. In the new version, the
finalization function ensures that the Python-side state of the
generator is released regardless of how the iterator is disposed.

Fixes #16163.

PiperOrigin-RevId: 186360401

Fix a memory corruption issue in boosted trees as the iterators become invalid after an Add.

PiperOrigin-RevId: 186360144

Add documentation to contrib/quantization to reduce confusion with contrib/quantize.

PiperOrigin-RevId: 186358131

Basic LogSoftmax support

PiperOrigin-RevId: 186357933

Add an inspection helper module for related routines not found in the core inspect.

PiperOrigin-RevId: 186357270

Turn on swapping heuristic by default to better manage memory usage on GPU

PiperOrigin-RevId: 186356358

Java: Fix #17130

PiperOrigin-RevId: 186354700

[TF:XLA] Tiny fixes.
Add missing compile-time constant input annotation to BatchToSpaceND.
Make definition of Acosh slightly more accurate. Addition/subtraction of numbers with similar magnitudes is more accurate, and x^2 likely will be further from 1.0 than x due to the doubling of the exponent caused by squaring.

PiperOrigin-RevId: 186353472

Clarify GpuDeviceInfo struct

PiperOrigin-RevId: 186352333

Adding Transpose to optimized_ops.

PiperOrigin-RevId: 186350064

DOCFIX:  hmc.sample_chain kwarg num_steps_between_results docstring seemed to
indicate a different type of thinning than what is actually going on.
PiperOrigin-RevId: 186349630

Simplify and enforce diagnostic ArrayDataType strings.

PiperOrigin-RevId: 186348846

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 186346967

More BcastAdd benchmarks in cwise_ops_test.cc

PiperOrigin-RevId: 186344120

Move the `maxout` layer implementation to contrib.

In September 2017, a contributor from GitHub added a MaxOut layer in tf.layers.
It was never added to the public API. Instead, it was only listed as part of the
API of tf.contrib.layers. This CL moves it out of tf.layers.

PiperOrigin-RevId: 186343115

Add Timestamp Op which returns the current timestamp during graph execution

PiperOrigin-RevId: 186342760

[TF:XLA] Bump open source llvm revision to r325553

PiperOrigin-RevId: 186339171

Temporarily disable flaky test.

PiperOrigin-RevId: 186336341

Add numpy compatibility note to transpose operations.

fixes #15994

PiperOrigin-RevId: 186331307

Doc fixes for switching to 10.12.6 (Sierra) as min supported macOS

see: #15933
PiperOrigin-RevId: 186331121

Introduce tflite diff test to verify difference between tf and tf lite model

PiperOrigin-RevId: 186330891

Support multiple fetch nodes and add a flag for memory report.

PiperOrigin-RevId: 186329308

Replace private method call _ref() with read_value()

PiperOrigin-RevId: 186328404

TFLite: Check if builtin_code is in valid range by best effort.
PiperOrigin-RevId: 186326496

Add API to switch certain parts of Graph state to be thread-local.

For example, this can allow two threads to create ops under varying ops.device().

PiperOrigin-RevId: 186314978

Implementation of `len` that uses multiple dispatch. Replaces the current blank `tf.shape()[0]` code.

PiperOrigin-RevId: 186313178

Internal change.

PiperOrigin-RevId: 186300438

Automated g4 rollback of changelist 186260342

PiperOrigin-RevId: 186266857

Reduce tfp.layers boilerplate via programmable docstrings.

PiperOrigin-RevId: 186260342

[tf.data] Delete contrib version of dataset_ops.py, which was re-added by a merge from GitHub.

PiperOrigin-RevId: 186249376

Share Variable objects among collections when importing metagraphs.

This mirrors the behavior of usual graph construction where a Variable object is added to multiple collections.

PiperOrigin-RevId: 186214551

Remove experimental C API from srcs rule as it requires other sources

PiperOrigin-RevId: 186213207

[TF:XLA] Select the update value instead of the buffer to support negative
index scatter.

PiperOrigin-RevId: 186202761

Tweak `tf.slice` documentation.

Add the input argument (`foo`) to `tf.slice` example so that it actually works if it were run.
Previously, the input argument was missing (perhaps implied), but the example is clearer with its inclusion.

PiperOrigin-RevId: 186105694

[XLA:GPU] Fix a problem in DoGemmAutotune.

Replace DCHECK with CHECK so that DoGemmWithAlgorithm is also called in
non-debug mode to perform autotune.

PiperOrigin-RevId: 186103809

Automated g4 rollback of changelist 186019263

PiperOrigin-RevId: 186098155

Added an experimental C API TF_EnableXLACompilation() to enable XLA compilation.

Also ran "buildozer warn //third_party/tensorflow/c/BUILD" and removed an unused symbol.

PiperOrigin-RevId: 186081948

Automated g4 rollback of changelist 186053793

PiperOrigin-RevId: 186075274

Modify reference quantized LSTM implementation so that it only needs one instantiation of fixed-point Tanh, for 3 integer bits, regardless of the value of StateIntegerBits

PiperOrigin-RevId: 186075161

Merge changes from github.

PiperOrigin-RevId: 186073337

Adds a `shape` property to LabeledTensor.
#labeledtensor

PiperOrigin-RevId: 186073035

[XLA] Pass the module to HloDataflowAnalysis by const reference.

PiperOrigin-RevId: 186072673

Activates Eigen path for CPU implementation of atrous/dilated convolution (only forward path).

PiperOrigin-RevId: 186071285

Changes keep_dims to keepdims to remove deprecation warning.
#labeledtensor

PiperOrigin-RevId: 186071210

Make tf.py_func and tf.smart_cond play better with eager mode.

PiperOrigin-RevId: 186063941

Initializing the thread-local device to the right value.

PiperOrigin-RevId: 186062850

Reset the DAZ bit when entering the XLA CPU/GPU compiler

In an ideal world this won't make a difference since the compiler should be
disciplined about not leaking host-level optimization artifacts into generated
code.  However, I think this provides some defense-in-depth in preventing
non-obvious denormal behavior on the host side from messing up floating point
constants etc. we want to embed into generated code.

PiperOrigin-RevId: 186061140

Checkpointable: Don't run ops automatically when graph building.

This is a prerequisite to moving toward a Saver-like model when graph building. We no longer mess with initializers (when graph building; eager needs it), and restore ops just get queued up and returned.

Since initializers are left alone when graph building, there is a new special case for slot variables which needs to be handled. This is the third(!) queue for deferred slot restorations ((1) variable -> slot, (2) optimizer -> slot, (3) (optimizer, variable) -> slot), and should be the last one I need (it's a hypergraph with 3-tuple edges).

The plan after this is to switch over to tf.train.Saver's existing restore op creation infrastructure, which will handle any SaveableObjects. There will also be a few CLs for making graph usage prettier, and eventually allowing eager/graph agnostic save/restore.

PiperOrigin-RevId: 186059387