Fix build.

PiperOrigin-RevId: 188109002

Make graph construction work while graph is being concurrently run.

The overall approach is to use Graph._lock to synchronize Session.run calls and construction methods that rely on graph mutation. We don't want to synchronize the actual running of the graph, only the Extend call, so this change exposes an ExtendSession method to the Python API and disables extending automatically in TF_SessionRun.

PiperOrigin-RevId: 188106818

Add metadata for gathering information about host compute transfers while compiling XLA.

PiperOrigin-RevId: 188102740

Re-enable math_utils_test msan

PiperOrigin-RevId: 188102388

[XLA] Store the program shape in the HloModuleProto and HloComputationProto.

PiperOrigin-RevId: 188100425

python3 fix

PiperOrigin-RevId: 188100221

Internal change.

PiperOrigin-RevId: 188100164

Update ops-related pbtxt files.

PiperOrigin-RevId: 188098602

Extend tensor_list with basic support for appending to TensorArrays. This allows handling list-type operations on lists that we haven't created, e.g. received as parameters.

PiperOrigin-RevId: 188094077

RemoteCall: Cache function handles.

Currently, whenever a functional_ops.remote_call(...) is executed against a remote worker, the function will be instantiated each and every time against the remote worker causing a memory leak on both the caller and the callee. Instead, we cache the function handles and reuse them.

PiperOrigin-RevId: 188093266

Remove clipping on BoundedTensorSpec range.

PiperOrigin-RevId: 188089885

Add Kullback-Leibler for Independent distribution(s).

PiperOrigin-RevId: 188087902

Introduce API `keras.backend.learning_phase_scope(value)` (internal for now).
Primary goal is to avoid side effects when setting the learning phase in eager training.

PiperOrigin-RevId: 188086280

Fix bug in importing MetaGraphDefs containing nested conds.

This change makes CondContext._external_values more consistently store
Tensors external this context. These values are then not added to the
context when it's imported. This also removes the workaround I added
earlier to manually remove the predicate and pivot Tensors from the
context, instead adding them to _external_values were they're
automatically excluded.

PiperOrigin-RevId: 188083780

Add link to tflite codelab

PiperOrigin-RevId: 188083446

tpu_estimator gives us unstable input shapes when inputs are labeled with names. Sorting the input keys solves the issue.

PiperOrigin-RevId: 188082738

Internal change

PiperOrigin-RevId: 188078128

Automated g4 rollback of changelist 185842713

PiperOrigin-RevId: 188077387

Docs: Fix prefix for the fancy-linker.

PiperOrigin-RevId: 188075262

Fix README formatting.

PiperOrigin-RevId: 188073454

Add TF_TryEvaluateConstant to the C API and have smart_cond call it.

This effectively plumbs EvaluateConstantTensor to smart_cond. This makes smart_cond even smarter by trying to evaluate the predicate
if it can't statically infer it.

PiperOrigin-RevId: 188073244

IteratorContext might be dead while GetNext is being called for the ThreadPoolDataset. Making sure we don't capture that.

PiperOrigin-RevId: 188069516

disabling flaky test in msan

PiperOrigin-RevId: 188069046

disabling timing out test on msan

PiperOrigin-RevId: 188068963

Improvement to eager linear regression benchmark

Before:
entry {
  name: "EagerLinearRegressionBenchmark.eager_train_cpu"
  iters: 2000
  wall_time: 2.45178794861
  extras {
    key: "examples_per_sec"
    value {
      double_value: 52206.7987456
    }
  }
}

After:
entry {
  name: "EagerLinearRegressionBenchmark.eager_train_cpu"
  iters: 2000
  wall_time: 1.9873790741
  extras {
    key: "examples_per_sec"
    value {
      double_value: 64406.4344182
    }
  }
}
PiperOrigin-RevId: 188068838

Create OSS-compatible TF Lite portable test suite rule

Adding the new rule tflite_portable_test_suite to the bottom of a package in TF
Lite will indicate that all previous cc_test rules in the package are supposed
to be portable, unless excluded by a tag.

Outside of Google, tflite_portable_test_suite is a no-op, which may
change in the future as mobile testing infrastructure improves.

PiperOrigin-RevId: 188063712

Add HLO evaluator support for Gather

This isn't optimal -- it copies element by element -- but I figured, at least
for bringup, it will be helpful to have the HLO evaluator follow the spec
closely.

PiperOrigin-RevId: 188061274

keras: Fix typo

PiperOrigin-RevId: 188059457

Layers bind to a graph when first called, not at __init__.

PiperOrigin-RevId: 188059096

Migrate MCMC diagnostics and Halton Sequence sampler into
tensorflow_probability.

PiperOrigin-RevId: 188057302

lib_ might get destroyed when there are 2 different graphs using the same FunctionBufferingResource. As a result, making a clone of lib_.

Also, fixing the LookupOrCreate call in the handle op to run only once for initialization.

PiperOrigin-RevId: 188052319

Sequence versions of remaining categorical columns

PiperOrigin-RevId: 188051821

Fix broken test (invalid string comparison in py3)

PiperOrigin-RevId: 188051422

Add a helper function to copy annotations between nodes.

PiperOrigin-RevId: 188047677

Remove accidental pdb import

PiperOrigin-RevId: 188046246

Add mask keyword to ensure that we don't pass masks in place of training.

PiperOrigin-RevId: 188043473

Fixed the bug that predict input_fn requires the labels.

PiperOrigin-RevId: 188042708

Checks that sequence_length is equal among sequence feature columns.

PiperOrigin-RevId: 188042426

Add HloModuleGroupMetadata and HloModuleGroupUtil

PiperOrigin-RevId: 188041608

Internal change.

PiperOrigin-RevId: 188040866

Include spectral_ops_test_util in python deps.

PiperOrigin-RevId: 188037439

Implementation of tf.cast in TfLite

PiperOrigin-RevId: 188036286

StreamExecutor support for float64 convolutions and backprop.

PiperOrigin-RevId: 188025477

Implements MaxPoolGradGrad in tf2xla using bitwise trickery. Further detail covered by a comment inside pooling_ops.cc.

Retains 32 bits of gradient precision, but can confuse the backprop source for input cells that are equally maximal at 16 bits. We could in principle be accurate up to 31 bits of input, if we were willing to find gradients one bit at a time, or 24 bits of input 8 gradient bits at a time, etc.

PiperOrigin-RevId: 188025278

[XLA:GPU] Mark bitcasts as eligible for fusion.

Currently this never happens because we only turn rehaspes into bitcasts after
layout assignment. This changes when layout assignment runs before fusion. Once
layouts are available the pipeline turns reshapes into bitcasts, which would be
left unfused without this change.

PiperOrigin-RevId: 187999864

Add BatchNorm bijector.

PiperOrigin-RevId: 187975255

Lower logging levels of acceptable conditions

When using remote function invocation, these two conditions are okay, and are not cause for alarm. This change reduces them to VLOG's so they do not pollute the logs unnecessarily.

PiperOrigin-RevId: 187961803

[TPU Cluster Resolver]: Integrate with GKE

This change integrates the TPUClusterResolver with GKE's support for Cloud TPUs

PiperOrigin-RevId: 187961802

[tf.data] Fix uninitialized local variable in ParallelMapDataset.

PiperOrigin-RevId: 187960354

Fixes a number of usability issues with model_to_estimator, in particular:
- make it possible to use a model that was compiled with a TF optimizer (do not require a Keras optimizer)
- do not require input to be dict (input_fn supports plain arrays)
- do not require `config` to be a RunConfig instance, can now be a dict (better UX)
- make it possible to use a subclassed model (caveat: weights are not preserved, yet)
- clear error message when model isn't compiled; improve various error messages

PiperOrigin-RevId: 187959927

Properly recurse when checkpointing scopes.

PiperOrigin-RevId: 187958420

Add method for computing the maximal set of live LogicalBuffers in an allocation.

PiperOrigin-RevId: 187954755

disabling flaky test in msan

PiperOrigin-RevId: 187951549

gradients: Export tf.custom_gradients

(Moved from the tf.contrib.eager namespace)

PiperOrigin-RevId: 187950503

Improve the accuracy of the upper-bound of the sum of the size of an
HLO and all its dependencies. The previous implementation computed the
size of an HLO as the sum of dependencies weighted by the number of
paths to the each dependency. In the previous implementation the
"size" of some HLO overflowed an int64 for dependence graphs with a
large number of distinct paths. The new implementation computes the
min of the previous overestimate and the sum of all HLO's
before-and-including the current HLO in a topological sort of the
graph.

Both the current and the previous implementations are linear
time. Since the sum of the size of all HLOs will never overflow, the
"total size" of each HLO will never overflow. The new upper-bound is
the min of the previous upper bound and a new heuristic, so it is
always at least as tight a bound as the old implementation.

RELNOTES: n/a
PiperOrigin-RevId: 187948221

disabling msan flaky test

PiperOrigin-RevId: 187942643

Remove core:lib dependency in favor of Lite-specific logging helper

This CL makes an enormous swathe of TF Lite's tests buildable on Android
targets (and helps for many iOS tests, as well).

The only reason the tests dependended on tensorflow/core:lib was because lib was
the most common target that includes logging.h, which is necessary for
log-related tests.

This set of utilities may not be perfect (e.g. it still means that certain
TF-related test resources, like FLAGs, are not accessible), but it is an
improvement.

PiperOrigin-RevId: 187940806

Tests for running _Send and _Recv in eager.

PiperOrigin-RevId: 187940522

Remove unnecessary density functions.

distributions.py appropriately calls `log` or `exp` to compute missing cdf/prob functions.

PiperOrigin-RevId: 187938200

disabling timed out test in asan

PiperOrigin-RevId: 187935309

Update TensorBoard's tutorial on tensorflow.org with information on setting up as well as how long the tutorial should take.

PiperOrigin-RevId: 187933027

Add objective functions for variational inference with Csiszar f-divergences.

PiperOrigin-RevId: 187931921

Fix bug with multi_gpu_model / model.inputs.

PiperOrigin-RevId: 187931852

Correct op::Attr usage in C++ gradient implementations.

Also enabled TF_MUST_USE_RESULT for the generated Attr API, so we
can catch any new errors early.

Fixes #17360

PiperOrigin-RevId: 187925761

Adds test_util.IsMklEnabled() that returns true if TensorFlow has been built with MKL support. Fixes the failure of tensorflow/python/tools:print_selective_registration_header_test by using 'Mkl' prefix for MatMul op name when MKL is enabled.

PiperOrigin-RevId: 187925038

[XLA] Make HloEvaluator use wrap-around semantics for DynamicUpdateSlice.

PiperOrigin-RevId: 187923671

Add alternative paths for CUDA installation.

This detects negativo17's CUDA packages for Fedora.

PiperOrigin-RevId: 187923472

Add sequence_indicator_column

PiperOrigin-RevId: 187920673

Disable both "no_mac" and "nomac" tags when building on osx.

PiperOrigin-RevId: 187919812

Fix the issue where gpu_option is not respected for keras estimator.
Set keras backend session with the given config before any get_session call creates a new session.
Fix #14776.

PiperOrigin-RevId: 187916300

Add methods for extracting the shapes of the entry computation from an HloProto.

PiperOrigin-RevId: 187915821

Benchmark regression

PiperOrigin-RevId: 187914657

[XLA] Fix BF16 normalizer for CrossReplicaSum.

1. It may produce incorrect result when mixed precision is not supported and
BF16 is not support only for a particular operand. Then the pass may introduce
new mixed precision for an all-BF16 CRS. This is unlikely in practical
settings, but removing this constraint can enable auto-generating corner case
tests using this pass.

2. A cycle can be introduced in the tuple-shaped output output. This wasn't
caught by the test because the DFS happened to succeed. Now add verifier
explicitly.

PiperOrigin-RevId: 187908099

Simplify softmax_centered implementation.

This also resolves a bug with softmax_centered.inverse not working on inputs with
partially known.

PiperOrigin-RevId: 187907026

Make variable creator scope thread local (always).

PiperOrigin-RevId: 187904394

[XLA] Mark xla_internal_test_main as alwayslink.

PiperOrigin-RevId: 187903623

Return ComputationLayout as a reference from the HLO module.

PiperOrigin-RevId: 187900559

[XLA] Whitelist send/recv in BF16 passes.

PiperOrigin-RevId: 187899955

Shape function bug in tensor_list_stack

PiperOrigin-RevId: 187896505

Don't log an error if we can't set HTTP/2.

PiperOrigin-RevId: 187895652

Extract the EvaluateConstantTensorForEdge method from ShapeRefiner.

This change introduces a new stand-alone function, EvaluateConstantTensor,
pulled from ShapeRefiner. ShapeRefiner now calls this new function and the
old functions are removed.

I'm still depending on shape_refiner_test.cc for test coverage.

This is the first step towards making smart_cond better able to evaluate
constant tensors.

PiperOrigin-RevId: 187894976

[XLA] Allocate and track memory in replicas separately.

PiperOrigin-RevId: 187894473

[XLA:GPU] Allow merging into input fusion nodes in FusionMerger.

Seems to have been an oversight.  "Input fusion" means that the *output*
of the fusion node is the "real hero".  The inputs aren't special; we
can fuse more stuff in.

PiperOrigin-RevId: 187892975

Fix documentation of image size for inception-v3 (299 * 299)

PiperOrigin-RevId: 187889122

Make SavedModel builder validation accept signatures involving sparse tensors.

PiperOrigin-RevId: 187883080

Exposes poisson_regression_head in tf.contrib.estimator.

PiperOrigin-RevId: 187882494

[XLA:GPU] Add some VLOGs to FusionMerger.

Also use c_any_of and friends instead of std::any_of &c, and make some
minor whitespace fixes in comments.

No functional change.

PiperOrigin-RevId: 187880113

Change the default ps_ops to STANDARD_PS_OPS

PiperOrigin-RevId: 187875797

Fix a case in SparseSegmentReduction ops with missing segment IDs, where all segment IDs are empty. Added a test for this case.

PiperOrigin-RevId: 187873356

Internal change.

PiperOrigin-RevId: 187865303

Improve LinearValidOnShape.

It actually only needs to check that the operation is a bitcast (ignoring
element_type). So far, the check was more restrictive, which made this function
always return false for a non-trivial reshape operation.
However we still fail to make use of this less strict checking, because for
reshapes inside a fusion node, we don't have a layout and can therefore not
check if it is a bitcast or not.
Also add a disabled test that will be enabled once the layout issue is fixed.

PiperOrigin-RevId: 187860440

Automated g4 rollback of changelist 185073515

PiperOrigin-RevId: 187852929

[XLA] Minor comment fixes in instruction_fusion.cc.

No functional change.

PiperOrigin-RevId: 187852483

Adds checks to tf.nn.sparse_softmax_cross_entropy_with_logits to make sure that shapes for labels and logits (except last dimension) match. First, the static dimensions are checked, and only if the result is inconclusive a dynamic check is added.

In sparse_softmax_cross_entropy_with_logits the input dimensions are flattened, which can lead to unexpected bugs if the order of dimensions does not match (e.g. if one is time-major and the other is batch-major). This prevents such mistakes.

PiperOrigin-RevId: 187841750

Prevent accidental re-use of removed field.

PiperOrigin-RevId: 187798953

Fix nested bullets in docs. (Need 4 spaces indent)

PiperOrigin-RevId: 187763978

Fix broken links in docs.

PiperOrigin-RevId: 187755567

Internal change.

PiperOrigin-RevId: 187749767

Will open source this part of code.

PiperOrigin-RevId: 187747019

Internal Change.

PiperOrigin-RevId: 187738384