Add tracing annotations to RemoteCallOp's execution.

PiperOrigin-RevId: 188260984

Remove unneeded rewrite, now that contrib.quantize is ready and better.

PiperOrigin-RevId: 188257466

Internal change.

PiperOrigin-RevId: 188257136

eager: Export tf.enable_eager_execution() and tf.executing_eagerly()

PiperOrigin-RevId: 188255674

Checkpointable: Fix device placement when restoring name-based checkpoints.

Just need to put the restore ops on a CPU.

PiperOrigin-RevId: 188248198

Added tf.contrib.data.make_batched_features_dataset as replacement of tf.contrib.learn.io.read_batch_features. Added warning about the deprecation of tf.contrib.data.read_batch_features.

PiperOrigin-RevId: 188240046

Migrate AIS chain into `tfp.mcmc` and modularize its interface to take a TransitionKernel.

PiperOrigin-RevId: 188239559

py_func attaches full stack traces when an error is raised.

This should help debugging errors that occur inside a py_func.

PiperOrigin-RevId: 188238495

Remove unused parameter from GetQuantizationParamsFromMinMax.

PiperOrigin-RevId: 188236536

Fix GCS uploads occasionally failing when retrying.

GCS returns 400, invalid argument because it thinks the body is not empty. cURL, by default, sets "Transfer-Encoding: Chunked", which causes the server to ignore "Content-Length: 0":
https://developer.mozilla.org/en-US/docs/Web/HTTP/Headers/Transfer-Encoding

The server considers the HTTP request incomplete and may non-deterministically fail.

PiperOrigin-RevId: 188235030

Don't populate linear_ with a logical index

We use linear_ to directly emit array element access in some cases so populating
it with the logical linear index seems incorrect.

PiperOrigin-RevId: 188234902

Create mobile testing rules for TF Lite known-portable targets

This CL tags all known-already-portable TF Lite tests as portable, and
(from those tests) tags those known as not portable.

Adding tflite_portable_test_suite() to the bottom of a package marks all
previous cc_tests as "intended to be portable". I've included all tests
that I was able to naively make buildable on Android with my previous
change that created a custom logging.h library. Most tests are buildable
on Android already, but there is something in the common dependencies
for the kernel tests that is not compatible with iOS.

Outside of Google, this change does nothing except tag tests that are
known to not be buildable on certain platforms.

PiperOrigin-RevId: 188234489

[TF:XLA] Bump open source llvm revision to r326829

PiperOrigin-RevId: 188229669

[tf.data] Optimize `Dataset.filter()` when the predicate returns one of its args.

This change avoids the overhead of function dispatch (~10--15us) when
the filter predicate simply returns one of its arguments directly. It
also adds a benchmark to track the performance of this optimization.

The checkpointing code required minor modifications to enable functions to be
instantiated in the `FilterDatasetOp::Compute()` method when an iterator is being
restored.

PiperOrigin-RevId: 188229570

Update graph rewrites for host compute ops

PiperOrigin-RevId: 188228489

[tpu.datasets]: Improve the performance of the StreamingFilesDataset.

In order to effectively pipeline the transfers, set num_parallel_calls=4.

PiperOrigin-RevId: 188227890

Further small support for quantized unfused LSTMs.

PiperOrigin-RevId: 188221169

Internal Change

PiperOrigin-RevId: 188217110

TFE_Context gets its local devices from the source instead of a session.

PiperOrigin-RevId: 188216178

Add support for padding tf.string tensors on CPU.

PiperOrigin-RevId: 188215092

eager: Rename in_eager_mode to executing_eagerly and get rid of in_graph_mode.

This is in preparation to introduce one public, stable symbol: tf.executing_eagerly()
(i.e., part of moving APIs related to eager execution from "contrib" to a namespace
where we provide API stability guarantees)

PiperOrigin-RevId: 188212646

Convert functions with multiple returns to use a single return.

PiperOrigin-RevId: 188212324

Support for transpose convolution. Includes striding, and a reference implementation.

PiperOrigin-RevId: 188210975

Making sure that the proc FLR doesn't get deleted before lib_ (in FunctionBufferingResource).

PiperOrigin-RevId: 188206611

Move `tf.contrib.bayesflow.layers` to `tfp.layers`.

PiperOrigin-RevId: 188203941

Optimizations to DepthwiseConv using 3x3 filters.

PiperOrigin-RevId: 188202344

Properly parse input strings in the dependency optimizer

PiperOrigin-RevId: 188201284

Docs: Add simple_save section to SavedModel APIs, and add
to article intro. Rename headers to make consistent.

PiperOrigin-RevId: 188199437

Migrate Halton Sequence sampler into tensorflow_probability.

PiperOrigin-RevId: 188191091

boosted_trees: fix the comments about gain by removing a confusing dash.

PiperOrigin-RevId: 188191012

[tf.data] Improve docstring for `tf.data.Dataset.padded_batch()`.

PiperOrigin-RevId: 188190458

Switch the eager GAN MNIST example to object-based checkpointing

- Removes variable_scopes, since they're no longer necessary (duplicate variable names are OK)
- Switches up the counters a bit (global_step -> step_counter, checkpoint the epoch counter)

PiperOrigin-RevId: 188190128

Add missing equality assertion between the shape of the 2 inputs to the tile op.

PiperOrigin-RevId: 188190067

Add instrumentation interfaces to the GCS file system.

PiperOrigin-RevId: 188187793

Fix tf.train.Saver's max_to_keep when executing eagerly.

It was keeping everything, since the list of things to delete was reset in
build() and build() was called every save.

PiperOrigin-RevId: 188187349

[tf.data] Expose `tf.contrib.data.SqlDataset`.

PiperOrigin-RevId: 188185438

Add a template helper that generates expressions from single-statement nodes.

PiperOrigin-RevId: 188184507

Add support for the "DEQUANTIZE" op. This cover only ops that are generated by TOCO
in order to handle UINT8 input to floating-point models.

PiperOrigin-RevId: 188182372

Make sure the string returned is a string in Python 3 because of different string handling processes.

PiperOrigin-RevId: 188180206

Update the code to play more nicely with Python3.

PiperOrigin-RevId: 188167618

[XLA:GPU] Fuse broadcasts into reduction fusions

We didn't do this because reconstructing a layout was hard. With
layout_assignment before fusion this becomes much easier. Remove the
limitations.

PiperOrigin-RevId: 188167436

[XLA:GPU] Move layout_assignment before fusion

This will allow code simplification and opens up new optimization. Currently we
don't emit layouts inside of fusion and tracing layouts through fusion is very
hard. Changing the pipeline sidesteps this issue. This is mostly perf-neutral.

PiperOrigin-RevId: 188158481

Fix ShapeUtil::CompatibleIgnoringElementType for scalar vs tuple comparision

Previously if the lhs was a scalar and the rhs was a tuple of arbitrary
shape it reported them as compatible what is clearly wrong.

PiperOrigin-RevId: 188155575

[XLA:GPU] Rewrite elemental emission of bitcasts

My first attempt at this only handled bitcasts that implement a reshape
operation, now transposes or mixed bitcasts are handled as well. There is
probably some optimization potential to reduce the amount of address arithmetic
emitted to IR for a follow-up.

This is already tested fairly well with the existing test suite, there are
failing tests with layout_assignment before fusion without this change.

PiperOrigin-RevId: 188155082

Build definition cleanup.

PiperOrigin-RevId: 188135683

Typo correction, no method `set_stats_aggregator_op(..)` to associate `StatsAggregator` with `iterator`.

PiperOrigin-RevId: 188132675

Minor fixes to tutorials/index.md and programmers_guide/index.md

PiperOrigin-RevId: 188128441

Makes GLSTMCell accept input of any compatible dimension.

Currently, GLSTMCell requires that the input dimension is is the same as the output dimension.  After this change, the input can be any compatible dimension---i.e., anything divisible by the number of groups.  The input size is still assumed to be the output size in the case where the innermost dimension of the input is not statically-defined.

PiperOrigin-RevId: 188123536

[TF:XLA] Bump open source llvm revision to r326687

PiperOrigin-RevId: 188122825

Made sure all the nodes in the body of an inlined function run in the same frame

PiperOrigin-RevId: 188121852

Add basic support for explicit type annotations. This is done by inserting a no-op function call. Note that this is meant as fallback, and we prefer the following alternatives (in their order) for inferring the type:
 1. Automatic from context, e.g. the type of a list based on the elements added to it (WIP)
 2. Type annotations (Python 3.6+ only)

PiperOrigin-RevId: 188120527

Add helper function for Xor in HLO.

RELNOTES: n/a
PiperOrigin-RevId: 188119450

Avoid merging colocation sets that include parameter/result buffers

PiperOrigin-RevId: 188117187

PiperOrigin-RevId: 188112759

Adding support for subscripts to qualified names.  This also removes the QN copy constructor and adds an assert to ensure that the no attribute/no subscript QN constructor does not receive any strings with '.', '[', or ']'.  Additionally this changes the self.qn construction to be a tuple of (base QN, attribute/subscript) instead of a concatenation of the base QN and attribute/subscript so that the has_attr and has_subscript fields are handled properly.  Constant subscripts are not yet supported.

PiperOrigin-RevId: 188111933

Remove dead code. We're guaranteed to have CURLE_OK because we return early above.

PiperOrigin-RevId: 188110480

Fix build.

PiperOrigin-RevId: 188109002

Make graph construction work while graph is being concurrently run.

The overall approach is to use Graph._lock to synchronize Session.run calls and construction methods that rely on graph mutation. We don't want to synchronize the actual running of the graph, only the Extend call, so this change exposes an ExtendSession method to the Python API and disables extending automatically in TF_SessionRun.

PiperOrigin-RevId: 188106818

Add metadata for gathering information about host compute transfers while compiling XLA.

PiperOrigin-RevId: 188102740

Re-enable math_utils_test msan

PiperOrigin-RevId: 188102388

[XLA] Store the program shape in the HloModuleProto and HloComputationProto.

PiperOrigin-RevId: 188100425

python3 fix

PiperOrigin-RevId: 188100221

Internal change.

PiperOrigin-RevId: 188100164

Update ops-related pbtxt files.

PiperOrigin-RevId: 188098602

Extend tensor_list with basic support for appending to TensorArrays. This allows handling list-type operations on lists that we haven't created, e.g. received as parameters.

PiperOrigin-RevId: 188094077

RemoteCall: Cache function handles.

Currently, whenever a functional_ops.remote_call(...) is executed against a remote worker, the function will be instantiated each and every time against the remote worker causing a memory leak on both the caller and the callee. Instead, we cache the function handles and reuse them.

PiperOrigin-RevId: 188093266

Remove clipping on BoundedTensorSpec range.

PiperOrigin-RevId: 188089885

Add Kullback-Leibler for Independent distribution(s).

PiperOrigin-RevId: 188087902

Introduce API `keras.backend.learning_phase_scope(value)` (internal for now).
Primary goal is to avoid side effects when setting the learning phase in eager training.

PiperOrigin-RevId: 188086280

Fix bug in importing MetaGraphDefs containing nested conds.

This change makes CondContext._external_values more consistently store
Tensors external this context. These values are then not added to the
context when it's imported. This also removes the workaround I added
earlier to manually remove the predicate and pivot Tensors from the
context, instead adding them to _external_values were they're
automatically excluded.

PiperOrigin-RevId: 188083780

Add link to tflite codelab

PiperOrigin-RevId: 188083446

tpu_estimator gives us unstable input shapes when inputs are labeled with names. Sorting the input keys solves the issue.

PiperOrigin-RevId: 188082738

Internal change

PiperOrigin-RevId: 188078128

Automated g4 rollback of changelist 185842713

PiperOrigin-RevId: 188077387

Docs: Fix prefix for the fancy-linker.

PiperOrigin-RevId: 188075262

Fix README formatting.

PiperOrigin-RevId: 188073454

Add TF_TryEvaluateConstant to the C API and have smart_cond call it.

This effectively plumbs EvaluateConstantTensor to smart_cond. This makes smart_cond even smarter by trying to evaluate the predicate
if it can't statically infer it.

PiperOrigin-RevId: 188073244

IteratorContext might be dead while GetNext is being called for the ThreadPoolDataset. Making sure we don't capture that.

PiperOrigin-RevId: 188069516

disabling flaky test in msan

PiperOrigin-RevId: 188069046

disabling timing out test on msan

PiperOrigin-RevId: 188068963

Improvement to eager linear regression benchmark

Before:
entry {
  name: "EagerLinearRegressionBenchmark.eager_train_cpu"
  iters: 2000
  wall_time: 2.45178794861
  extras {
    key: "examples_per_sec"
    value {
      double_value: 52206.7987456
    }
  }
}

After:
entry {
  name: "EagerLinearRegressionBenchmark.eager_train_cpu"
  iters: 2000
  wall_time: 1.9873790741
  extras {
    key: "examples_per_sec"
    value {
      double_value: 64406.4344182
    }
  }
}
PiperOrigin-RevId: 188068838

Create OSS-compatible TF Lite portable test suite rule

Adding the new rule tflite_portable_test_suite to the bottom of a package in TF
Lite will indicate that all previous cc_test rules in the package are supposed
to be portable, unless excluded by a tag.

Outside of Google, tflite_portable_test_suite is a no-op, which may
change in the future as mobile testing infrastructure improves.

PiperOrigin-RevId: 188063712

Add HLO evaluator support for Gather

This isn't optimal -- it copies element by element -- but I figured, at least
for bringup, it will be helpful to have the HLO evaluator follow the spec
closely.

PiperOrigin-RevId: 188061274

keras: Fix typo

PiperOrigin-RevId: 188059457

Layers bind to a graph when first called, not at __init__.

PiperOrigin-RevId: 188059096

Migrate MCMC diagnostics and Halton Sequence sampler into
tensorflow_probability.

PiperOrigin-RevId: 188057302

lib_ might get destroyed when there are 2 different graphs using the same FunctionBufferingResource. As a result, making a clone of lib_.

Also, fixing the LookupOrCreate call in the handle op to run only once for initialization.

PiperOrigin-RevId: 188052319

Sequence versions of remaining categorical columns

PiperOrigin-RevId: 188051821

Fix broken test (invalid string comparison in py3)

PiperOrigin-RevId: 188051422

Add a helper function to copy annotations between nodes.

PiperOrigin-RevId: 188047677

Remove accidental pdb import

PiperOrigin-RevId: 188046246

Add mask keyword to ensure that we don't pass masks in place of training.

PiperOrigin-RevId: 188043473

Fixed the bug that predict input_fn requires the labels.

PiperOrigin-RevId: 188042708

Checks that sequence_length is equal among sequence feature columns.

PiperOrigin-RevId: 188042426

Add HloModuleGroupMetadata and HloModuleGroupUtil

PiperOrigin-RevId: 188041608

Internal change.

PiperOrigin-RevId: 188040866

Include spectral_ops_test_util in python deps.

PiperOrigin-RevId: 188037439

Implementation of tf.cast in TfLite

PiperOrigin-RevId: 188036286

StreamExecutor support for float64 convolutions and backprop.

PiperOrigin-RevId: 188025477

Implements MaxPoolGradGrad in tf2xla using bitwise trickery. Further detail covered by a comment inside pooling_ops.cc.

Retains 32 bits of gradient precision, but can confuse the backprop source for input cells that are equally maximal at 16 bits. We could in principle be accurate up to 31 bits of input, if we were willing to find gradients one bit at a time, or 24 bits of input 8 gradient bits at a time, etc.

PiperOrigin-RevId: 188025278