[XLA] Support while loops and constant in HLO BF16 propagation.

PiperOrigin-RevId: 187644155

Updating toolchain configs for GPU builds

PiperOrigin-RevId: 187643585

tf.keras: Remove unnecessary "with self.test_sesion()" statements in tests.

The test decorator that runs the test twice (once with eager execution enabled,
once without) doesn't require the block, and this makes the code appear more
eager-friendly (as there is no concept of a session when eager execution is
enabled).

PiperOrigin-RevId: 187637008

Add bfloat16 support for CPU ops.

PiperOrigin-RevId: 187633511

No need to override _handle_device for variables anymore

PiperOrigin-RevId: 187631915

Only use softfp for android builds to make odroid builds work.

PiperOrigin-RevId: 187629282

Take into account the return value mapping of functions

PiperOrigin-RevId: 187628382

Add a testing utility that can be called from compiled code, and which can mock a TF module for internal tests. Use it in api_test.py

PiperOrigin-RevId: 187624343

Internal-only change.

PiperOrigin-RevId: 187623121

Eliminate the creation of unnecessary read ops when working with ResourceVariables.

In particular:
1. Don't create additional read ops when creating a ResourceVariable from a VariableDef proto.
2. Expose the ability to assign a ResourceVariable without reading & returning the new value.
3. Colocating with a ResourceVariable's ".op" property eliminates the creation of additional read ops.
4. Savers can read a variable's value using the _graph_element property, since these reads don't need control dependencies.

This makes the visualization of graphs on TensorBoard much nicer.

PiperOrigin-RevId: 187622122

Add support to convert ResourceVariables of graphs into constants.

This involves a change to the implementation of convert_variables_to_constants.

PiperOrigin-RevId: 187610062

Java: Update to 1.6.0

PiperOrigin-RevId: 187595636

[XLA:GPU] Extract multiplication of complex numbers into a helper function.

Also add helper functions for getting the real and the imaginary part of a
complex number.

PiperOrigin-RevId: 187593341

Automated g4 rollback of changelist 187563544

PiperOrigin-RevId: 187582263

[XLA] For graphviz graph dumps that are colored by sharding, choose the fill color for fusion nodes according to the sharding color rather than always choosing grey.

PiperOrigin-RevId: 187567679

Grappler: Change memory optimizer recomputation name prefix into a regexp. This allows
us to match any node names, especially those under different scopes. This still performs
a prefix regexp match, so it is basically backwards compatible.

PiperOrigin-RevId: 187563544

Allow replacing attributes in templates.

PiperOrigin-RevId: 187562864

Improve CURL error reporting and handling in the GCS filesystem.

- The main semantics change is that we return immediately if curl_easy_perform doesn't return CURLE_OK. The CURL documentation indicates that it's not ok to fetch info if the curl call failed:
https://curl.haxx.se/libcurl/c/curl_easy_getinfo.html
- LOG errors where we can't return a status. Otherwise return with a status immediately.

PiperOrigin-RevId: 187562481

Add util which creates Python callable with tf.Variables explicitly as
arguments.

PiperOrigin-RevId: 187561302

Checkpointable: Make Templates Checkpointable

Uses a variable_creator_scope to hook all variable creation within the
Template. For variables without a more deeply nested Template parent, it adds a
dependency directly. For variables with a Template parent, it adds a dependency
on the sub-Template instead.

The variable scope prefix for the Template itself is stripped. However, any
variable_scopes inside the Template (such as those for Layers) will be included
in the dependency names. So within Templates we essentially have name-based
saving (with the exception of dependencies between Templates themselves, which
use the object-based dependency mechanism). This isn't ideal, but will hopefully
allow migration toward object oriented dependencies more smoothly.

Throws an error on object-based save() if the dependencies don't match
between Checkpointable and .variables.

Includes a semi-related usability fix for the Checkpoint utility; mostly in
unit tests, restore() is not called before save(), which when graph building
was leading to the save counter not being initialized. Fixes that.

PiperOrigin-RevId: 187560911

Implement partial constant propagation through IdentityN.

PiperOrigin-RevId: 187560028

Improve the error message when failing to write events.

The current error message looks like:
"Failed to sync 10 to <path>"

PiperOrigin-RevId: 187557623

Include the response upon any error.

PiperOrigin-RevId: 187556563

Expose Checkpointable symbols in tf.contrib.eager/tfe

- tfe.Checkpoint
    Utility for grouping Checkpointable objects into training checkpoints, has
    save/restore methods which call CheckpointableSaver.
- tfe.Checkpointable
    For user-defined Checkpointable objects.
- tfe.CheckpointableSaver
    More control over saving/restoring than tfe.Checkpoint.

Only tfe.Checkpoint is required to switch examples over, so I can leave the
others out if there are objections.

PiperOrigin-RevId: 187555472

Adds a TensorServingInputReceiver that allows export_savedmodel to pass raw
tensors to model functions. Addresses #11674.

PiperOrigin-RevId: 187552824

Do not crash if we failed to get the field name.

PiperOrigin-RevId: 187549153

[ClusterFLR] Prolong the lifetime of the RunGraphRequest until the call has completed.

Some WorkerService implementations rely on the request object remaining live until the callback is called.

PiperOrigin-RevId: 187548140

Fix batch_norm_benchmark.

PiperOrigin-RevId: 187546384

A fp16 implemention for ReluGrad.
On V100 with Cuda 9, it reduces the average ReluGrad kernel time in Resnet50 from 249.44 us to
175.60 us, a 42% speedup.
On Titan-X Pascal with Cuda 9, it reduces the average ReluGrad kernel time in
Resnet50 from 747.98 us to 509.37 us, a 46.8% improvement.

PiperOrigin-RevId: 187545504

Checkpointable: Make Model Checkpointable-compatible

Has Models track Checkpointable dependencies with __setattr__.

Switches subclassed Models to creating ResourceVariables by default, which
removes one source of eager/graph differences. tfe.Network was doing this by
default.

This is necessary for eager/graph agnostic code since tapes currently only work
with ResourceVariables. It's not quite trivial to fix that, and
ResourceVariables by default in more places is a Good Thing anyway. (Not that we
shouldn't also fix the tape code.)

PiperOrigin-RevId: 187544850

Added support for optimization of functions with fixed input/output types

PiperOrigin-RevId: 187540982

EagerTensor.device reflects the op's device and not the tensor's memory space.

This matches graph mode's behavior.

PiperOrigin-RevId: 187537818

Expose native inference latency via TFlite interpreter.

PiperOrigin-RevId: 187535695

Set more generated ops to 'hidden'. These ops have not been hidden before but
instead have corresponding definitions in Python files. We don't want tf_export
decorators for the generated ops since corresponding Python ops have tf_export
decorators instead.

PiperOrigin-RevId: 187534113

Sampling group embeddings for each child.

PiperOrigin-RevId: 187532388

Internal change.

PiperOrigin-RevId: 187532378

Optimize training with feature selection by avoiding any computations on the
features that are not selected once we have reached our target number of
features.

PiperOrigin-RevId: 187526964

Fix TensorRT build.

PiperOrigin-RevId: 187526192

Add support for keyword args for dynamically converted functions.

PiperOrigin-RevId: 187522324

Fix parameter name mismatches in declarations/definitions.

Reported by clang-tidy

PiperOrigin-RevId: 187521627

Cast sequence_length to an integer.

PiperOrigin-RevId: 187520920

[XLA] Fully qualify xla::MakeUnique uses in shape_tree.h. No functional changes.

PiperOrigin-RevId: 187520283

Remove underscore prefix from the following HIDDEN ops: add_sparse_to_tensors_map,
add_many_sparse_to_tensors_map and take_many_sparse_from_tensors_map.

PiperOrigin-RevId: 187515638

TFE: Cache `TensorShape` object for `EagerTensor`'s, for performance.

PiperOrigin-RevId: 187512946

Refactor training part of the Keras engine.
Also add support for sample/class weights with eager execution.

Structure before:
engine/training.py
engine/training_eager.py

After:

engine/training.py
engine/training_arrays.py
engine/training_eager.py
engine/training_generator.py
engine/training_utils.py

All new files are about 500 lines long. training.py is now 1700 lines long (about 1000 lines of logic). It was previously 3000 lines long.

PiperOrigin-RevId: 187511923

[XLA] Optimize away DynamicUpdateSlice with update parameter with a dimension
of zero.

A zero sized update has no effect.

PiperOrigin-RevId: 187510099

Internal cleanup.

PiperOrigin-RevId: 187504966

Fixed the typo in RunConfig pydoc.

PiperOrigin-RevId: 187498424

Remove old note that no longer applies.

PiperOrigin-RevId: 187498339

[XLA] Update operation semantics doc for BatchNorm operations

- Update formulas for BatchNormGrad. The rendered version of the new formulas can be found here:
https://latexbase.com/d/1ad54ff9-f9d5-4479-beef-156ea26a0632
- Update output table to include the symbol name for each output.
- Fix a typo in BatchNormGrad's input table to correct display the symbol `beta`.

PiperOrigin-RevId: 187496086

Fixed tf.reduce_sum usage on 2-D tensors.

PiperOrigin-RevId: 187491311

[XLA] Don't dump the "contents" of constants with a zero-sized dimension in the HLO graph dumper.

Previously we'd dump e.g. "{ {}, {}, ... }" for an f32[100, 0], which is
just noise.

PiperOrigin-RevId: 187488625

Keep track of eager op device for tensor handles. Force-colocates ops using resources with the resources.

PiperOrigin-RevId: 187488175

Correct struct array initialization syntax.

PiperOrigin-RevId: 187486332

Fix TF doc style.

PiperOrigin-RevId: 187484534

[XLA] Fix signatures of c_foo functions and add c_any_of.

Embarrassingly, we were often copying the container in c_foo.  Oops.
This fixes that, and also adds some perfect forwarding that was missing.
It also adds a c_any_of function.

PiperOrigin-RevId: 187483435

Fix link text

PiperOrigin-RevId: 187483166

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 187471483

Support 0 size literals in Literal::Slice

PiperOrigin-RevId: 187469563

Update ops-related pbtxt files.

PiperOrigin-RevId: 187468981

Add RegexReplace Op that internally calls RE2::Replace.

PiperOrigin-RevId: 187467840

Ensure folding of batch norms is idempotent.

Added more rigorous testing.
(Also fixed a couple of naming nits in the code as I looked through)

PiperOrigin-RevId: 187446976

[tf.data] Add optional `shuffle` argument to `Dataset.list_files()`.

This option makes it easier to shuffle a set of filenames on each iteration,
and default to true to match the recommended best practices when training on
a large dataset.

PiperOrigin-RevId: 187434282

[XLA] Reshape/Transpose should not be bitcast if element type changes.

PiperOrigin-RevId: 187427133

Add bfloat16 random_op for CPU.

PiperOrigin-RevId: 187418131

Use half_val instead of int_val to get the bfloat16 tensor value in MakeNdarray.

PiperOrigin-RevId: 187417908

Use NodeExecStats's output_slot field to identify output instead of just using proto index.

PiperOrigin-RevId: 187416101

Set generated ops to hidden if they are not included in TensorFlow Python API. Also, update endpoints in ApiDef files for a few ops.

PiperOrigin-RevId: 187412039

Docs: Update Fixed Point Quantization in performance.

PiperOrigin-RevId: 187408106

Adding the documentation for building the iOS demo for TensorFlow Lite.

PiperOrigin-RevId: 187403346

GCS: HTTP error code 308 retries during upload. Previously, it would only permit 308 when getting the status of an upload.

This matches the behavior of the official library:
https://github.com/google/apitools/blob/master/apitools/base/py/transfer.py#L925

And the general description here:
https://cloud.google.com/storage/docs/json_api/v1/how-tos/resumable-upload

PiperOrigin-RevId: 187400843

Remove record_gradient param from benchmark function

PiperOrigin-RevId: 187397610

Add all_files target to gcs_smoke_test BUILD file.

PiperOrigin-RevId: 187396477

Update a few tests to work with Grappler constant folding.

PiperOrigin-RevId: 187395886

Propagate NaNs for floating point min/max operations.

PiperOrigin-RevId: 187395444

Exclude more tests for cuda_on_cpu project.

PiperOrigin-RevId: 187394209

keras: Avoid unneccesary call to .call() when building models with subclassing.

This fixes a regression in the defun microbenchmarks
(ResNet50Benchmarks.eager_train_with_defun_gpu_batch_32_channels_first etc.)
in tensorflow/contrib/eager/python/examples/resnet50/resnet50_test.py
seen after https://github.com/tensorflow/tensorflow/commit/9a84277be2cb8233c5c14270db6fcdff31ab4d93
(which embeds a model in model)

Without this change, converting a model call to a graph function using
something like:
model.call = tfe.defun(model.call)
could result in redundant nodes being added to the graph function
as the model._set_inputs() call would invoke model.call() again.

PiperOrigin-RevId: 187391494

Remove unnecessary stack operations from graphs. This change implements the first such optimization that removes stack pushes without corresponding pops.

PiperOrigin-RevId: 187387794

Removing underscore prefixes from hidden generated Python functions.

PiperOrigin-RevId: 187386941

Package c_api_experimental.h in binary release distributions.

PiperOrigin-RevId: 187385913

[tf.data] Add `num_parallel_reads` argument to `tf.data.TFRecordDataset`.

This provides a convenient way to use the `tf.contrib.data.parallel_interleave()` idiom for reading multiple TFRecord files in parallel. In addition, the `filenames` argument to the initializer can now be a `tf.data.Dataset` of strings, which makes it easier to use `TFRecordDataset` with `Dataset.list_files()`.

PiperOrigin-RevId: 187384812

Make fuse_op handle loops in the graph

The current implementation of fuse_op does not work when there are loops in the tensorflow graph.

PiperOrigin-RevId: 187382720

Fix Markdown syntax of bulleted list.

PiperOrigin-RevId: 187378753

Checkpointable: Handle Optimizer non-slot variables

Overrides the Checkpointable dependency-gathering logic to key Optimizer dependencies to the current graph.

Moves my Checkpointable Adam prototype out of contrib.

Right now there is no check that loading all happens in the same graph. This would be easy enough to do (save a Graph ID with the _Checkpoint object), but it's not clear to me that it's useful; doing deferred restoration in whichever graph the variable is created in seems reasonable. (Let me know if you disagree)

PiperOrigin-RevId: 187378372

Bypasses warnings in eager mode for converting indexed slices to tensors.

PiperOrigin-RevId: 187377370

[XLA] Add a HLO simplifier pass to fold Conditional(constant_predicate,
true_computation, false_computation) to Call(predicated_computation) and
finally inlined computation.

PiperOrigin-RevId: 187376657

[TF:XLA] Bump open source llvm revision to r326313

PiperOrigin-RevId: 187373178

[XLA] Fix up some error messages to conform to XLA's error message style.

PiperOrigin-RevId: 187372860

Factor out the LstmBatchStep for the various LSTM Ops.

PiperOrigin-RevId: 187370622

Lift ops to the global graph if all graphs are building functions

This change ensures that, when all graphs are building functions, `init_scope`
lifts ops into the global graph.

PiperOrigin-RevId: 187370367

[XLA] FP16 Dot support for the CPU and GPU backends.

Extend the stream interface ThenBlasGemmWithAlgorithm to support F16 matrix
multiplication with computation type FP32.

Extend the stream executor interface DoBlasGemmWithAlgorithm to support F16
GEMM with computation type FP32.

Extend the CPU IR emitter to handle F16 Dot instruction, and add F16 matrix
multiplication implementation to the CPU runtime.

Extend the GPU backend to handle FP16 GEMM Thunk.

Replicate the existing matrix multiplication test cases in
matrix_ops_simple_test and dot_operation_test for FP16.

RELNOTES:
PiperOrigin-RevId: 187369731

In Grappler item builder, support inferring fetch nodes from siganture defs.

PiperOrigin-RevId: 187364078

[XLA] Fix BF16 normalization to avoid the pass adding new unsupported mixed precision.

Resolve unsupported input/output first, then resolve unsupported mixed
precision.

PiperOrigin-RevId: 187363969

Disable GRPC io utils test.

PiperOrigin-RevId: 187360410

Introduce a ShapeUtil::ForEachIndexWithStatus, change index type to ArraySlice

This is not used yet, but I need it in a later CL.  I don't specifically need
the argument to be an ArraySlice, but it seemed cleaner than taking a const ref
to a vector.

No functional change intended.

PiperOrigin-RevId: 187352376

[eager] Typo correction, there is no method `tf.data.Dataset.make_iterator`.

PiperOrigin-RevId: 187347001

BUILD file visibility change.
END_PUBLIC

RELNOTES: n/a

BEGIN_PUBLIC
Automated g4 rollback of changelist 187222292

PiperOrigin-RevId: 187339609

Move Roadmap to a more prominent place.

PiperOrigin-RevId: 187338696

Pass 'import_scope' when calling from_control_flow_context_def.

PiperOrigin-RevId: 187323218

Replace deprecated _control_inputs with remove/add to avoid warnings.

PiperOrigin-RevId: 187321605