[XLA:GPU] Add some VLOGs to FusionMerger.

Also use c_any_of and friends instead of std::any_of &c, and make some
minor whitespace fixes in comments.

No functional change.

PiperOrigin-RevId: 187880113

Change the default ps_ops to STANDARD_PS_OPS

PiperOrigin-RevId: 187875797

Fix a case in SparseSegmentReduction ops with missing segment IDs, where all segment IDs are empty. Added a test for this case.

PiperOrigin-RevId: 187873356

Internal change.

PiperOrigin-RevId: 187865303

Improve LinearValidOnShape.

It actually only needs to check that the operation is a bitcast (ignoring
element_type). So far, the check was more restrictive, which made this function
always return false for a non-trivial reshape operation.
However we still fail to make use of this less strict checking, because for
reshapes inside a fusion node, we don't have a layout and can therefore not
check if it is a bitcast or not.
Also add a disabled test that will be enabled once the layout issue is fixed.

PiperOrigin-RevId: 187860440

Automated g4 rollback of changelist 185073515

PiperOrigin-RevId: 187852929

[XLA] Minor comment fixes in instruction_fusion.cc.

No functional change.

PiperOrigin-RevId: 187852483

Adds checks to tf.nn.sparse_softmax_cross_entropy_with_logits to make sure that shapes for labels and logits (except last dimension) match. First, the static dimensions are checked, and only if the result is inconclusive a dynamic check is added.

In sparse_softmax_cross_entropy_with_logits the input dimensions are flattened, which can lead to unexpected bugs if the order of dimensions does not match (e.g. if one is time-major and the other is batch-major). This prevents such mistakes.

PiperOrigin-RevId: 187841750

Prevent accidental re-use of removed field.

PiperOrigin-RevId: 187798953

Fix nested bullets in docs. (Need 4 spaces indent)

PiperOrigin-RevId: 187763978

Fix broken links in docs.

PiperOrigin-RevId: 187755567

Internal change.

PiperOrigin-RevId: 187749767

Will open source this part of code.

PiperOrigin-RevId: 187747019

Internal Change.

PiperOrigin-RevId: 187738384

tfdbg: Add link to TensorBoard Debugger Plugin

from the CLI documentation

RELNOTES: tfdbg: TensorFlow Debugger's graphical user interface (GUI),
the [TensorBoard Debugger Plugin](https://github.com/tensorflow/tensorboard/blob/master/tensorboard/plugins/debugger/README.md), is now in alpha.
PiperOrigin-RevId: 187700265

Merged commit includes the following changes:
187697531  by andrewharp:

    Tweak whitespace for fft2d dep.

--
187696129  by A. Unique TensorFlower:

    Generalize support for logical expressions, comparison operators and multiple comparisons.

--
187692494  by vinuraja:

    * Adds a boolean attribute to ConfigureDistributedTPUOp for internal use.

    * Adds GraphRunner ctor which takes in the device to run the graph on.

--
187692129  by andrewharp:

    Audio utility classes for supporting MFCC and AudioSpectrogram operators

--

PiperOrigin-RevId: 187697531

Properly handle the case of functions with no inputs

PiperOrigin-RevId: 187691555

Don't throw errors if non-Checkpointable objects are passed to MultiRNNCell

PiperOrigin-RevId: 187689371

Loop optimizer: Convert StackPush nodes to Identity instead of eliminating them completely.
Move loop optimizer to run before dependency optimizer so identity nodes will be pruned.

PiperOrigin-RevId: 187685669

Checkpointable: Fix CPU/GPU device placement issues

Restore ops go on the CPU, then the value gets copied to whichever device it needs to be on. This I need to do manually for restores passed as initial_values; for regular save/restore it's done by the SaveableObjects for variables.

Also explicitly places some counters on the CPU.

Adds a GPU-using test for Checkpointable usage.

PiperOrigin-RevId: 187683050

eager/examples: Use tf.keras.Model in RNN examples.

Some notable differences between tf.keras.Model and tfe.Network:

- tf.keras.Model doesn't have a track_layer() method. It tracks Layer and Checkpointable valued attributes automatically. For list and other complex structures, __setattr__ performs the role of tfe.Network.track_layer()

- tf.keras.Model accepts a single positional argument. Thus either all arguments must be packaged into a single list/tuple (as in rnn_ptb.py) or be provided as keyword arguments (as in rnn_colorbot.py).

PiperOrigin-RevId: 187682716

Exit with failure if a free gpu is not found by parallel_gpu_execute.

If TF_GPU_COUNT was a value greater than the actual number of GPUs, it was
possible for tests to just pass without running when running under
parallel_gpu_execute.sh.

PiperOrigin-RevId: 187681032

Fix some compiler warnings in MKL build.

PiperOrigin-RevId: 187677893

Adds setUseNNAPI to Interpreter.java, to enable develoeprs turn on & off NNAPI.

PiperOrigin-RevId: 187677765

ReadVariableOp in C for eager (only for the fastpath)

PiperOrigin-RevId: 187676012

Begin a library for statistical testing of samplers.

So far, it consists of one-sample and two-sample equality-of-means
assertions, and power analysis and experimental design for those,
because that's what was needed for testing the LKJ distribution.
If this API shape proves viable, more to come.

PiperOrigin-RevId: 187675337

Add a small helper which is useful for quicker debugging.

PiperOrigin-RevId: 187673654

Checkpointable: Have MultiRNNCell add its dependent cells as dependencies

PiperOrigin-RevId: 187670464

[TF:XLA] Bump open source llvm revision to r326571

PiperOrigin-RevId: 187665541

Make shape inference error messages more consistent.

PiperOrigin-RevId: 187662562

Add /learning/tfx/ to the visibility group of tensorflow/compiler/jit.

PiperOrigin-RevId: 187661883

Make tfe.Metrics Checkpointable

Same principle as Layers: use add_variable to add a dependency on any variables
created. I've ignored the global/local distinction, since it makes more sense
for users to control saving by either adding a dependency on the Metric or not.

PiperOrigin-RevId: 187658433

Automated g4 rollback of changelist 187582263

PiperOrigin-RevId: 187657654

TFTS: Switch more variables to ResourceVariables to avoid race conditions

The LSTM example test was a bit flaky.

PiperOrigin-RevId: 187655714

Exclude flaky tests for cuda_on_cpu.

PiperOrigin-RevId: 187654568

FreezeSavedModel support for ResourceVariables.

PiperOrigin-RevId: 187653676

GCS: Extract block cache interface from implementation.

PiperOrigin-RevId: 187652953

Move the PS_OPS from Estimator to device_setter to benefit more users.

PiperOrigin-RevId: 187650283

GCS: Update throttle state even if disabled.

PiperOrigin-RevId: 187647263

Add a configurable preference for scheduling fuller batches sooner to the adaptive shared batcher.  A full batch will now be scheduled before an older, nearly empty batch as long as the age gap is less than full_batch_scheduling_boost_micros.

This parameter improves latency under heavy load, but too large a value will harm tail latency.

PiperOrigin-RevId: 187644796

[XLA] Support while loops and constant in HLO BF16 propagation.

PiperOrigin-RevId: 187644155

Updating toolchain configs for GPU builds

PiperOrigin-RevId: 187643585

tf.keras: Remove unnecessary "with self.test_sesion()" statements in tests.

The test decorator that runs the test twice (once with eager execution enabled,
once without) doesn't require the block, and this makes the code appear more
eager-friendly (as there is no concept of a session when eager execution is
enabled).

PiperOrigin-RevId: 187637008

Add bfloat16 support for CPU ops.

PiperOrigin-RevId: 187633511

No need to override _handle_device for variables anymore

PiperOrigin-RevId: 187631915

Only use softfp for android builds to make odroid builds work.

PiperOrigin-RevId: 187629282

Take into account the return value mapping of functions

PiperOrigin-RevId: 187628382

Add a testing utility that can be called from compiled code, and which can mock a TF module for internal tests. Use it in api_test.py

PiperOrigin-RevId: 187624343

Internal-only change.

PiperOrigin-RevId: 187623121

Eliminate the creation of unnecessary read ops when working with ResourceVariables.

In particular:
1. Don't create additional read ops when creating a ResourceVariable from a VariableDef proto.
2. Expose the ability to assign a ResourceVariable without reading & returning the new value.
3. Colocating with a ResourceVariable's ".op" property eliminates the creation of additional read ops.
4. Savers can read a variable's value using the _graph_element property, since these reads don't need control dependencies.

This makes the visualization of graphs on TensorBoard much nicer.

PiperOrigin-RevId: 187622122

Add support to convert ResourceVariables of graphs into constants.

This involves a change to the implementation of convert_variables_to_constants.

PiperOrigin-RevId: 187610062

Java: Update to 1.6.0

PiperOrigin-RevId: 187595636

[XLA:GPU] Extract multiplication of complex numbers into a helper function.

Also add helper functions for getting the real and the imaginary part of a
complex number.

PiperOrigin-RevId: 187593341

Automated g4 rollback of changelist 187563544

PiperOrigin-RevId: 187582263

[XLA] For graphviz graph dumps that are colored by sharding, choose the fill color for fusion nodes according to the sharding color rather than always choosing grey.

PiperOrigin-RevId: 187567679

Grappler: Change memory optimizer recomputation name prefix into a regexp. This allows
us to match any node names, especially those under different scopes. This still performs
a prefix regexp match, so it is basically backwards compatible.

PiperOrigin-RevId: 187563544

Allow replacing attributes in templates.

PiperOrigin-RevId: 187562864

Improve CURL error reporting and handling in the GCS filesystem.

- The main semantics change is that we return immediately if curl_easy_perform doesn't return CURLE_OK. The CURL documentation indicates that it's not ok to fetch info if the curl call failed:
https://curl.haxx.se/libcurl/c/curl_easy_getinfo.html
- LOG errors where we can't return a status. Otherwise return with a status immediately.

PiperOrigin-RevId: 187562481

Add util which creates Python callable with tf.Variables explicitly as
arguments.

PiperOrigin-RevId: 187561302

Checkpointable: Make Templates Checkpointable

Uses a variable_creator_scope to hook all variable creation within the
Template. For variables without a more deeply nested Template parent, it adds a
dependency directly. For variables with a Template parent, it adds a dependency
on the sub-Template instead.

The variable scope prefix for the Template itself is stripped. However, any
variable_scopes inside the Template (such as those for Layers) will be included
in the dependency names. So within Templates we essentially have name-based
saving (with the exception of dependencies between Templates themselves, which
use the object-based dependency mechanism). This isn't ideal, but will hopefully
allow migration toward object oriented dependencies more smoothly.

Throws an error on object-based save() if the dependencies don't match
between Checkpointable and .variables.

Includes a semi-related usability fix for the Checkpoint utility; mostly in
unit tests, restore() is not called before save(), which when graph building
was leading to the save counter not being initialized. Fixes that.

PiperOrigin-RevId: 187560911

Implement partial constant propagation through IdentityN.

PiperOrigin-RevId: 187560028

Improve the error message when failing to write events.

The current error message looks like:
"Failed to sync 10 to <path>"

PiperOrigin-RevId: 187557623

Include the response upon any error.

PiperOrigin-RevId: 187556563

Expose Checkpointable symbols in tf.contrib.eager/tfe

- tfe.Checkpoint
    Utility for grouping Checkpointable objects into training checkpoints, has
    save/restore methods which call CheckpointableSaver.
- tfe.Checkpointable
    For user-defined Checkpointable objects.
- tfe.CheckpointableSaver
    More control over saving/restoring than tfe.Checkpoint.

Only tfe.Checkpoint is required to switch examples over, so I can leave the
others out if there are objections.

PiperOrigin-RevId: 187555472

Adds a TensorServingInputReceiver that allows export_savedmodel to pass raw
tensors to model functions. Addresses #11674.

PiperOrigin-RevId: 187552824

Do not crash if we failed to get the field name.

PiperOrigin-RevId: 187549153

[ClusterFLR] Prolong the lifetime of the RunGraphRequest until the call has completed.

Some WorkerService implementations rely on the request object remaining live until the callback is called.

PiperOrigin-RevId: 187548140

Fix batch_norm_benchmark.

PiperOrigin-RevId: 187546384

A fp16 implemention for ReluGrad.
On V100 with Cuda 9, it reduces the average ReluGrad kernel time in Resnet50 from 249.44 us to
175.60 us, a 42% speedup.
On Titan-X Pascal with Cuda 9, it reduces the average ReluGrad kernel time in
Resnet50 from 747.98 us to 509.37 us, a 46.8% improvement.

PiperOrigin-RevId: 187545504

Checkpointable: Make Model Checkpointable-compatible

Has Models track Checkpointable dependencies with __setattr__.

Switches subclassed Models to creating ResourceVariables by default, which
removes one source of eager/graph differences. tfe.Network was doing this by
default.

This is necessary for eager/graph agnostic code since tapes currently only work
with ResourceVariables. It's not quite trivial to fix that, and
ResourceVariables by default in more places is a Good Thing anyway. (Not that we
shouldn't also fix the tape code.)

PiperOrigin-RevId: 187544850

Added support for optimization of functions with fixed input/output types

PiperOrigin-RevId: 187540982

EagerTensor.device reflects the op's device and not the tensor's memory space.

This matches graph mode's behavior.

PiperOrigin-RevId: 187537818

Expose native inference latency via TFlite interpreter.

PiperOrigin-RevId: 187535695

Set more generated ops to 'hidden'. These ops have not been hidden before but
instead have corresponding definitions in Python files. We don't want tf_export
decorators for the generated ops since corresponding Python ops have tf_export
decorators instead.

PiperOrigin-RevId: 187534113

Sampling group embeddings for each child.

PiperOrigin-RevId: 187532388

Internal change.

PiperOrigin-RevId: 187532378

Optimize training with feature selection by avoiding any computations on the
features that are not selected once we have reached our target number of
features.

PiperOrigin-RevId: 187526964

Fix TensorRT build.

PiperOrigin-RevId: 187526192

Add support for keyword args for dynamically converted functions.

PiperOrigin-RevId: 187522324

Fix parameter name mismatches in declarations/definitions.

Reported by clang-tidy

PiperOrigin-RevId: 187521627

Cast sequence_length to an integer.

PiperOrigin-RevId: 187520920

[XLA] Fully qualify xla::MakeUnique uses in shape_tree.h. No functional changes.

PiperOrigin-RevId: 187520283

Remove underscore prefix from the following HIDDEN ops: add_sparse_to_tensors_map,
add_many_sparse_to_tensors_map and take_many_sparse_from_tensors_map.

PiperOrigin-RevId: 187515638

TFE: Cache `TensorShape` object for `EagerTensor`'s, for performance.

PiperOrigin-RevId: 187512946

Refactor training part of the Keras engine.
Also add support for sample/class weights with eager execution.

Structure before:
engine/training.py
engine/training_eager.py

After:

engine/training.py
engine/training_arrays.py
engine/training_eager.py
engine/training_generator.py
engine/training_utils.py

All new files are about 500 lines long. training.py is now 1700 lines long (about 1000 lines of logic). It was previously 3000 lines long.

PiperOrigin-RevId: 187511923

[XLA] Optimize away DynamicUpdateSlice with update parameter with a dimension
of zero.

A zero sized update has no effect.

PiperOrigin-RevId: 187510099

Internal cleanup.

PiperOrigin-RevId: 187504966

Fixed the typo in RunConfig pydoc.

PiperOrigin-RevId: 187498424

Remove old note that no longer applies.

PiperOrigin-RevId: 187498339

[XLA] Update operation semantics doc for BatchNorm operations

- Update formulas for BatchNormGrad. The rendered version of the new formulas can be found here:
https://latexbase.com/d/1ad54ff9-f9d5-4479-beef-156ea26a0632
- Update output table to include the symbol name for each output.
- Fix a typo in BatchNormGrad's input table to correct display the symbol `beta`.

PiperOrigin-RevId: 187496086

Fixed tf.reduce_sum usage on 2-D tensors.

PiperOrigin-RevId: 187491311

[XLA] Don't dump the "contents" of constants with a zero-sized dimension in the HLO graph dumper.

Previously we'd dump e.g. "{ {}, {}, ... }" for an f32[100, 0], which is
just noise.

PiperOrigin-RevId: 187488625

Keep track of eager op device for tensor handles. Force-colocates ops using resources with the resources.

PiperOrigin-RevId: 187488175

Correct struct array initialization syntax.

PiperOrigin-RevId: 187486332

Fix TF doc style.

PiperOrigin-RevId: 187484534

[XLA] Fix signatures of c_foo functions and add c_any_of.

Embarrassingly, we were often copying the container in c_foo.  Oops.
This fixes that, and also adds some perfect forwarding that was missing.
It also adds a c_any_of function.

PiperOrigin-RevId: 187483435

Fix link text

PiperOrigin-RevId: 187483166

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 187471483

Support 0 size literals in Literal::Slice

PiperOrigin-RevId: 187469563

Update ops-related pbtxt files.

PiperOrigin-RevId: 187468981