Update TensorBoard's tutorial on tensorflow.org with information on setting up as well as how long the tutorial should take.

PiperOrigin-RevId: 187933027

Add objective functions for variational inference with Csiszar f-divergences.

PiperOrigin-RevId: 187931921

Fix bug with multi_gpu_model / model.inputs.

PiperOrigin-RevId: 187931852

Correct op::Attr usage in C++ gradient implementations.

Also enabled TF_MUST_USE_RESULT for the generated Attr API, so we
can catch any new errors early.

Fixes #17360

PiperOrigin-RevId: 187925761

Adds test_util.IsMklEnabled() that returns true if TensorFlow has been built with MKL support. Fixes the failure of tensorflow/python/tools:print_selective_registration_header_test by using 'Mkl' prefix for MatMul op name when MKL is enabled.

PiperOrigin-RevId: 187925038

[XLA] Make HloEvaluator use wrap-around semantics for DynamicUpdateSlice.

PiperOrigin-RevId: 187923671

Add alternative paths for CUDA installation.

This detects negativo17's CUDA packages for Fedora.

PiperOrigin-RevId: 187923472

Add sequence_indicator_column

PiperOrigin-RevId: 187920673

Disable both "no_mac" and "nomac" tags when building on osx.

PiperOrigin-RevId: 187919812

Fix the issue where gpu_option is not respected for keras estimator.
Set keras backend session with the given config before any get_session call creates a new session.
Fix #14776.

PiperOrigin-RevId: 187916300

Add methods for extracting the shapes of the entry computation from an HloProto.

PiperOrigin-RevId: 187915821

Benchmark regression

PiperOrigin-RevId: 187914657

[XLA] Fix BF16 normalizer for CrossReplicaSum.

1. It may produce incorrect result when mixed precision is not supported and
BF16 is not support only for a particular operand. Then the pass may introduce
new mixed precision for an all-BF16 CRS. This is unlikely in practical
settings, but removing this constraint can enable auto-generating corner case
tests using this pass.

2. A cycle can be introduced in the tuple-shaped output output. This wasn't
caught by the test because the DFS happened to succeed. Now add verifier
explicitly.

PiperOrigin-RevId: 187908099

Simplify softmax_centered implementation.

This also resolves a bug with softmax_centered.inverse not working on inputs with
partially known.

PiperOrigin-RevId: 187907026

Make variable creator scope thread local (always).

PiperOrigin-RevId: 187904394

[XLA] Mark xla_internal_test_main as alwayslink.

PiperOrigin-RevId: 187903623

Return ComputationLayout as a reference from the HLO module.

PiperOrigin-RevId: 187900559

[XLA] Whitelist send/recv in BF16 passes.

PiperOrigin-RevId: 187899955

Shape function bug in tensor_list_stack

PiperOrigin-RevId: 187896505

Don't log an error if we can't set HTTP/2.

PiperOrigin-RevId: 187895652

Extract the EvaluateConstantTensorForEdge method from ShapeRefiner.

This change introduces a new stand-alone function, EvaluateConstantTensor,
pulled from ShapeRefiner. ShapeRefiner now calls this new function and the
old functions are removed.

I'm still depending on shape_refiner_test.cc for test coverage.

This is the first step towards making smart_cond better able to evaluate
constant tensors.

PiperOrigin-RevId: 187894976

[XLA] Allocate and track memory in replicas separately.

PiperOrigin-RevId: 187894473

[XLA:GPU] Allow merging into input fusion nodes in FusionMerger.

Seems to have been an oversight.  "Input fusion" means that the *output*
of the fusion node is the "real hero".  The inputs aren't special; we
can fuse more stuff in.

PiperOrigin-RevId: 187892975

Fix documentation of image size for inception-v3 (299 * 299)

PiperOrigin-RevId: 187889122

Make SavedModel builder validation accept signatures involving sparse tensors.

PiperOrigin-RevId: 187883080

Exposes poisson_regression_head in tf.contrib.estimator.

PiperOrigin-RevId: 187882494

[XLA:GPU] Add some VLOGs to FusionMerger.

Also use c_any_of and friends instead of std::any_of &c, and make some
minor whitespace fixes in comments.

No functional change.

PiperOrigin-RevId: 187880113

Change the default ps_ops to STANDARD_PS_OPS

PiperOrigin-RevId: 187875797

Fix a case in SparseSegmentReduction ops with missing segment IDs, where all segment IDs are empty. Added a test for this case.

PiperOrigin-RevId: 187873356

Internal change.

PiperOrigin-RevId: 187865303

Improve LinearValidOnShape.

It actually only needs to check that the operation is a bitcast (ignoring
element_type). So far, the check was more restrictive, which made this function
always return false for a non-trivial reshape operation.
However we still fail to make use of this less strict checking, because for
reshapes inside a fusion node, we don't have a layout and can therefore not
check if it is a bitcast or not.
Also add a disabled test that will be enabled once the layout issue is fixed.

PiperOrigin-RevId: 187860440

Automated g4 rollback of changelist 185073515

PiperOrigin-RevId: 187852929

[XLA] Minor comment fixes in instruction_fusion.cc.

No functional change.

PiperOrigin-RevId: 187852483

Adds checks to tf.nn.sparse_softmax_cross_entropy_with_logits to make sure that shapes for labels and logits (except last dimension) match. First, the static dimensions are checked, and only if the result is inconclusive a dynamic check is added.

In sparse_softmax_cross_entropy_with_logits the input dimensions are flattened, which can lead to unexpected bugs if the order of dimensions does not match (e.g. if one is time-major and the other is batch-major). This prevents such mistakes.

PiperOrigin-RevId: 187841750

Prevent accidental re-use of removed field.

PiperOrigin-RevId: 187798953

Fix nested bullets in docs. (Need 4 spaces indent)

PiperOrigin-RevId: 187763978

Fix broken links in docs.

PiperOrigin-RevId: 187755567

Internal change.

PiperOrigin-RevId: 187749767

Will open source this part of code.

PiperOrigin-RevId: 187747019

Internal Change.

PiperOrigin-RevId: 187738384

tfdbg: Add link to TensorBoard Debugger Plugin

from the CLI documentation

RELNOTES: tfdbg: TensorFlow Debugger's graphical user interface (GUI),
the [TensorBoard Debugger Plugin](https://github.com/tensorflow/tensorboard/blob/master/tensorboard/plugins/debugger/README.md), is now in alpha.
PiperOrigin-RevId: 187700265

Merged commit includes the following changes:
187697531  by andrewharp:

    Tweak whitespace for fft2d dep.

--
187696129  by A. Unique TensorFlower:

    Generalize support for logical expressions, comparison operators and multiple comparisons.

--
187692494  by vinuraja:

    * Adds a boolean attribute to ConfigureDistributedTPUOp for internal use.

    * Adds GraphRunner ctor which takes in the device to run the graph on.

--
187692129  by andrewharp:

    Audio utility classes for supporting MFCC and AudioSpectrogram operators

--

PiperOrigin-RevId: 187697531

Properly handle the case of functions with no inputs

PiperOrigin-RevId: 187691555

Don't throw errors if non-Checkpointable objects are passed to MultiRNNCell

PiperOrigin-RevId: 187689371

Loop optimizer: Convert StackPush nodes to Identity instead of eliminating them completely.
Move loop optimizer to run before dependency optimizer so identity nodes will be pruned.

PiperOrigin-RevId: 187685669

Checkpointable: Fix CPU/GPU device placement issues

Restore ops go on the CPU, then the value gets copied to whichever device it needs to be on. This I need to do manually for restores passed as initial_values; for regular save/restore it's done by the SaveableObjects for variables.

Also explicitly places some counters on the CPU.

Adds a GPU-using test for Checkpointable usage.

PiperOrigin-RevId: 187683050

eager/examples: Use tf.keras.Model in RNN examples.

Some notable differences between tf.keras.Model and tfe.Network:

- tf.keras.Model doesn't have a track_layer() method. It tracks Layer and Checkpointable valued attributes automatically. For list and other complex structures, __setattr__ performs the role of tfe.Network.track_layer()

- tf.keras.Model accepts a single positional argument. Thus either all arguments must be packaged into a single list/tuple (as in rnn_ptb.py) or be provided as keyword arguments (as in rnn_colorbot.py).

PiperOrigin-RevId: 187682716

Exit with failure if a free gpu is not found by parallel_gpu_execute.

If TF_GPU_COUNT was a value greater than the actual number of GPUs, it was
possible for tests to just pass without running when running under
parallel_gpu_execute.sh.

PiperOrigin-RevId: 187681032

Fix some compiler warnings in MKL build.

PiperOrigin-RevId: 187677893

Adds setUseNNAPI to Interpreter.java, to enable develoeprs turn on & off NNAPI.

PiperOrigin-RevId: 187677765

ReadVariableOp in C for eager (only for the fastpath)

PiperOrigin-RevId: 187676012

Begin a library for statistical testing of samplers.

So far, it consists of one-sample and two-sample equality-of-means
assertions, and power analysis and experimental design for those,
because that's what was needed for testing the LKJ distribution.
If this API shape proves viable, more to come.

PiperOrigin-RevId: 187675337

Add a small helper which is useful for quicker debugging.

PiperOrigin-RevId: 187673654

Checkpointable: Have MultiRNNCell add its dependent cells as dependencies

PiperOrigin-RevId: 187670464

[TF:XLA] Bump open source llvm revision to r326571

PiperOrigin-RevId: 187665541

Make shape inference error messages more consistent.

PiperOrigin-RevId: 187662562

Add /learning/tfx/ to the visibility group of tensorflow/compiler/jit.

PiperOrigin-RevId: 187661883

Make tfe.Metrics Checkpointable

Same principle as Layers: use add_variable to add a dependency on any variables
created. I've ignored the global/local distinction, since it makes more sense
for users to control saving by either adding a dependency on the Metric or not.

PiperOrigin-RevId: 187658433

Automated g4 rollback of changelist 187582263

PiperOrigin-RevId: 187657654

TFTS: Switch more variables to ResourceVariables to avoid race conditions

The LSTM example test was a bit flaky.

PiperOrigin-RevId: 187655714

Exclude flaky tests for cuda_on_cpu.

PiperOrigin-RevId: 187654568

FreezeSavedModel support for ResourceVariables.

PiperOrigin-RevId: 187653676

GCS: Extract block cache interface from implementation.

PiperOrigin-RevId: 187652953

Move the PS_OPS from Estimator to device_setter to benefit more users.

PiperOrigin-RevId: 187650283

GCS: Update throttle state even if disabled.

PiperOrigin-RevId: 187647263

Add a configurable preference for scheduling fuller batches sooner to the adaptive shared batcher.  A full batch will now be scheduled before an older, nearly empty batch as long as the age gap is less than full_batch_scheduling_boost_micros.

This parameter improves latency under heavy load, but too large a value will harm tail latency.

PiperOrigin-RevId: 187644796

[XLA] Support while loops and constant in HLO BF16 propagation.

PiperOrigin-RevId: 187644155

Updating toolchain configs for GPU builds

PiperOrigin-RevId: 187643585

tf.keras: Remove unnecessary "with self.test_sesion()" statements in tests.

The test decorator that runs the test twice (once with eager execution enabled,
once without) doesn't require the block, and this makes the code appear more
eager-friendly (as there is no concept of a session when eager execution is
enabled).

PiperOrigin-RevId: 187637008

Add bfloat16 support for CPU ops.

PiperOrigin-RevId: 187633511

No need to override _handle_device for variables anymore

PiperOrigin-RevId: 187631915

Only use softfp for android builds to make odroid builds work.

PiperOrigin-RevId: 187629282

Take into account the return value mapping of functions

PiperOrigin-RevId: 187628382

Add a testing utility that can be called from compiled code, and which can mock a TF module for internal tests. Use it in api_test.py

PiperOrigin-RevId: 187624343

Internal-only change.

PiperOrigin-RevId: 187623121

Eliminate the creation of unnecessary read ops when working with ResourceVariables.

In particular:
1. Don't create additional read ops when creating a ResourceVariable from a VariableDef proto.
2. Expose the ability to assign a ResourceVariable without reading & returning the new value.
3. Colocating with a ResourceVariable's ".op" property eliminates the creation of additional read ops.
4. Savers can read a variable's value using the _graph_element property, since these reads don't need control dependencies.

This makes the visualization of graphs on TensorBoard much nicer.

PiperOrigin-RevId: 187622122

Add support to convert ResourceVariables of graphs into constants.

This involves a change to the implementation of convert_variables_to_constants.

PiperOrigin-RevId: 187610062

Java: Update to 1.6.0

PiperOrigin-RevId: 187595636

[XLA:GPU] Extract multiplication of complex numbers into a helper function.

Also add helper functions for getting the real and the imaginary part of a
complex number.

PiperOrigin-RevId: 187593341

Automated g4 rollback of changelist 187563544

PiperOrigin-RevId: 187582263

[XLA] For graphviz graph dumps that are colored by sharding, choose the fill color for fusion nodes according to the sharding color rather than always choosing grey.

PiperOrigin-RevId: 187567679

Grappler: Change memory optimizer recomputation name prefix into a regexp. This allows
us to match any node names, especially those under different scopes. This still performs
a prefix regexp match, so it is basically backwards compatible.

PiperOrigin-RevId: 187563544

Allow replacing attributes in templates.

PiperOrigin-RevId: 187562864

Improve CURL error reporting and handling in the GCS filesystem.

- The main semantics change is that we return immediately if curl_easy_perform doesn't return CURLE_OK. The CURL documentation indicates that it's not ok to fetch info if the curl call failed:
https://curl.haxx.se/libcurl/c/curl_easy_getinfo.html
- LOG errors where we can't return a status. Otherwise return with a status immediately.

PiperOrigin-RevId: 187562481

Add util which creates Python callable with tf.Variables explicitly as
arguments.

PiperOrigin-RevId: 187561302

Checkpointable: Make Templates Checkpointable

Uses a variable_creator_scope to hook all variable creation within the
Template. For variables without a more deeply nested Template parent, it adds a
dependency directly. For variables with a Template parent, it adds a dependency
on the sub-Template instead.

The variable scope prefix for the Template itself is stripped. However, any
variable_scopes inside the Template (such as those for Layers) will be included
in the dependency names. So within Templates we essentially have name-based
saving (with the exception of dependencies between Templates themselves, which
use the object-based dependency mechanism). This isn't ideal, but will hopefully
allow migration toward object oriented dependencies more smoothly.

Throws an error on object-based save() if the dependencies don't match
between Checkpointable and .variables.

Includes a semi-related usability fix for the Checkpoint utility; mostly in
unit tests, restore() is not called before save(), which when graph building
was leading to the save counter not being initialized. Fixes that.

PiperOrigin-RevId: 187560911

Implement partial constant propagation through IdentityN.

PiperOrigin-RevId: 187560028

Improve the error message when failing to write events.

The current error message looks like:
"Failed to sync 10 to <path>"

PiperOrigin-RevId: 187557623

Include the response upon any error.

PiperOrigin-RevId: 187556563

Expose Checkpointable symbols in tf.contrib.eager/tfe

- tfe.Checkpoint
    Utility for grouping Checkpointable objects into training checkpoints, has
    save/restore methods which call CheckpointableSaver.
- tfe.Checkpointable
    For user-defined Checkpointable objects.
- tfe.CheckpointableSaver
    More control over saving/restoring than tfe.Checkpoint.

Only tfe.Checkpoint is required to switch examples over, so I can leave the
others out if there are objections.

PiperOrigin-RevId: 187555472

Adds a TensorServingInputReceiver that allows export_savedmodel to pass raw
tensors to model functions. Addresses #11674.

PiperOrigin-RevId: 187552824

Do not crash if we failed to get the field name.

PiperOrigin-RevId: 187549153

[ClusterFLR] Prolong the lifetime of the RunGraphRequest until the call has completed.

Some WorkerService implementations rely on the request object remaining live until the callback is called.

PiperOrigin-RevId: 187548140

Fix batch_norm_benchmark.

PiperOrigin-RevId: 187546384

A fp16 implemention for ReluGrad.
On V100 with Cuda 9, it reduces the average ReluGrad kernel time in Resnet50 from 249.44 us to
175.60 us, a 42% speedup.
On Titan-X Pascal with Cuda 9, it reduces the average ReluGrad kernel time in
Resnet50 from 747.98 us to 509.37 us, a 46.8% improvement.

PiperOrigin-RevId: 187545504

Checkpointable: Make Model Checkpointable-compatible

Has Models track Checkpointable dependencies with __setattr__.

Switches subclassed Models to creating ResourceVariables by default, which
removes one source of eager/graph differences. tfe.Network was doing this by
default.

This is necessary for eager/graph agnostic code since tapes currently only work
with ResourceVariables. It's not quite trivial to fix that, and
ResourceVariables by default in more places is a Good Thing anyway. (Not that we
shouldn't also fix the tape code.)

PiperOrigin-RevId: 187544850

Added support for optimization of functions with fixed input/output types

PiperOrigin-RevId: 187540982

EagerTensor.device reflects the op's device and not the tensor's memory space.

This matches graph mode's behavior.

PiperOrigin-RevId: 187537818

Expose native inference latency via TFlite interpreter.

PiperOrigin-RevId: 187535695

Set more generated ops to 'hidden'. These ops have not been hidden before but
instead have corresponding definitions in Python files. We don't want tf_export
decorators for the generated ops since corresponding Python ops have tf_export
decorators instead.

PiperOrigin-RevId: 187534113