Use is_resource_variable() in train.assert_gloabl_step.

PiperOrigin-RevId: 190573872

Add class DistributionStrategy to python/training/, though not part
of the exposed TF API.

PiperOrigin-RevId: 190570489

[XLA] Add tests for R1 PRED Slices.

PiperOrigin-RevId: 190566036

Include subscripts in the list of nodes accepted for replacement.

PiperOrigin-RevId: 190564824

Do not assume Attribute nodes always have a QN - it may be missing for attributes of dynamic objects, like function calls.

PiperOrigin-RevId: 190564784

Updating documentation of supported ops.

PiperOrigin-RevId: 190564365

Include additional cases for evaluating the fqn annotation.

PiperOrigin-RevId: 190564036

Fix inconsistency in run_cond.

PiperOrigin-RevId: 190563114

Add "distribute" argument to tf.estimator.RunConfig() in anticipation
of upcoming DistributionStrategy support in Estimator.

PiperOrigin-RevId: 190563074

[XLA] Redesign: implement and test ternary ops.

PiperOrigin-RevId: 190561679

Finish deprecation of tf.contrib.bayesflow.{HMC,MetropolisHastings}.
New home: https://github.com/tensorflow/probability/tree/master/tensorflow_probability/python/mcmc

PiperOrigin-RevId: 190560180

[XLA] Redesign: handle metadata and sharding.

- Add a xla.OpSharding field to the HloInstructionProto.
- Metatdata handling is tested.

PiperOrigin-RevId: 190553731

Add missing parameter to OP_REQUIRES call.

PiperOrigin-RevId: 190548854

Save the last loss reduction method (for future use).

PiperOrigin-RevId: 190543066

Rename convert_savedmodel to convert_saved_model

to be consistent with export_saved_model

PiperOrigin-RevId: 190539064

Makes tf.gather not silently snapshot resource variables.

PiperOrigin-RevId: 190537320

In the experimental C API, parametrized batch_size for the generate dataset / iterator stack.

PiperOrigin-RevId: 190536945

Update recompute_grad for TPU

PiperOrigin-RevId: 190536468

[XLA] Redesign: implement and test unary and binary ops.

Also,
- Templatized ComputeAndCompareRX and CreateRXParameter so that they accept XlaBuilder and XlaOp.
- Clear data held by an XlaBuilder when Build() is called, otherwise errors will occur when the builder is reused.

PiperOrigin-RevId: 190534245

Fix some compiler warnings in MKL-DNN build.

PiperOrigin-RevId: 190532168

Clarify eager gradient doc strings

PiperOrigin-RevId: 190526387

Add description of shapes and a pointer to external tutorial notebook in `tf.distributions.Distribution`.

PiperOrigin-RevId: 190521666

Quick fix to assign_moving_average documentation formatting.

PiperOrigin-RevId: 190517622

Global rename of py2tf to autograph

PiperOrigin-RevId: 190515509

Add additional protobuf imports.

PiperOrigin-RevId: 190514839

Internal change.

PiperOrigin-RevId: 190512928

Add header guard to lstm_utils.

PiperOrigin-RevId: 190512302

Optimized ops, move code to early, common, section so that it can be shared.

PiperOrigin-RevId: 190511964

Clarify doc strings on gradient methods

PiperOrigin-RevId: 190508614

Internal change.

PiperOrigin-RevId: 190507631

Internal change.

PiperOrigin-RevId: 190504933

tfdbg CLI: Allow node exclusion with tensor filters

Fixes: #16619

See the referred GitHub issue for details, but users want to be
able to skip certain nodes when searching for inf/nans, because
some nodes generate inf/nans even in nominal conditions.

This CL adds a new optional flag `--filter_exclude_node_names`
(or `-fenn` for short), which allows users to do exactly that,
by using a regex for node names.

RELNOTES: tfdbg CLI: Allow exclusion of nodes by regular expressions
during tensor filter-enabled Session runs: see the new flags
`--filter_exclude_node_names` (or `-fenn` for short).
PiperOrigin-RevId: 190504225

LSTM support: Support fused activation functions in int16 Add ops.

PiperOrigin-RevId: 190503823

Extended experimental C API with MNIST dataset/iterators support.

PiperOrigin-RevId: 190500020

Revert to initializing number of threads when SetNumThreads is called. Requiring it
to happen before OpInit() is way too confusing for users.

PiperOrigin-RevId: 190499644

Make the CSE ("node deduping") pass in ArithmeticOptimizer more robust in the presence of ops that modify their inputs in-place: Do not dedup nodes if the underlying buffers for their outputs may be passed to an in-place op.

PiperOrigin-RevId: 190499037

Made the NumElements function more accurate

PiperOrigin-RevId: 190497916

tf.GradientTape: Clearly say that tf.while_loop and tf.cond are not supported
by tf.GradientTape.gradient() at this time.

PiperOrigin-RevId: 190494436

BUGFIX: Fix failure-to-broadcast in Wishart.sample.

PiperOrigin-RevId: 190493969

Fixes an issue with calling tf.contrib.seq2seq.dynamic_decode with an extended BasicDecoder which for example returns a tf.contrib.seq2seq.AttentionWrapperState.
In this case the internal while-loop fails when trying to store an instance tf.contrib.seq2seq.AttentionWrapperState in the internal TensorArray.

PiperOrigin-RevId: 190491787

[tf.data] Usability improvements to `tf.contrib.data.make_csv_dataset`.

PiperOrigin-RevId: 190489086

Added experimental C APIs to build a stack of dataset + iterator nodes that
reads imagenet TFRecord files.

PiperOrigin-RevId: 190488817

Adding a FunctionBufferingResourceReset Op that resets the state of the function buffering resource so that we can start using it with re-initializable iterators.

PiperOrigin-RevId: 190484110

Automated g4 rollback of changelist 190293303

PiperOrigin-RevId: 190479555

Updated test (but not source) of https://tensorflow.org/api_docs/python/tf/contrib/training/HParams to show that it allows '=' in the values.

PiperOrigin-RevId: 190470578

Disable flaky prefetching_ops_test.

PiperOrigin-RevId: 190416108

Always cast `tf.distributions.Distribution` `_event_shape`, `_batch_shape`.

PiperOrigin-RevId: 190415923

Minor Error type and documentation fix.

PiperOrigin-RevId: 190411045

Use compat.as_bytes() instead of str.encode().

PiperOrigin-RevId: 190409217

Add skeleton code for DebugStripper.

PiperOrigin-RevId: 190391193

Restore dependencies that are needed by the PIP package builder

PiperOrigin-RevId: 190387090

Build and import rules for distributed strategy

PiperOrigin-RevId: 190367484

Misc typo fixes in the XLA sources and docs.

PiperOrigin-RevId: 190322644

Trivial update of layer imports in eager execution examples, to reflect recommended practices.

PiperOrigin-RevId: 190319480

[XLA] Redesign: implement Reshape and Transpose.

Also,
- Templatize ClientLibraryTestBase::CreateParameterAndTransferLiteral. The implementation is moved from .cc to .h because otherewise the linker complains.
- Migrate some reshape tests to use the XlaBuilder.

PiperOrigin-RevId: 190317960

[XLA] Prevent using XlaOp from the wrong XlaBuilder.

PiperOrigin-RevId: 190312254

A couple of small device-related utilities.

PiperOrigin-RevId: 190312148

Fix loop variable type and status propagation

PiperOrigin-RevId: 190308776

Adding support for iterating through a tf.data.Dataset for a single epoch.

PiperOrigin-RevId: 190307545

When import_scoped_meta_graph is called within a name scope,
but called without an import_scope, the names of the created
variables are wrong, resulting in key not found errors when
adding these variables to their corresponding collections.

PiperOrigin-RevId: 190306555

Switch Android C++ compilation mode to "-std=c++11".

PiperOrigin-RevId: 190306256

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 190302194

Set the stream in TransformTensor.

PiperOrigin-RevId: 190300166

Update ops-related pbtxt files.

PiperOrigin-RevId: 190299240

Make _USE_C_API = True and _USE_C_SHAPES = False work with handle data.

This change makes _set_shapes_for_outputs_c_api fetch and set
Tensor._handle_data. This is necessary for running the
Python shape inference code on resource tensors.

PiperOrigin-RevId: 190293303

bug fix: evaluate nodes before swap the original graph

PiperOrigin-RevId: 190291844

Moves TensorHandleCopyToDevice to TensorHandle::CopyToDevice.

PiperOrigin-RevId: 190291768

[XLA] Redesign: implement local client and local service interface.

PiperOrigin-RevId: 190291400

Extended scatter operations to work with a scalar update parameter and added scatter-min and scatter-max operations.

PiperOrigin-RevId: 190289664

[XLA:CPU] Update calls to IRBuilder::CreateMemCpy to the 2-alignment form.

The single alignment version is going away.

PiperOrigin-RevId: 190288581

[XLA] Don't CSE instructions which have side-effects

PiperOrigin-RevId: 190285774

Adding support for analyzing assignment info for nested tuples.

PiperOrigin-RevId: 190285584

[TF:XLA] Fix PotentiallyImplementedAsEigenConvolution to use the correct shape as the kernel shape

A small bug is found in accessing the kernel's shape of the convolution instruction in PotentiallyImplementedAsEigenConvolution. The bug was fixed and a new testcase is created to reveal the bug.

PiperOrigin-RevId: 190282385

Convert the eager SPINN example to use tf.keras.Model and object-based checkpointing.

Uses a more recursive/functional tracking style which avoids numbering layers. Maybe this is too magical and we should adapt tf.keras.Sequential first? Let me know what you think.

PiperOrigin-RevId: 190282346

add EvaluateNodes to OpDedupping test.

PiperOrigin-RevId: 190282163

Prepare the XLA and TF code to correctly behave once automatic device placement will be enabled by default on computation shapes > 1.

PiperOrigin-RevId: 190278826

Benchmarker for LPIRC CVPR2018.

PiperOrigin-RevId: 190276899

Fix buffer overflow when fetching resources.

PiperOrigin-RevId: 190273682

Fix behavior of bucket_by_sequence_length with tuple Dataset elements
Fixes #17932

PiperOrigin-RevId: 190270732

[XLA] Implement the whole graph execution interface and make a test use XlaBuilder.
- Add Client::ExecuteGraph.
- Make client_library_test_base also (partially) support XlaBuilder by using template.
- Make one testcase in the axpy_simple_test use XlaBuilder. The test was slightly changed because currently the builder does not expend implicit broadcast automatically.

PiperOrigin-RevId: 190268658

Moves TensorHandle to common_runtime

PiperOrigin-RevId: 190265301

Updates reduce_mean op.

PiperOrigin-RevId: 190264873

* Added links to Machine Learning Crash Course.
* Removed a link to the script that diagnosed Windows installation errors
  because that script is now deprecated.

PiperOrigin-RevId: 190264199

[XLA] Redesign: add public methods that create XlaOp.

This is basically copying and pasting the public builder methods from ComputationBuilder and leave the implemention blank.

PiperOrigin-RevId: 190258687

[XLA:CPU] Task parallel assignment should not parallelize kRng, kInfeed, and kOutfeed.

Add two test cases.

PiperOrigin-RevId: 190257131

[XLA] Allow reshape mover to move transpose across broadcast of a scalar value.

This allows the simplification of pattern "transpose elementwise-ops inversed
transpose" to "elementwise-ops".

Add a test case.

PiperOrigin-RevId: 190254501

Using rounding when converting constants in BF16 propagation.

PiperOrigin-RevId: 190251081

Move NullFileSystem to its own file.

PiperOrigin-RevId: 190249020

Move security documentation to the main TensorFlow site for better visibility, and leave a stub SECURITY.md pointing users there.

PiperOrigin-RevId: 190244853

Changes loss_reduction default to SUM_OVER_BATCH_SIZE for multi_label_head.

PiperOrigin-RevId: 190244159

Override `__str__` and `__repr__` in `tf.distributions.Distribution`.

PiperOrigin-RevId: 190243989

Adds support for SavedModel to TOCO.

PiperOrigin-RevId: 190242571

Slightly tweak the whitelist checking mechanism.

PiperOrigin-RevId: 190242423

Automated g4 rollback of changelist 190139303

PiperOrigin-RevId: 190242291

Raise the timeout of tests that are somewhat close to the limit, to avoid them timing out.

PiperOrigin-RevId: 190239334

Only run GPU version of memory_optimizer_test.

PiperOrigin-RevId: 190238306

Check for the existence of an annotation before attempting to fetch it.

PiperOrigin-RevId: 190236717

Silence compilation warning in allocator.h

Some builds report the following warning (even though LOG(FATAL) is terminal):

```
./tensorflow/core/framework/device_base.h(188): warning: missing return statement at end of non-void function "tensorflow::DeviceBase::GetScopedAllocator"
```

PiperOrigin-RevId: 190235863

Merged commit includes the following changes:
190228434  by A. Unique TensorFlower:

    internal change only

--
190215102  by A. Unique TensorFlower:

    Remove placement strategy from Fisher estimator and add it in as Mixin.
    A new Kfac Optimizer sub class which runs covariance and inverse ops periodically. This should deprecate lazykfac.

--
190211603  by A. Unique TensorFlower:

    Internal only

--

PiperOrigin-RevId: 190228434

Fix HloSharding::ToString to be compatible with the HLO text parser

The incompatibility made it impossible to parse HLO modules with
sharding attributes printed from a previous run of XLA. The previous
format generated by this function was ambigious so changing the HLO
parser only wouldn't be feasible.

PiperOrigin-RevId: 190208069