[XLA:CPU] Allow the shape partition algorithm to partition the most minor
dimension.

The current shape paritition algorithm does not partition the most minor
dimension, because doing so causes dynamic loop bounds for the inner loop and
used to prohibit LLVM vectorization. This constraint has been removed with
revision 328478 and LLVM can now vectorize loops with dynamic bounds. Allow
partitioning the most minor dimension is also necessary to support the
parallelization of matrix-vector multiplication.

Adjust shape_partition_test to reflect this change in the shape partition
algorithm.

PiperOrigin-RevId: 190574615

Use is_resource_variable() in train.assert_gloabl_step.

PiperOrigin-RevId: 190573872

Add class DistributionStrategy to python/training/, though not part
of the exposed TF API.

PiperOrigin-RevId: 190570489

[XLA] Add tests for R1 PRED Slices.

PiperOrigin-RevId: 190566036

Include subscripts in the list of nodes accepted for replacement.

PiperOrigin-RevId: 190564824

Do not assume Attribute nodes always have a QN - it may be missing for attributes of dynamic objects, like function calls.

PiperOrigin-RevId: 190564784

Updating documentation of supported ops.

PiperOrigin-RevId: 190564365

Include additional cases for evaluating the fqn annotation.

PiperOrigin-RevId: 190564036

Fix inconsistency in run_cond.

PiperOrigin-RevId: 190563114

Add "distribute" argument to tf.estimator.RunConfig() in anticipation
of upcoming DistributionStrategy support in Estimator.

PiperOrigin-RevId: 190563074

[XLA] Redesign: implement and test ternary ops.

PiperOrigin-RevId: 190561679

Finish deprecation of tf.contrib.bayesflow.{HMC,MetropolisHastings}.
New home: https://github.com/tensorflow/probability/tree/master/tensorflow_probability/python/mcmc

PiperOrigin-RevId: 190560180

[XLA] Redesign: handle metadata and sharding.

- Add a xla.OpSharding field to the HloInstructionProto.
- Metatdata handling is tested.

PiperOrigin-RevId: 190553731

Add missing parameter to OP_REQUIRES call.

PiperOrigin-RevId: 190548854

Save the last loss reduction method (for future use).

PiperOrigin-RevId: 190543066

Rename convert_savedmodel to convert_saved_model

to be consistent with export_saved_model

PiperOrigin-RevId: 190539064

Makes tf.gather not silently snapshot resource variables.

PiperOrigin-RevId: 190537320

In the experimental C API, parametrized batch_size for the generate dataset / iterator stack.

PiperOrigin-RevId: 190536945

Update recompute_grad for TPU

PiperOrigin-RevId: 190536468

[XLA] Redesign: implement and test unary and binary ops.

Also,
- Templatized ComputeAndCompareRX and CreateRXParameter so that they accept XlaBuilder and XlaOp.
- Clear data held by an XlaBuilder when Build() is called, otherwise errors will occur when the builder is reused.

PiperOrigin-RevId: 190534245

Fix some compiler warnings in MKL-DNN build.

PiperOrigin-RevId: 190532168

Clarify eager gradient doc strings

PiperOrigin-RevId: 190526387

Add description of shapes and a pointer to external tutorial notebook in `tf.distributions.Distribution`.

PiperOrigin-RevId: 190521666

Quick fix to assign_moving_average documentation formatting.

PiperOrigin-RevId: 190517622

Global rename of py2tf to autograph

PiperOrigin-RevId: 190515509

Add additional protobuf imports.

PiperOrigin-RevId: 190514839

Internal change.

PiperOrigin-RevId: 190512928

Add header guard to lstm_utils.

PiperOrigin-RevId: 190512302

Optimized ops, move code to early, common, section so that it can be shared.

PiperOrigin-RevId: 190511964

Clarify doc strings on gradient methods

PiperOrigin-RevId: 190508614

Internal change.

PiperOrigin-RevId: 190507631

Internal change.

PiperOrigin-RevId: 190504933

tfdbg CLI: Allow node exclusion with tensor filters

Fixes: #16619

See the referred GitHub issue for details, but users want to be
able to skip certain nodes when searching for inf/nans, because
some nodes generate inf/nans even in nominal conditions.

This CL adds a new optional flag `--filter_exclude_node_names`
(or `-fenn` for short), which allows users to do exactly that,
by using a regex for node names.

RELNOTES: tfdbg CLI: Allow exclusion of nodes by regular expressions
during tensor filter-enabled Session runs: see the new flags
`--filter_exclude_node_names` (or `-fenn` for short).
PiperOrigin-RevId: 190504225

LSTM support: Support fused activation functions in int16 Add ops.

PiperOrigin-RevId: 190503823

Extended experimental C API with MNIST dataset/iterators support.

PiperOrigin-RevId: 190500020

Revert to initializing number of threads when SetNumThreads is called. Requiring it
to happen before OpInit() is way too confusing for users.

PiperOrigin-RevId: 190499644

Make the CSE ("node deduping") pass in ArithmeticOptimizer more robust in the presence of ops that modify their inputs in-place: Do not dedup nodes if the underlying buffers for their outputs may be passed to an in-place op.

PiperOrigin-RevId: 190499037

Made the NumElements function more accurate

PiperOrigin-RevId: 190497916

tf.GradientTape: Clearly say that tf.while_loop and tf.cond are not supported
by tf.GradientTape.gradient() at this time.

PiperOrigin-RevId: 190494436

BUGFIX: Fix failure-to-broadcast in Wishart.sample.

PiperOrigin-RevId: 190493969

Fixes an issue with calling tf.contrib.seq2seq.dynamic_decode with an extended BasicDecoder which for example returns a tf.contrib.seq2seq.AttentionWrapperState.
In this case the internal while-loop fails when trying to store an instance tf.contrib.seq2seq.AttentionWrapperState in the internal TensorArray.

PiperOrigin-RevId: 190491787

[tf.data] Usability improvements to `tf.contrib.data.make_csv_dataset`.

PiperOrigin-RevId: 190489086

Added experimental C APIs to build a stack of dataset + iterator nodes that
reads imagenet TFRecord files.

PiperOrigin-RevId: 190488817

Adding a FunctionBufferingResourceReset Op that resets the state of the function buffering resource so that we can start using it with re-initializable iterators.

PiperOrigin-RevId: 190484110

Automated g4 rollback of changelist 190293303

PiperOrigin-RevId: 190479555

Updated test (but not source) of https://tensorflow.org/api_docs/python/tf/contrib/training/HParams to show that it allows '=' in the values.

PiperOrigin-RevId: 190470578

Disable flaky prefetching_ops_test.

PiperOrigin-RevId: 190416108

Always cast `tf.distributions.Distribution` `_event_shape`, `_batch_shape`.

PiperOrigin-RevId: 190415923

Minor Error type and documentation fix.

PiperOrigin-RevId: 190411045

Use compat.as_bytes() instead of str.encode().

PiperOrigin-RevId: 190409217

Add skeleton code for DebugStripper.

PiperOrigin-RevId: 190391193

Restore dependencies that are needed by the PIP package builder

PiperOrigin-RevId: 190387090

Build and import rules for distributed strategy

PiperOrigin-RevId: 190367484

Misc typo fixes in the XLA sources and docs.

PiperOrigin-RevId: 190322644

Trivial update of layer imports in eager execution examples, to reflect recommended practices.

PiperOrigin-RevId: 190319480

[XLA] Redesign: implement Reshape and Transpose.

Also,
- Templatize ClientLibraryTestBase::CreateParameterAndTransferLiteral. The implementation is moved from .cc to .h because otherewise the linker complains.
- Migrate some reshape tests to use the XlaBuilder.

PiperOrigin-RevId: 190317960

[XLA] Prevent using XlaOp from the wrong XlaBuilder.

PiperOrigin-RevId: 190312254

A couple of small device-related utilities.

PiperOrigin-RevId: 190312148

Fix loop variable type and status propagation

PiperOrigin-RevId: 190308776

Adding support for iterating through a tf.data.Dataset for a single epoch.

PiperOrigin-RevId: 190307545

When import_scoped_meta_graph is called within a name scope,
but called without an import_scope, the names of the created
variables are wrong, resulting in key not found errors when
adding these variables to their corresponding collections.

PiperOrigin-RevId: 190306555

Switch Android C++ compilation mode to "-std=c++11".

PiperOrigin-RevId: 190306256

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 190302194

Set the stream in TransformTensor.

PiperOrigin-RevId: 190300166

Update ops-related pbtxt files.

PiperOrigin-RevId: 190299240

Make _USE_C_API = True and _USE_C_SHAPES = False work with handle data.

This change makes _set_shapes_for_outputs_c_api fetch and set
Tensor._handle_data. This is necessary for running the
Python shape inference code on resource tensors.

PiperOrigin-RevId: 190293303

bug fix: evaluate nodes before swap the original graph

PiperOrigin-RevId: 190291844

Moves TensorHandleCopyToDevice to TensorHandle::CopyToDevice.

PiperOrigin-RevId: 190291768

[XLA] Redesign: implement local client and local service interface.

PiperOrigin-RevId: 190291400

Extended scatter operations to work with a scalar update parameter and added scatter-min and scatter-max operations.

PiperOrigin-RevId: 190289664

[XLA:CPU] Update calls to IRBuilder::CreateMemCpy to the 2-alignment form.

The single alignment version is going away.

PiperOrigin-RevId: 190288581

[XLA] Don't CSE instructions which have side-effects

PiperOrigin-RevId: 190285774

Adding support for analyzing assignment info for nested tuples.

PiperOrigin-RevId: 190285584

[TF:XLA] Fix PotentiallyImplementedAsEigenConvolution to use the correct shape as the kernel shape

A small bug is found in accessing the kernel's shape of the convolution instruction in PotentiallyImplementedAsEigenConvolution. The bug was fixed and a new testcase is created to reveal the bug.

PiperOrigin-RevId: 190282385

Convert the eager SPINN example to use tf.keras.Model and object-based checkpointing.

Uses a more recursive/functional tracking style which avoids numbering layers. Maybe this is too magical and we should adapt tf.keras.Sequential first? Let me know what you think.

PiperOrigin-RevId: 190282346

add EvaluateNodes to OpDedupping test.

PiperOrigin-RevId: 190282163

Prepare the XLA and TF code to correctly behave once automatic device placement will be enabled by default on computation shapes > 1.

PiperOrigin-RevId: 190278826

Benchmarker for LPIRC CVPR2018.

PiperOrigin-RevId: 190276899

Fix buffer overflow when fetching resources.

PiperOrigin-RevId: 190273682

Fix behavior of bucket_by_sequence_length with tuple Dataset elements
Fixes #17932

PiperOrigin-RevId: 190270732

[XLA] Implement the whole graph execution interface and make a test use XlaBuilder.
- Add Client::ExecuteGraph.
- Make client_library_test_base also (partially) support XlaBuilder by using template.
- Make one testcase in the axpy_simple_test use XlaBuilder. The test was slightly changed because currently the builder does not expend implicit broadcast automatically.

PiperOrigin-RevId: 190268658

Moves TensorHandle to common_runtime

PiperOrigin-RevId: 190265301

Updates reduce_mean op.

PiperOrigin-RevId: 190264873

* Added links to Machine Learning Crash Course.
* Removed a link to the script that diagnosed Windows installation errors
  because that script is now deprecated.

PiperOrigin-RevId: 190264199

[XLA] Redesign: add public methods that create XlaOp.

This is basically copying and pasting the public builder methods from ComputationBuilder and leave the implemention blank.

PiperOrigin-RevId: 190258687

[XLA:CPU] Task parallel assignment should not parallelize kRng, kInfeed, and kOutfeed.

Add two test cases.

PiperOrigin-RevId: 190257131

[XLA] Allow reshape mover to move transpose across broadcast of a scalar value.

This allows the simplification of pattern "transpose elementwise-ops inversed
transpose" to "elementwise-ops".

Add a test case.

PiperOrigin-RevId: 190254501

Using rounding when converting constants in BF16 propagation.

PiperOrigin-RevId: 190251081

Move NullFileSystem to its own file.

PiperOrigin-RevId: 190249020

Move security documentation to the main TensorFlow site for better visibility, and leave a stub SECURITY.md pointing users there.

PiperOrigin-RevId: 190244853

Changes loss_reduction default to SUM_OVER_BATCH_SIZE for multi_label_head.

PiperOrigin-RevId: 190244159

Override `__str__` and `__repr__` in `tf.distributions.Distribution`.

PiperOrigin-RevId: 190243989

Adds support for SavedModel to TOCO.

PiperOrigin-RevId: 190242571

Slightly tweak the whitelist checking mechanism.

PiperOrigin-RevId: 190242423

Automated g4 rollback of changelist 190139303

PiperOrigin-RevId: 190242291

Raise the timeout of tests that are somewhat close to the limit, to avoid them timing out.

PiperOrigin-RevId: 190239334

Only run GPU version of memory_optimizer_test.

PiperOrigin-RevId: 190238306

Check for the existence of an annotation before attempting to fetch it.

PiperOrigin-RevId: 190236717

Silence compilation warning in allocator.h

Some builds report the following warning (even though LOG(FATAL) is terminal):

```
./tensorflow/core/framework/device_base.h(188): warning: missing return statement at end of non-void function "tensorflow::DeviceBase::GetScopedAllocator"
```

PiperOrigin-RevId: 190235863

Merged commit includes the following changes:
190228434  by A. Unique TensorFlower:

    internal change only

--
190215102  by A. Unique TensorFlower:

    Remove placement strategy from Fisher estimator and add it in as Mixin.
    A new Kfac Optimizer sub class which runs covariance and inverse ops periodically. This should deprecate lazykfac.

--
190211603  by A. Unique TensorFlower:

    Internal only

--

PiperOrigin-RevId: 190228434