Internal change.

PiperOrigin-RevId: 190504933

tfdbg CLI: Allow node exclusion with tensor filters

Fixes: #16619

See the referred GitHub issue for details, but users want to be
able to skip certain nodes when searching for inf/nans, because
some nodes generate inf/nans even in nominal conditions.

This CL adds a new optional flag `--filter_exclude_node_names`
(or `-fenn` for short), which allows users to do exactly that,
by using a regex for node names.

RELNOTES: tfdbg CLI: Allow exclusion of nodes by regular expressions
during tensor filter-enabled Session runs: see the new flags
`--filter_exclude_node_names` (or `-fenn` for short).
PiperOrigin-RevId: 190504225

LSTM support: Support fused activation functions in int16 Add ops.

PiperOrigin-RevId: 190503823

Extended experimental C API with MNIST dataset/iterators support.

PiperOrigin-RevId: 190500020

Revert to initializing number of threads when SetNumThreads is called. Requiring it
to happen before OpInit() is way too confusing for users.

PiperOrigin-RevId: 190499644

Make the CSE ("node deduping") pass in ArithmeticOptimizer more robust in the presence of ops that modify their inputs in-place: Do not dedup nodes if the underlying buffers for their outputs may be passed to an in-place op.

PiperOrigin-RevId: 190499037

Made the NumElements function more accurate

PiperOrigin-RevId: 190497916

tf.GradientTape: Clearly say that tf.while_loop and tf.cond are not supported
by tf.GradientTape.gradient() at this time.

PiperOrigin-RevId: 190494436

BUGFIX: Fix failure-to-broadcast in Wishart.sample.

PiperOrigin-RevId: 190493969

Fixes an issue with calling tf.contrib.seq2seq.dynamic_decode with an extended BasicDecoder which for example returns a tf.contrib.seq2seq.AttentionWrapperState.
In this case the internal while-loop fails when trying to store an instance tf.contrib.seq2seq.AttentionWrapperState in the internal TensorArray.

PiperOrigin-RevId: 190491787

[tf.data] Usability improvements to `tf.contrib.data.make_csv_dataset`.

PiperOrigin-RevId: 190489086

Added experimental C APIs to build a stack of dataset + iterator nodes that
reads imagenet TFRecord files.

PiperOrigin-RevId: 190488817

Adding a FunctionBufferingResourceReset Op that resets the state of the function buffering resource so that we can start using it with re-initializable iterators.

PiperOrigin-RevId: 190484110

Automated g4 rollback of changelist 190293303

PiperOrigin-RevId: 190479555

Updated test (but not source) of https://tensorflow.org/api_docs/python/tf/contrib/training/HParams to show that it allows '=' in the values.

PiperOrigin-RevId: 190470578

Disable flaky prefetching_ops_test.

PiperOrigin-RevId: 190416108

Always cast `tf.distributions.Distribution` `_event_shape`, `_batch_shape`.

PiperOrigin-RevId: 190415923

Minor Error type and documentation fix.

PiperOrigin-RevId: 190411045

Use compat.as_bytes() instead of str.encode().

PiperOrigin-RevId: 190409217

Add skeleton code for DebugStripper.

PiperOrigin-RevId: 190391193

Restore dependencies that are needed by the PIP package builder

PiperOrigin-RevId: 190387090

Build and import rules for distributed strategy

PiperOrigin-RevId: 190367484

Misc typo fixes in the XLA sources and docs.

PiperOrigin-RevId: 190322644

Trivial update of layer imports in eager execution examples, to reflect recommended practices.

PiperOrigin-RevId: 190319480

[XLA] Redesign: implement Reshape and Transpose.

Also,
- Templatize ClientLibraryTestBase::CreateParameterAndTransferLiteral. The implementation is moved from .cc to .h because otherewise the linker complains.
- Migrate some reshape tests to use the XlaBuilder.

PiperOrigin-RevId: 190317960

[XLA] Prevent using XlaOp from the wrong XlaBuilder.

PiperOrigin-RevId: 190312254

A couple of small device-related utilities.

PiperOrigin-RevId: 190312148

Fix loop variable type and status propagation

PiperOrigin-RevId: 190308776

Adding support for iterating through a tf.data.Dataset for a single epoch.

PiperOrigin-RevId: 190307545

When import_scoped_meta_graph is called within a name scope,
but called without an import_scope, the names of the created
variables are wrong, resulting in key not found errors when
adding these variables to their corresponding collections.

PiperOrigin-RevId: 190306555

Switch Android C++ compilation mode to "-std=c++11".

PiperOrigin-RevId: 190306256

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 190302194

Set the stream in TransformTensor.

PiperOrigin-RevId: 190300166

Update ops-related pbtxt files.

PiperOrigin-RevId: 190299240

Make _USE_C_API = True and _USE_C_SHAPES = False work with handle data.

This change makes _set_shapes_for_outputs_c_api fetch and set
Tensor._handle_data. This is necessary for running the
Python shape inference code on resource tensors.

PiperOrigin-RevId: 190293303

bug fix: evaluate nodes before swap the original graph

PiperOrigin-RevId: 190291844

Moves TensorHandleCopyToDevice to TensorHandle::CopyToDevice.

PiperOrigin-RevId: 190291768

[XLA] Redesign: implement local client and local service interface.

PiperOrigin-RevId: 190291400

Extended scatter operations to work with a scalar update parameter and added scatter-min and scatter-max operations.

PiperOrigin-RevId: 190289664

[XLA:CPU] Update calls to IRBuilder::CreateMemCpy to the 2-alignment form.

The single alignment version is going away.

PiperOrigin-RevId: 190288581

[XLA] Don't CSE instructions which have side-effects

PiperOrigin-RevId: 190285774

Adding support for analyzing assignment info for nested tuples.

PiperOrigin-RevId: 190285584

[TF:XLA] Fix PotentiallyImplementedAsEigenConvolution to use the correct shape as the kernel shape

A small bug is found in accessing the kernel's shape of the convolution instruction in PotentiallyImplementedAsEigenConvolution. The bug was fixed and a new testcase is created to reveal the bug.

PiperOrigin-RevId: 190282385

Convert the eager SPINN example to use tf.keras.Model and object-based checkpointing.

Uses a more recursive/functional tracking style which avoids numbering layers. Maybe this is too magical and we should adapt tf.keras.Sequential first? Let me know what you think.

PiperOrigin-RevId: 190282346

add EvaluateNodes to OpDedupping test.

PiperOrigin-RevId: 190282163

Prepare the XLA and TF code to correctly behave once automatic device placement will be enabled by default on computation shapes > 1.

PiperOrigin-RevId: 190278826

Benchmarker for LPIRC CVPR2018.

PiperOrigin-RevId: 190276899

Fix buffer overflow when fetching resources.

PiperOrigin-RevId: 190273682

Fix behavior of bucket_by_sequence_length with tuple Dataset elements
Fixes #17932

PiperOrigin-RevId: 190270732

[XLA] Implement the whole graph execution interface and make a test use XlaBuilder.
- Add Client::ExecuteGraph.
- Make client_library_test_base also (partially) support XlaBuilder by using template.
- Make one testcase in the axpy_simple_test use XlaBuilder. The test was slightly changed because currently the builder does not expend implicit broadcast automatically.

PiperOrigin-RevId: 190268658

Moves TensorHandle to common_runtime

PiperOrigin-RevId: 190265301

Updates reduce_mean op.

PiperOrigin-RevId: 190264873

* Added links to Machine Learning Crash Course.
* Removed a link to the script that diagnosed Windows installation errors
  because that script is now deprecated.

PiperOrigin-RevId: 190264199

[XLA] Redesign: add public methods that create XlaOp.

This is basically copying and pasting the public builder methods from ComputationBuilder and leave the implemention blank.

PiperOrigin-RevId: 190258687

[XLA:CPU] Task parallel assignment should not parallelize kRng, kInfeed, and kOutfeed.

Add two test cases.

PiperOrigin-RevId: 190257131

[XLA] Allow reshape mover to move transpose across broadcast of a scalar value.

This allows the simplification of pattern "transpose elementwise-ops inversed
transpose" to "elementwise-ops".

Add a test case.

PiperOrigin-RevId: 190254501

Using rounding when converting constants in BF16 propagation.

PiperOrigin-RevId: 190251081

Move NullFileSystem to its own file.

PiperOrigin-RevId: 190249020

Move security documentation to the main TensorFlow site for better visibility, and leave a stub SECURITY.md pointing users there.

PiperOrigin-RevId: 190244853

Changes loss_reduction default to SUM_OVER_BATCH_SIZE for multi_label_head.

PiperOrigin-RevId: 190244159

Override `__str__` and `__repr__` in `tf.distributions.Distribution`.

PiperOrigin-RevId: 190243989

Adds support for SavedModel to TOCO.

PiperOrigin-RevId: 190242571

Slightly tweak the whitelist checking mechanism.

PiperOrigin-RevId: 190242423

Automated g4 rollback of changelist 190139303

PiperOrigin-RevId: 190242291

Raise the timeout of tests that are somewhat close to the limit, to avoid them timing out.

PiperOrigin-RevId: 190239334

Only run GPU version of memory_optimizer_test.

PiperOrigin-RevId: 190238306

Check for the existence of an annotation before attempting to fetch it.

PiperOrigin-RevId: 190236717

Silence compilation warning in allocator.h

Some builds report the following warning (even though LOG(FATAL) is terminal):

```
./tensorflow/core/framework/device_base.h(188): warning: missing return statement at end of non-void function "tensorflow::DeviceBase::GetScopedAllocator"
```

PiperOrigin-RevId: 190235863

Merged commit includes the following changes:
190228434  by A. Unique TensorFlower:

    internal change only

--
190215102  by A. Unique TensorFlower:

    Remove placement strategy from Fisher estimator and add it in as Mixin.
    A new Kfac Optimizer sub class which runs covariance and inverse ops periodically. This should deprecate lazykfac.

--
190211603  by A. Unique TensorFlower:

    Internal only

--

PiperOrigin-RevId: 190228434

Fix HloSharding::ToString to be compatible with the HLO text parser

The incompatibility made it impossible to parse HLO modules with
sharding attributes printed from a previous run of XLA. The previous
format generated by this function was ambigious so changing the HLO
parser only wouldn't be feasible.

PiperOrigin-RevId: 190208069

Use int32 GPU kernel for StopGradient

PiperOrigin-RevId: 190204238

Implement operator<< for HloSharding

The new operator makes the error messages coming from gtest more
readable as well as making logging easier.

PiperOrigin-RevId: 190200926

Internal change

PiperOrigin-RevId: 190199534

Enable fusion of element-wise ops using XLA (Off by default, can be enabled by setting the flag tf_xla_fusion_only=true).

PiperOrigin-RevId: 190179459

Add cast op support for bfloat16 in CPU.

PiperOrigin-RevId: 190173501

Added experimental C APIs to build a hard-coded stack of dataset + iterator.

PiperOrigin-RevId: 190170332

Improvements to quantization matching code:

- Guarantee that we do the largest matches first.
- Don't allow matching layers multiple times.
- Don't allow adding quantization ops to the same node multiple times.
- Return a list of match results rather than yielding. This is much easier to reason about.
- Only require ReadVariableOp when matching resource variables, since the input to ReadVariableOps don't necessarily have to be a VarHandleOp.
- Place post activation bypass ops quantization nodes in the same post activation bypass op's name scope for better viewing.

PiperOrigin-RevId: 190169622

Rollback of GCS change.
END_PUBLIC

BEGIN_PUBLIC
Automated g4 rollback of changelist 189900977

PiperOrigin-RevId: 190169076

Checkpointable: Add a way for subclasses to manage deferred restorations of conditional dependencies.
PiperOrigin-RevId: 190166571

Refactor keras.Sequential and enable building Sequential models without specifying an input shape in advance (the model gets built on fit/etc, like subclassed models).

PiperOrigin-RevId: 190161771

Merge changes from github.

PiperOrigin-RevId: 190161440

[tf.data] Add `tf.contrib.data.prefetch_to_device()`, which supports prefetching to GPU memory.

PiperOrigin-RevId: 190158272

Add asserts for LinearOperatorBlockDiag.

All asserts are only dependent on the constituent operators due to properties of the direct sum.

PiperOrigin-RevId: 190156830

Convert saved_model to tflite flatbuffer.

PiperOrigin-RevId: 190156133

Disable test tensorflow/contrib/linalg:linear_operator_block_diag_test in asan mode

PiperOrigin-RevId: 190154645

Checkpointable: Fix a bug where SaveableObjects in the Saver's var_list were stale when executing eagerly

SaveableObjects were recreated each save(), but the Saver was not recreated and so had an old var_list.

PiperOrigin-RevId: 190153011

Delete all the name_scopes in the TPU code so that tf.Variable() doesn't inherit them.

PiperOrigin-RevId: 190146946

Remove cached tensors from LinearOperator.

CSE should already ensure that tensors are deduped (i.e. multiple Cholesky's for the same matrix are not performed).

This also makes it easier to use LinearOperators in tf.while_loop.

PiperOrigin-RevId: 190141732

Automated g4 rollback of changelist 190127730

PiperOrigin-RevId: 190139303

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 190138848

Instead of depending on ctest to be in PATH, directly reference the binary.

PiperOrigin-RevId: 190137278

Disable the test tensorflow/core/grappler/optimizers:memory_optimizer_test for cuda_on_cpu

PiperOrigin-RevId: 190136546

Update ops-related pbtxt files.

PiperOrigin-RevId: 190134484

Explicitly disallow returning variables from a tfe.py_func.

PiperOrigin-RevId: 190134382

Add kwargs support to wrap_py_func. Also includes some fixes to the reference tests and an actual test for wrapping NumPy function that uses kwargs.

PiperOrigin-RevId: 190133811

Move cuDNN RNN ops to core, for use in the internal TF codebase only (not publicly exposed).

RELNOTES: Moved cuDNN RNN ops to core.
PiperOrigin-RevId: 190130405

Automated g4 rollback of changelist 190021164

PiperOrigin-RevId: 190129094

Merge consecutive broadcast HLO instructions.

As an optimization, replace consecutive broadcast instructions with a single equivalent broadcast in algebraic simplification.

PiperOrigin-RevId: 190127730

Remove use of deprecated API from RNN Colorbot example.

PiperOrigin-RevId: 190125356

Update tf.keras preprocessing to Keras 2.1.5 API

PiperOrigin-RevId: 190123773