K-FAC: Bugfixes for TPU compatibility with covariance update ops.

PiperOrigin-RevId: 190699635

[XLA] Redesign: implement Tuple and GetTupleElement.

PiperOrigin-RevId: 190698245

  Change the host-op result per TPU step from a single value to a collection of values.

PiperOrigin-RevId: 190696953

Improve support for DT_HALF and DT_BFLOAT16 in Grappler graph optimizations.

Update GrapplerTest::EvaluateNodes to take feeds as an argument, to make it easier to write tests with placeholders.

PiperOrigin-RevId: 190696386

Fixed a bug in ConvKFCBasicMultiIndepFB introduced in the last CL

PiperOrigin-RevId: 190695737

Test all TFLite kernel implementations for fully connected.

PiperOrigin-RevId: 190693455

TFTS: Fix a bug in the SavedModel cold-start export

It now correctly broadcasts start state across whatever batch dimension it is
passed rather than sqishing it down to a batch dimension of 1.

PiperOrigin-RevId: 190688855

Add node types for DFS traversal to catch more issues with deduping inputs to in-place ops.

PiperOrigin-RevId: 190687820

[XLA] Fold reduce-window(convert(pad(X))) into reduce-window(convert(X))

ReduceWindow operations are done in higher precision to avoid accumulation
error. Convert operations can find their way between a ReduceWindow and a Pad
which can prevent a Pad from combining with a ReduceWindow.

Fix this by looking past the Convert while also checking that the Convert'd
Pad's init value is identical to the reduce-window value.

PiperOrigin-RevId: 190686175

Moves Execute() from c_api.cc

PiperOrigin-RevId: 190681610

Make _USE_C_API = True and _USE_C_SHAPES = False work with handle data, take 2.

This change makes _set_shapes_for_outputs_c_api fetch and set
Tensor._handle_data. This is necessary for running the
Python shape inference code on resource tensors.

PiperOrigin-RevId: 190681459

[tf.data] Raise error when window size is 0 in `tf.contrib.data.group_by_window()`.

PiperOrigin-RevId: 190673466

Improve error message when users forget to pass toco cmdline args for quantization, but have a model that has FAKE_QUANT operations.

PiperOrigin-RevId: 190672414

Add "serve" as a default value for savedmodel_tagset.

PiperOrigin-RevId: 190671867

Fix documentation of Clamp; it does not take a computation at all.

See:
https://github.com/tensorflow/tensorflow/blob/r1.6/tensorflow/compiler/xla/client/computation_builder.h#L668
PiperOrigin-RevId: 190671530

Fast path for calling pack when the list is full of eager tensors.

FastPathExecute function also allows inputs to be sequences instead of just lists.

PiperOrigin-RevId: 190670587

[TF:XLA] Force DebugOptions to be specified when calling HloModule::CreateModuleConfigFromProto

Otherwise it's easy to forget that you likely want the DebugOptions to be `legacy_flags::GetDebugOptionsFromFlags()`.

PiperOrigin-RevId: 190659046

Updating test so that it evaluates the optimized and original graph and checks whether the output tensors produced by them are the same.

PiperOrigin-RevId: 190655831

Improved shape inference for reshape

PiperOrigin-RevId: 190651873

Replaced calls to deprecated tensorflow::StringPiece methods with their
tensorflow::str_util equivalents.

This will allow the deprecated methods to be removed.

PiperOrigin-RevId: 190650553

Exclude Python C extension from tensorflow/c:srcs target.

The Python extensions aren't part of the official C API.

PiperOrigin-RevId: 190649576

Fix: Clamp takes three arguments after computation, not arbitrarily many.

PiperOrigin-RevId: 190644837

Match behavior of py_func in graph and eager.

PiperOrigin-RevId: 190641841

Internal cleanup.

PiperOrigin-RevId: 190633067

  import tpu profiler analysis grpc python stub to tensorflow.

PiperOrigin-RevId: 190630641

Prevent warning every time someone imports contrib.learn.datasets.base

Everything in contrib/learn/python/learn/datasets/base.py has been deprecated. One of the function in there is a decorator, retry. Because another function in that file is decorated with retry, the function is called upon import, which prints a warning.

I have fixed this by adding a private function, _internal_retry, which is used internally, and redefining retry to simply call this. That way, using retry in user-code will still print the deprecated warning, but it's not printed upon every import.

I also cleaned up the docstrings slightly.

PiperOrigin-RevId: 190626717

Flush the output of print (fixes out-of-order prints in public colab)

PiperOrigin-RevId: 190624708

Automated g4 rollback of changelist 188385868

PiperOrigin-RevId: 190618988

Optimized quantized fully-connected op for LSTMs.

PiperOrigin-RevId: 190617310

- Added support a different strategy for cov computations in the multi-tower scenario.  In this strategy we do the cov computations locally on each tower and then sum the results, as opposed to concatenating everything onto a single device.  This other strategy can be enabled by setting the global variable TOWER_STRATEGY to "separate" (default value is "concat", which implements the old strategy).  We might change this to use "separate" by default if this turns out to be the best default.
- The code and documentation now no longer refer to the towers as computing different "mini-batches", since this was a confusing use of terminology.  The best way to think about things is that the combine data over all the towers forms the mini-batch.  Note however when factors process multiple towers using the "separate" strategy their batch_size variable will still refer to the amount of data in a single tower.
- Fixed a bug in how the "option 1" and "option 2" RNN Fisher approximations were computed in the multi-tower scenario.
- The "time-folded-into-batch" feature recently added has now changed in terms of what format it uses. Time is now the first dimension before the reshape, not the second, which is consistent with the convention used in other codebases.

PiperOrigin-RevId: 190615398

Don't flush denormals when calling Eigen::SelfAdjointEigenSolver.

PiperOrigin-RevId: 190595222

Avoid reading the input file twice for InitializableLookupTable in combination with HashTable.

Before this cl, TextFileLineIterator::total_size() was called for HashTable::DoPrepare, even though HashTable::DoPrepare ignores the size parameter.
In order to have a result ready for TextFileLineIterator::total_size(), Init() called GetNumLinesInTextFile(), which read the whole file. Just to throw away the result :-/

This cl:
- adds a DoLazyPrepare, that gets a functor to get the size, only if needed.
- add HashTable::DoLazyPrepare which does not call this functor.
- modify TextFileLineIterator::Init() to not call GetNumLinesInTextFile() anymore, when vocab_size was given as -1.
- modify TextFileLineIterator::total_size() to call GetNumLinesInTextFile() lazily on the first call, if vocab_size_ was passed as -1.

PiperOrigin-RevId: 190593744

Handle out of range values when casting from floating point to integer in quantize.

PiperOrigin-RevId: 190580805

Remove broken ibiblio url

I suspect ibiblio selectively mirrors or perhaps only mirrors
highly popular artifacts.

PiperOrigin-RevId: 190578860

Fix acknowledgment to say "Blade Team of Tencent" in security.md file.

Team is incorrectly referred to as "TenCent Blade Team"

PiperOrigin-RevId: 190577449

[XLA:CPU] Allow the shape partition algorithm to partition the most minor
dimension.

The current shape paritition algorithm does not partition the most minor
dimension, because doing so causes dynamic loop bounds for the inner loop and
used to prohibit LLVM vectorization. This constraint has been removed with
revision 328478 and LLVM can now vectorize loops with dynamic bounds. Allow
partitioning the most minor dimension is also necessary to support the
parallelization of matrix-vector multiplication.

Adjust shape_partition_test to reflect this change in the shape partition
algorithm.

PiperOrigin-RevId: 190574615

Use is_resource_variable() in train.assert_gloabl_step.

PiperOrigin-RevId: 190573872

Add class DistributionStrategy to python/training/, though not part
of the exposed TF API.

PiperOrigin-RevId: 190570489

[XLA] Add tests for R1 PRED Slices.

PiperOrigin-RevId: 190566036

Include subscripts in the list of nodes accepted for replacement.

PiperOrigin-RevId: 190564824

Do not assume Attribute nodes always have a QN - it may be missing for attributes of dynamic objects, like function calls.

PiperOrigin-RevId: 190564784

Updating documentation of supported ops.

PiperOrigin-RevId: 190564365

Include additional cases for evaluating the fqn annotation.

PiperOrigin-RevId: 190564036

Fix inconsistency in run_cond.

PiperOrigin-RevId: 190563114

Add "distribute" argument to tf.estimator.RunConfig() in anticipation
of upcoming DistributionStrategy support in Estimator.

PiperOrigin-RevId: 190563074

[XLA] Redesign: implement and test ternary ops.

PiperOrigin-RevId: 190561679

Finish deprecation of tf.contrib.bayesflow.{HMC,MetropolisHastings}.
New home: https://github.com/tensorflow/probability/tree/master/tensorflow_probability/python/mcmc

PiperOrigin-RevId: 190560180

[XLA] Redesign: handle metadata and sharding.

- Add a xla.OpSharding field to the HloInstructionProto.
- Metatdata handling is tested.

PiperOrigin-RevId: 190553731

Add missing parameter to OP_REQUIRES call.

PiperOrigin-RevId: 190548854

Save the last loss reduction method (for future use).

PiperOrigin-RevId: 190543066

Rename convert_savedmodel to convert_saved_model

to be consistent with export_saved_model

PiperOrigin-RevId: 190539064

Makes tf.gather not silently snapshot resource variables.

PiperOrigin-RevId: 190537320

In the experimental C API, parametrized batch_size for the generate dataset / iterator stack.

PiperOrigin-RevId: 190536945

Update recompute_grad for TPU

PiperOrigin-RevId: 190536468

[XLA] Redesign: implement and test unary and binary ops.

Also,
- Templatized ComputeAndCompareRX and CreateRXParameter so that they accept XlaBuilder and XlaOp.
- Clear data held by an XlaBuilder when Build() is called, otherwise errors will occur when the builder is reused.

PiperOrigin-RevId: 190534245

Fix some compiler warnings in MKL-DNN build.

PiperOrigin-RevId: 190532168

Clarify eager gradient doc strings

PiperOrigin-RevId: 190526387

Add description of shapes and a pointer to external tutorial notebook in `tf.distributions.Distribution`.

PiperOrigin-RevId: 190521666

Quick fix to assign_moving_average documentation formatting.

PiperOrigin-RevId: 190517622

Global rename of py2tf to autograph

PiperOrigin-RevId: 190515509

Add additional protobuf imports.

PiperOrigin-RevId: 190514839

Internal change.

PiperOrigin-RevId: 190512928

Add header guard to lstm_utils.

PiperOrigin-RevId: 190512302

Optimized ops, move code to early, common, section so that it can be shared.

PiperOrigin-RevId: 190511964

Clarify doc strings on gradient methods

PiperOrigin-RevId: 190508614

Internal change.

PiperOrigin-RevId: 190507631

Internal change.

PiperOrigin-RevId: 190504933

tfdbg CLI: Allow node exclusion with tensor filters

Fixes: #16619

See the referred GitHub issue for details, but users want to be
able to skip certain nodes when searching for inf/nans, because
some nodes generate inf/nans even in nominal conditions.

This CL adds a new optional flag `--filter_exclude_node_names`
(or `-fenn` for short), which allows users to do exactly that,
by using a regex for node names.

RELNOTES: tfdbg CLI: Allow exclusion of nodes by regular expressions
during tensor filter-enabled Session runs: see the new flags
`--filter_exclude_node_names` (or `-fenn` for short).
PiperOrigin-RevId: 190504225

LSTM support: Support fused activation functions in int16 Add ops.

PiperOrigin-RevId: 190503823

Extended experimental C API with MNIST dataset/iterators support.

PiperOrigin-RevId: 190500020

Revert to initializing number of threads when SetNumThreads is called. Requiring it
to happen before OpInit() is way too confusing for users.

PiperOrigin-RevId: 190499644

Make the CSE ("node deduping") pass in ArithmeticOptimizer more robust in the presence of ops that modify their inputs in-place: Do not dedup nodes if the underlying buffers for their outputs may be passed to an in-place op.

PiperOrigin-RevId: 190499037

Made the NumElements function more accurate

PiperOrigin-RevId: 190497916

tf.GradientTape: Clearly say that tf.while_loop and tf.cond are not supported
by tf.GradientTape.gradient() at this time.

PiperOrigin-RevId: 190494436

BUGFIX: Fix failure-to-broadcast in Wishart.sample.

PiperOrigin-RevId: 190493969

Fixes an issue with calling tf.contrib.seq2seq.dynamic_decode with an extended BasicDecoder which for example returns a tf.contrib.seq2seq.AttentionWrapperState.
In this case the internal while-loop fails when trying to store an instance tf.contrib.seq2seq.AttentionWrapperState in the internal TensorArray.

PiperOrigin-RevId: 190491787

[tf.data] Usability improvements to `tf.contrib.data.make_csv_dataset`.

PiperOrigin-RevId: 190489086

Added experimental C APIs to build a stack of dataset + iterator nodes that
reads imagenet TFRecord files.

PiperOrigin-RevId: 190488817

Adding a FunctionBufferingResourceReset Op that resets the state of the function buffering resource so that we can start using it with re-initializable iterators.

PiperOrigin-RevId: 190484110

Automated g4 rollback of changelist 190293303

PiperOrigin-RevId: 190479555

Updated test (but not source) of https://tensorflow.org/api_docs/python/tf/contrib/training/HParams to show that it allows '=' in the values.

PiperOrigin-RevId: 190470578

Disable flaky prefetching_ops_test.

PiperOrigin-RevId: 190416108

Always cast `tf.distributions.Distribution` `_event_shape`, `_batch_shape`.

PiperOrigin-RevId: 190415923

Minor Error type and documentation fix.

PiperOrigin-RevId: 190411045

Use compat.as_bytes() instead of str.encode().

PiperOrigin-RevId: 190409217

Add skeleton code for DebugStripper.

PiperOrigin-RevId: 190391193

Restore dependencies that are needed by the PIP package builder

PiperOrigin-RevId: 190387090

Build and import rules for distributed strategy

PiperOrigin-RevId: 190367484

Misc typo fixes in the XLA sources and docs.

PiperOrigin-RevId: 190322644

Trivial update of layer imports in eager execution examples, to reflect recommended practices.

PiperOrigin-RevId: 190319480

[XLA] Redesign: implement Reshape and Transpose.

Also,
- Templatize ClientLibraryTestBase::CreateParameterAndTransferLiteral. The implementation is moved from .cc to .h because otherewise the linker complains.
- Migrate some reshape tests to use the XlaBuilder.

PiperOrigin-RevId: 190317960

[XLA] Prevent using XlaOp from the wrong XlaBuilder.

PiperOrigin-RevId: 190312254

A couple of small device-related utilities.

PiperOrigin-RevId: 190312148

Fix loop variable type and status propagation

PiperOrigin-RevId: 190308776

Adding support for iterating through a tf.data.Dataset for a single epoch.

PiperOrigin-RevId: 190307545

When import_scoped_meta_graph is called within a name scope,
but called without an import_scope, the names of the created
variables are wrong, resulting in key not found errors when
adding these variables to their corresponding collections.

PiperOrigin-RevId: 190306555

Switch Android C++ compilation mode to "-std=c++11".

PiperOrigin-RevId: 190306256

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 190302194

Set the stream in TransformTensor.

PiperOrigin-RevId: 190300166

Update ops-related pbtxt files.

PiperOrigin-RevId: 190299240