Relax limitations on rerouting graph outputs.

- Allow multiple outputs of output_tensors in fold_batch_norms.
- Allow duplicate consumers in quantize.
- I also quick a fix issue for matching final layers that have batch norm.

PiperOrigin-RevId: 190873003

[XLA] Redesign: implement GetComputationStats.

PiperOrigin-RevId: 190871262

Relax CuDNN version requirements because CuDNN is backwards compatible within
a major release starting with CuDNN 7.0

PiperOrigin-RevId: 190869028

Implement assert_same_structure in C++

Also implements helper functions nest._is_namedtuple
nest._same_namedtuple.

Also, fix a bug in FlattenHelper where error from recursive
calls were not propagated up immediately.

This change implements a good chunk of machinery that will
allow us to move map_structure to C++.

Before:
entry {
  name: "NestBenchmark.assert_same_structure_6_elem"
  iters: 30000
  wall_time: 4.79532718658e-05
}

entry {
  name: "NestBenchmark.assert_same_structure_60_elem"
  iters: 30000
  wall_time: 0.000403008667628
}

After:
entry {
  name: "NestBenchmark.assert_same_structure_6_elem"
  iters: 30000
  wall_time: 1.65301720301e-05
}

entry {
  name: "NestBenchmark.assert_same_structure_60_elem"
  iters: 30000
  wall_time: 0.000147621099154
}

PiperOrigin-RevId: 190869007

TPU: Implement 3rd gen input pipeline config.

In this new configuration, we are able to drive a Cloud TPU at full device performance, and achieve over 3k images/sec on ResNet-50. The previous bottleneck was the un-pipeline-able split that occurred after the iterator.get_next() call. This split (when not splitting on the batch-major dimension) caused the training job to be single-threaded-CPU-bottlenecked, resulting in a performance of only ~2650 images/sec on ResNet-50.

This latest input pipeline configuration requires the use of datasets. By requiring datasets, we gain the ability to call get_next() num_replicas times per host, and avoid the expensive split op. (Note: this also opens up potential future avenues for further optimization.) Despite this, we retain a lot of nice usability properties that per_host_v1 (aka input pipeline config v2) gave us.

PiperOrigin-RevId: 190865741

Further speed up statistical_testing_test by breaking up DKWM test.

PiperOrigin-RevId: 190863893

Missed ScopedUnref in ResourceGather

PiperOrigin-RevId: 190861558

Collective Ops Part 1

The basic interface definitions, local-only versions of remote-access,
param-resolution, device-resolution and mgr.

A collective op is able to execute synchronously across devices
and across separate graphs. Collective ops to be introduced eventually
include broadcast and all-reduce.  This change is part of a series of
changes that will introduce the necessary infrastructure then the
initial op implementations.

PiperOrigin-RevId: 190860248

Automated g4 rollback of changelist 190835392

PiperOrigin-RevId: 190858242

Tower-local variable support for DistributionStrategy. Each tower has
its own variable, but fetch() and checkpoint apply a reduction to get
a single value.

PiperOrigin-RevId: 190853123

Add IsSquare bool to the grappler op_types.

PiperOrigin-RevId: 190852501

[tf.data] Expose the symbol `tf.contrib.data.make_csv_dataset()`.

PiperOrigin-RevId: 190849333

Refresh Community pages to surface new resources, SIGs and mailing lists.

PiperOrigin-RevId: 190845545

Automated g4 rollback of changelist 190801044

PiperOrigin-RevId: 190839672

Add DistributionStrategy support to Optimizer.

PiperOrigin-RevId: 190838314

Internal change

PiperOrigin-RevId: 190837707

Use high precision to compute softmax_cross_entropy_with_logits.

PiperOrigin-RevId: 190837379

Internal change.

PiperOrigin-RevId: 190836675

Merge changes from github.

PiperOrigin-RevId: 190835392

[tf.data] Fix reference leak in FunctionBufferingResource.

Previously, the FunctionBufferingResource's destructor would never be called, which led to use-after-free (of the underlying Device object) errors in the prefetching function.

PiperOrigin-RevId: 190834415

[tf.data] Autotune prefetch buffer sizes

In order to make it easier for tf.data users to achieve
high performance with their input pipelines, this change adds
the ability for the prefetch op to automatically tune its buffer
size.

To use the auto-tuning configuration of the `prefetch` transformation,
simply skip passing in a buffer size. Example:

```python
dataset = # ...
dataset = dataset.prefetch()  # Look ma, no buffer value req'd!
```
PiperOrigin-RevId: 190829736

Make sure tensor size match before inspecting their content.

PiperOrigin-RevId: 190823557

[XLA] Redesign: add the rest of client-service interfaces.

The basic idea is, on the client side, for each public method that has a Computation parameter, add an overload with XlaCompuation. If such method needs to call the service side, add corresponding service interfaces.

Also make XlaCompuation::GetProgramShape return StatusOr, to be consistent with the Computation class.

PiperOrigin-RevId: 190822601

Add comment that explicitly states that InitTableIterator is Thread-unsafe.

PiperOrigin-RevId: 190821427

Add op cost model for MaxPool, AvgPool, FusedBatchNorm, their grad ops, and
ReluGrad.

PiperOrigin-RevId: 190821116

Supports quantized reduce_mean in TF Lite.

PiperOrigin-RevId: 190813997

Upgrade gRPC version used in OSS Tensorflow

PiperOrigin-RevId: 190813848

When importing meta graphs under name scopes,
the names of the created ops are prepended with the scopes.
Since the saver_def of the meta graph does not contain this information,
we need to pass it explicitly to Saver.

PiperOrigin-RevId: 190812434

[XLA] Redesign: add the rest of the XlaBuilder public methods.

PiperOrigin-RevId: 190812260

Don't access properties in case they're not present

PiperOrigin-RevId: 190811935

Add some VLOGs to make it easier to see why things don't go through the fast path

PiperOrigin-RevId: 190809906

Reorder element wise operators across reshape operators.

This allows batch-norm folding to work across reshape operators.

PiperOrigin-RevId: 190808678

Fixes to DepthwiseConv kernel

PiperOrigin-RevId: 190806668

In contrib/all_reduce raise a ValueError if the input tensors
do not have fully-defined shapes.

PiperOrigin-RevId: 190804146

Updating tests in constant_folding_test.cc so that it evaluates the optimized and original graph and checks whether the output tensors produced by them are the same.

PiperOrigin-RevId: 190802264

Fix TPUClusterResolver tpu parameter for profiler tool.

PiperOrigin-RevId: 190801968

Make ArithmeticOptimizer robust to failures of shape inference and individual stages.

Get rid of graph annotation and use GraphProperties directly.

PiperOrigin-RevId: 190801044

Properly serialize ResourceVariable global_step into the metagraph.

Prior to this, saving and restoring a graph with a resource variable global_step
would cause the global_step collection of the reimported graph to contain
a resource tensor (the object underlying the ResourceVariable); the actual
metadata associated with it would be serialized.

PiperOrigin-RevId: 190791443

internal change

PiperOrigin-RevId: 190789794

Avoid overwriting existing namespace items that might replace the converted functions.

PiperOrigin-RevId: 190789781

Enable the Grappler arithmetic optimizer by default in Python tests.

PiperOrigin-RevId: 190787954

Allow positional arguments in tf.keras.Model subclasses

Makes the tf.keras.Layer.__call__ signature identical to tf.layers.Layer.__call__, but makes passing positional arguments other than "inputs" an error in most cases. The only case it's allowed is subclassed Models which do not have an "inputs" argument to their call() method.

This means subclassed Models no longer need to pass all but the first argument as a keyword argument (or do list packing/unpacking) when call() takes multiple Tensor arguments.

Includes errors for cases where whether an argument indicates an input is ambiguous, but otherwise doesn't do much to support non-"inputs" call() signatures for shape inference or deferred Tensors. The definition of an input/non-input is pretty clear, so that cleanup will mostly be tracking down all of the users of "self.call" and getting them to pass inputs as positional arguments if necessary.

PiperOrigin-RevId: 190787899

Move ExecuteNode and CopyToDevice_Internal

PiperOrigin-RevId: 190775681

Internal change

PiperOrigin-RevId: 190735724

Have TensorFlow Distributions share name scopes across method calls.

PiperOrigin-RevId: 190728742

Speed up statistical_testing_test by consolidating sess.run calls.

PiperOrigin-RevId: 190721153

Fix non-uniformity of orthogonal matrices.
Add test code for this purpose.

PiperOrigin-RevId: 190719729

Fix _force_data_dependency for scalar inputs

PiperOrigin-RevId: 190715033

Implement strip assert in DebugStripper.

PiperOrigin-RevId: 190713919

Fixed the interaction between virtual cluster and measuring cost estimator.

PiperOrigin-RevId: 190712404

Fix problem with HandleElementwiseUnary/Binary in DfsHloVisitorWithDefault.

DfsHloVisitorWithDefault incorrectly included some overrides for handling
several elementwise binary and unary opcodes. These overrides explicitly
called DefaultAction which meant that these opcodes were not handled by
HandleElementwiseUnary/Binary. This CL removes these overrides and adds a
comment describing the potential problem. Unfortunately, I don't see a way
of automatically catching these issues when new opcodes are added, so the
comment will have to do.

PiperOrigin-RevId: 190708245

Pass options to TFE_ContextOptionsSetAsync

PiperOrigin-RevId: 190707017

[XLA] Remove CheckShape and CheckSameShape in ComputationBuilder, they are not/rarely used.

PiperOrigin-RevId: 190706088

Disable new Gather/Slice estimators for now to fix the crashes during some TF graphs optimizations.

PiperOrigin-RevId: 190705686

Support GatherV2 (using Gather)

PiperOrigin-RevId: 190702442

[XLA] Accurately measure FLOPs for base-dilated convolutions

We incorrectly counted FLOPs when the output and kernel line up to access the
padding or the dilated area. These should not be accounted as contributing to
the FLOP count.

PiperOrigin-RevId: 190702384

[XLA] Assert that all buffers and sub-buffers passed to XLA have an explicit pointer.

In the past, we allowed sub-buffers to be null if the top-level tuple
was non-null.

This doesn't actually work well on the GPU: For ops that are implemented
using cudnn or cublas, we have to have a pointer to the sub-buffer on
the host in order to make the call.  Retrieving it from the GPU in an
efficient manner is complicated, and the best we can come up with isn't
all that efficient (fundamentally having to pull data down from the GPU
blocks the ability of the CPU to "run ahead" of the GPU).

Since TF wasn't making use of our flexibility *anyway*, we add the
requirement that XLA be given non-null pointers to all sub-buffers.

Changes to the XLA:GPU backend to take advantage of this will come
separately.

PiperOrigin-RevId: 190700021

Make slot_creator use DistributionStrategy for co-locating variables.
Make DistributionStrategy.colocate_vars_with() match the existing
behavior of ops.colocate_with() by default, for compatibility.

PiperOrigin-RevId: 190699882

Make tf.keras.Sequential (properly) Checkpointable

Just numbers Layers like "layer-N". It may also make sense to track them by
"ClassName-M", but that's a backwards-compatible change.

Special-cases all of the dependency collection, since Layers can be added and
removed from Sequential.

PiperOrigin-RevId: 190699818

K-FAC: Bugfixes for TPU compatibility with covariance update ops.

PiperOrigin-RevId: 190699635

[XLA] Redesign: implement Tuple and GetTupleElement.

PiperOrigin-RevId: 190698245

  Change the host-op result per TPU step from a single value to a collection of values.

PiperOrigin-RevId: 190696953

Improve support for DT_HALF and DT_BFLOAT16 in Grappler graph optimizations.

Update GrapplerTest::EvaluateNodes to take feeds as an argument, to make it easier to write tests with placeholders.

PiperOrigin-RevId: 190696386

Fixed a bug in ConvKFCBasicMultiIndepFB introduced in the last CL

PiperOrigin-RevId: 190695737

Test all TFLite kernel implementations for fully connected.

PiperOrigin-RevId: 190693455

TFTS: Fix a bug in the SavedModel cold-start export

It now correctly broadcasts start state across whatever batch dimension it is
passed rather than sqishing it down to a batch dimension of 1.

PiperOrigin-RevId: 190688855

Add node types for DFS traversal to catch more issues with deduping inputs to in-place ops.

PiperOrigin-RevId: 190687820

[XLA] Fold reduce-window(convert(pad(X))) into reduce-window(convert(X))

ReduceWindow operations are done in higher precision to avoid accumulation
error. Convert operations can find their way between a ReduceWindow and a Pad
which can prevent a Pad from combining with a ReduceWindow.

Fix this by looking past the Convert while also checking that the Convert'd
Pad's init value is identical to the reduce-window value.

PiperOrigin-RevId: 190686175

Moves Execute() from c_api.cc

PiperOrigin-RevId: 190681610

Make _USE_C_API = True and _USE_C_SHAPES = False work with handle data, take 2.

This change makes _set_shapes_for_outputs_c_api fetch and set
Tensor._handle_data. This is necessary for running the
Python shape inference code on resource tensors.

PiperOrigin-RevId: 190681459

[tf.data] Raise error when window size is 0 in `tf.contrib.data.group_by_window()`.

PiperOrigin-RevId: 190673466

Improve error message when users forget to pass toco cmdline args for quantization, but have a model that has FAKE_QUANT operations.

PiperOrigin-RevId: 190672414

Add "serve" as a default value for savedmodel_tagset.

PiperOrigin-RevId: 190671867

Fix documentation of Clamp; it does not take a computation at all.

See:
https://github.com/tensorflow/tensorflow/blob/r1.6/tensorflow/compiler/xla/client/computation_builder.h#L668
PiperOrigin-RevId: 190671530

Fast path for calling pack when the list is full of eager tensors.

FastPathExecute function also allows inputs to be sequences instead of just lists.

PiperOrigin-RevId: 190670587

[TF:XLA] Force DebugOptions to be specified when calling HloModule::CreateModuleConfigFromProto

Otherwise it's easy to forget that you likely want the DebugOptions to be `legacy_flags::GetDebugOptionsFromFlags()`.

PiperOrigin-RevId: 190659046

Updating test so that it evaluates the optimized and original graph and checks whether the output tensors produced by them are the same.

PiperOrigin-RevId: 190655831

Improved shape inference for reshape

PiperOrigin-RevId: 190651873

Replaced calls to deprecated tensorflow::StringPiece methods with their
tensorflow::str_util equivalents.

This will allow the deprecated methods to be removed.

PiperOrigin-RevId: 190650553

Exclude Python C extension from tensorflow/c:srcs target.

The Python extensions aren't part of the official C API.

PiperOrigin-RevId: 190649576

Fix: Clamp takes three arguments after computation, not arbitrarily many.

PiperOrigin-RevId: 190644837

Match behavior of py_func in graph and eager.

PiperOrigin-RevId: 190641841

Internal cleanup.

PiperOrigin-RevId: 190633067

  import tpu profiler analysis grpc python stub to tensorflow.

PiperOrigin-RevId: 190630641

Prevent warning every time someone imports contrib.learn.datasets.base

Everything in contrib/learn/python/learn/datasets/base.py has been deprecated. One of the function in there is a decorator, retry. Because another function in that file is decorated with retry, the function is called upon import, which prints a warning.

I have fixed this by adding a private function, _internal_retry, which is used internally, and redefining retry to simply call this. That way, using retry in user-code will still print the deprecated warning, but it's not printed upon every import.

I also cleaned up the docstrings slightly.

PiperOrigin-RevId: 190626717

Flush the output of print (fixes out-of-order prints in public colab)

PiperOrigin-RevId: 190624708

Automated g4 rollback of changelist 188385868

PiperOrigin-RevId: 190618988

Optimized quantized fully-connected op for LSTMs.

PiperOrigin-RevId: 190617310

- Added support a different strategy for cov computations in the multi-tower scenario.  In this strategy we do the cov computations locally on each tower and then sum the results, as opposed to concatenating everything onto a single device.  This other strategy can be enabled by setting the global variable TOWER_STRATEGY to "separate" (default value is "concat", which implements the old strategy).  We might change this to use "separate" by default if this turns out to be the best default.
- The code and documentation now no longer refer to the towers as computing different "mini-batches", since this was a confusing use of terminology.  The best way to think about things is that the combine data over all the towers forms the mini-batch.  Note however when factors process multiple towers using the "separate" strategy their batch_size variable will still refer to the amount of data in a single tower.
- Fixed a bug in how the "option 1" and "option 2" RNN Fisher approximations were computed in the multi-tower scenario.
- The "time-folded-into-batch" feature recently added has now changed in terms of what format it uses. Time is now the first dimension before the reshape, not the second, which is consistent with the convention used in other codebases.

PiperOrigin-RevId: 190615398

Don't flush denormals when calling Eigen::SelfAdjointEigenSolver.

PiperOrigin-RevId: 190595222

Avoid reading the input file twice for InitializableLookupTable in combination with HashTable.

Before this cl, TextFileLineIterator::total_size() was called for HashTable::DoPrepare, even though HashTable::DoPrepare ignores the size parameter.
In order to have a result ready for TextFileLineIterator::total_size(), Init() called GetNumLinesInTextFile(), which read the whole file. Just to throw away the result :-/

This cl:
- adds a DoLazyPrepare, that gets a functor to get the size, only if needed.
- add HashTable::DoLazyPrepare which does not call this functor.
- modify TextFileLineIterator::Init() to not call GetNumLinesInTextFile() anymore, when vocab_size was given as -1.
- modify TextFileLineIterator::total_size() to call GetNumLinesInTextFile() lazily on the first call, if vocab_size_ was passed as -1.

PiperOrigin-RevId: 190593744

Handle out of range values when casting from floating point to integer in quantize.

PiperOrigin-RevId: 190580805

Remove broken ibiblio url

I suspect ibiblio selectively mirrors or perhaps only mirrors
highly popular artifacts.

PiperOrigin-RevId: 190578860

Fix acknowledgment to say "Blade Team of Tencent" in security.md file.

Team is incorrectly referred to as "TenCent Blade Team"

PiperOrigin-RevId: 190577449

[XLA:CPU] Allow the shape partition algorithm to partition the most minor
dimension.

The current shape paritition algorithm does not partition the most minor
dimension, because doing so causes dynamic loop bounds for the inner loop and
used to prohibit LLVM vectorization. This constraint has been removed with
revision 328478 and LLVM can now vectorize loops with dynamic bounds. Allow
partitioning the most minor dimension is also necessary to support the
parallelization of matrix-vector multiplication.

Adjust shape_partition_test to reflect this change in the shape partition
algorithm.

PiperOrigin-RevId: 190574615

Use is_resource_variable() in train.assert_gloabl_step.

PiperOrigin-RevId: 190573872

Add class DistributionStrategy to python/training/, though not part
of the exposed TF API.

PiperOrigin-RevId: 190570489

[XLA] Add tests for R1 PRED Slices.

PiperOrigin-RevId: 190566036

Include subscripts in the list of nodes accepted for replacement.

PiperOrigin-RevId: 190564824

Do not assume Attribute nodes always have a QN - it may be missing for attributes of dynamic objects, like function calls.

PiperOrigin-RevId: 190564784