Merge changes from github.

PiperOrigin-RevId: 189945839

Fix compilation error with clang.

Link to breaking CI build:
https://ci.tensorflow.org/view/Nightly/job/nightly-matrix-linux-gpu-clang/232

PiperOrigin-RevId: 189944547

Don't run data_utils_test without optimizations.

PiperOrigin-RevId: 189941645

Make the graph_editor C-API friendly: always construct ops with their inputs.

PiperOrigin-RevId: 189941495

Update ops-related pbtxt files.

PiperOrigin-RevId: 189937564

Allowing dnn tree combined estimator to work with core versions of feature columns and losses

PiperOrigin-RevId: 189937063

Moves KernelAndDevice to common_runtime

PiperOrigin-RevId: 189936396

Adding `drop_remainder` option for the `map_and_batch` transformation, which allows the user to express whether they wish to drop the last batch if its size is smaller than desired; the default is not to drop the smaller batch.

PiperOrigin-RevId: 189936029

Update the doc to reflect the change of replacing std::clock with random::New64() as random number generator seed.

PiperOrigin-RevId: 189934377

[XLA:GPU] Don't crash if a GTE feeds into a bitcast.

GTE and bitcast are sort of "implicitly fused", so we have to handle
them in this way.

PiperOrigin-RevId: 189931422

Fix zipfile path for MacOS builds.

For some reason, the zipfile module on Macs appears to work differently and
complains about the whl file we are trying to extract not being found.

PiperOrigin-RevId: 189928007

Collapse adjacent dimensions that have no paddings.

For example,

tf.pad(<4D tensor>, [[0, 0], [0, 0], [0, 0], [0, 1]])

is equivalent to a 2D pad, which is faster.

PiperOrigin-RevId: 189926996

Added an option to run shape analysis assuming the shapes of the feed nodes are
valid.

PiperOrigin-RevId: 189923541

Deletes sequential_feature_column(|_test).py.

PiperOrigin-RevId: 189919029

Don't run tensorflow/python:function_test under fastbuild.

It gets flaky timeouts.

PiperOrigin-RevId: 189918276

Deleted dead code and fixed compilation warnings

PiperOrigin-RevId: 189918110

Refactor pruning code to support custom node rewrites for feeds and fetches.

PiperOrigin-RevId: 189913309

More accurate shape inference for TensorArrayGatherV3 and TensorArrayScatterV3

PiperOrigin-RevId: 189912762

[tf.contrib CriticalSection] Avoid deadlocks using additional control dependencies on the lock op.

PiperOrigin-RevId: 189910726

Automated g4 rollback of changelist 189888700

PiperOrigin-RevId: 189910239

Install documentation: adds note for virtual env with fish shell

PiperOrigin-RevId: 189904848

[XLA] Initialize arrays using cudaMemset when possible.

Previously we were using our own hand-rolled initializer thunk.  This
worked OK for reduces, because the amount of data we were initializing
is usually small.  But for e.g. select-and-scatter, it's quite slow.

This patch lets us use cudaMemset instead.

PiperOrigin-RevId: 189904720

Tensorflow/GCS: Check whether we are running under GCE before trying to obtain auth token from GCE. Before this change, if a process is not running under GCE, the token request to metadata server would time out after 3+ minutes of retry. After this change, the check is bypassed, and we return an empty token to the caller. At that point, the caller's request to read/write a file in GCS would either succeed or fail depending on whether the bucket is publicly accessible.

PiperOrigin-RevId: 189900977

Minor cosmetic improvement to error message.

PiperOrigin-RevId: 189895415

We were ValueOrDie()ing in one place, and TF_CHECK_OK()ing in another. Both should gracefully return an error condition.

Add some tests to check this.

PiperOrigin-RevId: 189888700

Make graph's name scope thread local so that two threads opening the same scope don't get nested under each other.

PiperOrigin-RevId: 189865854

Make variable scope and scope counts local to current thread so that they work correctly in multi-threaded environments.

PiperOrigin-RevId: 189860229

C API: fix device + colocation edge case in import_graph_def

This change makes the C API consistent with the Python API, by making
sure that all nodes in a colocation group have the device of the op
named in the "_class" attr (all other ops' devices are ignored). This
is currently done by preserving the current Python logic for
colocation and devices, which only works if all ops start with no
device set. Without this change, imported nodes would have the device
specified in the GraphDef. This change unsets any device before
running the Python logic.

PiperOrigin-RevId: 189859688

Remove recently introduced LOG INFO statements from AvgPoolingOp

PiperOrigin-RevId: 189856039

Add reduce window tests for the cases when the input shape has 1 element.

PiperOrigin-RevId: 189853631

[XLA] Plumb hlo dump options via local client.

PiperOrigin-RevId: 189851211

Minor documentation fix

PiperOrigin-RevId: 189848838

[XLA] Simpify XlaBuilder: extract common add instruction logic.

PiperOrigin-RevId: 189848174

 Fixing bug in MultitaskOptimizerWrapper where types of tensors were mismatching.

PiperOrigin-RevId: 189837743

Use softmax_crossentropy_with_logits_v2 in tf.keras since softmax_crossentropy_with_logits is deprecated.

PiperOrigin-RevId: 189833677

[XLA] Use IDs instead of names to represent the edges of HLO graph in hlo.proto.

PiperOrigin-RevId: 189831057

[XLA] Make HLO memory schedulers pluggable. Introduce a typedef MemorySchedulerAlgorithm  which is a function instead of an enum to allow experimentation with non-standard schedulers. Refactoring only; no functional changes to the scheduling itself.

PiperOrigin-RevId: 189830685

Tweak statistical testing test to avoid making a zillion TF session.run calls.

PiperOrigin-RevId: 189819449

[XLA] Simplify the HLO proto: don't nest the fusion computation in an fusion HloInstructionProto.

PiperOrigin-RevId: 189811729

[tf.data] Improve docstring for `tf.contrib.data.Counter`.

PiperOrigin-RevId: 189811108

Internal Change.

PiperOrigin-RevId: 189809845

Makes protobuf dep in tf.contrib.data conditional using if_static().

In non-monolithic builds, adding it unconditionally would duplicate of protobuf symbols among tf.contrib op libraries.  Guarding it with if_static() restricts the dep to monolithic builds, which should be able to dedupe the symbols at link time.

PiperOrigin-RevId: 189800612

Build tflite interpreter from buffer in python interface

PiperOrigin-RevId: 189800400

Improved the performance of the function optimizer.

PiperOrigin-RevId: 189799697

In allocate_transient_arrays.cc, was not handling the case where the same
array occurs more than once in the list of inputs or outputs of a node.

PiperOrigin-RevId: 189794090

TFBT: Pass label_keys to the head class constructor.

PiperOrigin-RevId: 189793004

Add broadcasting support for fused add or sub.

PiperOrigin-RevId: 189792542

[TF:XLA] Bump open source llvm revision to r327958

PiperOrigin-RevId: 189792132

Improved accuracy of op_level_cost_estimator (QuantizeV2, Dequantize, Gather).

PiperOrigin-RevId: 189779691

Don't run tensorflow/python:function_test under asan.

It gets flaky timeouts.

PiperOrigin-RevId: 189777986

The Quantized BroadcastSub portion of #17123

PiperOrigin-RevId: 189776376

Update version of nsync used by TensorFlow.

The primary change is that on Linux, the C++11 build of nsync will now use
underlying system primitives to implement a semaphore instead of the C++11
primitives, which are currently surprisingly slow on Linux.

PiperOrigin-RevId: 189775201

Use 32 bit induction variable in gather expander

Right now this is unconditional (and we fail with Unimplemented() if a 32 bit
induction variable is not large enough), but eventually we may want to be
smarter about this.

PiperOrigin-RevId: 189773581

Replace std::clock with random::New64() for setting random seed

PiperOrigin-RevId: 189773399

Add support for automatically wrapping NumPy functions based on a whitelist.

PiperOrigin-RevId: 189771575

Revise the main API for more consistent notation and add a supplemental shortcut to mark functions as "run in py_func". This is an intermediate step to simplifying the execution of plotting code.

PiperOrigin-RevId: 189753509

Fixed the bug that the export code triggers the TPU validation.

PiperOrigin-RevId: 189745966

tfdbg: Curses CLI: Fill line-end whitespace with default color pair

to prevent spurious color pairs from appearing in certain text
terminal environments.

RELNOTES: Bug fix: tfdbg curses CLI: fix spurious background colors in some text terminals.
PiperOrigin-RevId: 189742433

Drop name_scope from operation names during quantization to avoid doubling it up.

PiperOrigin-RevId: 189737746

Make TensorSpec and BoundedTensorSpec serializable.

PiperOrigin-RevId: 189731737

Adds float64 support for avg pool and its gradient.

Eigen NumTraits is modified to directly use std::numeric_limits, which resolves a broken test caused by inconsistency between the host and devices values of Eigen::NumTraits<double>::highest(). This returns +inf on device, due to third_party/eigen3/Eigen/src/Core/util/Meta.h, and __DBL_MAX__ (1.7976931348623157e+308) on host, making the behavior for doubles (on device) inconsistent with both the behavior of floats Eigen::NumTraits<float>::highest() and the behavior of std::numeric_limits<double>::max()

PiperOrigin-RevId: 189731521

Don't spin in a loop when we're not waiting on any GPU events.

PiperOrigin-RevId: 189719711

- Added support for data to be specified in RNN classes as large tensors with time folded into the batch dimension instead of lists of tensors
- Significant refactoring of RNN classes
- Fixed a bunch of issues in the LayerCollection docstrings, especially around the 'reuse' argument.

PiperOrigin-RevId: 189716331

Fix bug

PiperOrigin-RevId: 189712233

Fix some edge cases around scalar indices in the gather expander

I discovered these when changing the tf2xla bridge to directly emit gather
operations.

 - DeScalarizeGatherIndices was assuming that gather_indices must be of at least
   rank 1.  Fix this to be more general.

 - We were passing in the wrong version of gather indices to
   ExpandFirstDimIntoNDims.  We don't strictly need to pass in
   transposed_gather_indices (since if transposed_gather_indices is rank 1 then
   the transpose has to be an identity transpose), passing in
   descalarized_gather_indices would also have been fine, but
   transposed_gather_indices seems more uniform.

 - ExpandGatherDimsInAccumulator was assuming that gather_indices must be of at
   least rank 1 (by calling CollapseFirstNDims).  Fix this to be more general.

 - We were trying to go through with emitting zero sized gather operations.  I
   don't think it is worth dealing with all of the edge cases this would expose
   so now we just punt to ZeroSizedHloElimination.

PiperOrigin-RevId: 189696444

Predictions have to be updated for exported output signatures

PiperOrigin-RevId: 189694707

Added infeed support for experimental C APIs associated with TPU graph rewrite.

This initial design of the C API is different from (and mostly higher level
than) the python API counterparts for infeed, in that the python API has
explicit graph construction APIs for generating infeed enqueue/dequeue
ops (e.g. split_inputs_and_generate_enqueue_ops() and generate_dequeue_op()),
while the C API takes an input graph and redirects all input nodes to feed the
infeed enqueue.

One requirement/restriction is that the input nodes in the TF
graph (e.g. Placeholder) must specify their tensor shapes, for infeed enqueue
and dequeue nodes to properly compile with XLA. The API for more general shape
support will be designed and implemented later.

PiperOrigin-RevId: 189693028

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 189690096

Update ops-related pbtxt files.

PiperOrigin-RevId: 189688675

Add `ostream<<` to `tensorflow::TensorShapeBase`.

Reason: Allow `LOG(ERROR) << shape` (currently disallowed).
PiperOrigin-RevId: 189687162

Quantize bypasses after activations.

PiperOrigin-RevId: 189686219

Always imports the contrib summary ops when importing tensorflow.

Fixes #17802

PiperOrigin-RevId: 189684619

Adds final partial batch support for TPUEstimator.predict.

PiperOrigin-RevId: 189683528

Apply output_min/output_max to the result in the NEON implementation of Add operator.

Both non-NEON and reference implementation have this, but it's missing from NEON version.

PiperOrigin-RevId: 189682984

Handle non-broadcastables shapes in eager assert_equal

Before this change assert_equal would fail when producing an error
message for non-equal shapes because array_ops.boolean_mask only
works for equal shapes.

This part of the error message is fairly confusing in presence
of non-equal shapes. This change removes it.

PiperOrigin-RevId: 189682518

Avoid attaching fqn annotations to live values that don't have a `__name__`.

PiperOrigin-RevId: 189680937

Disable freeze_bn_delay by default.

PiperOrigin-RevId: 189680481

Update GraphProperties comments

PiperOrigin-RevId: 189680477

Make L2 norm computation more stable.

Avoids the potentially numerically instable square root in the linalg_ops.norm() function because we 'undo' that operation with a math_ops.square() operation anyway.

PiperOrigin-RevId: 189677716

Export tf.GradientTape

tf.GradientTape can be used both for eager execution and graph construction
to compute gradients (unlike tf.gradients, which works only for graph
construction).

PiperOrigin-RevId: 189676004

Support general permutation.

PiperOrigin-RevId: 189675019

Add docstring pointing to tf.contrib.quantize.

PiperOrigin-RevId: 189672549

Register gradient for argmin (cf. #15278).

PiperOrigin-RevId: 189671974

  add option to save trace table to model directory's profile plugin subdirectory.

PiperOrigin-RevId: 189671290

Standardize bib references and Examples subsection in docstrings.

Recipe:

+ Write a #### Examples subsection below Args/Returns/Raises to illustrate examples. If the docstring's last line is a ``` closing a code snippet, add an empty line before closing the docstring with """. This properly displays the code snippet.

+ Write a #### References subsection at the bottom of any docstring with citations. Enumerate all references in alphabetical order. Individual bibentries use ICLR?s bibliography style, which borrows from icml2010.bst and which itself borrows from plainnl.bst. Add a link to the paper if the publication is open source (ideally, arXiv).

PiperOrigin-RevId: 189670932

Make _USE_C_API = True and_USE_C_SHAPES = False work with import_graph_def.

Without this change, shapes wouldn't be correctly computed for
operations created via import_graph_def.

PiperOrigin-RevId: 189670312

Add a clif build rule for saved_model.

PiperOrigin-RevId: 189669509

Improve flatbuffer verification.

PiperOrigin-RevId: 189668634

[tf.data] Combine implementations of FlatMapDataset, InterleaveDataset and ParallelInterleaveDataset.

PiperOrigin-RevId: 189667086

Fix test failure

PiperOrigin-RevId: 189666053

Automated g4 rollback of changelist 188440916

PiperOrigin-RevId: 189664854

Disable lstm test in generated_example due to state non-definitive init.

PiperOrigin-RevId: 189654943

A few changes to improve the real data performance:
* Turn off the force_gpu_compatible by default.
* Move the cast operator within the processing operator.
* Have the map_and_batch operator produce gpu_compatible output.
* Add an option to produce fp16 tensors for network transfer by default.

On DGX-1 V100, with resnet50, I got 5050 images/sec on real data, 5395 images/sec on synthetic data.
With trivial model, I got 13000+ images/sec on real data.

PiperOrigin-RevId: 189653575

Run flatbuffer verifier before reading a TFLITE file into toco.

PiperOrigin-RevId: 189649236

Use fully-qualified function names and avoid the need to replace attributes.

PiperOrigin-RevId: 189648496

Allowing the FunctionBufferingResource to be passed in thread_pool_size=0 in which case we wouldn't pass in a runner to the FLR::Run call and rely on the underlying device threadpool instead.

PiperOrigin-RevId: 189648051

Maintain an updateable map of devices in the eager context.

PiperOrigin-RevId: 189646358

Fix build breakage with downloadable clang and -fopenmp.

By disabling openmp when building with clang.
If we want to enable openmp with clang, we'll probably have to have libomp as
an explicit dependency.

This fixes a breakage found by OS CI:
https://ci.tensorflow.org/view/Nightly/job/nightly-matrix-linux-gpu-clang/215/

PiperOrigin-RevId: 189644968

TFLite Delegate: Add an `allow_dynamic_tensors` parameter.

PiperOrigin-RevId: 189641833

Enable stack push removal optimization by default.

PiperOrigin-RevId: 189641729