Enable fusion of element-wise ops using XLA (Off by default, can be enabled by setting the flag tf_xla_fusion_only=true).

PiperOrigin-RevId: 190179459

Add cast op support for bfloat16 in CPU.

PiperOrigin-RevId: 190173501

Added experimental C APIs to build a hard-coded stack of dataset + iterator.

PiperOrigin-RevId: 190170332

Improvements to quantization matching code:

- Guarantee that we do the largest matches first.
- Don't allow matching layers multiple times.
- Don't allow adding quantization ops to the same node multiple times.
- Return a list of match results rather than yielding. This is much easier to reason about.
- Only require ReadVariableOp when matching resource variables, since the input to ReadVariableOps don't necessarily have to be a VarHandleOp.
- Place post activation bypass ops quantization nodes in the same post activation bypass op's name scope for better viewing.

PiperOrigin-RevId: 190169622

Rollback of GCS change.
END_PUBLIC

BEGIN_PUBLIC
Automated g4 rollback of changelist 189900977

PiperOrigin-RevId: 190169076

Checkpointable: Add a way for subclasses to manage deferred restorations of conditional dependencies.
PiperOrigin-RevId: 190166571

Refactor keras.Sequential and enable building Sequential models without specifying an input shape in advance (the model gets built on fit/etc, like subclassed models).

PiperOrigin-RevId: 190161771

Merge changes from github.

PiperOrigin-RevId: 190161440

[tf.data] Add `tf.contrib.data.prefetch_to_device()`, which supports prefetching to GPU memory.

PiperOrigin-RevId: 190158272

Add asserts for LinearOperatorBlockDiag.

All asserts are only dependent on the constituent operators due to properties of the direct sum.

PiperOrigin-RevId: 190156830

Convert saved_model to tflite flatbuffer.

PiperOrigin-RevId: 190156133

Disable test tensorflow/contrib/linalg:linear_operator_block_diag_test in asan mode

PiperOrigin-RevId: 190154645

Checkpointable: Fix a bug where SaveableObjects in the Saver's var_list were stale when executing eagerly

SaveableObjects were recreated each save(), but the Saver was not recreated and so had an old var_list.

PiperOrigin-RevId: 190153011

Delete all the name_scopes in the TPU code so that tf.Variable() doesn't inherit them.

PiperOrigin-RevId: 190146946

Remove cached tensors from LinearOperator.

CSE should already ensure that tensors are deduped (i.e. multiple Cholesky's for the same matrix are not performed).

This also makes it easier to use LinearOperators in tf.while_loop.

PiperOrigin-RevId: 190141732

Automated g4 rollback of changelist 190127730

PiperOrigin-RevId: 190139303

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 190138848

Instead of depending on ctest to be in PATH, directly reference the binary.

PiperOrigin-RevId: 190137278

Disable the test tensorflow/core/grappler/optimizers:memory_optimizer_test for cuda_on_cpu

PiperOrigin-RevId: 190136546

Update ops-related pbtxt files.

PiperOrigin-RevId: 190134484

Explicitly disallow returning variables from a tfe.py_func.

PiperOrigin-RevId: 190134382

Add kwargs support to wrap_py_func. Also includes some fixes to the reference tests and an actual test for wrapping NumPy function that uses kwargs.

PiperOrigin-RevId: 190133811

Move cuDNN RNN ops to core, for use in the internal TF codebase only (not publicly exposed).

RELNOTES: Moved cuDNN RNN ops to core.
PiperOrigin-RevId: 190130405

Automated g4 rollback of changelist 190021164

PiperOrigin-RevId: 190129094

Merge consecutive broadcast HLO instructions.

As an optimization, replace consecutive broadcast instructions with a single equivalent broadcast in algebraic simplification.

PiperOrigin-RevId: 190127730

Remove use of deprecated API from RNN Colorbot example.

PiperOrigin-RevId: 190125356

Update tf.keras preprocessing to Keras 2.1.5 API

PiperOrigin-RevId: 190123773

Adds float64 support for Conv2d, Conv2dBackpropInput, and Conv2dBackpropFilter

PiperOrigin-RevId: 190123191

Fetch C shapes for ops created by import_graph_def with C API enabled.

If _USE_C_API = True, this change makes us always fetch shapes using
the C API after calling TF_ImportGraphDef, even if _USE_C_SHAPES =
False. This is necessary to preserve the shapes specified by the
"_output_shapes" attr on imported NodeDefs (note that this attr isn't
present on the NodeDefs of the imported nodes, so there's no other way
to recover this information after calling TF_ImportGraphDef).

PiperOrigin-RevId: 190122991

Supports optimizer arg in head.create_estimator_spec.

PiperOrigin-RevId: 190121386

Fix cases where we export incorrect symbol with tf_export. This can happen when
both generated op and its python wrapper have tf_export decorator.
create_python_api.py now checks that we don't export different symbols with same name. Also, simplified some logic.

PiperOrigin-RevId: 190120505

Code cleanup: rather than storing the outside_compilation shape inference graph as a serialized GraphDef in an attr, put it into the function library.

PiperOrigin-RevId: 190118116

Disable all the automatic optimizations when testing, to ensure that we can
properly compare the results of the original graph against that of the hand
optimized graph.

PiperOrigin-RevId: 190115606

Allow specifying in the arrays extra info file:
 - the shape of the array
 - the hardcoding of the values of the array as a single repeated constant
   scalar value, turning an activations array into a constant array.

PiperOrigin-RevId: 190115218

Disable testing flaky tensorflow/contrib/eager/python/examples/spinn:spinn_test under py3

PiperOrigin-RevId: 190112748

Make api_compatibility_test output verbose by default.

PiperOrigin-RevId: 190110866

Add tf.contrib.framework.argsort, wrapping tf.nn.top_k (#288).

Comparable to np.argsort.

PiperOrigin-RevId: 190109968

Merges predict export_outputs in multi_head.

PiperOrigin-RevId: 190108434

Make GetLocalTemporaryDirectories() a virtual method of Env, that is overriden
by the implementations.

PiperOrigin-RevId: 190102851

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 190102805

Cleanup: replace an errant `in_eager_mode()` with `executing_eagerly()`.

PiperOrigin-RevId: 190098277

Add new Ops for ScopedAllocator and the associated Concat and Split.  The
ScopedAllocatorOp allocates a large backing tensor whose slices may be
concatenated or splitted with ScopedAllocatorConcatOp and
ScopedAllocatorSplitOp respectively.  These ops should only be added via
Grappler optimizations on the dataflow graph provided by the user.

PiperOrigin-RevId: 190097586

Supports PReLU in TFLite & Toco.

PiperOrigin-RevId: 190097557

Run the grappler optimizer tests both on GPU and CPU

PiperOrigin-RevId: 190097168

Eager/g3doc: Gradients with respect to constants are None and not 0.

Same behavior as tf.gradients() for graphs.
Some discussion of this choice in #783

PiperOrigin-RevId: 190096919

Adds remaining validations in sequence_numeric_column.

PiperOrigin-RevId: 190094883

Automated g4 rollback of changelist 189819449

PiperOrigin-RevId: 190087074

Small cleanup StrCat related number formatting

- Resolve inconsistency in return values (pointer to start vs end of buffer)
- Instead, return the number of chars written as this turns out to be most useful to callers
- Removes the need for redundant strlen calls.

PiperOrigin-RevId: 190085812

Mark tensor as const in a function that does not mutate a tensor.

PiperOrigin-RevId: 190085757

Omit tensorflow/python/estimator:replicate_model_fn_test from asan builds.
It gets flaky timeouts.

PiperOrigin-RevId: 190084932

Template system improvements: allow replacing keyword args. Allow using function calls and dicts in name replacements.

PiperOrigin-RevId: 190083700

Simplifying "is" and "is not" dispatch

PiperOrigin-RevId: 190078959

[XLA] Only overwrite the hlo_profiling flag when it's not enabled by default.

This got broken in 504d103a405654f029e8902d97d4dd8f3aa07513

PiperOrigin-RevId: 190077360

Disable over-aggressive shape inference

PiperOrigin-RevId: 190074445

Methods to work with symbolic tensor shapes.

PiperOrigin-RevId: 190071400

Fix QN for Calls.

PiperOrigin-RevId: 190067548

Automatically insert api-links.

If the contents of a pair of back-ticks match a public api symbol name insert a link.

PiperOrigin-RevId: 190051941

Update file due to changes in Bazel (PACKAGE_NAME is deprecated)

PiperOrigin-RevId: 190051589

Allow to download clang and use clang for CPU builds.

Previously we only allowed to download clang when doing GPU builds.

The added skylark files use bazel's autoconf scripts, which were only added in
0.10.0. To provide nice error message for older versions of bazel
(i.e. 'version is less than 0.10' vs 'can't load @bazel_tools/cpp/...'), we
move the bazel version check into WORKSPACE file from workspace.bzl.

PiperOrigin-RevId: 190050798

Add a utility that converts call keyword arguments into dicts, in AST space.

PiperOrigin-RevId: 190047495

Java: Release 1.7.0-rc1

PiperOrigin-RevId: 190028714

TFLite: Ensure only 1 scale/zero_point is in QuantizationParam.
PiperOrigin-RevId: 190027163

Minor style improvement in TFLite interpreter_test.py

PiperOrigin-RevId: 190027161

Automated g4 rollback of changelist 190001737

PiperOrigin-RevId: 190021164

Merge changes from github.

PiperOrigin-RevId: 190020572

Simplified the experimental APIs related to TPU execution, by moving the graph
rewrite functionality out of it.

PiperOrigin-RevId: 190016936

Add tensor quantization info to python wrapper

PiperOrigin-RevId: 190005998

Moves TFE_Executor to common_runtime

PiperOrigin-RevId: 190001737

[tf.data] Do not crash when combining .cache().take().repeat()

Currently, if the .cache() iterator is not fully consumed before
being repeated, it will cause an exception to be raised to Python.
Instead, cache should act as an identity transformation and log
an error, as this will not affect the correctness of the user's
program (at the cost of an unexpected performance cost: i.e. not
actually caching).

PiperOrigin-RevId: 189999552

Added an experimental C API to dump TF_Graph in a human-readable format, for
debugging purposes.

PiperOrigin-RevId: 189997099

Small convenience changes.

PiperOrigin-RevId: 189996801

Shorter definitions for elementwise_ops in op_level_cost_estimator.

PiperOrigin-RevId: 189983460

Change Softmax on CUDA to use fp32 for denominator when input/output are fp16.

This avoids potential overflow in the denominator, also makes sure accumulation is done
in high precision.

PiperOrigin-RevId: 189982655

[TF:XLA] do not emit bfloat16 sum reductions from tf2xla

bfloat16 is a storage format, not a computation format. Doing reductions in
this reduced precision is prone to quickly overflow.  Instead, emit a float32
computation, and wrap the reduce params and result in conversions to and from float32.

PiperOrigin-RevId: 189977590

Add an alternative "no_contrib" BUILD target to tensorflow/python to avoid including contrib packages

PiperOrigin-RevId: 189973359

Avoid taking a reference on a temporary value

PiperOrigin-RevId: 189967517

[XLA][BF16] Add bf16 rounding function.

We now use truncation to convert a F32 to BF16 by default. This CL adds a rounding method (basically a roll forward of the rounding part in cl/175252067).

PiperOrigin-RevId: 189965138

[docs] Update explicit latest_checkpoint with `path` returned while saving for object-based checkpointing.

PiperOrigin-RevId: 189962437

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 189960595

Update ops-related pbtxt files.

PiperOrigin-RevId: 189957912

[TF CriticalSection] Bugfix when Execute() inside a while_loop has a dep on a Variable outside of it.

PiperOrigin-RevId: 189957569

Make strcat.{h,cc} independent of Eigen.

PiperOrigin-RevId: 189954596

Temporarily disable constant folding past Enter, since a few breakages have been observed.

PiperOrigin-RevId: 189952252

Further improve accuracy of op_level_cost_estimator (Gather, GatherV2, Slice).

PiperOrigin-RevId: 189952132

[XLA] Adding more tests for ReduceWindow.

PiperOrigin-RevId: 189950361

Made sure to compare all the attributes when comparing nodes

PiperOrigin-RevId: 189946858

Merge changes from github.

PiperOrigin-RevId: 189945839

Fix compilation error with clang.

Link to breaking CI build:
https://ci.tensorflow.org/view/Nightly/job/nightly-matrix-linux-gpu-clang/232

PiperOrigin-RevId: 189944547

Don't run data_utils_test without optimizations.

PiperOrigin-RevId: 189941645

Make the graph_editor C-API friendly: always construct ops with their inputs.

PiperOrigin-RevId: 189941495

Update ops-related pbtxt files.

PiperOrigin-RevId: 189937564

Allowing dnn tree combined estimator to work with core versions of feature columns and losses

PiperOrigin-RevId: 189937063

Moves KernelAndDevice to common_runtime

PiperOrigin-RevId: 189936396

Adding `drop_remainder` option for the `map_and_batch` transformation, which allows the user to express whether they wish to drop the last batch if its size is smaller than desired; the default is not to drop the smaller batch.

PiperOrigin-RevId: 189936029

Update the doc to reflect the change of replacing std::clock with random::New64() as random number generator seed.

PiperOrigin-RevId: 189934377

[XLA:GPU] Don't crash if a GTE feeds into a bitcast.

GTE and bitcast are sort of "implicitly fused", so we have to handle
them in this way.

PiperOrigin-RevId: 189931422

Fix zipfile path for MacOS builds.

For some reason, the zipfile module on Macs appears to work differently and
complains about the whl file we are trying to extract not being found.

PiperOrigin-RevId: 189928007

Collapse adjacent dimensions that have no paddings.

For example,

tf.pad(<4D tensor>, [[0, 0], [0, 0], [0, 0], [0, 1]])

is equivalent to a 2D pad, which is faster.

PiperOrigin-RevId: 189926996

Added an option to run shape analysis assuming the shapes of the feed nodes are
valid.

PiperOrigin-RevId: 189923541

Deletes sequential_feature_column(|_test).py.

PiperOrigin-RevId: 189919029