bug fix: evaluate nodes before swap the original graph

PiperOrigin-RevId: 190291844

Moves TensorHandleCopyToDevice to TensorHandle::CopyToDevice.

PiperOrigin-RevId: 190291768

[XLA] Redesign: implement local client and local service interface.

PiperOrigin-RevId: 190291400

Extended scatter operations to work with a scalar update parameter and added scatter-min and scatter-max operations.

PiperOrigin-RevId: 190289664

[XLA:CPU] Update calls to IRBuilder::CreateMemCpy to the 2-alignment form.

The single alignment version is going away.

PiperOrigin-RevId: 190288581

[XLA] Don't CSE instructions which have side-effects

PiperOrigin-RevId: 190285774

Adding support for analyzing assignment info for nested tuples.

PiperOrigin-RevId: 190285584

[TF:XLA] Fix PotentiallyImplementedAsEigenConvolution to use the correct shape as the kernel shape

A small bug is found in accessing the kernel's shape of the convolution instruction in PotentiallyImplementedAsEigenConvolution. The bug was fixed and a new testcase is created to reveal the bug.

PiperOrigin-RevId: 190282385

Convert the eager SPINN example to use tf.keras.Model and object-based checkpointing.

Uses a more recursive/functional tracking style which avoids numbering layers. Maybe this is too magical and we should adapt tf.keras.Sequential first? Let me know what you think.

PiperOrigin-RevId: 190282346

add EvaluateNodes to OpDedupping test.

PiperOrigin-RevId: 190282163

Prepare the XLA and TF code to correctly behave once automatic device placement will be enabled by default on computation shapes > 1.

PiperOrigin-RevId: 190278826

Benchmarker for LPIRC CVPR2018.

PiperOrigin-RevId: 190276899

Fix buffer overflow when fetching resources.

PiperOrigin-RevId: 190273682

Fix behavior of bucket_by_sequence_length with tuple Dataset elements
Fixes #17932

PiperOrigin-RevId: 190270732

[XLA] Implement the whole graph execution interface and make a test use XlaBuilder.
- Add Client::ExecuteGraph.
- Make client_library_test_base also (partially) support XlaBuilder by using template.
- Make one testcase in the axpy_simple_test use XlaBuilder. The test was slightly changed because currently the builder does not expend implicit broadcast automatically.

PiperOrigin-RevId: 190268658

Moves TensorHandle to common_runtime

PiperOrigin-RevId: 190265301

Updates reduce_mean op.

PiperOrigin-RevId: 190264873

* Added links to Machine Learning Crash Course.
* Removed a link to the script that diagnosed Windows installation errors
  because that script is now deprecated.

PiperOrigin-RevId: 190264199

[XLA] Redesign: add public methods that create XlaOp.

This is basically copying and pasting the public builder methods from ComputationBuilder and leave the implemention blank.

PiperOrigin-RevId: 190258687

[XLA:CPU] Task parallel assignment should not parallelize kRng, kInfeed, and kOutfeed.

Add two test cases.

PiperOrigin-RevId: 190257131

[XLA] Allow reshape mover to move transpose across broadcast of a scalar value.

This allows the simplification of pattern "transpose elementwise-ops inversed
transpose" to "elementwise-ops".

Add a test case.

PiperOrigin-RevId: 190254501

Using rounding when converting constants in BF16 propagation.

PiperOrigin-RevId: 190251081

Move NullFileSystem to its own file.

PiperOrigin-RevId: 190249020

Move security documentation to the main TensorFlow site for better visibility, and leave a stub SECURITY.md pointing users there.

PiperOrigin-RevId: 190244853

Changes loss_reduction default to SUM_OVER_BATCH_SIZE for multi_label_head.

PiperOrigin-RevId: 190244159

Override `__str__` and `__repr__` in `tf.distributions.Distribution`.

PiperOrigin-RevId: 190243989

Adds support for SavedModel to TOCO.

PiperOrigin-RevId: 190242571

Slightly tweak the whitelist checking mechanism.

PiperOrigin-RevId: 190242423

Automated g4 rollback of changelist 190139303

PiperOrigin-RevId: 190242291

Raise the timeout of tests that are somewhat close to the limit, to avoid them timing out.

PiperOrigin-RevId: 190239334

Only run GPU version of memory_optimizer_test.

PiperOrigin-RevId: 190238306

Check for the existence of an annotation before attempting to fetch it.

PiperOrigin-RevId: 190236717

Silence compilation warning in allocator.h

Some builds report the following warning (even though LOG(FATAL) is terminal):

```
./tensorflow/core/framework/device_base.h(188): warning: missing return statement at end of non-void function "tensorflow::DeviceBase::GetScopedAllocator"
```

PiperOrigin-RevId: 190235863

Merged commit includes the following changes:
190228434  by A. Unique TensorFlower:

    internal change only

--
190215102  by A. Unique TensorFlower:

    Remove placement strategy from Fisher estimator and add it in as Mixin.
    A new Kfac Optimizer sub class which runs covariance and inverse ops periodically. This should deprecate lazykfac.

--
190211603  by A. Unique TensorFlower:

    Internal only

--

PiperOrigin-RevId: 190228434

Fix HloSharding::ToString to be compatible with the HLO text parser

The incompatibility made it impossible to parse HLO modules with
sharding attributes printed from a previous run of XLA. The previous
format generated by this function was ambigious so changing the HLO
parser only wouldn't be feasible.

PiperOrigin-RevId: 190208069

Use int32 GPU kernel for StopGradient

PiperOrigin-RevId: 190204238

Implement operator<< for HloSharding

The new operator makes the error messages coming from gtest more
readable as well as making logging easier.

PiperOrigin-RevId: 190200926

Internal change

PiperOrigin-RevId: 190199534

Enable fusion of element-wise ops using XLA (Off by default, can be enabled by setting the flag tf_xla_fusion_only=true).

PiperOrigin-RevId: 190179459

Add cast op support for bfloat16 in CPU.

PiperOrigin-RevId: 190173501

Added experimental C APIs to build a hard-coded stack of dataset + iterator.

PiperOrigin-RevId: 190170332

Improvements to quantization matching code:

- Guarantee that we do the largest matches first.
- Don't allow matching layers multiple times.
- Don't allow adding quantization ops to the same node multiple times.
- Return a list of match results rather than yielding. This is much easier to reason about.
- Only require ReadVariableOp when matching resource variables, since the input to ReadVariableOps don't necessarily have to be a VarHandleOp.
- Place post activation bypass ops quantization nodes in the same post activation bypass op's name scope for better viewing.

PiperOrigin-RevId: 190169622

Rollback of GCS change.
END_PUBLIC

BEGIN_PUBLIC
Automated g4 rollback of changelist 189900977

PiperOrigin-RevId: 190169076

Checkpointable: Add a way for subclasses to manage deferred restorations of conditional dependencies.
PiperOrigin-RevId: 190166571

Refactor keras.Sequential and enable building Sequential models without specifying an input shape in advance (the model gets built on fit/etc, like subclassed models).

PiperOrigin-RevId: 190161771

Merge changes from github.

PiperOrigin-RevId: 190161440

[tf.data] Add `tf.contrib.data.prefetch_to_device()`, which supports prefetching to GPU memory.

PiperOrigin-RevId: 190158272

Add asserts for LinearOperatorBlockDiag.

All asserts are only dependent on the constituent operators due to properties of the direct sum.

PiperOrigin-RevId: 190156830

Convert saved_model to tflite flatbuffer.

PiperOrigin-RevId: 190156133

Disable test tensorflow/contrib/linalg:linear_operator_block_diag_test in asan mode

PiperOrigin-RevId: 190154645

Checkpointable: Fix a bug where SaveableObjects in the Saver's var_list were stale when executing eagerly

SaveableObjects were recreated each save(), but the Saver was not recreated and so had an old var_list.

PiperOrigin-RevId: 190153011

Delete all the name_scopes in the TPU code so that tf.Variable() doesn't inherit them.

PiperOrigin-RevId: 190146946

Remove cached tensors from LinearOperator.

CSE should already ensure that tensors are deduped (i.e. multiple Cholesky's for the same matrix are not performed).

This also makes it easier to use LinearOperators in tf.while_loop.

PiperOrigin-RevId: 190141732

Automated g4 rollback of changelist 190127730

PiperOrigin-RevId: 190139303

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 190138848

Instead of depending on ctest to be in PATH, directly reference the binary.

PiperOrigin-RevId: 190137278

Disable the test tensorflow/core/grappler/optimizers:memory_optimizer_test for cuda_on_cpu

PiperOrigin-RevId: 190136546

Update ops-related pbtxt files.

PiperOrigin-RevId: 190134484

Explicitly disallow returning variables from a tfe.py_func.

PiperOrigin-RevId: 190134382

Add kwargs support to wrap_py_func. Also includes some fixes to the reference tests and an actual test for wrapping NumPy function that uses kwargs.

PiperOrigin-RevId: 190133811

Move cuDNN RNN ops to core, for use in the internal TF codebase only (not publicly exposed).

RELNOTES: Moved cuDNN RNN ops to core.
PiperOrigin-RevId: 190130405

Automated g4 rollback of changelist 190021164

PiperOrigin-RevId: 190129094

Merge consecutive broadcast HLO instructions.

As an optimization, replace consecutive broadcast instructions with a single equivalent broadcast in algebraic simplification.

PiperOrigin-RevId: 190127730

Remove use of deprecated API from RNN Colorbot example.

PiperOrigin-RevId: 190125356

Update tf.keras preprocessing to Keras 2.1.5 API

PiperOrigin-RevId: 190123773

Adds float64 support for Conv2d, Conv2dBackpropInput, and Conv2dBackpropFilter

PiperOrigin-RevId: 190123191

Fetch C shapes for ops created by import_graph_def with C API enabled.

If _USE_C_API = True, this change makes us always fetch shapes using
the C API after calling TF_ImportGraphDef, even if _USE_C_SHAPES =
False. This is necessary to preserve the shapes specified by the
"_output_shapes" attr on imported NodeDefs (note that this attr isn't
present on the NodeDefs of the imported nodes, so there's no other way
to recover this information after calling TF_ImportGraphDef).

PiperOrigin-RevId: 190122991

Supports optimizer arg in head.create_estimator_spec.

PiperOrigin-RevId: 190121386

Fix cases where we export incorrect symbol with tf_export. This can happen when
both generated op and its python wrapper have tf_export decorator.
create_python_api.py now checks that we don't export different symbols with same name. Also, simplified some logic.

PiperOrigin-RevId: 190120505

Code cleanup: rather than storing the outside_compilation shape inference graph as a serialized GraphDef in an attr, put it into the function library.

PiperOrigin-RevId: 190118116

Disable all the automatic optimizations when testing, to ensure that we can
properly compare the results of the original graph against that of the hand
optimized graph.

PiperOrigin-RevId: 190115606

Allow specifying in the arrays extra info file:
 - the shape of the array
 - the hardcoding of the values of the array as a single repeated constant
   scalar value, turning an activations array into a constant array.

PiperOrigin-RevId: 190115218

Disable testing flaky tensorflow/contrib/eager/python/examples/spinn:spinn_test under py3

PiperOrigin-RevId: 190112748

Make api_compatibility_test output verbose by default.

PiperOrigin-RevId: 190110866

Add tf.contrib.framework.argsort, wrapping tf.nn.top_k (#288).

Comparable to np.argsort.

PiperOrigin-RevId: 190109968

Merges predict export_outputs in multi_head.

PiperOrigin-RevId: 190108434

Make GetLocalTemporaryDirectories() a virtual method of Env, that is overriden
by the implementations.

PiperOrigin-RevId: 190102851

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 190102805

Cleanup: replace an errant `in_eager_mode()` with `executing_eagerly()`.

PiperOrigin-RevId: 190098277

Add new Ops for ScopedAllocator and the associated Concat and Split.  The
ScopedAllocatorOp allocates a large backing tensor whose slices may be
concatenated or splitted with ScopedAllocatorConcatOp and
ScopedAllocatorSplitOp respectively.  These ops should only be added via
Grappler optimizations on the dataflow graph provided by the user.

PiperOrigin-RevId: 190097586

Supports PReLU in TFLite & Toco.

PiperOrigin-RevId: 190097557

Run the grappler optimizer tests both on GPU and CPU

PiperOrigin-RevId: 190097168

Eager/g3doc: Gradients with respect to constants are None and not 0.

Same behavior as tf.gradients() for graphs.
Some discussion of this choice in #783

PiperOrigin-RevId: 190096919

Adds remaining validations in sequence_numeric_column.

PiperOrigin-RevId: 190094883

Automated g4 rollback of changelist 189819449

PiperOrigin-RevId: 190087074

Small cleanup StrCat related number formatting

- Resolve inconsistency in return values (pointer to start vs end of buffer)
- Instead, return the number of chars written as this turns out to be most useful to callers
- Removes the need for redundant strlen calls.

PiperOrigin-RevId: 190085812

Mark tensor as const in a function that does not mutate a tensor.

PiperOrigin-RevId: 190085757

Omit tensorflow/python/estimator:replicate_model_fn_test from asan builds.
It gets flaky timeouts.

PiperOrigin-RevId: 190084932

Template system improvements: allow replacing keyword args. Allow using function calls and dicts in name replacements.

PiperOrigin-RevId: 190083700

Simplifying "is" and "is not" dispatch

PiperOrigin-RevId: 190078959

[XLA] Only overwrite the hlo_profiling flag when it's not enabled by default.

This got broken in 504d103a405654f029e8902d97d4dd8f3aa07513

PiperOrigin-RevId: 190077360

Disable over-aggressive shape inference

PiperOrigin-RevId: 190074445

Methods to work with symbolic tensor shapes.

PiperOrigin-RevId: 190071400

Fix QN for Calls.

PiperOrigin-RevId: 190067548

Automatically insert api-links.

If the contents of a pair of back-ticks match a public api symbol name insert a link.

PiperOrigin-RevId: 190051941

Update file due to changes in Bazel (PACKAGE_NAME is deprecated)

PiperOrigin-RevId: 190051589

Allow to download clang and use clang for CPU builds.

Previously we only allowed to download clang when doing GPU builds.

The added skylark files use bazel's autoconf scripts, which were only added in
0.10.0. To provide nice error message for older versions of bazel
(i.e. 'version is less than 0.10' vs 'can't load @bazel_tools/cpp/...'), we
move the bazel version check into WORKSPACE file from workspace.bzl.

PiperOrigin-RevId: 190050798

Add a utility that converts call keyword arguments into dicts, in AST space.

PiperOrigin-RevId: 190047495

Java: Release 1.7.0-rc1

PiperOrigin-RevId: 190028714

TFLite: Ensure only 1 scale/zero_point is in QuantizationParam.
PiperOrigin-RevId: 190027163