Fix a bug in updating NodeMap, where the node name without port number should
have been used.

PiperOrigin-RevId: 181532901

Improved performance of tf.image.rgb_to_grayscale. Roughly 4 times faster on CPU and 10% faster on GPU.

PiperOrigin-RevId: 181528321

Make test_utils_test.py work with C API enabled.

PiperOrigin-RevId: 181527872

Add --fat_apk_cpu=arm64-v8a for arm64 Android builds

Bazel silently uses the wrong build settings for --config=android_arm64 (--cpu=arm64-v8a is not enough), and actually still uses armeabi-v7a in at least some cases. --fat_apk_cpu fixes this.

See #15581 for more.

PiperOrigin-RevId: 181525260

Reverted Raspberry Pi Docker files back to Ubuntu 14.04, instead of 16.04, to fix toolchain installation error

PiperOrigin-RevId: 181524891

Propagate static shape info in AttentionWrapperState.clone() if possible.

Fixes #15737

PiperOrigin-RevId: 181523430

Do not optimize out Identity nodes if specified as output.

PiperOrigin-RevId: 181523204

[TF:XLA] Fix infinite loop in HLO data flow analysis.

Merge input values at phi nodes correctly: If a phi operand is the phi itself,
and the other operands are all the same, then the phi node is redundant.

PiperOrigin-RevId: 181521522

Added a utility function to create a grappler item from a function definition

PiperOrigin-RevId: 181519635

[XLA] Clean up our handling of ExecutionProfile and add a test case

ExecutionProfile::compute_cycle_count never worked for CPU and GPU with Hlo
profiling disabled, as far as I can tell.
PiperOrigin-RevId: 181517824

Fix bug in the conversion of while loops. The while_loop's initial value needs to use the scope symbols, not their last assigned value.

PiperOrigin-RevId: 181511978

Remove host_spec attr from TPU configuration ops since it isn't used any more.

PiperOrigin-RevId: 181511871

Fix python/framework/subscribe.py and test to work with C API enabled.

PiperOrigin-RevId: 181511142

Revert PlaceholderWithDefault logic in constant_folding.cc.

Runtime constant folding after the graph has been rewritten to include any
feeds, so it's safe and desirable to constant fold PlaceholderWithDefaults
at this point.

PiperOrigin-RevId: 181510650

Adding a new test case for tf.contrib.receptive_field.

PiperOrigin-RevId: 181508517

Remove the gradients function converter now that we can use the tape method.

PiperOrigin-RevId: 181506626

Support nesting EagerTemplate objects.

* Nesting is implemented by sharing a single EagerVariableStore among a top-level EagerTemplate and all children EagerTemplate objects that are nested underneath it. Variables added to an EagerTemplate object are also added to all EagerTemplate objects under which it is nested.
* This change also simplifies the implementation of __call__ for both Template and EagerTemplate.

PiperOrigin-RevId: 181506600

Attempt to fix #15951

MacOS build fails for missing include of <array>

PiperOrigin-RevId: 181506335

Fix flaky training tests. Reenable the tests.

PiperOrigin-RevId: 181505090

Allow gRPC Workers to use configure the number of threads driving work on both client and server side. Thread count is hardcoded to 8 for now, should be tuned in the future.

PiperOrigin-RevId: 181504374

Add lite version of ios_tensorflow_lib to exclude operations. This makes it easier to package custom ops (tfmini) with the core binary on iOS.

PiperOrigin-RevId: 181503662

Extend `assertAllClose()` so it supports namedtuples.
For example, if you have defined a namedtuple called `MyNamedTuple`, and there are two variables `a=MyNamedTuple(...)`, and `b=MyNamedTuple(...)`, you can directly call `assertAllClose(a, b)` if you intend to know if the two namedtuples are close elementwise.

PiperOrigin-RevId: 181501832

[XLA] Name conv/dot fusion nodes conv_fusion.42 / dot_fusion.42.

These fusion categories are really just a way of expressing a particular
kind of dot or conv. This makes them easier to differentiate from
"proper" fusion nodes.

We also change the category of these instructions so that in the HLO
profile, e.g. conv-fusion shows up under the convolution category,
rather than under "fusion".

PiperOrigin-RevId: 181499300

Merge changes from github.

PiperOrigin-RevId: 181494416

Add BF16 test for reverse.

PiperOrigin-RevId: 181494232

Relax text comparison for numpy formatting of arrays

* Previously, strong assumptions were made about how numpy.ndarrays
  are formatted as strings. This led to breakages due to certain
  unclear changes in numpy or its dependencies. This CL relaxes the
  assumption and fix the affected tests for tfdbg and eager.
* The tests in tensor_format_test.py are simplified through helper
  methods.

PiperOrigin-RevId: 181494182

The gan training test is flaky. Disabling it.

PiperOrigin-RevId: 181493377

Add support for method calls with no return value. Only supports objects of types whitelisted to remain uncompiled.

PiperOrigin-RevId: 181493349

Cleanup (remove unused method) before adding tensorrt configurations.

PiperOrigin-RevId: 181469026

1) Bug fix: reuse discriminator_scope when re-applying discriminator_fn.
2) Bug fix: explicitly set tensor pool output_values shape.

PiperOrigin-RevId: 181467812

Add support for more types for Pad.

PiperOrigin-RevId: 181467627

Handle empty squeeze dimensions.

PiperOrigin-RevId: 181422479

[TF:XLA] Reduce boilerplate in ComputationBuilder op implementations.

This makes the code a bit easier to read, and less likely we'll accidentally
forget to set common fields for any new ops. A similar pattern is used for every
op:

  ComputationDataHandle ComputationBuilder::Foo(...) {
    OpRequest op_request;
    FooRequest* request = op_request.mutable_foo_request();
    // ... fill in specific request ...
    return RunOpAndParseResponse(&op_request);
  }

No functional changes.

PiperOrigin-RevId: 181415608

[XLA::GPU] Pass xla_backend_extra_options to the GPU backend.

Move InitializeLLVMCommandLineOptions from cpu_compiler.cc to llvm_util.cc to
make it available to the GPU backend.
Call InitializeLLVMCommandLineOptions when initializing the GPU backend.

PiperOrigin-RevId: 181414589

[XLA] Ensure that IR is dumped if the LLVM verifier fails.

Without this change, if verification of the LLVM IR failed, we'd bail
out before dumping the IR.  All this even though our error message
helpfully suggests passing --xla_dump_ir_to!

PiperOrigin-RevId: 181410671

Remove smart pointers from SQLite veneer

Sqlite now extends tensorflow::core::RefCounted which is a better practice for
code in the TensorFlow codebase.

A few other trivial changes were snuck in. There's now a db->changes() method.
Error messages will also display the SQLite extended result code, which can be
looked up by hand with some difficulty, just in case the error message string
doesn't reflect the whole nuance of something like an i/o error.

PiperOrigin-RevId: 181410358

Add assertion to prevent generation of degenerate linear_to_mel_weight_matrix.

Prior to this change if upper_edge_hertz is larger than sample_rate / 2 (the highest frequency present in the linear spectrogram), the returned matrix would contain columns that are all zeros.

This is likely a surprising result for those that are unfamiliar with signal processing, so it seems safer to raise an exception on such a misconfiguration than to silently allow users to generate poorly behaved features.

PiperOrigin-RevId: 181407176

Update ops-related pbtxt files.

PiperOrigin-RevId: 181405525

Raise an error if the variable names in WarmStartSettings aren't actually used.

PiperOrigin-RevId: 181404919

Go: Update generated wrapper functions for TensorFlow ops.

PiperOrigin-RevId: 181398752

profiler C++ API.

PiperOrigin-RevId: 181397308

Added a "Getting Started with TensorFlow for ML Beginners" chapter to Get
Started section.

PiperOrigin-RevId: 181396430

Replace get_started

Also add sub-sections to leftnav files,
and sync leftnav and index files.

PiperOrigin-RevId: 181394206

[tf.data] Store the `FunctionLibraryDefinition` for restored iterators in the resource.

This will make it possible to use the experimental `overlay_lib` to
instantiate and run functions from a restored iterator's graph using
the shared `FunctionLibraryRuntime`.

PiperOrigin-RevId: 181392925

Remove regex for Gather tests. We don't test int64 indices at all.

PiperOrigin-RevId: 181390058

Do not record operations or watch tensors/variables when the thread tape is disabled.

PiperOrigin-RevId: 181390045

Make replicate_model_fn more flexible to simplify users' model_fn.

If there is only one device then replication/aggregation overhead isn't added.  It is okay to not use TowerEstimator if there is only one device.  It is okay to use TowerEstimator but not use replicate_model_fn.

PiperOrigin-RevId: 181388296

   [tpu:profiler] Capture the data for generating an overview page of the profiling results.

PiperOrigin-RevId: 181387984

Removing op_gen_overrides.proto and references. Overrides in op_gen_overrides.pbtxt are a part of tensorflow/core/api_def/base_api/.

PiperOrigin-RevId: 181386873

Allow 1D, 2D and 3D tensors in L2Norm

PiperOrigin-RevId: 181384430

Simplify replicate_model_fn.GatheringOptimizer inspired by the past comments.

- I worked around the need to rely on Optimizer.__class__ for keeping track of the gradients. Now we are relying on the order of collecting them.  I also added a basic verification that all towers have indeed called the same number of optimizers.
- I now allow the user to increment global step however many times they wish.

The changes above allowed me to support using the same optimizer class multiple times in a tower.

I also renamed GatheringOptimizer to TowerOptimizer, which is a breaking change.  #lifeincontrib

PiperOrigin-RevId: 181381569

Better detect the amount of device memory that's available

PiperOrigin-RevId: 181381477

Disable contrib/data interleave_dataset_op_test as it is timing out on some Kokoro runs: https://source.cloud.google.com/results/invocations/d276e288-4664-4b17-aac2-b0dfaff45b17/targets/%2F%2Ftensorflow%2Fcontrib%2Fdata%2Fpython%2Fkernel_tests:interleave_dataset_op_test/tests

PiperOrigin-RevId: 181374381

[TF:XLA] Bump open source llvm revision to r322011

PiperOrigin-RevId: 181373542

[TF:XLA] Use broadcasts instead of larger constants for image resizing.

PiperOrigin-RevId: 181369272

Automated g4 rollback of changelist 180691955

PiperOrigin-RevId: 181365803

Extend the type info analyzer to cover variables declared using with statements.
This allows constructs of the kind:

  with tfe.GradientTape() as tape:
    tape.gradients(...)

PiperOrigin-RevId: 181358791

Introduce global_id_in_cluster in RunConfig.

PiperOrigin-RevId: 181354785

High level API. The public interface is found in api.py.

PiperOrigin-RevId: 181352929

[XLA] Make HLO categorization a bit more sane.

Remove meaningless distinctions between fusion nodes. Knowing whether a loop fusion op is "elementwise" (~ doesn't contain any broadcast inputs) doesn't provide any useful information.

PiperOrigin-RevId: 181352880

Add experimental `FunctionLibraryRuntime::InstantiateOptions::overlay_lib`.

This option makes it possible to instantiate functions from a library
that has been loaded separately from the runtime's own library. We
plan to use this as part of the `tf.data` checkpoint restore process,
which might load an iterator whose state includes functions that
aren't present in the original graph. (This is currently achieved by
creating an isolated `FunctionLibraryRuntime` for each function-using
`Dataset`, but that is inefficient and prevents using features of the
main runtime, such as cross-device function calls.)

PiperOrigin-RevId: 181352217

Implement `tf.data.Iterator` methods and properties in  `tf.contrib.eager.Iterator`.

Also fixes `tf.contrib.eager.Iterator` so that it can work with
datasets containing `tf.SparseTensor` components.

This change allows you to use the `get_next()` method, `output_types`
property, `output_shapes` property, and `output_classes` property from
`tf.data.Iterator` when constructing a `tf.contrib.eager.Iterator`;
and therefore makes it easier to write code that operates on an
`Iterator` in both eager and graph mode.

PiperOrigin-RevId: 181350797

Replaces std::random_shuffle by std::shuffle for C++17 compatibility.

PiperOrigin-RevId: 181350723

[XLA] Elide unnecessary local client creations in SWIG API.

PiperOrigin-RevId: 181350574

Removing dnn_linear_combined_test from msan testing.

PiperOrigin-RevId: 181349010

Fix type attribute name for Cast.

PiperOrigin-RevId: 181348431

Adding support for const ops that "broadcast" their own values.

PiperOrigin-RevId: 181345661

Support FusedBatchNorm layer in receptive field calculation.

PiperOrigin-RevId: 181345319

Adding a CLIF library for generic_tree_model.proto

PiperOrigin-RevId: 181341793

Fix _warmstart_var_with_vocab to truly accept either a checkpoint dir or a direct path to checkpoint files.

PiperOrigin-RevId: 181341437

Fix typo in ValueError string.

PiperOrigin-RevId: 181340112

[XLA] Run the LLVM verifier after lowering HLO -> LLVM IR.

This way if we generate bad IR, we emit a nice error message, instead of
(probably) crashing somewhere in LLVM.

PiperOrigin-RevId: 181334588

Exposes runmetadata from tfe in python.

PiperOrigin-RevId: 181317960

Don't pass '-no-canonical-prefixes' when collecting builtin includes.

It matches the way bazel's autoconf works and seems to be the right thing to
do.
This change should fix #14380.

PiperOrigin-RevId: 181305871

Forward-mode automatic differentiation for Tensorflow.

PiperOrigin-RevId: 181297995

[XLA:Tool] Fix an error message in the Hlo parser: should report unexpected subattribute's location correctly.

PiperOrigin-RevId: 181265992

Avoid deadlock by sleeping for a longer duration.

PiperOrigin-RevId: 181263637

subtract the task's size from the batch's when removing it.

PiperOrigin-RevId: 181262266

Automated g4 rollback of changelist 181243048

PiperOrigin-RevId: 181260801

Fix typo in comment TFE_Execute

PiperOrigin-RevId: 181260751

[TF:XLA] Bump open source llvm revision to r321863

PiperOrigin-RevId: 181259191

[TF:XLA] Add while loop invariant code motion

This new pass extracts out loop invariant computations out of while loops into
their parent computations.

Right now this is enabled only for the CPU backend.

PiperOrigin-RevId: 181256166

[XLA] Fix spelling in error message; NFC

PiperOrigin-RevId: 181256065

Don't treat PlaceholderWithDefaults as constants.

Without this, the shape refiner will use the shape of the default, which may
be more precise than the specified shape. This would cause util_test to
fail with the C API enabled.

PiperOrigin-RevId: 181253665

Make meta_graph_test.py work with C API enabled.

This mainly means changing test_util.assert_meta_graph_protos_equal to
call assert_equal_graph_def instead of comparing the GraphDef protos
using assertEquals, since the NodeDefs are in a different order with
the C API enabled. It also makes assert_equal_graph_def treat inputs
'tensor' and 'tensor:0' as equal (they're both valid).

PiperOrigin-RevId: 181252488

Ignore nodes that are going to be swapped when computing max memory usage

PiperOrigin-RevId: 181248577

Go: Update generated wrapper functions for TensorFlow ops.

PiperOrigin-RevId: 181247809

Fix the threading model of gradient tapes.

The set of tapes needs to be global to enable multithreaded programming
(when it's natural for tensors to cross threads during reduction operations)
but each thread still needs to be able to locally pause recording while
it does gradient-related bookkeeping (like custom gradients or initialization).

Also removes a mutex from the thread-local structure since it's unnecessary
as we're always holding the GIL while calling across the python-c boundary
unless we explicitly release it.

PiperOrigin-RevId: 181246570

[XLA] Initial sparse layout support

Adds SparseIndexArray and support methods to Literal. SparseIndexArray manages
the array of sparse indices and is exposed by sparse Literals.

Also adds HloSupportChecker classes for CPU and GPU.  This will be run as the
first HloPass during compilation, and verifies that the graph is supported by
the backend.  Currently only verifies shapes, and that the layout is not sparse
since no backend supports sparse layouts yet.

PiperOrigin-RevId: 181244401

[TF:XLA] Pass CompileOptions into XlaCompilationCache::Compile.

PiperOrigin-RevId: 181243048

Materialize BroadcastGradientArgs by default instead of just doing so in aggressive mode. This ensures that we optimize gradient computations in the presence of variable batch sizes.

PiperOrigin-RevId: 181242749

Fixes the TF Lite Makefile so that it correctly adds flags to link with the dl
lib on Linux.  This matches the configuration in the contrib/makefile/Makefile.

PiperOrigin-RevId: 181239691

[XLA] Add tests for conditionals that return tuples and whose predicate operands are external parameters.

PiperOrigin-RevId: 181237427

[XLA:GPU] Warn if ptxas or the driver JIT has known bugs.

We try to compile ptx->sass using ptxas, and fall back to the driver JIT
only if this fails.  So we only warn about a bad driver JIT version if
we actually use the driver to compile our ptx.

This change also quiets a LOG(INFO) to a VLOG(1) in cuda_diagnostics.cc
so we don't spit out the full contents of the driver file when we query
it.

PiperOrigin-RevId: 181235275

Enable _warmstart() to work with un-partitioned variables.

PiperOrigin-RevId: 181233898

grabbing the graph_def from the C API instead of depending on the python graph_def: the C-API had an experimental field that is stripped when empty to match the python implementation.

PiperOrigin-RevId: 181233777

Fix sample_benchmark target path in documentation.

PiperOrigin-RevId: 181232554

Fix bug in template_test's test_nested_templates method.

PiperOrigin-RevId: 181230269

Remove third_party/ prefixes.
Closes #15674.

PiperOrigin-RevId: 181225180

Very minor edits to performance_guide.md

PiperOrigin-RevId: 181223906