Merge pull request #19164 from yifeif/branch_195897321

Branch 195897321

Merge pull request #19165 from tensorflow/update_version_fix

Switch to use str instead of number for colab_url

Switch to use str instead of number for colab_url

Fix nightly failure:
  File "tensorflow/tools/ci_build/update_version.py", line 253, in colab_url
    version_string = "%d.%d.%d" % (version.major, version.minor, version.patch)
TypeError: %d format: a number is required, not str

Hardcode EndpointSpec deprecated input to False for now after cl/195718061.

Merge commit for internal changes

Make eager functions runable on TPU

PiperOrigin-RevId: 195897321

Set size of tensorflow/python/keras:normalization_test to medium to avoid flaky timeouts

PiperOrigin-RevId: 195894737

Only use integer values for event_ndims.

event_ndims have the semantics of being an integer. However, other code paths (such as const_value)
can return back numpy wrapped arrays, which can mess with how values are cached. Instead extract
everything as an integer.

PiperOrigin-RevId: 195894216

add test for pruning useless function lib in graph.

PiperOrigin-RevId: 195893756

Add test to test suite.

PiperOrigin-RevId: 195888932

Increase shard count of tensorflow/contrib/learn:state_saving_rnn_estimator_test to avoid flaky timeouts

PiperOrigin-RevId: 195887546

Increase size of tensorflow/contrib/distributions:batch_reshape_test to medium to avoid flaky timeouts

PiperOrigin-RevId: 195887374

[tfgan] Allow to add custom eval metrics to GANEstimator (#19133)

[tftrt update] (#19135)

* [tftrt update]
  code cleaning, removed some boilerplate code

* addressing comments

Increase shard count of tensorflow/python/keras:lstm_test to avoid flaky timeouts

PiperOrigin-RevId: 195886372

Add missing ":haswell" match to list of platform selectors.

PiperOrigin-RevId: 195880275

Increase shard_count of tensorflow/python/estimator:estimator_test to avoid flaky asan timeouts

PiperOrigin-RevId: 195879364

Do not differentiage integers in the eager API.

This is similar to the change made in:
https://github.com/tensorflow/tensorflow/commit/f63750645826df65b05cad505546a86f0e347674
for backpropagation during graph construction via tf.gradients()

PiperOrigin-RevId: 195878952

Increase shard count of tensorflow/contrib/distributions:mixture_test to avoid flaky timeouts in asan mode

PiperOrigin-RevId: 195878809

Increase size of test tensorflow/contrib/layers:rev_block_lib_test to medium
to avoid flaky timeouts.

PiperOrigin-RevId: 195871947

Avoid string formatting in assert_same_float_dtype unless there's an error

Especially helpful when executing eagerly

PiperOrigin-RevId: 195871887

Better wrapping of stream executor's cuDNN API calls. Replacing mutex locking and setting the cuDNN stream followed by calling wrap::cudnn... with an RAII CudnnHandle object that handles the former two operations.

Distinguish three different API types:

A) APIs that don't take a cudnnHandle_t: These are thread-safe APIs that don't enqueue any CUDA work on a stream. They can be called directly without any extra precautions.

B) APIs that take a cudnnHandle_t and perform CUDA work. The CUDA context needs to be acquired and the stream needs to be set beforehand, calls need to be serialized. A CudnnHandle instance guarantees that this work has been performed before calling cuDNN.

C) APIs that do take a cudnnHandle_t, but (presumably, the API makes no guarantees) still don't perform any CUDA work. This is limited to the API to setup RNN descriptors. Calls need to be serialized, but most likely we wouldn't need to acquire the CUDA context or set the stream. We still do though using the legacy default stream, because there are no guarantees.

PiperOrigin-RevId: 195856300

Remove outdated CUDA SDK string (the text is now consistent with other version choices, and the '9.0' format is already present in the default).

PiperOrigin-RevId: 195855416

Re-land: Optimize dot(DynamicSlice(ConstA), ConstantB) by memoizing dot(ConstA, ConstB)

Make transformation when ConstA and ConstB are 2D, and DynamicSlice is slicing a full row, column respectively.
Handle:
dot(DynamicSlice(Index, ConstA), ConstB) => DynamicSlice(Index, dot*(ConstA, ConstB));
and
dot(ConstA, DynamicSlice(Index, ConstB)) => DynamicSlice(Index, dot*(ConstA, ConstB));

Reason to roll forward: Previous issue of getting out of memory errors when generating LLVM constants was resolved by CSE-ing constants before allocation.

PiperOrigin-RevId: 195853680

Fix docstring for flush() method

PiperOrigin-RevId: 195852402

Update version of downloadable clang toolchain

PiperOrigin-RevId: 195849091

Change visibility of hlo_proto.

PiperOrigin-RevId: 195848035

Add affinity binding functionality and documentation to OVIC benchmarker.

PiperOrigin-RevId: 195847378

Increase size of test //third_party/tensorflow/python:saver_large_variable_test
from "small" to "medium" to prevent flaky timeouts.

PiperOrigin-RevId: 195846802

Fix Raspberry Pi build by making PNG not try to use Neon (by autodetect).

This involves patching to override the png neon option. In the future
it might be worth enabling PNG optimization.

PiperOrigin-RevId: 195846513

When building functions, capture tensors in `internal_convert_to_tensor`.

This change is motivated by the fact that, when eager execution is disabled, library functions assume that tensors returned from `internal_convert_to_tensor` are in fact `Tensor`s and not `EagerTensor`s.

PiperOrigin-RevId: 195846039

Add cost model of depthwiseConv2dNative. Tensorflow computes depthwise separable convolutions as depthwiseConv2dNative followed by 1x1 Conv2D

PiperOrigin-RevId: 195838887

Free ANeuralNetworksCompilation object in NNAPIDelegate destructor

PiperOrigin-RevId: 195832807

Minor formatting tweaks to distribute.py and simple_tfkeras_example.py

PiperOrigin-RevId: 195827029

Update comment clarifying continuous eval behavior.

PiperOrigin-RevId: 195826025

[TF:XLA] Fix NaN in StatelessRandomNormal if the underlying uniform distribution returned -1.

PiperOrigin-RevId: 195819645

Automated g4 rollback of changelist 195723288

PiperOrigin-RevId: 195819297

Add missing #include for OpResponse. This class currently happens to be forward
declared by xla.proto.h, but that proto doesn't actually need this type
anywhere and we are working on removing such unneeded forward declarations.

PiperOrigin-RevId: 195818397

ProfileHandler: Remove unnecessary interface method.
PiperOrigin-RevId: 195815565

Fix a test expectation.

PiperOrigin-RevId: 195796348

Automated g4 rollback of changelist 195748721

PiperOrigin-RevId: 195790581

Temporarily disable concat rewrite.

PiperOrigin-RevId: 195762860

[tf.data] Move tensorflow::dataset::MakeIteratorContext to core/framework

PiperOrigin-RevId: 195756342

Merge pull request #19053 from wangsiyu/fix_tf_layers_reuse

Fix bug of declaring regularization loss multiple times when reusing PartitionedVariables in tf layers

remove type

fix bug of return value in _should_add_regularizer function and refine code in base_test.py to make it no more than 80 columns

eliminate result variable in _should_add_regularizer to make code clean

refine unit test case coding style and move _should_add_regularizer function into add_weight

Add logic for StridedSlice ops in ShapeRefiner::ConstantPartialShape().

This mimics the logic in tensor_util.constant_value_as_shape, allowing
the C++ shape inference code to infer more shapes than it could before.

This change also adds an optional stride argument to InferenceContext::Subshape().

PiperOrigin-RevId: 195749522

Make conv2d_tranpose_test.py work with C API shapes enabled.

The C API provides more accurate shape information in many cases.

PiperOrigin-RevId: 195749030

Make eager functions runable on TPU

PiperOrigin-RevId: 195748721

Raise an error if we try to take the gradient wrt to the initial value of a loop variable.

Fixes #14101

PiperOrigin-RevId: 195748688

Internal change

PiperOrigin-RevId: 195745819

Add test with tf.cond.

PiperOrigin-RevId: 195745718

Delete kTransposeDot (it is no longer in use)

PiperOrigin-RevId: 195745124

Fast-path to VarHandleOp

PiperOrigin-RevId: 195744374

Add TFX section. Add Ecosystem page and dropdown menu.

PiperOrigin-RevId: 195742728

Reorder executor NodeItem variable length data section so
that all multi-byte aligned types precede all byte-aligned
types so that alignment is satisfied without padding.

PiperOrigin-RevId: 195741712

ShapeRefiner fix: some variant-type tensors have handle data.

ShapeRefiner::AddNode() would only propagate handle data for
DT_RESOURCE tensors, but not DT_VARIANT. The Python shape inference
logic in common_shapes.py handled this correct, which is why we didn't
notice this earlier. In particular, list ops use DT_VARIANT with
handle data.
PiperOrigin-RevId: 195739586

Refactor TensorArray to avoid copies and memory allocations when executing eagerly.

With this change, writes to TensorArrays when eager execution is enabled take O(1) time instead of O(n). Additionally, whereas writing to a TensorArray when constructing a graph results in allocating a new Python TensorArray object, writing to a TensorArray with eager enabled no longer performs that allocation (graph construction uses these allocations to ensure correctness of control flow and gradients, but this isn't necessary when executing eagerly). Finally, this change also removes the artificial write-once semantics of TensorArrays when executing eagerly.

PiperOrigin-RevId: 195739572

[XLA] Make post order a possible schedule as it sometimes uses less memory than
the DFS or list scheduler and it is very simple.

PiperOrigin-RevId: 195736916

[Remote functions] Only set the default runner *after* resolving the remote FLR.

Previously, if the `runner` was not specified for a function
execution, we would immediately set it to the default runner of the
*local* FLR, even if the function was to be executed remotely. This
change postpones the resolution of the default runner until after the
function invocation has been routed to the FLR that will actually
execute it.

As a result, we avoid the pathological case where a GPU device using a
private threadpool (TF_GPU_THREAD_MODE=gpu_private) ends up running
all of the ops for the CPU-side input pipeline on the private
threadpool.

PiperOrigin-RevId: 195735734

Add EvaluateNodes to tests: RemoveIdentityTransposesMultipleOutputs, RemoveTransposesWithControlDependency, CombineBitcasts, CombineAndRemoveBitcasts, RemoveRedundantCast

PiperOrigin-RevId: 195735234

[XLA] Fix a "we're we're" in the operation semantics.

PiperOrigin-RevId: 195734316

Add support for select (via tf.where) support to tflite.

PiperOrigin-RevId: 195734246

Internal Change.

PiperOrigin-RevId: 195731675

Fix TypeError in update_version.py

PiperOrigin-RevId: 195731183

Add support for tf.data.Dataset iterators in model training/eval methods in eager-mode

PiperOrigin-RevId: 195730534

Replace references to TensorInfo with XlaTensor

PiperOrigin-RevId: 195730139

Disable automated testing of tensorflow/compiler/tests:extract_image_patches_op_test_cpu_ondemand

A recent change has made this test flaky.

PiperOrigin-RevId: 195726647

Allow output has a different shape from input in the image.transform (#17011).

PiperOrigin-RevId: 195723288

Fix resource variable in cond gradient.

PiperOrigin-RevId: 195722449

[XLA] Shard compilation of HloEvaluator.

PiperOrigin-RevId: 195721404

Move PadV2Options to the end, in order to maintain schema compatibility.

PiperOrigin-RevId: 195720133

Use 64bit aggregation for gradients and hessians since the 32 bit version is numerically unstable for large minibatches.

PiperOrigin-RevId: 195719795

Change deprecation_version field in api_def.proto to a string.

PiperOrigin-RevId: 195718061

[TF:XLA] Bump open source llvm revision to r331624

PiperOrigin-RevId: 195717497

Fixes for accessing variables with a MirroredStrategy in a
cross-tower context:

* only provide read-only access to variables via get()

* don't fail if use the variable isn't copied to the current device in
  get()

* make _as_graph_element() return the aggregate value for tower-local
  variables (instead of the incorrect previous behavior of returning
  the primary)

PiperOrigin-RevId: 195711474

Specialize functions only once per unique context.

PiperOrigin-RevId: 195710562

Rename HloDotWithContractDimsMatcher to HloDotWithContractingDimsMatcher

This is a typo I introduced in cr/195514907.

PiperOrigin-RevId: 195706006

Make test tensorflow/python/keras:resnet50_test be size "medium"

This test sometimes runs longer than 60s, and has been getting flaky timeouts
as a result.  With a longer timeout, it succeeds reliably.

PiperOrigin-RevId: 195704998

Adding Greater/GreaterEqual/LessEqual ops to complement Less.

PiperOrigin-RevId: 195704492

Add 'optonly' directive to linear_operator_circulant tests.

PiperOrigin-RevId: 195701399

[TF:XLA:GPU] Allow the use of linear address when there are size one dimensions
in a tensor.

The current implementation of EmitArrayElementAddress incorrectly concludes
that having a size one dimension in a tensor indicates broadcasting is needed
and the linear address can't be used to access the tensor. We fix this by
leaving LinearValidOnShape to decide whether the linear address can be used to
access the tensor. This enables the vectorization of loads/stores in unrolled
elementwise op kernels when other criteria are met.

Add a test case.

PiperOrigin-RevId: 195701194

[XLA] Add FusionKind matcher to pattern_matcher.h.

PiperOrigin-RevId: 195700319

[tf.data] Patch to unref iterator_resource in DeserializeIteratorOp.

PiperOrigin-RevId: 195698980

Disable autograph cfg_test in windows.

PiperOrigin-RevId: 195697446

Register bool scatter_update for resource variables
Fixes #17784

PiperOrigin-RevId: 195696915

Generalize the input to TPU distribution strategy.  Add cross-shard-replica sum.

TPUStrategy passes tests in minimize_loss_test.  That caused me to add a capability to have `iterations x cores` inputs of any structure.  I also resolved a big number of small issues and uncovered more things to resolve that are documented as todos.

PiperOrigin-RevId: 195696833

Release notes for TensorFlow Lite.

PiperOrigin-RevId: 195693362

Extracts PartialConcatConstFolding into a method.

PiperOrigin-RevId: 195690333

Add tests for broadcasting KL divergence calculations.

PiperOrigin-RevId: 195690035

Replaced calls to tensorflow::StringPiece::ToString with std::string conversions.
That is, instances of sp.ToString() are replaced with std::string(sp).

This will allow tensorflow::StringPiece::ToString to be removed, which is necessary before it can be replaced with absl::string_view.

PiperOrigin-RevId: 195689392

Extend block sparsity support for TPUs

PiperOrigin-RevId: 195685740

Add EvaluateNodes to HoistFactorDiv test.

PiperOrigin-RevId: 195685340

Removing quotations to fix the broken link found on https://tensorflow.org/programmers_guide/embedding

The link at "Follow this link to see a fun example of thumbnail images in the Embedding Projector." It should go to https://www.tensorflow.org/images/embedding-mnist.mp4 but instead goes to the TF index page.

PiperOrigin-RevId: 195684456

Internal Change

PiperOrigin-RevId: 195681946

Control flow graph with forward and backward analysis

PiperOrigin-RevId: 195654450

Automated g4 rollback of changelist 195638795

PiperOrigin-RevId: 195645734

Improve fusion logic of (a dot b) * alpha

The previous approach didn't work because a multiplication by a scalar value
will be changed into an explicit broadcast.
Another issue that is fixed in this CL is retrieving the constant value from
the literal. This depends on the PrimitiveType, before we always assumed it to be double.
Also when checking ImplementedAsGemm() we should not call it recursively, but instead just the check related to kDot.
Finally add an execution test and adjust the fusion logic test.

PiperOrigin-RevId: 195638795