Merge pull request #19311 from zheng-xq/branch_196777020

Branch 196777020

Updating highwayhash library to fix kernel_tests:lookup_ops_test, lookup:lookup_ops_test and string_to_hash_bucket_op_test tests on ppc (#18414)

* Updating highwayhash library to fix kernel_tests:lookup_ops_test, lookup:lookup_ops_test and string_to_hash_bucket_op_test tests on ppc

* Fix endianess.h build on Windows

[Intel MKL] Fix for convrnn unit test failure (#19229)

Adding a fixup pass (+unit test) to handle incorrectly linked Mkl metadata
edges

This graph pass is needed because a graph may have some input Mkl metadata
edges incorrectly setup after node merge and rewrite passes. This could
happen because GetReversePostOrder function may not provide a topologically
sorted order if a graph contains cycles.

Minor style issue left over from earlier commits to the graph pass are also
handled (but not related to the fixup pass).

Use passed name for leaky relu tensor op (#19209)

* initial commit; pass name param to maximum call in leaky_relu, add test cases

* add "as name" to end of name_scope line to match convention in file

* fix module name bug in leaky relu testName function

* address pylint issues with line length

Merge pull request #19327 from yongtang/05162018-sanity

Fix pylint sanity error for CI build

Fix pylint sanity CI build in sparse_ops.py

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Fix pylint sanity error for CI build

The CI build is failing, caused by:
```
53 FAIL: Found 4 non-whitelited pylint errors:
54 tensorflow/python/ops/sparse_ops.py:87: [C0301(line-too-long), ] Line too long (94/80)
55
56 tensorflow/python/ops/sparse_ops.py:594: [C0301(line-too-long), ] Line too long (92/80)
57
58 tensorflow/python/ops/array_ops.py:2622: [C0301(line-too-long), ] Line too long (92/80)
59
60 tensorflow/python/ops/array_ops.py:2623: [C0301(line-too-long), ] Line too long (98/80)
```

This fix fixes the sanity pylint error.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Merge commit for internal changes

Remove check for axis == 3 since if the input dimension is not 4, the input axis is not necessary 3.
And change the test as well.

PiperOrigin-RevId: 196777020

Hardcode two exceptions to the list of files allowed in a 'platform'

PiperOrigin-RevId: 196771621

Fix TfLite Convolution handle input_bacthe incorrectly for 1*1 kernel,
and improve test coverage for conv ops.

PiperOrigin-RevId: 196771421

Fix transpose_conv typo in optimized_ops. input_depth should be output_depth.

PiperOrigin-RevId: 196767951

[tf.data] Fixing a race in map_and_batch.

PiperOrigin-RevId: 196764211

Optimize batch normalization when possible

PiperOrigin-RevId: 196762618

Merge pull request #18597 from imsheridan/add_deprecated_arrayops

Add deprecated_args decoration to array_ops/ sparse_ops

[TF:XLA] Remove the need for memcpy from Tensor->Literal.

Introducing a new LiteralOwningSlice class that is similar to LiteraSlice, but owns the root piece.

PiperOrigin-RevId: 196759785

Fixes false-positive in tf.enable_eager_execution

Simply using ops which have name scopes and other things will trigger
adding a graph to the stack.

PiperOrigin-RevId: 196748657

Remove misleading declaration-as-default that results in a deleted constructor, and a misguided comment.

PiperOrigin-RevId: 196742616

Remove unused BUILD dependencies

PiperOrigin-RevId: 196742598

Fix rendering of documentation of tf.contrib.summary. (#18517)

Contrib MPI: Fix errors import (#18470)

* Contrib MPI: Fix errors import

For logging, mpi_utils.h needs to import error.h

* Include logging instead

Checkpointable: Restore-on-create for name-based checkpoints when executing eagerly

Should make loading name-based checkpoints more natural with object-based APIs when executing eagerly. Before this CL they could be loaded, but users needed to use "run_restore_ops" after all variables were created (which is less useful and confusing).

PiperOrigin-RevId: 196729311

Change the block size used in the triangular system solve step of the Cholesky decomposition algorithm to be the same block size as the Cholesky blocks.  Dramatically speeds up compilation time with negligible affect on runtime.

PiperOrigin-RevId: 196729081

Remove a tensor_slice_reader warning when using HDF5 in Model.load_weights.

It may make sense to remove the logged warning entirely, but this change just adds an extra check for the filename.

Fixes #19289.

PiperOrigin-RevId: 196724395

Don't ever use cuDNN to perform depthwise convolutions on CPU.

PiperOrigin-RevId: 196721302

Merge pull request #19300 from yifeif/branch_196691101

Branch 196691101

Fixes potential race in ResourceHandleOp::Compute
Fixes #19299

PiperOrigin-RevId: 196720004

Handle delayed variable initialization in MirroredStrategy. Test with RNN layer.
Bug reported and solution suggested in #19069

PiperOrigin-RevId: 196718454

Allows scan to work in reverse as well as forward

PiperOrigin-RevId: 196716758

Improve documentation for tf.contrib.eager.defun.

PiperOrigin-RevId: 196711029

[XLA] Make HloCSE compare computations

This shows up when you have two otherwise identical instructions that call a
computation, like a fusion or a reduce. Even if the called computations are
identical but not the same it wouldn't get CSE'd. I was a bit worried about the
compile time impact of comparing full computations, but this only happens if
everything else already compares equal. The impact on compile time of
benchmarks seems to be within the noise.

PiperOrigin-RevId: 196708782

Add `AppendFloat16ArrayToTensorProto` to acclerate `tf.constant` for float16 (#19212)

* PREP: add fast append for float16

* CLN: wrapper for float16

* CLN: replace append with extend method

* Revert "CLN: replace append with extend method"

This reverts commit 9958ba9bbf442e5b669e354b17b88c735719b366.

Update two Wikipedia links (#19256)

Refactoring: Remove mutable_op_resolver module
PiperOrigin-RevId: 196700821

Use the new compile op and print user-friendly error message without mixing with infeed/outfeed if compilation fails.

PiperOrigin-RevId: 196697690

Merge pull request #18433 from samikama/plugin_master_pr

[tftrt update]

Merge commit for internal changes

Add IBM ppc64le build to README. (#19285)

* Add IBM ppc64le build to README.

* ppc64le -> ppc64le CPU

Automated g4 rollback of changelist 196683444

PiperOrigin-RevId: 196691101

[XLA] Cache computations when creating reduces in algebraic simplifier or batchnorm expander

Otherwise we create a lot of identical small computations. This shouldn't have
an effect except for cluttering the HLO, but turns out HloCSE doesn't look
inside of the computation of reduces, effectively never eliminating reduces
that were produced via this code path.

While there clean up some YAGNI, this only worked for F32 anyways, so just
hardcode it.

PiperOrigin-RevId: 196689316

Merge branch 'master' of https://github.com/tensorflow/tensorflow into plugin_master_pr

[TF:XLA] Generalize existing support for keeping variables on an XLA device in reshaped form, instead allowing XLA devices to keep all tensors in a reshaped form outside an XLA computation.

PiperOrigin-RevId: 196683444

Adding --distinct_host_configuration=false in tools/bazel.rc

When building TensorFlow, the host and target platforms are usually the same. So we don't have to distinct them by default. This helps avoid building the same targets twice.

If we need to do cross compilation, add --config=cross-compile to distinct them.

PiperOrigin-RevId: 196673728

update doc

PiperOrigin-RevId: 196670274

Small polishing changes in stream executor, no functional changes.

PiperOrigin-RevId: 196665609

internal change

PiperOrigin-RevId: 196640024

Reland improve fusion logic of (a dot b) * alpha

The previous fusion approach didn't work because a multiplication by a scalar value
will be changed into an explicit broadcast.
Another issue that is fixed in this CL is retrieving the constant value from
the literal. This depends on the PrimitiveType, before we always assumed it to be double.
Also when checking ImplementedAsGemm() we should not call it recursively, but instead just the check related to kDot.
Finally add an execution test and adjust the fusion logic test.

The fix for the issue that caused the revert is that we check earlier that consumer->operand_count() is 2.
Also, we fix the call to Get() to pass {} instead of {0}.
And we handle an output fusion node in GemmThunk to extract the dimension numbers from the dot operation.

PiperOrigin-RevId: 196631031

[TF:XLA] Scheduling test which demonstrates that we are ignoring the memory needed by subcomputations.

PiperOrigin-RevId: 196618347

Added type check to feature column keys. So that users will get meaningful error messages in situations like: #19219

PiperOrigin-RevId: 196616638

Partial update of tf.keras to the Keras 2.1.6 API.

Changes included are:
- Fix `batch_dot` when `axes=None`
- Add axis=-1 as an argument to keras.backend.softmax
- Fix ctc_batch_cost() error when batch_size = 1
- Print previous best in ModelCheckpoint callback
- Fix ReduceLROnPlateau callback
- Extend RemoteMonitor to send data as application/json
- Fix default dilation rate value in 2D separable conv.
- Fix for MobileNet model with undefined shape
- Disable require_flatten in nasnet & Add an error message for undefined shape.
- Improve tests by designating dtype of sample data
- Multi_gpu_model supporting legacy/fullCPU/fullGPU

PiperOrigin-RevId: 196615376

  Function should inherit device information from the caller site.

PiperOrigin-RevId: 196614376

Update SCALED mode to use the full quantized range of -128..127 when possible.

PiperOrigin-RevId: 196606455

[XLA] Move more comparison functions to non-test library.

PiperOrigin-RevId: 196605347

Move model_to_estimator utility into Estimator from Keras.

Working on untangling TF/Estimator deps. We would like to get to a state
where Estimator depends on Keras and not vice versa

PiperOrigin-RevId: 196605024

Fix a bug in HloInstruction::ImplicitlyBroadcastsOperand where operands with the same dimension but different types are not considered broadcast.

PiperOrigin-RevId: 196603348

Adds CsvDataset, which both reads and parses files.
Example usage: dataset = tf.contrib.data.CsvDataset(filenames, record_defaults=record_defaults, **kwargs)
Motivation: Fusing reading and parsing is more performant and correct than the previous canonical CSV parsing flow (`dataset = tf.data.TextLineDataset(filenames).map(lambda l: tf.decode_csv(l, **kwargs))`)

Closes #19077.

PiperOrigin-RevId: 196601381

Disable LinearOperatorKroneckerTest.test_solve_{with_broadcast} temporarily.

PiperOrigin-RevId: 196601310

[tf.data] Add optional `args` argument to `Dataset.from_generator()`.

The new argument allows you to parameterize the generator with the value of a tf.Tensor,
enabling `Dataset.from_generator()` to be initialized from a placeholder or used in a
nested expression (such as `flat_map()` or `parallel_interleave()`). For example:

```python
def generator(n):
  for _ in range(n):
    yield n

# Define a generator based on a placeholder.
placeholder = tf.placeholder(tf.int64, shape=[])
dataset = tf.data.Dataset.from_generator(generator, tf.int64, args=(placeholder,))

# Define a generator based on the value of a nested dataset element.
dataset = tf.data.Dataset.range(10).flat_map(
    lambda i: tf.data.Dataset.from_generator(generator, tf.int64, args=(i,)))
```

Fixes #19269. Partially addresses issue #13101.

PiperOrigin-RevId: 196598650

Add tf.regex_match for regex match support (#19160)

* Add tf.regex_match for regex match support

This fix tries to address the issue raised in 18264.
Currently tf.regex_replace has already been supported
though there was no regex match support.
This fix adds the tf.regex_match support in a similiar
pattern as tf.regex_replace.

This fix fixes 18264.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Update BUILD file for the tf.regex_match kernel

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Register RegexMatch ops

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add test cases for tf.regex_match

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Update api_defs

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Update API golden

update with:
```
bazel-bin/tensorflow/tools/api/tests/api_compatibility_test
           --update_goldens True
```

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Expose regex_full_match in tf.strings namespace

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Update golden API

```
bazel-bin/tensorflow/tools/api/tests/api_compatibility_test
           --update_goldens True
```

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Improve shape function of `tf.image.draw_bounding_boxes` (#19237)

* Improve shape function of `tf.image.draw_bounding_boxes`

The `tf.image.draw_bounding_boxes` requires `boxes` to be
3-D shape though there was no check on shape function.
This fix improves the shape function by restricting the
boxes to 3-D.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add additional check to make sure boxes shape

ends with 4 ([batch, num_bounding_boxes, 4])

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Address review feedback with addtional shape checks.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add unit tests

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Introduce LossScalingOptimizer for mixed precision training.

PiperOrigin-RevId: 196597196

Add an option to execute eval on cpu, regardless of training runs on TPU.
This will let users to benefit from TPU training, but avoid complex
eval metrics functions to be ported to TPU.

PiperOrigin-RevId: 196587755

Refactoring: Make OpResolver return const pointer.
PiperOrigin-RevId: 196587227

Automated g4 rollback of changelist 196565296

PiperOrigin-RevId: 196586601

ClangTidy - Readability cleanup:/code-findings-fixes.

* unused using-declarations
* redundant string conversions
* C-style casts
* redundant get() call on smart pointer
* the 'empty' method should be used to check for emptiness instead of 'size'

PiperOrigin-RevId: 196585984

Make sure that variables aren't created as partition variables since only non-scalar partition variables are supported.

PiperOrigin-RevId: 196584749

Fix bug where custom layers could crash.

Layer.add_weight would crash when called without a dtype or initializer.

PiperOrigin-RevId: 196583182

Fix functional.While(), functional.For(rewrite_with_while)

When executing on GPU, synchronously copy cond result from device to host.

PiperOrigin-RevId: 196580820

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 196580619

Add ExplicitShapes as a new shape inference function for Ops with
multiple outputs, each of which is explicitly declared.

PiperOrigin-RevId: 196579920

Remove CuDNNRNN timing test.

PiperOrigin-RevId: 196578043

Fix copy functions of MutableOpResolver

PiperOrigin-RevId: 196577314

Used aligned allocation for vector cache.

PiperOrigin-RevId: 196576497

Update ops-related pbtxt files.

PiperOrigin-RevId: 196576189

Internal change.

PiperOrigin-RevId: 196575483

Refactoring: Remove lite/tools:mutable_op_resolver dependency.
PiperOrigin-RevId: 196575387

Stricter analysis for functional conditional generation

PiperOrigin-RevId: 196573938

Do shape validation in ScatterNd kernel, not just the shape inference function.

Fixes #18648

PiperOrigin-RevId: 196572262

Fail gracefully with a helpful error message when provided with conflicting
visible_devices_list.

See #19083
See #18861

More generally, this change avoids assertion failures (that will bring the
whole process down) on a few code-paths that can be triggerred by user input.

PiperOrigin-RevId: 196572013

Internal change.

PiperOrigin-RevId: 196570742

Make CollectiveParamReducerLocal::InitInstanceSharedParams non-blocking.

PiperOrigin-RevId: 196570011

Automated g4 rollback of changelist 196456687

PiperOrigin-RevId: 196567964

Add score filtering to tf.image.non_max_suppression.

PiperOrigin-RevId: 196567928

Update the eager programmer's guide to reflect the fact that "==" is not
implemented in the natural way for the Tensor class.

PiperOrigin-RevId: 196566940

ReverseDFS scheduler reverses the heuristics used in DFSScheduler.

Also fixes hlo_schedule_test to remove the expected order on unrelated operations.

PiperOrigin-RevId: 196565651

Disable flaky cudnn_recurrent test

PiperOrigin-RevId: 196565296

Reenable virtual gpu test, and decrease the number of testing rounds.

PiperOrigin-RevId: 196565153

[XLA] Ergonomic improvements to --xla_hlo_profile.

- Don't display ops with 0 optimal seconds and 0 actual cycles.  These
  are ops that were expected to be free and were actually free.

- Fix HloCostAnalysis to mark parameters, constants, and
  get-tuple-element as expected-to-be-free per the definition above.

- Allow optimal-seconds < 0 to indicate "I don't know".  Use this for
  custom calls, and then hide such ops from the "seconds above the
  optimum" table.

- Don't display "<none>" and "<unknown>" -- instead, just display the
  empty string.  Less visual noise.

- Instead of showing ~5 ops per category in the categories tables, show
  everything.  This isn't so noisy now that we're hiding "free" ops, and
  it makes finding optimization opportunities much easier.

PiperOrigin-RevId: 196564177

Add If op rewriter.

* Add attribute to If op to indicate if lowering to switch-merge form is
  needed;
* Add initial version of If op rewriter than transforms a If op into
  switch/merge nodes (as would have been constructed via tf.cond) if the If op
  has the lowering attribute set.
  - The pass is not ready for general use and, for example, does not support
    reference data types.

PiperOrigin-RevId: 196563421

Merge branch 'master' of https://github.com/tensorflow/tensorflow into plugin_master_pr

Reserves 'context' key in TPUEstimator params dict.

PiperOrigin-RevId: 196561620

Add CheckpointInputPipelineHook to the API docs.

PiperOrigin-RevId: 196560221

Added support for strided slicing of symbolic shapes

PiperOrigin-RevId: 196558466

Resolve inlined function input/output types from GrapplerFunctionItem.

Remove duplicated code to resolve type from attributes.

PiperOrigin-RevId: 196558061

Updated speech commands example to use new dataset

PiperOrigin-RevId: 196557132

Various ClangTidy-inspired fixes.

PiperOrigin-RevId: 196556727

  add memory utilization estimate for HLO op profile.

PiperOrigin-RevId: 196553696

Deletes an unused private method in head.py

PiperOrigin-RevId: 196545696

Don't check that bool arrays are quantized.

PiperOrigin-RevId: 196541955

Add int64 support for output_shape of tf.nn.conv3d_transpose (#19248)

* Add int64 support for output_shape of tf.nn.conv3d_transpose

This fix tries to address the issue raised in 18887 where
the output_shape of tf.nn.conv3d_transpose only support
int32 data types. The support of int64 has been added in this PR
with test case covered.

This fix fixes 18887.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Update op registration for Conv3DBackpropInputV2

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add test case for int64 support of output_shape with tf.nn.conv3d_transpose

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Update test case with both int32 and int64

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Fix pylint issue

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>