Add IBM ppc64le build to README. (#19285)

* Add IBM ppc64le build to README.

* ppc64le -> ppc64le CPU

Add tf.regex_match for regex match support (#19160)

* Add tf.regex_match for regex match support

This fix tries to address the issue raised in 18264.
Currently tf.regex_replace has already been supported
though there was no regex match support.
This fix adds the tf.regex_match support in a similiar
pattern as tf.regex_replace.

This fix fixes 18264.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Update BUILD file for the tf.regex_match kernel

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Register RegexMatch ops

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add test cases for tf.regex_match

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Update api_defs

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Update API golden

update with:
```
bazel-bin/tensorflow/tools/api/tests/api_compatibility_test
           --update_goldens True
```

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Expose regex_full_match in tf.strings namespace

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Update golden API

```
bazel-bin/tensorflow/tools/api/tests/api_compatibility_test
           --update_goldens True
```

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Improve shape function of `tf.image.draw_bounding_boxes` (#19237)

* Improve shape function of `tf.image.draw_bounding_boxes`

The `tf.image.draw_bounding_boxes` requires `boxes` to be
3-D shape though there was no check on shape function.
This fix improves the shape function by restricting the
boxes to 3-D.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add additional check to make sure boxes shape

ends with 4 ([batch, num_bounding_boxes, 4])

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Address review feedback with addtional shape checks.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add unit tests

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Add int64 support for output_shape of tf.nn.conv3d_transpose (#19248)

* Add int64 support for output_shape of tf.nn.conv3d_transpose

This fix tries to address the issue raised in 18887 where
the output_shape of tf.nn.conv3d_transpose only support
int32 data types. The support of int64 has been added in this PR
with test case covered.

This fix fixes 18887.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Update op registration for Conv3DBackpropInputV2

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add test case for int64 support of output_shape with tf.nn.conv3d_transpose

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Update test case with both int32 and int64

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Fix pylint issue

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Fix links on the community/swift page. (#19230)

They were broken rendered on https://www.tensorflow.org/community/swift.

Fix warning caused by squeeze_dims (#19227)

The `squeeze_dims` in `tf.squeeze` has been deprecated
in favor of `axis`. This fix fixes the `squeeze_dims`
in text_classification_cnn.py so that the warning
could be removed.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Add complex support for tf.segment_mean (#19225)

* Add complex support for tf.segment_mean

While using tf.segment_mean I noticed that it does not
have the complex support like tf.segment_sum. I think it
makes sense to support complex for it. This fix adds the
complex support for tf.segment_mean.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add test cases for complex support with tf.segment_mean

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Fix misleading cupti.h error message (#19224)

This fix tries to address the issue raised in 19223
where the cupti.h eror message was misleading. The following error:
```
Cuda Configuration Error: Cannot find cupti.h under /usr/local/cuda-9.0
```
is not the true patch searched.

This fix updates the bzl file to print out the
complete searched paths when error occurs:
```
Cuda Configuration Error: Cannot find cupti.h under /usr/local/cuda-9.0/extras/CUPTI/include/, /usr/local/cuda-9.0/include/cuda/CUPTI/
```

This fix fixes 19223.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Enable OrderedEnqueuer from keras in tf.keras. (#19183)

Make op unique name generation case insensitive (#18413)

* Make op unique name generation case insensitive

Unique name generation for operations depends on checking a dict for
names currently in use. This commit makes it so that the names stored in
this dict are always lowercase so that we can check if a name already
exists regardless of the capitalization.

This helps in filesystems where file paths are case insensitive and
tensor dumps (like with tfdbg) try to follow directory structures that
correspond to the tensor names. If two tensors have names with the same
spelling, but different capitalizations, then this can lead to unintended
side effects/errors on these case-insensitive file systems.

* Change variable name to match unique_name

* Adjust op names to fix tests

Allow for disabling of 2 tests (#18208)

Fix for crash in mkl_layout_pass_test (#19107)

Update how build statuses and artifacts are demoed in README.md (#19232)

Improve the shape function for ParameterizedTruncatedNormal (#19215)

The parameters of ParameterizedTruncatedNormal should
be 0-D or 1-D, which is checked in ther kernel functions.
There is no check in the shape function of the ops.

This fix improves the shape function and checks the
parameters of ParameterizedTruncatedNormal whever possible.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Allow for disabling of some tests (#19202)

Fix cublas wrap macro for cublasGemmBatchedEx (#19210)

Fix typo (#19106)

* fix typo

Merge pull request #18759 from filipefilardi/master

Add Pull Request Template

Use "```" (backtick) for code blocks in adding_an_op.md (#19187)

* Use "```" (backtick) for code blocks in adding_an_op.md

In adding_an_op.md, most of the code blocks uses "```" (backtick)
and annotations are added automatically. Though there was one
place where the code block are done with manual html code. This
is really error-prune and hard to change if there is an update
in the future.

This fix converts to "```c++" (backticks) so that it is easy
to maintain in the future.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Fix extra `\` at the beginning of the block

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Update adding_an_op.md

add new lines where the <br/> tags were.

Fixing util_cuda_kernel_helper_test_gpu when building with MKL enabled (#19185)

Fix default value for parameter 'prefix' in slim.tfexample_decoder.BoundingBox.__init__ (#19190)

Add GPU support for float16 batched matmul (#18436)

* Add GPU support for float16 batched matmul

- Uses cublasGemmBatchedEx introduced in CUDA 9.1.
- Includes support for Tensor Op math.
- Falls back to a loop over non-batched gemm calls on older CUDA
  versions or GPU architectures.

* Refactor GPU batched gemm into one internal func

Merge pull request #17927 from smitshilu/patch-1

Update tensorflow/contrib/lite/BUILD

Merge pull request #19197 from smitshilu/patch-4

Updated index.md

Add citation (#19201)

Fix warning in python 3 with deprecated inspect.getargspec (#19199)

This fix tries to address the issue raised in 16152 where
a warning will show up in python 3 with:
```
import tensorflow as tf

import warnings
warnings.filterwarnings('error')

tf.reduce_sum(tf.placeholder(tf.float64))
......
DeprecationWarning: inspect.getargspec() is deprecated, use inspect.signature() or inspect.getfullargspec()
```

This fixes the issue with getfullargspec in tf_export, which takes
into consideration the python 2 vs python3.

This fix fixes 16152.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Updated index.md

Tensorflow lite image was not visible. Added image file path

[INTEL MKL] Fixes a failure in //tensorflow/python/profiler:model_analyzer_test. (#19152)

* Modified  testComplexCodeView test

 Modified  testComplexCodeView to look for lower total_float_ops. The value of total_float_ops is lower when Tensorflow is compiled with Intel MKL.

* Added code to check if MKL is enabled

* Fixed Pylint errors

Fix 2 typos in documents (#19177)

* fix minor typo in doc: tf.layer to tf.layers

* removed a duplicated line

Grammar fixes for Programmers guide FAQ (#19170)

Enable test case for float64 with conv1d (#19179)

The float64 for conv2d support has been added to tensorflow
in e3468b56d323783fdfb79fa2d6c24effc58bcaa9. (Thanks brianwa84!)
Since conv1d implementation invokes conv2d, the float64 support
for conv1d is supported now as well.

This fix adds the test case for float64 support of conv1d and
removes the TODO.

This fix fixes 19175.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Merge pull request #19164 from yifeif/branch_195897321

Branch 195897321

Merge pull request #19165 from tensorflow/update_version_fix

Switch to use str instead of number for colab_url

Switch to use str instead of number for colab_url

Fix nightly failure:
  File "tensorflow/tools/ci_build/update_version.py", line 253, in colab_url
    version_string = "%d.%d.%d" % (version.major, version.minor, version.patch)
TypeError: %d format: a number is required, not str

Hardcode EndpointSpec deprecated input to False for now after cl/195718061.

Merge commit for internal changes

Make eager functions runable on TPU

PiperOrigin-RevId: 195897321

Set size of tensorflow/python/keras:normalization_test to medium to avoid flaky timeouts

PiperOrigin-RevId: 195894737

Only use integer values for event_ndims.

event_ndims have the semantics of being an integer. However, other code paths (such as const_value)
can return back numpy wrapped arrays, which can mess with how values are cached. Instead extract
everything as an integer.

PiperOrigin-RevId: 195894216

add test for pruning useless function lib in graph.

PiperOrigin-RevId: 195893756

Add test to test suite.

PiperOrigin-RevId: 195888932

Increase shard count of tensorflow/contrib/learn:state_saving_rnn_estimator_test to avoid flaky timeouts

PiperOrigin-RevId: 195887546

Increase size of tensorflow/contrib/distributions:batch_reshape_test to medium to avoid flaky timeouts

PiperOrigin-RevId: 195887374

[tfgan] Allow to add custom eval metrics to GANEstimator (#19133)

[tftrt update] (#19135)

* [tftrt update]
  code cleaning, removed some boilerplate code

* addressing comments

Increase shard count of tensorflow/python/keras:lstm_test to avoid flaky timeouts

PiperOrigin-RevId: 195886372

Add missing ":haswell" match to list of platform selectors.

PiperOrigin-RevId: 195880275

Increase shard_count of tensorflow/python/estimator:estimator_test to avoid flaky asan timeouts

PiperOrigin-RevId: 195879364

Do not differentiage integers in the eager API.

This is similar to the change made in:
https://github.com/tensorflow/tensorflow/commit/f63750645826df65b05cad505546a86f0e347674
for backpropagation during graph construction via tf.gradients()

PiperOrigin-RevId: 195878952

Increase shard count of tensorflow/contrib/distributions:mixture_test to avoid flaky timeouts in asan mode

PiperOrigin-RevId: 195878809

Increase size of test tensorflow/contrib/layers:rev_block_lib_test to medium
to avoid flaky timeouts.

PiperOrigin-RevId: 195871947

Avoid string formatting in assert_same_float_dtype unless there's an error

Especially helpful when executing eagerly

PiperOrigin-RevId: 195871887

Better wrapping of stream executor's cuDNN API calls. Replacing mutex locking and setting the cuDNN stream followed by calling wrap::cudnn... with an RAII CudnnHandle object that handles the former two operations.

Distinguish three different API types:

A) APIs that don't take a cudnnHandle_t: These are thread-safe APIs that don't enqueue any CUDA work on a stream. They can be called directly without any extra precautions.

B) APIs that take a cudnnHandle_t and perform CUDA work. The CUDA context needs to be acquired and the stream needs to be set beforehand, calls need to be serialized. A CudnnHandle instance guarantees that this work has been performed before calling cuDNN.

C) APIs that do take a cudnnHandle_t, but (presumably, the API makes no guarantees) still don't perform any CUDA work. This is limited to the API to setup RNN descriptors. Calls need to be serialized, but most likely we wouldn't need to acquire the CUDA context or set the stream. We still do though using the legacy default stream, because there are no guarantees.

PiperOrigin-RevId: 195856300

Remove outdated CUDA SDK string (the text is now consistent with other version choices, and the '9.0' format is already present in the default).

PiperOrigin-RevId: 195855416

Re-land: Optimize dot(DynamicSlice(ConstA), ConstantB) by memoizing dot(ConstA, ConstB)

Make transformation when ConstA and ConstB are 2D, and DynamicSlice is slicing a full row, column respectively.
Handle:
dot(DynamicSlice(Index, ConstA), ConstB) => DynamicSlice(Index, dot*(ConstA, ConstB));
and
dot(ConstA, DynamicSlice(Index, ConstB)) => DynamicSlice(Index, dot*(ConstA, ConstB));

Reason to roll forward: Previous issue of getting out of memory errors when generating LLVM constants was resolved by CSE-ing constants before allocation.

PiperOrigin-RevId: 195853680

Fix docstring for flush() method

PiperOrigin-RevId: 195852402

Update version of downloadable clang toolchain

PiperOrigin-RevId: 195849091

Change visibility of hlo_proto.

PiperOrigin-RevId: 195848035

Add affinity binding functionality and documentation to OVIC benchmarker.

PiperOrigin-RevId: 195847378

Increase size of test //third_party/tensorflow/python:saver_large_variable_test
from "small" to "medium" to prevent flaky timeouts.

PiperOrigin-RevId: 195846802

Fix Raspberry Pi build by making PNG not try to use Neon (by autodetect).

This involves patching to override the png neon option. In the future
it might be worth enabling PNG optimization.

PiperOrigin-RevId: 195846513

When building functions, capture tensors in `internal_convert_to_tensor`.

This change is motivated by the fact that, when eager execution is disabled, library functions assume that tensors returned from `internal_convert_to_tensor` are in fact `Tensor`s and not `EagerTensor`s.

PiperOrigin-RevId: 195846039

Add cost model of depthwiseConv2dNative. Tensorflow computes depthwise separable convolutions as depthwiseConv2dNative followed by 1x1 Conv2D

PiperOrigin-RevId: 195838887

Free ANeuralNetworksCompilation object in NNAPIDelegate destructor

PiperOrigin-RevId: 195832807

Minor formatting tweaks to distribute.py and simple_tfkeras_example.py

PiperOrigin-RevId: 195827029

Update comment clarifying continuous eval behavior.

PiperOrigin-RevId: 195826025

[TF:XLA] Fix NaN in StatelessRandomNormal if the underlying uniform distribution returned -1.

PiperOrigin-RevId: 195819645

Automated g4 rollback of changelist 195723288

PiperOrigin-RevId: 195819297

Add missing #include for OpResponse. This class currently happens to be forward
declared by xla.proto.h, but that proto doesn't actually need this type
anywhere and we are working on removing such unneeded forward declarations.

PiperOrigin-RevId: 195818397

ProfileHandler: Remove unnecessary interface method.
PiperOrigin-RevId: 195815565

Fix a test expectation.

PiperOrigin-RevId: 195796348

Automated g4 rollback of changelist 195748721

PiperOrigin-RevId: 195790581

Temporarily disable concat rewrite.

PiperOrigin-RevId: 195762860

[tf.data] Move tensorflow::dataset::MakeIteratorContext to core/framework

PiperOrigin-RevId: 195756342

Merge pull request #19053 from wangsiyu/fix_tf_layers_reuse

Fix bug of declaring regularization loss multiple times when reusing PartitionedVariables in tf layers

remove type

fix bug of return value in _should_add_regularizer function and refine code in base_test.py to make it no more than 80 columns

eliminate result variable in _should_add_regularizer to make code clean

refine unit test case coding style and move _should_add_regularizer function into add_weight

Add logic for StridedSlice ops in ShapeRefiner::ConstantPartialShape().

This mimics the logic in tensor_util.constant_value_as_shape, allowing
the C++ shape inference code to infer more shapes than it could before.

This change also adds an optional stride argument to InferenceContext::Subshape().

PiperOrigin-RevId: 195749522

Make conv2d_tranpose_test.py work with C API shapes enabled.

The C API provides more accurate shape information in many cases.

PiperOrigin-RevId: 195749030

Make eager functions runable on TPU

PiperOrigin-RevId: 195748721

Raise an error if we try to take the gradient wrt to the initial value of a loop variable.

Fixes #14101

PiperOrigin-RevId: 195748688

Internal change

PiperOrigin-RevId: 195745819

Add test with tf.cond.

PiperOrigin-RevId: 195745718

Delete kTransposeDot (it is no longer in use)

PiperOrigin-RevId: 195745124

Fast-path to VarHandleOp

PiperOrigin-RevId: 195744374

Add TFX section. Add Ecosystem page and dropdown menu.

PiperOrigin-RevId: 195742728

Reorder executor NodeItem variable length data section so
that all multi-byte aligned types precede all byte-aligned
types so that alignment is satisfied without padding.

PiperOrigin-RevId: 195741712

ShapeRefiner fix: some variant-type tensors have handle data.

ShapeRefiner::AddNode() would only propagate handle data for
DT_RESOURCE tensors, but not DT_VARIANT. The Python shape inference
logic in common_shapes.py handled this correct, which is why we didn't
notice this earlier. In particular, list ops use DT_VARIANT with
handle data.
PiperOrigin-RevId: 195739586

Refactor TensorArray to avoid copies and memory allocations when executing eagerly.

With this change, writes to TensorArrays when eager execution is enabled take O(1) time instead of O(n). Additionally, whereas writing to a TensorArray when constructing a graph results in allocating a new Python TensorArray object, writing to a TensorArray with eager enabled no longer performs that allocation (graph construction uses these allocations to ensure correctness of control flow and gradients, but this isn't necessary when executing eagerly). Finally, this change also removes the artificial write-once semantics of TensorArrays when executing eagerly.

PiperOrigin-RevId: 195739572

[XLA] Make post order a possible schedule as it sometimes uses less memory than
the DFS or list scheduler and it is very simple.

PiperOrigin-RevId: 195736916

[Remote functions] Only set the default runner *after* resolving the remote FLR.

Previously, if the `runner` was not specified for a function
execution, we would immediately set it to the default runner of the
*local* FLR, even if the function was to be executed remotely. This
change postpones the resolution of the default runner until after the
function invocation has been routed to the FLR that will actually
execute it.

As a result, we avoid the pathological case where a GPU device using a
private threadpool (TF_GPU_THREAD_MODE=gpu_private) ends up running
all of the ops for the CPU-side input pipeline on the private
threadpool.

PiperOrigin-RevId: 195735734

Add EvaluateNodes to tests: RemoveIdentityTransposesMultipleOutputs, RemoveTransposesWithControlDependency, CombineBitcasts, CombineAndRemoveBitcasts, RemoveRedundantCast

PiperOrigin-RevId: 195735234

[XLA] Fix a "we're we're" in the operation semantics.

PiperOrigin-RevId: 195734316

Add support for select (via tf.where) support to tflite.

PiperOrigin-RevId: 195734246

Internal Change.

PiperOrigin-RevId: 195731675

Fix TypeError in update_version.py

PiperOrigin-RevId: 195731183

Add support for tf.data.Dataset iterators in model training/eval methods in eager-mode

PiperOrigin-RevId: 195730534

Replace references to TensorInfo with XlaTensor

PiperOrigin-RevId: 195730139