Merge pull request #18632 from yesmung/master

Fix wrong api name in apis.md

Validation in shape functions of Dataset ops (#18680)

* Add shape check for PrependFromQueueAndPaddedBatchDataset

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add comment for shape check

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add shape check for FixedLengthRecordDataset

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add check for filenames as well

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Clang-format -i --style=google for file format

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add shape check for SqlDataset

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Shape validation with random/shuffle related Dataset ops (#18682)

* Add shape check for CacheDataset

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add shape check for ShuffleAndRepeatDataset

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add check for ShuffleDataset

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add shape check for RandomDataset

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add RangeDataset shape check

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Sanitize with clang-format -i --style=Google

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Add shape check for batch related Dataset ops (#18683)

* Add shape check for PrefetchDataset

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add BatchDataset shape check

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add shape check for SlideDataset

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add shape check for DenseToSparseBatchDataset

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Sanitize with clang-format -i --style=Google

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Merge pull request #18650 from imsheridan/add_shape_check_TextLineDataset

Add shape check to TextLineDataset op

Merge pull request #18657 from yongtang/04152018-raw_input

Replace raw_input/input with six.moves.input

Merge pull request #18659 from yongtang/04182018-py_func_uint16

Add uint16 support for py_func

Merge pull request #18674 from yongtang/18669-CudnnLSTM

Fix issue for float16 data type with reuse in CudnnLSTM

Merge pull request #18611 from yongtang/04162018-roll-shape

Improve shape function check for `tf.roll`

Update dtypes for the test cases

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Add string_strip to remove leading and trailing whitespaces (#18418)

* Add string_strip to remove leading and trailing whitespaces

This fix tries to address the issue raised in 18384 to add
an op tf.string_strip so that the leading and trailing whitespaces
could be removed.

This fix fixes 18384.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add StringStrip op to string_ops.cc

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Update Bazel BUILD file

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Sanitize with clang-format

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add test cases for string_strip

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Fix pylint issue

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Update API defs with tensorflow/core/api_def/update_api_def.sh

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Fix python test error

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Update goldens API with

```
bazel-bin/tensorflow/tools/api/tests/api_compatibility_test
           --update_goldens True
```

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Configurable Custom graph optimizers for grappler (#18479)

* Adding a new field for configurable custom optimizers

* Pass configuration structure to custom optimizers

* Reviewer requests

* Style fixes

* Fix tests

Fix pylint `Line too long (102/80)`

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Update comment in the test

`checked is done in kernel.` -> `checked in kernel.`

for review feedback.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Fix issue for float16 data type with reuse in CudnnLSTM

This fix tries to address the issue raised in 18699 where
for float16 data type, the reuse in CudnnLSTM throws a ValueError.

This fix fixes the issue by passing the data type. This fix
fixes 18699.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Fix `Line too long (82/80) (line-too-long)` issue

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Remove unneeded assignment

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Pylint fix for the import

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Replace raw_input/input with six.moves.input

This fix is an enhancement to replace raw_input/input
in python 2 and 3 with six.moves.input.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Remove unneeded for loop for bool data types in tests

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Add test case for py_func with bool types

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Update complex test case

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Pylint fix

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Add test cases for complex (complex64/complex128) type with py_func

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Fix line too long issue with pylint

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Add test cases for real data types with py_func.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Add uint16 support for py_func

In tf most of the numeric data types are supported though uint16 support
is not:
```
$ python
>>> import tensorflow as tf
>>> def sum_func(x, y):
...   return x + y
...
>>> x = tf.constant(1, dtype=tf.uint16)
>>> y = tf.constant(2, dtype=tf.uint16)
>>> z = tf.py_func(sum_func, [x, y], tf.uint16)
>>> tf.Session().run(z)
...
...
tensorflow.python.framework.errors_impl.UnimplementedError: Unsupported numpy type 4
 [[Node: PyFunc = PyFunc[Tin=[DT_UINT16, DT_UINT16], Tout=[DT_UINT16], token="pyfunc_0", _device="/job:localhost/replica:0/task:0/device:CPU:0"](Const, Const_1)]]
...
```

The reason is that there is no conversion between numpy uint16 and tf.uint16.

This fix adds the support so that py_func could process tf.uint16 data types.

This fix also adds test cases for different data types with py_func to
increase the test coverage.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Merge pull request #18664 from yongtang/04182018-init_ops.py

Fix build failure in `//tensorflow/python/kernel_tests:init_ops_test`

Fix build failure in `bazel test -s --config=opt --cache_test_results=no //tensorflow/python/kernel_tests:init_ops_test`

With the most recent master the following test fails:
```
bazel test -s --config=opt --cache_test_results=no //tensorflow/python/kernel_tests:init_ops_test
...
...
...
    eye = linalg_ops.eye(n, dtype=self.dtype)
NameError: global name 'linalg_ops' is not defined
```

This fix fixes the test failure.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

add checks for compression_type and buffer_size also

Merge pull request #17032 from yongtang/02152018-keep_dims-monte_carlo_test

Fix warnings in tf.contrib.bayesflow.monte_carlo.expectation

Add shape check to TextLineDataset op

Fix wrong api name in apis.md

typed_output_tensor is the correct api name.
It is implemented in the interpreter class.

Signed-off-by: MyungSung Kwak <yesmung@gmail.com>

Merge pull request #18509 from samikama/py_test

Add testing for TF-TRT

Merge pull request #17740 from fumihwh/support-matrix-2-norm

implement matrix 2-norm

Merge pull request #18577 from sbsends/master

Added support for saved_model_cli input files stored on GCS/AWS.

fix build break cmake windows 32bit (#18295)

* fix build break cmake windows 32bit

* Fix lint errors

Fix the default value doc string of global_step in contrib.slim (#18313)

Replace raw_input/input with six.moves.input for python 2/3 (#18461)

In python 3 input is the equivalent of raw_input in python 2.
This fix is an enhancement to replace raw_input/input with
six.moves.input, which is compatible with both python 2 and python 3.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Fix shape validation error with tf.nn.conv3d_transpose (#18465)

* Fix shape validation error with tf.nn.conv3d_transpose

This fix tries to address the issue raised in 18460.
In `tf.nn.conv3d_transpose` when list or np array is passed,
the validate of the output shape with filter shape uses
`output_shape[4]` (channel). This will not work with
`data_format='NCDHW'`.

This fix fixes the issue by replace `output_shape[4]` with `output_shape[axis]`.

This fix also adds a test case. Before this fix, the test case will fail.

This fix fixes 18460.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add test case for output and filter shape check in conv3d_transpose

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Fix pylint issue

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Also fix the error message

Fixed the bug in mkl_input_conversion_op when reorder is not needed (#18498)

[INTEL MK] Updating MKL CPU CI build and test. (#18513)

* Setting  KMP_BLOCKTIME to 0

* Adding comments

Fix py_test import

Merge pull request #18618 from yongtang/04172018-duplicate-random_ops

Remove duplicate imports in all python source

Make requested review changes

[tf.data] Fix a device placement issue in `prefetch_to_device()`. (#18607)

* [tf.data] Fix a device placement issue in `prefetch_to_device()`.

Previously, the `iterator_get_device()` op was being infeasibly colocated with
both the iterator and placed on the prefetch target device. Move the
construction of that op outside the `with device():` block to fix this.

Also enable the relevant test to run as a CUDA test.

* Import the cuda_py_test rule.

Merge pull request #18615 from yongtang/04162018-TFRecordDataset-shape

Add shape check to TFRecordDataset

Merge pull request #18613 from yifeif/branch_193234819

Branch 193234819

Clean up remaining issues.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Fix duplicate import in kmeans_test.py

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Remove duplicate imports in several places

Wrote a script to scan throught the python files in the repo,
and found the remaining duplicate imports in some python files like:
```
 from tensorflow.python.ops import random_ops
-from tensorflow.python.ops import random_ops
 from tensorflow.python.util.deprecation import deprecated
```
This fix removed all of them for duplicate imports.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Merge pull request #18504 from akshaym/eager-custom-ops

Use eager compatible wrappers in load_library for custom ops

Merge pull request #18614 from yongtang/04172018-duplicate-import

Remove duplicate import in compat.py

Merge pull request #18561 from yongtang/18529-doc-cast

Update docs for tf.cast with supported types

Merge pull request #18563 from yongtang/04162018-gemmlowp

Update gemmlowp version for cmake build

Merge pull request #17562 from giuscri/typo

Fix markdown error in layers tutorial.

Merge pull request #17512 from imsheridan/fix_broken_link_graph

Fix broken link of distributed in graphs.md

Update clip_ops_test.py

Merge pull request #17395 from facaiy/ENH/adamax_optimizer

add AdaMax optimizer

Duplicate imports in histogram_ops.py

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Remove duplicate import in compat.py

Noticed there are a couple of places in compat.py that
have duplicate import:
```
from tensorflow.python.util.tf_export import tf_export
from tensorflow.python.util.tf_export import tf_export
```

This fix remove duplicate imports.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Pylint issue fix

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Merge commit for internal changes

Complement cmake script to compile tensorflow with mkl and mkldnn on Windows (#16936)

* Add build batch for windows

* Automaticaly find python, cuda, mkl runtimes in PATH

* auto select cmake generator

* Add external library mkldnn. Add options for mkl and mkldnn

* fix syntax error in make.bat

* Fix errorlevel syntex bug in make.bat

* Add /arch:avx2 flags to enable avx2 on windows

* Revert to keep `tensprflow_WIN_CPU_SIMD_OPTIONS` unchanged, add an option `tensorflow_ENABLE_MKL_SUPPORT` to include MKL compilation. Still specify SIMD flags by setting `tensorflow_WIN_CPU_SIMD_OPTIONS` to such as '/arch:AVX2'

* Fix a mistake of CUDA path in make.bat

* resolve conflict in mkl_cpu_allocator.h

* Improve error detection

* Use where /Q to detect cmd environment

* fix "ELSE IF" the syntax error in make.bat

* update README.md, wrap windows based codes by #ifdef _WIN32

* unistd.h is not needed in mkl_cpu_allocator.h any more in master branch

* Remove inline of kMaxLimitStr, which causes compile error in VS2015

* Add static_cast in  to fix compile error

* remove make.bat

* Removed make.bat description part

Automated g4 rollback of changelist 193168327

PiperOrigin-RevId: 193234819

Moving gradient registration for CudnnRNN op from contrib to core.

PiperOrigin-RevId: 193234663

Fixes and cleanup to support more complex quantized models and adds PropagateFakeQuantNumBits.

PiperOrigin-RevId: 193232630

Merge pull request #18601 from yongtang/18598-tf.compat.as_str

Fix tf.compat.as_str returns bytes issue in Python 3

Merge pull request #18581 from ManHyuk/fix_typo

Fix typo

Replace decode_image with decode_jpeg to avoid ValueError in datasets programmers guide.

PiperOrigin-RevId: 193231717

Fixes a comment in tf.contrib.seq2seq.monotonic_attention().

PiperOrigin-RevId: 193224285

Enable consumption of GIT_TAG_OVERRIDE env var in release build script. (#18579)

Enable consumption of GIT_TAG_OVERRIDE env var in release build script.

Avoid ToString() in Eager's TFE_Execute.

Also use InlinedVector instead of std::vector for non-async path

Before:
Benchmark              Time(ns)        CPU(ns)     Iterations
-------------------------------------------------------------
BM_Execute/0               1895           1898         360200  Execute
BM_Execute/1               1193           1942         358322  ExecuteAsync
BM_ExecuteFunction/0       5812           5825         100000  ExecuteFunction
BM_ExecuteFunction/1       5015           5374         100000  ExecuteFunctionAsync

After:
Benchmark              Time(ns)        CPU(ns)     Iterations
-------------------------------------------------------------
BM_Execute/0               1604           1607         428262  Execute
BM_Execute/1               1150           1765         404821  ExecuteAsync
BM_ExecuteFunction/0       5615           5626         100000  ExecuteFunction
BM_ExecuteFunction/1       5111           5476         100000  ExecuteFunctionAsync
PiperOrigin-RevId: 193218331

Change the contract of dynamic_builtin to reject all functions it can't process.

PiperOrigin-RevId: 193215246

Pylint fix

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Estimate IdentityN as Identity.

PiperOrigin-RevId: 193207469

Removed unnneded tf_export

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Fix tf.compat.as_str returns bytes issue in Python 3

This fix tries to address the issue raised in 18598 where
tf.compat.as_str returns bytes (vs. str) in Python 3.
The issue was that `tf_export` decorator:
```
@tf_export('compat.as_bytes', 'compat.as_str')
```
could not be assigned to `as_bytes` or `as_text`
based on python 2 or 3.
This fix invokes tf_export explicitly based on `_six.PY2`
(for python 2/3) so that `as_str` calls `as_bytes` or `as_text`
conditionally.

This fix fixes 18598.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Fix incorrect rejection of xrange.

PiperOrigin-RevId: 193205016

Add uint32/uint64 support to Gather op.

PiperOrigin-RevId: 193195939

Fix the type info analysis to correctly process loops. Simplify the implementation by reusing some of the transformer base functions. Allow set_element_type to use literals. Add additional tests.

PiperOrigin-RevId: 193192409

Automated g4 rollback of changelist 192842670

PiperOrigin-RevId: 193168327

change the year of copyright

loose test to 1e-5

fix non-whitelited pylint errors

[tf.data] Add an API for randomly sampling from multiple datasets.

Fixes #15999.

PiperOrigin-RevId: 193152683

fix init_ops.py

Make ParallelInterleaveDataset saveable.

PiperOrigin-RevId: 193142302

Supply a dtype to super constructor, without which build() seems to crash.

PiperOrigin-RevId: 193139585

BoostedTreesEstimator in contrib: train_in_memory works with input_fns returning data.Dataset.
Only one batch of data is expected, so dataset.batch() is disallowed,
and dataset.repeat() will be ignored (only the first one would be used)

PiperOrigin-RevId: 193137094

fix typo

fix typo

fix typo

Remove proto imports in header files for core/kernels/hexagon.

The goal is to make kernels mostly independent of proto headers, which will let us lock down our .so imports.

PiperOrigin-RevId: 193134710

Add a simple Profiler and instrument operator invocations in Interpreter.

PiperOrigin-RevId: 193133955

Sanitize with clan-format -i --style=Google

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Add shape check for buffer_size with TFRecordDataset

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Add shape check for compression_type in TFrecordDataset

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Add shape check to TFRecordDataset

The inputs of TFRecordDataset have the requirements for shapes.
However, the check was not done in the shape function. This fix
adds shape checks whenever possible.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Sanitize with clang-format -i --style=Google

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>