Merge pull request #18584 from imsheridan/fix_reduce_keepdims

Fix Warning in reduce_* related deprecation argument keep_dims

Merge pull request #18599 from dcirne/bfloat16

Fix unintialized var warning in bfloat16

Merge pull request #17815 from brettkoonce/data_spelling

contrib: minor spelling tweaks

Merge pull request #18610 from yongtang/04152018-xrange-six

Using xrange from six

Merge pull request #18632 from yesmung/master

Fix wrong api name in apis.md

Validation in shape functions of Dataset ops (#18680)

* Add shape check for PrependFromQueueAndPaddedBatchDataset

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add comment for shape check

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add shape check for FixedLengthRecordDataset

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add check for filenames as well

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Clang-format -i --style=google for file format

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add shape check for SqlDataset

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Shape validation with random/shuffle related Dataset ops (#18682)

* Add shape check for CacheDataset

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add shape check for ShuffleAndRepeatDataset

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add check for ShuffleDataset

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add shape check for RandomDataset

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add RangeDataset shape check

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Sanitize with clang-format -i --style=Google

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Add shape check for batch related Dataset ops (#18683)

* Add shape check for PrefetchDataset

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add BatchDataset shape check

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add shape check for SlideDataset

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add shape check for DenseToSparseBatchDataset

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Sanitize with clang-format -i --style=Google

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Merge pull request #18650 from imsheridan/add_shape_check_TextLineDataset

Add shape check to TextLineDataset op

Merge pull request #18657 from yongtang/04152018-raw_input

Replace raw_input/input with six.moves.input

Merge pull request #18659 from yongtang/04182018-py_func_uint16

Add uint16 support for py_func

Merge pull request #18674 from yongtang/18669-CudnnLSTM

Fix issue for float16 data type with reuse in CudnnLSTM

Merge pull request #18611 from yongtang/04162018-roll-shape

Improve shape function check for `tf.roll`

Update dtypes for the test cases

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Add string_strip to remove leading and trailing whitespaces (#18418)

* Add string_strip to remove leading and trailing whitespaces

This fix tries to address the issue raised in 18384 to add
an op tf.string_strip so that the leading and trailing whitespaces
could be removed.

This fix fixes 18384.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add StringStrip op to string_ops.cc

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Update Bazel BUILD file

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Sanitize with clang-format

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add test cases for string_strip

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Fix pylint issue

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Update API defs with tensorflow/core/api_def/update_api_def.sh

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Fix python test error

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Update goldens API with

```
bazel-bin/tensorflow/tools/api/tests/api_compatibility_test
           --update_goldens True
```

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Configurable Custom graph optimizers for grappler (#18479)

* Adding a new field for configurable custom optimizers

* Pass configuration structure to custom optimizers

* Reviewer requests

* Style fixes

* Fix tests

Fix pylint `Line too long (102/80)`

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Update comment in the test

`checked is done in kernel.` -> `checked in kernel.`

for review feedback.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Fix issue for float16 data type with reuse in CudnnLSTM

This fix tries to address the issue raised in 18699 where
for float16 data type, the reuse in CudnnLSTM throws a ValueError.

This fix fixes the issue by passing the data type. This fix
fixes 18699.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Fix `Line too long (82/80) (line-too-long)` issue

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Remove unneeded assignment

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Pylint fix for the import

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Replace raw_input/input with six.moves.input

This fix is an enhancement to replace raw_input/input
in python 2 and 3 with six.moves.input.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Remove unneeded for loop for bool data types in tests

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Add test case for py_func with bool types

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Update complex test case

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Pylint fix

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Add test cases for complex (complex64/complex128) type with py_func

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Fix line too long issue with pylint

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Add test cases for real data types with py_func.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Add uint16 support for py_func

In tf most of the numeric data types are supported though uint16 support
is not:
```
$ python
>>> import tensorflow as tf
>>> def sum_func(x, y):
...   return x + y
...
>>> x = tf.constant(1, dtype=tf.uint16)
>>> y = tf.constant(2, dtype=tf.uint16)
>>> z = tf.py_func(sum_func, [x, y], tf.uint16)
>>> tf.Session().run(z)
...
...
tensorflow.python.framework.errors_impl.UnimplementedError: Unsupported numpy type 4
 [[Node: PyFunc = PyFunc[Tin=[DT_UINT16, DT_UINT16], Tout=[DT_UINT16], token="pyfunc_0", _device="/job:localhost/replica:0/task:0/device:CPU:0"](Const, Const_1)]]
...
```

The reason is that there is no conversion between numpy uint16 and tf.uint16.

This fix adds the support so that py_func could process tf.uint16 data types.

This fix also adds test cases for different data types with py_func to
increase the test coverage.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Merge pull request #18664 from yongtang/04182018-init_ops.py

Fix build failure in `//tensorflow/python/kernel_tests:init_ops_test`

Fix build failure in `bazel test -s --config=opt --cache_test_results=no //tensorflow/python/kernel_tests:init_ops_test`

With the most recent master the following test fails:
```
bazel test -s --config=opt --cache_test_results=no //tensorflow/python/kernel_tests:init_ops_test
...
...
...
    eye = linalg_ops.eye(n, dtype=self.dtype)
NameError: global name 'linalg_ops' is not defined
```

This fix fixes the test failure.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

add checks for compression_type and buffer_size also

Merge pull request #17032 from yongtang/02152018-keep_dims-monte_carlo_test

Fix warnings in tf.contrib.bayesflow.monte_carlo.expectation

Add shape check to TextLineDataset op

Fix wrong api name in apis.md

typed_output_tensor is the correct api name.
It is implemented in the interpreter class.

Signed-off-by: MyungSung Kwak <yesmung@gmail.com>

Merge pull request #18509 from samikama/py_test

Add testing for TF-TRT

Merge pull request #17740 from fumihwh/support-matrix-2-norm

implement matrix 2-norm

Merge pull request #18577 from sbsends/master

Added support for saved_model_cli input files stored on GCS/AWS.

fix build break cmake windows 32bit (#18295)

* fix build break cmake windows 32bit

* Fix lint errors

Fix the default value doc string of global_step in contrib.slim (#18313)

Replace raw_input/input with six.moves.input for python 2/3 (#18461)

In python 3 input is the equivalent of raw_input in python 2.
This fix is an enhancement to replace raw_input/input with
six.moves.input, which is compatible with both python 2 and python 3.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Fix shape validation error with tf.nn.conv3d_transpose (#18465)

* Fix shape validation error with tf.nn.conv3d_transpose

This fix tries to address the issue raised in 18460.
In `tf.nn.conv3d_transpose` when list or np array is passed,
the validate of the output shape with filter shape uses
`output_shape[4]` (channel). This will not work with
`data_format='NCDHW'`.

This fix fixes the issue by replace `output_shape[4]` with `output_shape[axis]`.

This fix also adds a test case. Before this fix, the test case will fail.

This fix fixes 18460.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add test case for output and filter shape check in conv3d_transpose

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Fix pylint issue

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Also fix the error message

Fixed the bug in mkl_input_conversion_op when reorder is not needed (#18498)

[INTEL MK] Updating MKL CPU CI build and test. (#18513)

* Setting  KMP_BLOCKTIME to 0

* Adding comments

Fix py_test import

Merge pull request #18618 from yongtang/04172018-duplicate-random_ops

Remove duplicate imports in all python source

Make requested review changes

[tf.data] Fix a device placement issue in `prefetch_to_device()`. (#18607)

* [tf.data] Fix a device placement issue in `prefetch_to_device()`.

Previously, the `iterator_get_device()` op was being infeasibly colocated with
both the iterator and placed on the prefetch target device. Move the
construction of that op outside the `with device():` block to fix this.

Also enable the relevant test to run as a CUDA test.

* Import the cuda_py_test rule.

Merge pull request #18615 from yongtang/04162018-TFRecordDataset-shape

Add shape check to TFRecordDataset

Merge pull request #18613 from yifeif/branch_193234819

Branch 193234819

Clean up remaining issues.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Fix duplicate import in kmeans_test.py

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Remove duplicate imports in several places

Wrote a script to scan throught the python files in the repo,
and found the remaining duplicate imports in some python files like:
```
 from tensorflow.python.ops import random_ops
-from tensorflow.python.ops import random_ops
 from tensorflow.python.util.deprecation import deprecated
```
This fix removed all of them for duplicate imports.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Merge pull request #18504 from akshaym/eager-custom-ops

Use eager compatible wrappers in load_library for custom ops

Merge pull request #18614 from yongtang/04172018-duplicate-import

Remove duplicate import in compat.py

Merge pull request #18561 from yongtang/18529-doc-cast

Update docs for tf.cast with supported types

Merge pull request #18563 from yongtang/04162018-gemmlowp

Update gemmlowp version for cmake build

Remove range_builder

Merge pull request #17562 from giuscri/typo

Fix markdown error in layers tutorial.

Merge pull request #17512 from imsheridan/fix_broken_link_graph

Fix broken link of distributed in graphs.md

Update clip_ops_test.py

Merge pull request #17395 from facaiy/ENH/adamax_optimizer

add AdaMax optimizer

Duplicate imports in histogram_ops.py

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Remove duplicate import in compat.py

Noticed there are a couple of places in compat.py that
have duplicate import:
```
from tensorflow.python.util.tf_export import tf_export
from tensorflow.python.util.tf_export import tf_export
```

This fix remove duplicate imports.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Pylint issue fix

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Merge commit for internal changes

Complement cmake script to compile tensorflow with mkl and mkldnn on Windows (#16936)

* Add build batch for windows

* Automaticaly find python, cuda, mkl runtimes in PATH

* auto select cmake generator

* Add external library mkldnn. Add options for mkl and mkldnn

* fix syntax error in make.bat

* Fix errorlevel syntex bug in make.bat

* Add /arch:avx2 flags to enable avx2 on windows

* Revert to keep `tensprflow_WIN_CPU_SIMD_OPTIONS` unchanged, add an option `tensorflow_ENABLE_MKL_SUPPORT` to include MKL compilation. Still specify SIMD flags by setting `tensorflow_WIN_CPU_SIMD_OPTIONS` to such as '/arch:AVX2'

* Fix a mistake of CUDA path in make.bat

* resolve conflict in mkl_cpu_allocator.h

* Improve error detection

* Use where /Q to detect cmd environment

* fix "ELSE IF" the syntax error in make.bat

* update README.md, wrap windows based codes by #ifdef _WIN32

* unistd.h is not needed in mkl_cpu_allocator.h any more in master branch

* Remove inline of kMaxLimitStr, which causes compile error in VS2015

* Add static_cast in  to fix compile error

* remove make.bat

* Removed make.bat description part

Automated g4 rollback of changelist 193168327

PiperOrigin-RevId: 193234819

Moving gradient registration for CudnnRNN op from contrib to core.

PiperOrigin-RevId: 193234663

Fixes and cleanup to support more complex quantized models and adds PropagateFakeQuantNumBits.

PiperOrigin-RevId: 193232630

Merge pull request #18601 from yongtang/18598-tf.compat.as_str

Fix tf.compat.as_str returns bytes issue in Python 3

Merge pull request #18581 from ManHyuk/fix_typo

Fix typo

Replace decode_image with decode_jpeg to avoid ValueError in datasets programmers guide.

PiperOrigin-RevId: 193231717

Fixes a comment in tf.contrib.seq2seq.monotonic_attention().

PiperOrigin-RevId: 193224285

Enable consumption of GIT_TAG_OVERRIDE env var in release build script. (#18579)

Enable consumption of GIT_TAG_OVERRIDE env var in release build script.

Avoid ToString() in Eager's TFE_Execute.

Also use InlinedVector instead of std::vector for non-async path

Before:
Benchmark              Time(ns)        CPU(ns)     Iterations
-------------------------------------------------------------
BM_Execute/0               1895           1898         360200  Execute
BM_Execute/1               1193           1942         358322  ExecuteAsync
BM_ExecuteFunction/0       5812           5825         100000  ExecuteFunction
BM_ExecuteFunction/1       5015           5374         100000  ExecuteFunctionAsync

After:
Benchmark              Time(ns)        CPU(ns)     Iterations
-------------------------------------------------------------
BM_Execute/0               1604           1607         428262  Execute
BM_Execute/1               1150           1765         404821  ExecuteAsync
BM_ExecuteFunction/0       5615           5626         100000  ExecuteFunction
BM_ExecuteFunction/1       5111           5476         100000  ExecuteFunctionAsync
PiperOrigin-RevId: 193218331

Change the contract of dynamic_builtin to reject all functions it can't process.

PiperOrigin-RevId: 193215246

Pylint fix

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Estimate IdentityN as Identity.

PiperOrigin-RevId: 193207469

Removed unnneded tf_export

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Fix tf.compat.as_str returns bytes issue in Python 3

This fix tries to address the issue raised in 18598 where
tf.compat.as_str returns bytes (vs. str) in Python 3.
The issue was that `tf_export` decorator:
```
@tf_export('compat.as_bytes', 'compat.as_str')
```
could not be assigned to `as_bytes` or `as_text`
based on python 2 or 3.
This fix invokes tf_export explicitly based on `_six.PY2`
(for python 2/3) so that `as_str` calls `as_bytes` or `as_text`
conditionally.

This fix fixes 18598.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Fix incorrect rejection of xrange.

PiperOrigin-RevId: 193205016

Fix unintialized var warning in bfloat16

This contribution initializes result to 0, then inside the #if statement only one byte needs to be set, depending on the endian, the other will already be zero from the initialization. This also fixes the compilation warning.

Add uint32/uint64 support to Gather op.

PiperOrigin-RevId: 193195939

Fix the type info analysis to correctly process loops. Simplify the implementation by reusing some of the transformer base functions. Allow set_element_type to use literals. Add additional tests.

PiperOrigin-RevId: 193192409

Automated g4 rollback of changelist 192842670

PiperOrigin-RevId: 193168327

change the year of copyright

loose test to 1e-5

fix non-whitelited pylint errors

[tf.data] Add an API for randomly sampling from multiple datasets.

Fixes #15999.

PiperOrigin-RevId: 193152683

revert unwanted typo

fix init_ops.py

Fix Warning in reduce_mean/ reduce_max related deprecation argument keep_dims

Make ParallelInterleaveDataset saveable.

PiperOrigin-RevId: 193142302

Supply a dtype to super constructor, without which build() seems to crash.

PiperOrigin-RevId: 193139585

BoostedTreesEstimator in contrib: train_in_memory works with input_fns returning data.Dataset.
Only one batch of data is expected, so dataset.batch() is disallowed,
and dataset.repeat() will be ignored (only the first one would be used)

PiperOrigin-RevId: 193137094

fix typo

fix typo