Replace raw_input/input with six.moves.input for python 2/3 (#18461)

In python 3 input is the equivalent of raw_input in python 2.
This fix is an enhancement to replace raw_input/input with
six.moves.input, which is compatible with both python 2 and python 3.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Fix shape validation error with tf.nn.conv3d_transpose (#18465)

* Fix shape validation error with tf.nn.conv3d_transpose

This fix tries to address the issue raised in 18460.
In `tf.nn.conv3d_transpose` when list or np array is passed,
the validate of the output shape with filter shape uses
`output_shape[4]` (channel). This will not work with
`data_format='NCDHW'`.

This fix fixes the issue by replace `output_shape[4]` with `output_shape[axis]`.

This fix also adds a test case. Before this fix, the test case will fail.

This fix fixes 18460.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add test case for output and filter shape check in conv3d_transpose

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Fix pylint issue

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Also fix the error message

Fixed the bug in mkl_input_conversion_op when reorder is not needed (#18498)

[INTEL MK] Updating MKL CPU CI build and test. (#18513)

* Setting  KMP_BLOCKTIME to 0

* Adding comments

Merge pull request #18618 from yongtang/04172018-duplicate-random_ops

Remove duplicate imports in all python source

[tf.data] Fix a device placement issue in `prefetch_to_device()`. (#18607)

* [tf.data] Fix a device placement issue in `prefetch_to_device()`.

Previously, the `iterator_get_device()` op was being infeasibly colocated with
both the iterator and placed on the prefetch target device. Move the
construction of that op outside the `with device():` block to fix this.

Also enable the relevant test to run as a CUDA test.

* Import the cuda_py_test rule.

Merge pull request #18615 from yongtang/04162018-TFRecordDataset-shape

Add shape check to TFRecordDataset

Merge pull request #18613 from yifeif/branch_193234819

Branch 193234819

Clean up remaining issues.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Fix duplicate import in kmeans_test.py

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Remove duplicate imports in several places

Wrote a script to scan throught the python files in the repo,
and found the remaining duplicate imports in some python files like:
```
 from tensorflow.python.ops import random_ops
-from tensorflow.python.ops import random_ops
 from tensorflow.python.util.deprecation import deprecated
```
This fix removed all of them for duplicate imports.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Merge pull request #18504 from akshaym/eager-custom-ops

Use eager compatible wrappers in load_library for custom ops

Merge pull request #18614 from yongtang/04172018-duplicate-import

Remove duplicate import in compat.py

Merge pull request #18561 from yongtang/18529-doc-cast

Update docs for tf.cast with supported types

Merge pull request #18563 from yongtang/04162018-gemmlowp

Update gemmlowp version for cmake build

Merge pull request #17562 from giuscri/typo

Fix markdown error in layers tutorial.

Merge pull request #17512 from imsheridan/fix_broken_link_graph

Fix broken link of distributed in graphs.md

Update clip_ops_test.py

Merge pull request #17395 from facaiy/ENH/adamax_optimizer

add AdaMax optimizer

Duplicate imports in histogram_ops.py

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Remove duplicate import in compat.py

Noticed there are a couple of places in compat.py that
have duplicate import:
```
from tensorflow.python.util.tf_export import tf_export
from tensorflow.python.util.tf_export import tf_export
```

This fix remove duplicate imports.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Merge commit for internal changes

Complement cmake script to compile tensorflow with mkl and mkldnn on Windows (#16936)

* Add build batch for windows

* Automaticaly find python, cuda, mkl runtimes in PATH

* auto select cmake generator

* Add external library mkldnn. Add options for mkl and mkldnn

* fix syntax error in make.bat

* Fix errorlevel syntex bug in make.bat

* Add /arch:avx2 flags to enable avx2 on windows

* Revert to keep `tensprflow_WIN_CPU_SIMD_OPTIONS` unchanged, add an option `tensorflow_ENABLE_MKL_SUPPORT` to include MKL compilation. Still specify SIMD flags by setting `tensorflow_WIN_CPU_SIMD_OPTIONS` to such as '/arch:AVX2'

* Fix a mistake of CUDA path in make.bat

* resolve conflict in mkl_cpu_allocator.h

* Improve error detection

* Use where /Q to detect cmd environment

* fix "ELSE IF" the syntax error in make.bat

* update README.md, wrap windows based codes by #ifdef _WIN32

* unistd.h is not needed in mkl_cpu_allocator.h any more in master branch

* Remove inline of kMaxLimitStr, which causes compile error in VS2015

* Add static_cast in  to fix compile error

* remove make.bat

* Removed make.bat description part

Automated g4 rollback of changelist 193168327

PiperOrigin-RevId: 193234819

Moving gradient registration for CudnnRNN op from contrib to core.

PiperOrigin-RevId: 193234663

Fixes and cleanup to support more complex quantized models and adds PropagateFakeQuantNumBits.

PiperOrigin-RevId: 193232630

Merge pull request #18601 from yongtang/18598-tf.compat.as_str

Fix tf.compat.as_str returns bytes issue in Python 3

Merge pull request #18581 from ManHyuk/fix_typo

Fix typo

Replace decode_image with decode_jpeg to avoid ValueError in datasets programmers guide.

PiperOrigin-RevId: 193231717

Fixes a comment in tf.contrib.seq2seq.monotonic_attention().

PiperOrigin-RevId: 193224285

Enable consumption of GIT_TAG_OVERRIDE env var in release build script. (#18579)

Enable consumption of GIT_TAG_OVERRIDE env var in release build script.

Avoid ToString() in Eager's TFE_Execute.

Also use InlinedVector instead of std::vector for non-async path

Before:
Benchmark              Time(ns)        CPU(ns)     Iterations
-------------------------------------------------------------
BM_Execute/0               1895           1898         360200  Execute
BM_Execute/1               1193           1942         358322  ExecuteAsync
BM_ExecuteFunction/0       5812           5825         100000  ExecuteFunction
BM_ExecuteFunction/1       5015           5374         100000  ExecuteFunctionAsync

After:
Benchmark              Time(ns)        CPU(ns)     Iterations
-------------------------------------------------------------
BM_Execute/0               1604           1607         428262  Execute
BM_Execute/1               1150           1765         404821  ExecuteAsync
BM_ExecuteFunction/0       5615           5626         100000  ExecuteFunction
BM_ExecuteFunction/1       5111           5476         100000  ExecuteFunctionAsync
PiperOrigin-RevId: 193218331

Change the contract of dynamic_builtin to reject all functions it can't process.

PiperOrigin-RevId: 193215246

Pylint fix

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Estimate IdentityN as Identity.

PiperOrigin-RevId: 193207469

Removed unnneded tf_export

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Fix tf.compat.as_str returns bytes issue in Python 3

This fix tries to address the issue raised in 18598 where
tf.compat.as_str returns bytes (vs. str) in Python 3.
The issue was that `tf_export` decorator:
```
@tf_export('compat.as_bytes', 'compat.as_str')
```
could not be assigned to `as_bytes` or `as_text`
based on python 2 or 3.
This fix invokes tf_export explicitly based on `_six.PY2`
(for python 2/3) so that `as_str` calls `as_bytes` or `as_text`
conditionally.

This fix fixes 18598.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Fix incorrect rejection of xrange.

PiperOrigin-RevId: 193205016

Add uint32/uint64 support to Gather op.

PiperOrigin-RevId: 193195939

Fix the type info analysis to correctly process loops. Simplify the implementation by reusing some of the transformer base functions. Allow set_element_type to use literals. Add additional tests.

PiperOrigin-RevId: 193192409

Automated g4 rollback of changelist 192842670

PiperOrigin-RevId: 193168327

[tf.data] Add an API for randomly sampling from multiple datasets.

Fixes #15999.

PiperOrigin-RevId: 193152683

Make ParallelInterleaveDataset saveable.

PiperOrigin-RevId: 193142302

Supply a dtype to super constructor, without which build() seems to crash.

PiperOrigin-RevId: 193139585

BoostedTreesEstimator in contrib: train_in_memory works with input_fns returning data.Dataset.
Only one batch of data is expected, so dataset.batch() is disallowed,
and dataset.repeat() will be ignored (only the first one would be used)

PiperOrigin-RevId: 193137094

fix typo

fix typo

fix typo

Remove proto imports in header files for core/kernels/hexagon.

The goal is to make kernels mostly independent of proto headers, which will let us lock down our .so imports.

PiperOrigin-RevId: 193134710

Add a simple Profiler and instrument operator invocations in Interpreter.

PiperOrigin-RevId: 193133955

Sanitize with clan-format -i --style=Google

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Add shape check for buffer_size with TFRecordDataset

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Add shape check for compression_type in TFrecordDataset

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Add shape check to TFRecordDataset

The inputs of TFRecordDataset have the requirements for shapes.
However, the check was not done in the shape function. This fix
adds shape checks whenever possible.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Adding min node weight regularization

PiperOrigin-RevId: 193131300

Remove deprecated/unused python related Bazel options.

Since py_runtime was introduced, Bazel ignores options such as
--force_python2 and --python2_path. Deleting to clean stuff up and
make sure people are not misled.

PiperOrigin-RevId: 193127681

[tf.data] Sort the results of `tf.matching_files()` to enable `Dataset.list_files()` to be determinstic.

PiperOrigin-RevId: 193126572

Don't rely on graph contruction for an initial shape inference.

PiperOrigin-RevId: 193124836

Add LinearOperatorKronecker, representing the Kronecker product.

PiperOrigin-RevId: 193123894

Merge pull request #18575 from miaout17/fix-fft

Fix TFLite Makefile FFT2D dependency.

Internal change.

PiperOrigin-RevId: 193119953

Port the list append into the operators module. Not enabled yet.

PiperOrigin-RevId: 193118940

Merge pull request #17443 from yongtang/16263-softmax_cross_entropy-doc

Update the documentation of `softmax_cross_entropy`

disabling flaky asan test

PiperOrigin-RevId: 193117611

Internal change

PiperOrigin-RevId: 193117142

Create copy of locals() before copying, since modifying locals does not always affect the values. https://docs.python.org/2/library/functions.html#locals.

PiperOrigin-RevId: 193116254

Replacing the current inner Cholesky decomposition loop with a While loop rolled version.

This will allow for much larger Cholesky decompositions (and thus matrix inversions) than previously possible on TPU because of the use of rolled While loops so XLA compilation will no longer timeout.

While there is a minor runtime performance decrease (now 25ms vs 15ms for a 500x500 matrix) the compilation time is significantly faster (12.8s vs 55.2s for a 500x500 matrix.)

PiperOrigin-RevId: 193114816

Merge branch 'master' into typo

Fix trace collection to properly remove the suffix.

PiperOrigin-RevId: 193113074

Curly-brace id's are inconsistently supported.

Curly-brace id's are inconsistently supported.
linking to the id of an html tag seems to be supported everywhere.

Internal change.

PiperOrigin-RevId: 193112205

Fix TFLite Makefile FFT2D dependency.

FFT2D dependency was introduced a while ago so Makefile no longer works
until this fix.

Increase softmax gpu unittest numeric stability

PiperOrigin-RevId: 193103363

Porting tests for `rpc_op` to OS.

PiperOrigin-RevId: 193102564

Exposes InputPipelineConfig as tf.contrib.tpu.InputPipelineConfig.
This type is expected by the `per_host_input_for_training` argument of the TPUConfig constructor, but is not currently visible.

PiperOrigin-RevId: 193101540

Fix lite and makefile issue

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Merge pull request #18558 from imsheridan/fix_argmax_dimension

Fix tf.argmax warnings on dimension argument by using axis instead

Merge pull request #18547 from imsheridan/fix_deprecated_softmax

Fix the doc strings of nn.sampled_softmax_loss since it was deprecated

Merge pull request #18570 from yongtang/18106-Bahdanau-normalized-dtype

Fix the issue with Bahdanau attention when normalized=True and dtype = float16/32

disabling test that fails tensorflow.asan

PiperOrigin-RevId: 193097794

Update bazel

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Use fixed sized tensor arrays and max loop iterations in dynamic_decode if the user supplies it and if the inputs were created in an XLA context.

PiperOrigin-RevId: 193097293

Simplify the recursion when processing unpackings.

PiperOrigin-RevId: 193094078

Merge pull request #18562 from yongtang/04152018-png

Update libpng to v1.6.34 for cmake build

[XLA] Document and enforce reduction order of init value

All existing backends apply the init_value on the lhs, except for the evaluator.  This causes problems for reductions which apply an identity function to a reduce or reduce window.

PiperOrigin-RevId: 193091323

Adding several utility functions to TF2XLA to help with the Cholesky refactor.  Mainly responsible for handling batching properly.

PiperOrigin-RevId: 193090634

Update ops-related pbtxt files.

PiperOrigin-RevId: 193089301

Add gemmlowp to whitelist

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Temporary comment out mirror.bazel.build for gemmlowp

Will reenable once the mirror is propagated.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Update gemmlowp on bazel to sync cmake changes

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Update gemmlowp version for cmake build

The gemmlowp has been updated in bazel, though
cmake version was not updated. This fix updates
gemmlowp in cmake so that cmake and bazel versions
are synced.

The fix has been tested on Linux:
```
tensorflow/tools/ci_build/ci_build.sh CMAKE tensorflow/tools/ci_build/builds/cmake.sh
```

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Simplify the implementation of break_statements.py

PiperOrigin-RevId: 193086371

Fix pylint issue

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Add test case for Bahdanau attention when normalized=True and dtype = float16/32

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Fix the issue with Bahdanau attention when normalized=True and dtype = float16/32

While revisiting 18016 I noticed that Bahdanau attention has a similiar
dtype mismatch issue when normalized=True. The issue comes from:
```
     g = variable_scope.get_variable(
         "attention_g", dtype=dtype,
         initializer=math.sqrt((1. / num_units)))
```
where the initializer value does not work well with differnt dtype.

This fix converts changes the initializer to `init_ops.constant_initializer`
to address the issue, and adds additional test cases for it.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

boosted_trees: Make some regularizer/hyper-params as inputs instead of attributes.

PiperOrigin-RevId: 193085059

Add missing header pnglibconf.h

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Update library file names `libpng12` -> `libpng16`

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Update libpng to v1.6.34 for cmake

The libpng has been updated from v1.2.53 to v1.6.34 in PR 18299.
However, the cmake version of libpng has not been updated yet.
This fix updates the libpng for cmake to v1.6.34.

The fix is tested with cmake on linux:
```
tensorflow/tools/ci_build/ci_build.sh CMAKE tensorflow/tools/ci_build/builds/cmake.sh
```

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Early TPU distribution strategy and the associated testing infrastructure.

PiperOrigin-RevId: 193080098