Complement cmake script to compile tensorflow with mkl and mkldnn on Windows (#16936)

* Add build batch for windows

* Automaticaly find python, cuda, mkl runtimes in PATH

* auto select cmake generator

* Add external library mkldnn. Add options for mkl and mkldnn

* fix syntax error in make.bat

* Fix errorlevel syntex bug in make.bat

* Add /arch:avx2 flags to enable avx2 on windows

* Revert to keep `tensprflow_WIN_CPU_SIMD_OPTIONS` unchanged, add an option `tensorflow_ENABLE_MKL_SUPPORT` to include MKL compilation. Still specify SIMD flags by setting `tensorflow_WIN_CPU_SIMD_OPTIONS` to such as '/arch:AVX2'

* Fix a mistake of CUDA path in make.bat

* resolve conflict in mkl_cpu_allocator.h

* Improve error detection

* Use where /Q to detect cmd environment

* fix "ELSE IF" the syntax error in make.bat

* update README.md, wrap windows based codes by #ifdef _WIN32

* unistd.h is not needed in mkl_cpu_allocator.h any more in master branch

* Remove inline of kMaxLimitStr, which causes compile error in VS2015

* Add static_cast in  to fix compile error

* remove make.bat

* Removed make.bat description part

Merge pull request #18601 from yongtang/18598-tf.compat.as_str

Fix tf.compat.as_str returns bytes issue in Python 3

Merge pull request #18581 from ManHyuk/fix_typo

Fix typo

Enable consumption of GIT_TAG_OVERRIDE env var in release build script. (#18579)

Enable consumption of GIT_TAG_OVERRIDE env var in release build script.

Pylint fix

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Removed unnneded tf_export

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Fix tf.compat.as_str returns bytes issue in Python 3

This fix tries to address the issue raised in 18598 where
tf.compat.as_str returns bytes (vs. str) in Python 3.
The issue was that `tf_export` decorator:
```
@tf_export('compat.as_bytes', 'compat.as_str')
```
could not be assigned to `as_bytes` or `as_text`
based on python 2 or 3.
This fix invokes tf_export explicitly based on `_six.PY2`
(for python 2/3) so that `as_str` calls `as_bytes` or `as_text`
conditionally.

This fix fixes 18598.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

fix typo

fix typo

fix typo

Merge pull request #18575 from miaout17/fix-fft

Fix TFLite Makefile FFT2D dependency.

Merge pull request #17443 from yongtang/16263-softmax_cross_entropy-doc

Update the documentation of `softmax_cross_entropy`

Fix TFLite Makefile FFT2D dependency.

FFT2D dependency was introduced a while ago so Makefile no longer works
until this fix.

Merge pull request #18558 from imsheridan/fix_argmax_dimension

Fix tf.argmax warnings on dimension argument by using axis instead

Merge pull request #18547 from imsheridan/fix_deprecated_softmax

Fix the doc strings of nn.sampled_softmax_loss since it was deprecated

Merge pull request #18570 from yongtang/18106-Bahdanau-normalized-dtype

Fix the issue with Bahdanau attention when normalized=True and dtype = float16/32

Merge pull request #18562 from yongtang/04152018-png

Update libpng to v1.6.34 for cmake build

Fix pylint issue

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Add test case for Bahdanau attention when normalized=True and dtype = float16/32

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Fix the issue with Bahdanau attention when normalized=True and dtype = float16/32

While revisiting 18016 I noticed that Bahdanau attention has a similiar
dtype mismatch issue when normalized=True. The issue comes from:
```
     g = variable_scope.get_variable(
         "attention_g", dtype=dtype,
         initializer=math.sqrt((1. / num_units)))
```
where the initializer value does not work well with differnt dtype.

This fix converts changes the initializer to `init_ops.constant_initializer`
to address the issue, and adds additional test cases for it.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Add missing header pnglibconf.h

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Update library file names `libpng12` -> `libpng16`

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Update libpng to v1.6.34 for cmake

The libpng has been updated from v1.2.53 to v1.6.34 in PR 18299.
However, the cmake version of libpng has not been updated yet.
This fix updates the libpng for cmake to v1.6.34.

The fix is tested with cmake on linux:
```
tensorflow/tools/ci_build/ci_build.sh CMAKE tensorflow/tools/ci_build/builds/cmake.sh
```

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Merge pull request #18569 from annarev/merge_branch

Merge branch

Merge pull request #17800 from yongtang/03152018-deprecated_argument_lookup

Enhancement with deprecated_argument_lookup for argmax/argmin

Merge pull request #18568 from case540/enable_git_tag_override

Add ability to override git tag in __git_version__ string.

Merge pull request #18544 from ManHyuk/fix_typo

Fix typo

Merging r1.8 into master

Fix Exception syntax.

Add ability to override git tag in __git_version__ string.

Adding this functionality to make release process smoother. It will
allow us to create the release builds before creating the git
release tag.

Update pydoc for several tfdbg hooks (#18533)

For classes:
Specify that tfdbg.LocalCLIDebugHook can be used to debug instances
of tf.estimator.Estimator. Remove mentions of
tf.contrib.learn.Estimator and tf.contrib.learn.Experiment, as
they are deprecated.

For __init__ method of LocalCLIDebugHook:
Clarify purpose of ui_type argument.

Fix tf.argmax warnings on dimension parameter with axis

Merge pull request #18500 from jameswex/closure_proto_library

closure proto library for example protos

Merge branch 'master' into closure_proto_library

Fix the doc strings of nn.sampled_softmax_loss since it was deprecated by nn.sampled_softmax_loss_v2

fix typo

Merge branch 'fix_typo' of https://github.com/ManHyuk/tensorflow into fix_typo

Fix embedding_ops doc formatting (#18520)

* Fix embedding_ops doc formatting

* Add missing indentation

export tflite::Intepreter's  UseNNAPI() and setNumThreads() to java (#16065)

* export UseNNAPI() and setNumThreads() to java

Export tflite::Intepreter's UseNNAPI() and SetNumThreads() to Java
and modify the Android TfLiteCameraDemo app to use them.

* change CheckedChangeListener accordingly

* add error checking to setNumThreads()

Allow `~/` in path for transform_graph (#15894)

* Allow `~/` in path for transform_graph

This fix tries to address the issue raised in 13211 where
it was not possible to specify `~` (e.g., `~/`, `~user/`, etc)
for the path used in transform_graph. This fix adds
the support of `~` transform_graph on Linux.

This fix fixes 13211.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Reformat transform_graph.cc with clang-format

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

adding ps_strategy to run_config to enable different placement strate… (#15640)

* adding ps_strategy to run_config to enable different placement strategy in estimator

* 1. Moved estimator._device_fn to RunConfig as @property
2. Made RunConfig.device_fn to return custom device function if one is specified, otherwise the result from `tf.train.replica_device_setter` call is used
3. Added some basic unit tests, may need further tests.

* 1. Removing ps_strategy.
2. Modified estimator to take overriden device_fn from  if set.
3. Removed ps_strategy related unit tests.

* Adding manual initialization of _device_fn in legacy RunConfig class

* Updated estimator golden API through
1. bazel build //tensorflow/tools/api/tests:api_compatibility_test
2. bazel-bin/tensorflow/tools/api/tests/api_compatibility_test --update_goldens True

* fixing code styles

Add support for explicit broadcasting in TensorFlow (#15243)

* Add support for explicit broadcasting in TensorFlow

This fix tries to adds support for explicit broadcasting in TensorFlow,
as was suggested in 14509. This fix adds the op of tf.broadcast_to,
which is equivalent to the numpy.broadcast_to in numpy.

This fix fixes 14509.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Register BroadcastTo op in array_ops.cc

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Sanitize with clang-format -i

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add test cases for tf.broadcast_to

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Sanitize bazel BUILD and python.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Split broadcast_to_ops_test from array_ops_test

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Support int64 shape

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Improve shape inference for broadcast_to

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add scalar input support for broadcast_to

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Update API defs tensorflow/core/api_def/update_api_def.sh

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Update API golden

```
bazel-bin/tensorflow/tools/api/tests/api_compatibility_test
           --update_goldens True
```

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Update docstring for broadcast_to

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Enable GPU kernel for BroadcastTo

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Enable use_gpu=True for test cases

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Hiden the ops and export to tf.contrib.framework for now.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add the op to the _allowed_symbol in tf.contrib.framework

Otherwise the symbole will be hidden

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Fix pylint sanity issue.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Support passing layer instances to produce attentional hidden states (#14974)

* Support passing Layer instances to the AttentionWrapper.

* Use _compute_output_shape to get the attention layer depth

* compute_output_shape is now a public method

* Move new argument at the end

Expose Scaffold.default_local_init_op as a public static method. (#18398)

* Expose Scaffold.default_local_init_op as a public static method.

* update api

* Add a docstring.

* Add a returns section.

Improving S3 documentation. (#18406)

* Improving S3 documentation.

Added a copy-pastable guide on the variables, and also provided usable examples that give immediate feedback.

* Updating docs based on feedback.

Added back old configuration section, moved s3 implementations to bottom of document.

* Rearranged documentation before example, renamed sections to be more clear.

Fix typo (#18416)

* fix typo

* fix typo

* fix typo

* fix typo

* fix typo

* fix typo

* fix typo

* Improve comment

Update sqlite version for cmake build (#18524)

The sqlite has been updated in bazel, though
cmake version was not updated. This fix updates
sqlite in cmake so that cmake and bazel versions
are synced.

The fix has been tested on Linux:
```
tensorflow/tools/ci_build/ci_build.sh CMAKE tensorflow/tools/ci_build/builds/cmake.sh
```

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Add shape validation for tag input of StatsDataset (#18462)

* Add shape validation for tag input of StatsDataset

The tag field of the StatsDataset needs to be a scalar.
However, there was no check in the shape function. This
fix adds the check of the tag shape.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add test case for tag shape check with BytesProducedStatsDataset

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add tag shape check for LatencyStatsDataset

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add test case for tag shape check with LatencyStatsDataset

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Fix pylint issue

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Merge pull request #18511 from qlzh727/branch_192842670

Branch 192842670

Merge commit for internal changes

Automated g4 rollback of changelist 192784701

PiperOrigin-RevId: 192842670

Improve layout optimizer tests -- Evaluate nodes before and after optimization, to confirm the graph's behavior is maintained after optimization.

PiperOrigin-RevId: 192842623

Upgrade SQLite

PiperOrigin-RevId: 192837358

Restore definitions of static members in MklCpuAllocator.

These were removed in #17396 which made the static member variables of
MklCpuAllocator into inline variables, which are a C++17 feature, and not
properly restored in #18006 which reverted the inline declarations, leading to
an ODR violation that is apparently ignored with some compilers.
END_PUBLIC

RELNOTES: n/a

BEGIN_PUBLIC
Automated g4 rollback of changelist 191305220

PiperOrigin-RevId: 192836808

Enable remote functions for TPU_SYSTEM.

PiperOrigin-RevId: 192836098

Avoid mixing `Dimension` type and `int` when defining kernel shapes in conv layers.

PiperOrigin-RevId: 192834255

[XLA] Pattern matcher for HLO, Shapes, Layouts

PiperOrigin-RevId: 192834129

Add broadcasting to all LinearOperators.

This will broadcast in cases where batch shapes are not equal (but tries to determine statically if this is the case). The broadcasting is not as efficient as doing the broadcast in C++, but makes for the API to at least be completely broadcastable.

PiperOrigin-RevId: 192832919

[TF] Enable half precision XLA compiler tests for the gpu backend.

Modify some tests to allow larger error for half precision.

Enable half precision SpaceToBatchNDTest for the cpu backend.

PiperOrigin-RevId: 192831909

Added PmfToQuantizedCdf op to contrib/coder in TensorFlow.

The added op transforms probability mass functions (PMF) to quantized
cumulative distribution function (CDF), which can be used by range coder ops in
contrib/coder.

The op takes greedy approach to ensure that the post-quantization probability
masses do not sum over the maximum quantized value. The op does not make any
adjustment when the post-quantization probability masses already sum less than
the maximum value.

PiperOrigin-RevId: 192827779

Allow tf.train.Saver to load object-based checkpoints (using names)

This is the second part of the compatibility story. Object-based checkpointing APIs can already read name-based checkpoints, and now the name-based APIs can read object-based checkpoints by looking up the modified keys in the object graph proto.

PiperOrigin-RevId: 192824907

[XLA] Redesign: add ~XlaOp() and ~XlaComputation().

PiperOrigin-RevId: 192822559

Small tag change

PiperOrigin-RevId: 192821895

Extend Keras symbol-feeding to dynamic-length tensors and tensors of different dtypes from the target placeholders.

PiperOrigin-RevId: 192821770

Internal change.

PiperOrigin-RevId: 192821482

Support scalar mean in resolve_batch_normalization

PiperOrigin-RevId: 192816848

Merge pull request #18505 from yupbank/add-new-owner-for-tensor-forest

Add extra code owner for tensor_forest

Add myself into code ownder for tensor_forest

Remove closure_js_proto_library rule for tf.example protos.

PiperOrigin-RevId: 192809073

[XLA] Redesign: add a constructor: XlaComputation(HloModuleProto).

PiperOrigin-RevId: 192808038

[XLA] Redesign: add a method that creates fake data for XlaComputation.

PiperOrigin-RevId: 192807851

Expose tf.decode_compressed to the public API.

PiperOrigin-RevId: 192805605

Merge branch 'closure_proto_library' of https://github.com/jameswex/tensorflow into closure_proto_library

fix build file format

Fix warnings in tf.distributions.Categorical (#18468)

In tf.distributions.Categorical dimension was used with argmax.
As dimension has been deprecated this generates a warning.
This fix fixes the warning by changing to axis.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Fix crash when invalid dtype was passed (#18481)

* Fix crash when invalid dtype was passed

This fix tries to address the issue raised in 18474
where crash may happen if invalid dtype (e.g., `"[,]"`)
is passed to `tf.constant(tf.string, "[,]")`. The crash
happens during the comparision of `"[,]"` and numpy dtype
candidate (e.g., `np.dtype([("qint8", np.int8, 1)])`:
```
>>> import numpy as np
>>> np.dtype([("qint8", np.int8, 1)]) == "[,]"
Segmentation fault: 11
```

This fix adds a type check to make sure the type of the passed
dtype is either numpy.dtype or type.

This fix fixes 18474.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add test case for invalid type to tf.constant

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Merge branch 'master' into closure_proto_library

Fix the broken TFLite iOS example. (#18483)

The demo app is only relying on CocoaPod now, but it's incorrectly
configured to use the headers on Github. It crashes the app when
the header is different between Github and CocoaPod.

Fix warnings in `nn.sampled_softmax_loss` (#18494)

* Fix warnings in `nn.sampled_softmax_loss`

The softmax_cross_entropy_with_logits has been deprecated
and replaced with softmax_cross_entropy_with_logits_v2.
This causes nn.sampled_softmax_loss to always generate
a WANRING whenever called. This fix replaces
`softmax_cross_entropy_with_logits` with `softmax_cross_entropy_with_logits_v2`
and maintains the existing behavior to fix the warning.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Pylint fix for line too long

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Add deprecation args decoration for tf.squeeze (#18495)

* Add deprecation args decoration with tf.squeeze

This fix adds deprecation args decoration with tf.squeeze,
with deprecates `squeeze_dims` with `axis`.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Enhancement with deprecated_argument_lookup

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Fixing output alternatives

PiperOrigin-RevId: 192795596

Merge pull request #18497 from qlzh727/branch_192771889

Branch 192771889

[TF:XLA] Start a TensorFlow library that contains direct wrappers for XLA operators.

Add new XlaReduceWindow and XlaDynamicUpdateSlice operators.
Add new tests for the existing XlaWhile operator.
Add wrappers for XlaSend and XlaRecv.

PiperOrigin-RevId: 192795174

Add more logging for failure cases in CUDATimer

PiperOrigin-RevId: 192793983

review changes

Fix comment in xla_data.proto related to padding value for Windows.

PiperOrigin-RevId: 192792971

Internal change.

PiperOrigin-RevId: 192791493

closure proto library for example protos

Disable x * x -> square(x) Grapler rewrite for complex types unless the op is on CPU. Square is not registered for complex types on GPU, and doing so produces a crash in with CUDA_ILLEGAL_INSTRUCTION when running it on open source ubuntu.

PiperOrigin-RevId: 192788160

DepthwiseConv Optimization Fixes

PiperOrigin-RevId: 192787669

Enable GCS remote cache in Windows Bazel Build

PiperOrigin-RevId: 192784701

Merge pull request #18444 from samikama/trt_static_impl

Fix TensorRT static linkage problem

Add debugging checks for setting cuda stream, so it will check fail if the
stream is not set or set to a wrong one when running cudnn methods that
conceptually require a stream.

Also add missing cudnnSetStream()s for DoRnnForwardImpl() and
DoRnnBackwardImpl().

Implementation details:
1. a current_cudnn_stream_ member is added which will be set in cudnnSetStream()
2. a different macro is used to wrap cudnn methods that require a stream in
   order to verify whether the provided stream is same as current_cudnn_stream_,
   and the program will check fail if not

PiperOrigin-RevId: 192783913

Merge commit for internal changes

Experiment with pre-shuffled fully-connected weights

PiperOrigin-RevId: 192771889

Refactor to remove the duplicate calls to obtain a function's namespace. This removes the need to explicitly import internal components (barring the tf module which cannot be imported directly).

PiperOrigin-RevId: 192771440

Add support to TFLite for dilated convolution.

PiperOrigin-RevId: 192770919

Automated g4 rollback of changelist 192768744

PiperOrigin-RevId: 192770717

Split byte_order.h off cpu_info.h

PiperOrigin-RevId: 192768744

Demo: RNN colorbot with Estimators.

PiperOrigin-RevId: 192765203