Make requested review changes

Fixes for review requests

Fix testing

Adding py_test for TF-TRT integration

Merge pull request #18444 from samikama/trt_static_impl

Fix TensorRT static linkage problem

Merge pull request #17313 from jin/patch-1

Include cstring in logging.cc for use of strrchr()

updated installation instructions for Tensowflow-TensorRT integration (#18135)

* updated installation instructions for Tensowflow-TensorRT integration

* Minor format changes to clean it up.

* Adding the python symlink command for devel packages too.

* Forcing the symlink creation.

* Updating the sed command for docker parameterized build.

Replace tuple<int,int,int> for version info with a class in DnnSupportr::GetVersion() (#18434)

* Replace tuple<int,int,int> for version info with a class

* Removed clang-format modifications on non-edited code

* Update dnn.h

Update the comment as per request of reviewer

Fix buildifier issues

Remove if_static import

Merge libraries back

crf_decode fails when sequence_length is 0 (#17755)

* updating documentation

* crf_decode fails when sequence_length is 0

* fixing line length

* more pylint fixes

Add tensor support for num_spectrogram_bins in linear_to_mel_weight_matrix (#17404)

* Add tensor support for num_spectrogram_bins in linear_to_mel_weight_matrix

This fix tries to address the issue raised in 16553 where it was not possible
to provide num_spectrogram_bins as a tensor or placeholder for
linear_to_mel_weight_matrix.

The reason comes from the implementation of `_validate_arguments`
which requires num_spectrogram_bins to be a python.

However, the validation here is not necessary as `num_spectrogram_bins`
will be passed to `math_ops.linspace`, which performs the validation
anyway. The validation in `math_ops.linspace` is done in shape function
and in kernel's `Compute()`. For that it makes sense to remove the
validation of `num_spectrogram_bins` in `_validate_arguments` so that
the issue raised in 16553 could be addressed.
This fix adds a test case to cover the changes. Also, the
error case of `num_spectrogram_bins < 0` has already been covered in the
existing test case:
https://github.com/tensorflow/tensorflow/blob/013a6c7b3112573ba4d932c8a22bfaf45f648c77/tensorflow/contrib/signal/python/kernel_tests/mel_ops_test.py#L149-L165

This fix fixes 16553.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add test case for tensor support of num_spectrogram_bins in mel_ops.linear_to_mel_weight_matrix

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add comment for removing validation of num_spectrogram_bins

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Update docstring

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Update test case for num_spectrogram_bins

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Remove unused constant_op import to pass sanity check

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Update nn.py (#17247)

adding missing quantized_relu which was missing before.

Allow for devices which have F16, no F64, no Complex (#17473)

Link to gcc_s and gcc if compiler is GCC version 5 (#17849)

When using cmake and GCC 5.4 to build tensorflow in Ubuntu 16.04,
the following error message would show up when loading
_pywrap_tensorflow_internal.so:
```
_pywrap_tensorflow_internal.so: undefined symbol: __cpu_model
```

The root cause is the same to this issue:
https://github.com/tensorflow/tensorflow/issues/9593

Signed-off-by: Yihong Wang <yh.wang@ibm.com>

Latest nngraph cannot build with Hexagon SDK 3.0 (#17963)

* fix: latest nngraph cannot build with Hexagon SDK 3.0

* Fix typo

give some writing updates to tensorflow/contrib/slim/README.md (#18259)

* add missed right bracket in ### Scopes

* change one , to . in ### Scopes

* refine one sentence

Change --output_png to --output_image (#18273)

The argument is incorrect.

When running the given command, we get
```
E tensorflow/examples/wav_to_spectrogram/main.cc:54] Unknown argument
--output_png=/tmp/spectrogram.png
```

TESTED:Rerun the updated command and verify that the flag is correct.
```
bazel run tensorflow/examples/wav_to_spectrogram:wav_to_spectrogram --
--input_wav=/tmp/speech_dataset/happy/ab00c4b2_nohash_0.wav
--output_image=/tmp/spectrogram.png
```

contrib/autograph: minor spelling tweaks (#18284)

remove the misleading n_class information (#18305)

* DOC: modify the misleading n_class info

* DOC: add suggested fix

Fix WARNING in BatchNormalization (#18315)

The keep_dims for reduce_mean has been deprecated and replaced
with keepdims. This casues the following WARNING in BatchNormalization:
```
normalization.py:584: calling reduce_mean (from tensorflow.python.ops.math_ops) with keep_dims is deprecated and will be removed in a future version.
Instructions for updating:
keep_dims is deprecated, use keepdims instead
```

This fix fixes the warning in BatchNormalization.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

contrib: minor spelling tweaks (#18330)

* contrib: minor spelling tweaks

* Fix lint error

Reorder section `Using SavedModel with Estimators` (#18412)

Outputs should be specified before performing an export.

[MSVC] Remove -D__VERSION__ flag and implement tf_compiler_version properly (#18445)

Replace all COMPILER_MSVC to _MSC_VER and _WIN32 accordingly (#18448)

* Replace all COMPILER_MSVC to _MSC_VER and _WIN32 accordingly

* One more ARRAYSIZE to TF_ARRAYSIZE

* Delete non-existing include

Make changes as per reviewer request

Merge pull request #17123 from hovhannesgithub/div-sub-broadcasting

Add broadcasting functionality for Div and Sub ops.

Fixe merge issue

Merge branch 'master' into div-sub-broadcasting

Remove redefined BroadcastDiv function

Fix double linkage of static variables

Correct argument doc for BasicLSTMCell.call (#16554)

* Correct argument doc for BasicLSTMCell.call

* change self._num_units to num_units.

fix tf.GIT_VERSION always 'unknown' on windows cmake build (#16730)

Enhancement with deprecated_argument_lookup (#17527)

* Enhancement with deprecated_argument_lookup

The tf.losses.cosine_distance deprecated dim and switched
to axis. This fix adds the enhancement of using
deprecated_argument_lookup, which is used in all other
arguments deprecations.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add missing import

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Replace wrong variable (#17738)

Add comment to examples to prevent resource leaks (#17820)

Issue #17374

Add parallel implementation of CTC greedy decoder (#17982)

contrib/image: minor spelling tweaks (#18162)

Check input dimension for contrib.layers.conv2d/conv3d (#18251)

* Check input dimension for contrib.layers.conv2d/conv3d

This fix tries to fix the issue raised in 14583 where
the input dimension was not checked for contrib.layers.conv2d/conv3d
and contrib.slim.conv2d/conv3d.

The issue was that conv2d/conv3d were just aliases of
convolution. This fix wrap the conv2d/conv3d with the input
dimension check so that incorrect usage will return ValueError.

This fix fixes 14583.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add test case for conv2d/conv3d shape check

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Fix impacted tests.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Update convolution instead of adding _convolution,

based on review feedback

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add convolution1d and additional update

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

added missing shapefn to several operators (#18298)

Fix typo in error message (#18319)

Disable int64 test for backends which don't support it (#18344)

Fix broken links in /extend/language_bindings (#18346)

unified flip_* and random_flip_* functions (#18364)

Replace print with logging (#18392)

Fixing non-mkl builds (#18401)

Add negative axis support for tf.manip.roll (#18409)

* Add negative axis support for tf.manip.roll

This fix tries to support negative axis for tf.manip.roll.
The tf.manip.roll is supposed to be compatible with numpy.roll
which does support negative axis.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add test case for negative axis support for tf.manip.roll

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add axis check so that negative axis is within the range

Negative axis should be 0 <= axis + dims < dims

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add additional test cases

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Fix pylint issue

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Add deprecated_args decoration to expand_dims (#18419)

* Add deprecated_args decoration to expand_dims

This fix adds deprecated_args decoration to expand_dims
as `dims` has been deprecated and in favor of `axis`

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Enhance deprecated args with deprecation.deprecated_argument_lookup

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Imporve shape function of RandomUniformInt (#18420)

* Imporve shape function of RandomUniformInt

The input of `minval` and `maxval` of `RandomUniformInt`
should be scalar though it is not checked in the shape
function. This fix improves the shape function with the
rank check, and adds test case for it.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add test case for maxval and minval for RandomUniformInt

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Update docs of reduce_max/reduce_min for real numeric type (#18422)

Both reduce_max and reduce_min only work for real numeric type
as complex numbers do not apply. This fix update the docs
with `numeric type` -> `real numeric type`.

Note that the current kernel registration in
reduction_ops_max.cc and reduction_ops_min.cc
use `TF_CALL_REAL_NUMBER_TYPES` so it is good.
The op registraton for Max and Min inside math_ops.cc should be `.Attr("T: realnumbertype")` instead of `numbertype`.
However, such a change will break API compatibility so leave it alone.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

[INTEL MKL] Skip special nodes inserted by TF and MKL (#18077)

* Skip special nodes inserted by TF. This fixes TFDO-178 JIIRA issue.

* Added a comment about skipping nodes with an /_ in them.

* Stripped trailing whitespace.

* Wrapped code such that it is executed only when INTEL_MKL is defined.

Merge pull request #18340 from JChord/master

Docs: Fix 'Unable to find source java class'

Update tf.contrib.metrics with deprecations (#18335)

* Update tf.contrib.metrics with deprecations

This fix updates tf.contrib.metrics.streaming_mean_absolution(relative/squared)_error
with deprecation notices as they have been replaces with tf.metrics.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Update streaming_mean_relative_error

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Update deprecation notice for streaming_root_mean_squared_error

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Fix the deprecation message.

* Fix pylint `Line too long (81/80)` issue

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Updating tensorboard link in Readme.md (#18161)

Merge pull request #18430 from lamberta/fix-docs-using-tpu

Docs: Clarify using_tpu.md

Tidy up doc for rebuild project

Merge pull request #18426 from qlzh727/branch_192461382

Branch 192461382

Docs: Clarify using_tpu.md

Merge commit for internal changes

Fixing dependencies.

PiperOrigin-RevId: 192461382

Fix Windows GPU TensorFlow Bazel builds.

The configure.py script will error out on Windows GPU builds due
to NCCL attempted to be configured (and is currently Linux only).

PiperOrigin-RevId: 192461362

Temporarily remove prelu from generated_examples_zip_test

PiperOrigin-RevId: 192453411

Remove unused former source of tensorflow.org/tutorials/image_retraining.

The source of https://tensorflow.org/tutorials/image_retraining has moved from
https://github.com/tensorflow/tensorflow/tree/master/tensorflow/docs_src/tutorials
to https://github.com/tensorflow/hub/tree/master/docs/tutorials
because of its use of TensorFlow Hub.

This change replaces the now-defunct version with a pointer to the new
location, in order to avoid dead code.

PiperOrigin-RevId: 192451570

Fixing propagation of minmax info on constant gather ops.

PiperOrigin-RevId: 192448922

[TF:XLA] Mark oom_test as optonly, it's really slow when compiled without optimization.

PiperOrigin-RevId: 192420481

Create FileWriter <-> tf.contrib.summary compatibility layer

This provides an implementation of FileWriter, activated by passing in a `session` parameter to the constructor, that is backed by session.run'ing graph ops that manipulate a tf.contrib.summary.create_file_writer() instance. Because tf.contrib.summary.SummaryWriters are backed by shared resources in the graph, this makes it possible to have a FileWriter and a tf.contrib.summary.SummaryWriter that both write to the same events file.

This change includes some related smaller changes:
- Factors out training_utils.py into a separate target to avoid a cyclic dep
- Moves contrib/summary/summary_ops.py to python/ops/summary_ops_v2.py
- Adds SummaryWriter.init(), .flush(), and .close() op-returning methods
- Changes create_file_writer() `name` arg to default to logdir prefixed by `logdir:` so shared resources are scoped by logdir by default
- Fixes a bug with tf.contrib.summary.flush() `writer` arg
- Makes create_file_writer()'s max_queue arg behave as documented
- Adds more testing for existing tf.contrib.summary API

PiperOrigin-RevId: 192408079

[XLA] Fix the size of data buffer for sparse literals.

PiperOrigin-RevId: 192404543

[XLA] Redesign: implement ComputeHost.

Also support convert from/to proto for ComputeHost.

PiperOrigin-RevId: 192403660

[XLA] Redesgin: implement and test Gather, Conditional.

Also support convert from/to proto for Gather.

PiperOrigin-RevId: 192400659

[XLA] Redesign: implment and test CrossReplicaSum.

PiperOrigin-RevId: 192397189

Update ops-related pbtxt files.

PiperOrigin-RevId: 192392702

[StreamExecutor] Merge StreamExecutor's and XLA's StatusOr classes.

StatusOr is a...complicated class to write.  It's really not good to
have two copies of it.  They've diverged (the XLA one is more
sophisticated), and this may be causing upstream build problems with
gcc6.

PiperOrigin-RevId: 192392111

[XLA] Redesign: implement and test BatchNormXXX.

PiperOrigin-RevId: 192391748

experimental C API: Fix compilation failure in Windows.

The functions added in
https://github.com/tensorflow/tensorflow/commit/be917027e37c5e8f21f6ba07f24bdbf072cf6dfd
are temporary, and their existence breaks compilation in MSVC because of
https://docs.microsoft.com/en-us/cpp/c-language/maximum-string-length
and
https://docs.microsoft.com/en-us/cpp/error-messages/compiler-errors-1/compiler-error-c2026

So just disabling it in Windows for now.

PiperOrigin-RevId: 192391164

Checkpointable: remove colocation constraints from restore ops

Mystery solved thanks to log_device_placement.

PiperOrigin-RevId: 192389574

Remove BN workaround for resource variable gradients bug that was recently fixed.

PiperOrigin-RevId: 192388867

Add missing TF_ATTRIBUTE_WEAK for MSVC (#18303)

Merge changes from github.

PiperOrigin-RevId: 192388250

Fix for users who were passing `Dimension` type as `units` arg in `Dense`.

PiperOrigin-RevId: 192387984

Fix incorrect math equation renderings in random_fourier_features.py (#18367)

* Fix incorrect math equation renderings in random_fourier_features.py

This fix fixes incorrect math equation renderings for markdown
in random_fourier_features.py. The issue is that
"```" backtick should not be added when mathjax quote is used ("\\(" or "$$").

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Additional fix.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* MathJax fixes

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Fix pylint errors

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Fix code block rendering issue in adding_an_op.md (#18368)

* Fix code block rendering issue in adding_an_op.md

In adding_an_op.md, html code was used in markdown for code blocks.
However, this does not work very well as some of the code blocks
includes incorrect rendering.

This fix converts html into "```c++" (backticks) so that the rendering
could be fixed.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Fix additional html code

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Fix lang-cpp issue

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Further clean up

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

typo and readability fixes in CPU section (#18370)

Fixed a typo in the Tuning MKL section, and modified punctuation for intra_op_parallelism_threads section for easier readability.

TFTS: De-flake the LSTM test

Disabling the value-based check for now. Hopefully the shapes are deterministic.

PiperOrigin-RevId: 192383553

Forward the status from LookupResource to GetInputTensorFromVariable rather than returning a generic error status

PiperOrigin-RevId: 192382499

[XLA] Redesign: implement Conj.

PiperOrigin-RevId: 192381481

[XLA] Redesign: implement SliceInDim.

PiperOrigin-RevId: 192381080

[XLA] Redesign: implement ReduceAll.

PiperOrigin-RevId: 192380688

[XLA] Redesign: implement and test SelectAndScatter.

PiperOrigin-RevId: 192380121

Update LogToSTDErr for TF Lite usage

PiperOrigin-RevId: 192379483

Add types to error message in case of mismatch. NFC.

PiperOrigin-RevId: 192370979

Add a thread-safe producer-consumer queue.

PiperOrigin-RevId: 192370670

Fix issue with gradients of resource variables in cond.

PiperOrigin-RevId: 192369091

[XLA] Redesign: implement and test ReduceWindow.

PiperOrigin-RevId: 192368401

Merge pull request #18407 from av8ramit/fix_sed_cmd

Updating the sed command for docker parameterized build.

Update programmers guide

PiperOrigin-RevId: 192368335

Supporting FakeQuant num_bits and getting the fake quant op matching tensorflow.

PiperOrigin-RevId: 192367307

[XLA] GRPC service definition.

PiperOrigin-RevId: 192364932

Fix `nn` module RNN namespace issues.

PiperOrigin-RevId: 192364808

Updating the sed command for docker parameterized build.