Add myself into code ownder for tensor_forest

Fix warnings in tf.distributions.Categorical (#18468)

In tf.distributions.Categorical dimension was used with argmax.
As dimension has been deprecated this generates a warning.
This fix fixes the warning by changing to axis.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Fix crash when invalid dtype was passed (#18481)

* Fix crash when invalid dtype was passed

This fix tries to address the issue raised in 18474
where crash may happen if invalid dtype (e.g., `"[,]"`)
is passed to `tf.constant(tf.string, "[,]")`. The crash
happens during the comparision of `"[,]"` and numpy dtype
candidate (e.g., `np.dtype([("qint8", np.int8, 1)])`:
```
>>> import numpy as np
>>> np.dtype([("qint8", np.int8, 1)]) == "[,]"
Segmentation fault: 11
```

This fix adds a type check to make sure the type of the passed
dtype is either numpy.dtype or type.

This fix fixes 18474.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add test case for invalid type to tf.constant

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Fix the broken TFLite iOS example. (#18483)

The demo app is only relying on CocoaPod now, but it's incorrectly
configured to use the headers on Github. It crashes the app when
the header is different between Github and CocoaPod.

Fix warnings in `nn.sampled_softmax_loss` (#18494)

* Fix warnings in `nn.sampled_softmax_loss`

The softmax_cross_entropy_with_logits has been deprecated
and replaced with softmax_cross_entropy_with_logits_v2.
This causes nn.sampled_softmax_loss to always generate
a WANRING whenever called. This fix replaces
`softmax_cross_entropy_with_logits` with `softmax_cross_entropy_with_logits_v2`
and maintains the existing behavior to fix the warning.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Pylint fix for line too long

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Add deprecation args decoration for tf.squeeze (#18495)

* Add deprecation args decoration with tf.squeeze

This fix adds deprecation args decoration with tf.squeeze,
with deprecates `squeeze_dims` with `axis`.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Enhancement with deprecated_argument_lookup

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Merge pull request #18497 from qlzh727/branch_192771889

Branch 192771889

Merge pull request #18444 from samikama/trt_static_impl

Fix TensorRT static linkage problem

Merge commit for internal changes

Experiment with pre-shuffled fully-connected weights

PiperOrigin-RevId: 192771889

Refactor to remove the duplicate calls to obtain a function's namespace. This removes the need to explicitly import internal components (barring the tf module which cannot be imported directly).

PiperOrigin-RevId: 192771440

Add support to TFLite for dilated convolution.

PiperOrigin-RevId: 192770919

Automated g4 rollback of changelist 192768744

PiperOrigin-RevId: 192770717

Split byte_order.h off cpu_info.h

PiperOrigin-RevId: 192768744

Demo: RNN colorbot with Estimators.

PiperOrigin-RevId: 192765203

Keep function doc string at the top of the function.

PiperOrigin-RevId: 192761604

Merge pull request #17313 from jin/patch-1

Include cstring in logging.cc for use of strrchr()

- Fixed small bug in example script

PiperOrigin-RevId: 192756152

Update for upstream LLVM *.def -> *.inc rename

PiperOrigin-RevId: 192752798

Fix bug in converted_call, and add tests for it.

PiperOrigin-RevId: 192751211

updated installation instructions for Tensowflow-TensorRT integration (#18135)

* updated installation instructions for Tensowflow-TensorRT integration

* Minor format changes to clean it up.

* Adding the python symlink command for devel packages too.

* Forcing the symlink creation.

* Updating the sed command for docker parameterized build.

Implementation of Less

PiperOrigin-RevId: 192728635

-- Add a new histogram/cdf computation method compatible with the TPU.
-- Refactor utility functions into pruning_utils.py and add tests

PiperOrigin-RevId: 192727737

[XLA] Rename Interpreter{Executor,Platform} -> XlaInterpreter{Executor,Platform}.

These types live inside StreamExecutor's namespace, but they are
specific to XLA.  Therefore they either shouldn't live in SE's namespace
or should have "XLA" in the name.

Moving them out of SE's namespace is ugly, because almost every type
used inside of these headers then needs to be qualified.  So name-change
it is.

This patch was generated by a mechanical find/replace.

PiperOrigin-RevId: 192724238

Automated g4 rollback of changelist 192698931

PiperOrigin-RevId: 192718697

Automated g4 rollback of changelist 192504411

PiperOrigin-RevId: 192711501

Add boolean type to tflite in favor of comparison implementations.

PiperOrigin-RevId: 192711203

Automated g4 rollback of changelist 192691078

PiperOrigin-RevId: 192708480

Enable efficient feeding of symbolic tensors to placeholders in the Keras backend.

PiperOrigin-RevId: 192707345

Avoid calling K.learning_phase() when not necessary in Dropout layer since it instantiates a placeholder_with_default, which is not supported by TPU compilation.

PiperOrigin-RevId: 192705478

Convert GrapplerFunctionItem to (Specialized)FunctionDef.

PiperOrigin-RevId: 192704808

Adding autograph built-in function checker.

PiperOrigin-RevId: 192703924

Replace tuple<int,int,int> for version info with a class in DnnSupportr::GetVersion() (#18434)

* Replace tuple<int,int,int> for version info with a class

* Removed clang-format modifications on non-edited code

* Update dnn.h

Update the comment as per request of reviewer

Reintroducing support for constants as outputs of tf.data.map(). This fixes a regression introduced by cl/176147440.

PiperOrigin-RevId: 192702279

Print error msg in CUDATimer.Init() when CreateEvent() is not ok().

PiperOrigin-RevId: 192699277

Porting tests for `rpc_op` to OS.

PiperOrigin-RevId: 192698931

Move dummy AssertOp and CheckNumericsOp to //third_party/tensorflow/compiler/tf2xla/kernels.
Enable type DT_STRING for AssertOp and ConstOp, in order to make dummy Assert compile with a const string (assert message) as its input.

PiperOrigin-RevId: 192695938

Fix a typo in cross_tower_ops.

PiperOrigin-RevId: 192694794

Misc. small optimizations in Grappler and shape inference code.

Impact on time per optimizer on inception graph:

model_pruner:          590 ms -> 550 ms   (-7%)
function_optimizer:    130 ms -> 130 ms   (-0%)
constant_folding:     7600 ms -> 7550 ms  (-0.7%)
arithmetic_optimizer: 1860 ms -> 1550 ms  (-20%)
loop_optimizer:        320 ms -> 320 ms   (-0%)
dependency_optimizer: 1300 ms -> 720 ms   (-45%)
layout:               1400 ms -> 1400 ms  (-0%)
memory_optimizer:     4200 ms -> 3540 ms  (-16%)
PiperOrigin-RevId: 192694528

Document support for boolean values in tf.contrib.training.HParams.

PiperOrigin-RevId: 192694244

[XLA:GPU] Pass all four args to custom-call convs when they're created.

A custom-call-conv should have four arguments: lhs, rhs, algorithm, and
use-tensor-cores.  CudnnAlgorithmPicker did the right thing, and that
path is exercised 99% of the time.  But CudnnAlgorithmPicker can fail,
and if it does, we're stuck with whatever we had before.  What we had
before only had three of the four args, which is bad.

In addition to fixing it, added an e2e test that catches the bug.

PiperOrigin-RevId: 192694119

Propagate sharding of the source instruction to the copies added by layout assignment.

PiperOrigin-RevId: 192693972

Change assertions to use the tensor 'x' rather than 'x.op.name'. This enables eager execution in validate_args=True contexts.

PiperOrigin-RevId: 192693458

Exposing tensorflow.contrib.proto in the pip package.

PiperOrigin-RevId: 192691078

Add support for RNN state array of type tf.identity.

PiperOrigin-RevId: 192689747

Added a utility to compute a topo ordering of a graph

PiperOrigin-RevId: 192683166

Fix buildifier issues

[tf.data] Clean up //tensorflow/contrib/data/python/ops/BUILD.

Create spearate targets for each submodule, so that each test can depend on
the appropriate subset of Python files.

PiperOrigin-RevId: 192679856

Check if the session has been deleted before releasing a callable.

In some versions of Python, the Session._session field may be cleared
(in `Session.__del__()`) before a callable that has a reference to
that Session is deleted. Add a defensive check in the
`Session._Callable.__del__()` method.

PiperOrigin-RevId: 192679796

Remove if_static import

Merge libraries back

K-FAC: Deprecate tf.contrib.kfac.

As LayerCollections are required to instantiate KfacOptimizer and FisherEstimator, a deprecation warning is printed upon instantiating LayerCollection.

PiperOrigin-RevId: 192671370

ResolveConstantReshape transformation and fix for ResolveConstantTranspose.

PiperOrigin-RevId: 192670991

Make new build target public.

PiperOrigin-RevId: 192659759

Fix build breakage on metagraph exporting when caching_device is set

PiperOrigin-RevId: 192659701

Separate out distribute dependency out of training, as it needs to be used in summary utils (which training depends on, thus causing circular dependency).

PiperOrigin-RevId: 192656997

crf_decode fails when sequence_length is 0 (#17755)

* updating documentation

* crf_decode fails when sequence_length is 0

* fixing line length

* more pylint fixes

Add tensor support for num_spectrogram_bins in linear_to_mel_weight_matrix (#17404)

* Add tensor support for num_spectrogram_bins in linear_to_mel_weight_matrix

This fix tries to address the issue raised in 16553 where it was not possible
to provide num_spectrogram_bins as a tensor or placeholder for
linear_to_mel_weight_matrix.

The reason comes from the implementation of `_validate_arguments`
which requires num_spectrogram_bins to be a python.

However, the validation here is not necessary as `num_spectrogram_bins`
will be passed to `math_ops.linspace`, which performs the validation
anyway. The validation in `math_ops.linspace` is done in shape function
and in kernel's `Compute()`. For that it makes sense to remove the
validation of `num_spectrogram_bins` in `_validate_arguments` so that
the issue raised in 16553 could be addressed.
This fix adds a test case to cover the changes. Also, the
error case of `num_spectrogram_bins < 0` has already been covered in the
existing test case:
https://github.com/tensorflow/tensorflow/blob/013a6c7b3112573ba4d932c8a22bfaf45f648c77/tensorflow/contrib/signal/python/kernel_tests/mel_ops_test.py#L149-L165

This fix fixes 16553.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add test case for tensor support of num_spectrogram_bins in mel_ops.linear_to_mel_weight_matrix

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add comment for removing validation of num_spectrogram_bins

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Update docstring

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Update test case for num_spectrogram_bins

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Remove unused constant_op import to pass sanity check

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Upgrade libjpeg-turbo

NOTE: libjpeg-turbo 1.5.90 also exists, which adds AVX2 SIMD support. However
it also comes with a CMake build rewrite and 35 micro-architecture specialized
nasm files for x86_64 alone. We do not have the cycles to update jpeg.BUILD to
incorporate those changes at this time. If anyone wants to try, please note
we'd need predicates such as the following:

config_setting(
    name = "haswell_opt",
    values = {
        "cpu": "haswell",  # First Intel chip with AVX2
        "compilation_mode": "opt",
    },
    visibility = ["//visibility:public"],
)

config_setting(
    name = "excavator_opt",
    values = {
        "cpu": "excavator",  # First AMD chip with AVX2
        "compilation_mode": "opt",
    },
    visibility = ["//visibility:public"],
)

PiperOrigin-RevId: 192655533

Update nn.py (#17247)

adding missing quantized_relu which was missing before.

Allow for devices which have F16, no F64, no Complex (#17473)

Link to gcc_s and gcc if compiler is GCC version 5 (#17849)

When using cmake and GCC 5.4 to build tensorflow in Ubuntu 16.04,
the following error message would show up when loading
_pywrap_tensorflow_internal.so:
```
_pywrap_tensorflow_internal.so: undefined symbol: __cpu_model
```

The root cause is the same to this issue:
https://github.com/tensorflow/tensorflow/issues/9593

Signed-off-by: Yihong Wang <yh.wang@ibm.com>

Latest nngraph cannot build with Hexagon SDK 3.0 (#17963)

* fix: latest nngraph cannot build with Hexagon SDK 3.0

* Fix typo

give some writing updates to tensorflow/contrib/slim/README.md (#18259)

* add missed right bracket in ### Scopes

* change one , to . in ### Scopes

* refine one sentence

Change --output_png to --output_image (#18273)

The argument is incorrect.

When running the given command, we get
```
E tensorflow/examples/wav_to_spectrogram/main.cc:54] Unknown argument
--output_png=/tmp/spectrogram.png
```

TESTED:Rerun the updated command and verify that the flag is correct.
```
bazel run tensorflow/examples/wav_to_spectrogram:wav_to_spectrogram --
--input_wav=/tmp/speech_dataset/happy/ab00c4b2_nohash_0.wav
--output_image=/tmp/spectrogram.png
```

contrib/autograph: minor spelling tweaks (#18284)

remove the misleading n_class information (#18305)

* DOC: modify the misleading n_class info

* DOC: add suggested fix

Fix WARNING in BatchNormalization (#18315)

The keep_dims for reduce_mean has been deprecated and replaced
with keepdims. This casues the following WARNING in BatchNormalization:
```
normalization.py:584: calling reduce_mean (from tensorflow.python.ops.math_ops) with keep_dims is deprecated and will be removed in a future version.
Instructions for updating:
keep_dims is deprecated, use keepdims instead
```

This fix fixes the warning in BatchNormalization.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

contrib: minor spelling tweaks (#18330)

* contrib: minor spelling tweaks

* Fix lint error

Reorder section `Using SavedModel with Estimators` (#18412)

Outputs should be specified before performing an export.

[MSVC] Remove -D__VERSION__ flag and implement tf_compiler_version properly (#18445)

Fix comment of bucket_by_sequence_length about return type of
element_length_func. Current code requires tf.int32 in order to compare with
buckets_min which is int32.

PiperOrigin-RevId: 192652917

Replace all COMPILER_MSVC to _MSC_VER and _WIN32 accordingly (#18448)

* Replace all COMPILER_MSVC to _MSC_VER and _WIN32 accordingly

* One more ARRAYSIZE to TF_ARRAYSIZE

* Delete non-existing include

Restore dependency on estimator utils from model.

PiperOrigin-RevId: 192651583

[XLA] Redesign: add XlaComputation::IsNull.

PiperOrigin-RevId: 192649052

Add softsign bijector.

PiperOrigin-RevId: 192648596

Add FunctionTest.testLayerInDefun

PiperOrigin-RevId: 192647818

Start moving Checkpointable utilities toward core

Doesn't add to the public API yet, just shifts code around. Changes:
  - A tiny bit of renaming (to avoid having _Checkpoint and Checkpoint in the same file)
  - Removed the garbage collection decorator from a few tests due to the uuid4() garbage issue (apparently core tests get run on Python 2.7.9?)
  - Renamed "Object" to "CheckpointableObject" in the proto, since core protos have Java bindings and apparently Java had something else in mind for the keyword "Object" :)
but otherwise this is a pure move.

After this CL I'll propose adding tf.train.Checkpoint to the API (currently tf.contrib.eager.Checkpoint), move the utilities that are still in contrib/eager to their own contrib directory (there will be a few more misc. utilities for inspecting checkpoints and managing dependencies), get tf.train.Saver to read object-based checkpoints for compatibility, and work on Model.save_weights/load_weights.

PiperOrigin-RevId: 192646890

Add testCompileTimeConstantsInDefun in xla

PiperOrigin-RevId: 192646199

Construct Orthogonal kernels for 2d convolutions.

PiperOrigin-RevId: 192645769

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 192644946

Fixed error where no background audio samples were being used when testing no-speech clips

PiperOrigin-RevId: 192644704

Make changes as per reviewer request

Fix lost dependency

PiperOrigin-RevId: 192643127

Update ops-related pbtxt files.

PiperOrigin-RevId: 192640621

Fix shape inference for outside_compilation clusters that include cycles.

PiperOrigin-RevId: 192637289

Merge pull request #17123 from hovhannesgithub/div-sub-broadcasting

Add broadcasting functionality for Div and Sub ops.

Make default weights initializer in `base_layers.Layer` suitable for their dtype.

PiperOrigin-RevId: 192634133

[TF] Add TensorListPushBackBatch.

Also modify code to ensure aliased forwarding happens whenever
possible with DT_VARIANT objects in ResourceVariables and in the new op.

PiperOrigin-RevId: 192632202

Introduced tool to run an HLO module in replicated fashion, by infeeding random data and outfeeding the data generated at each step.
The arguments of the computation can be either read from the session module, or randomly generated.
The tool uses the raw transfer manager API to infeed and outfeed the data.

PiperOrigin-RevId: 192628605

Collective Ops Part 3

BaseCollectiveExecutor and RingReducer.

This change is part of a series of changes introducing infrastructure
for collective ops and initial implementations of reduction and broadcast.

PiperOrigin-RevId: 192624521

Fixing dependencies.

PiperOrigin-RevId: 192624191

Updating tests containing graphs with Variables so that they Evaluate the original and optimized graphs and check if the outputs are same.

PiperOrigin-RevId: 192616402

Special-case the name scoping for operator methods. TensorFlow disallows top-level name scopes to begin with underscores. Also use the transformer scope information to get to the enclosing function name.

PiperOrigin-RevId: 192600256

Make DType, TensorShape, and Dimension "reducable" for pickling purposes.

PiperOrigin-RevId: 192591402

Fixe merge issue

Merge branch 'master' into div-sub-broadcasting

Remove redefined BroadcastDiv function

Enable an r2 reduce window test case.

PiperOrigin-RevId: 192560111

Fix double linkage of static variables