Add support for explicit broadcasting in TensorFlow (#15243)

* Add support for explicit broadcasting in TensorFlow

This fix tries to adds support for explicit broadcasting in TensorFlow,
as was suggested in 14509. This fix adds the op of tf.broadcast_to,
which is equivalent to the numpy.broadcast_to in numpy.

This fix fixes 14509.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Register BroadcastTo op in array_ops.cc

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Sanitize with clang-format -i

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add test cases for tf.broadcast_to

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Sanitize bazel BUILD and python.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Split broadcast_to_ops_test from array_ops_test

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Support int64 shape

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Improve shape inference for broadcast_to

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add scalar input support for broadcast_to

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Update API defs tensorflow/core/api_def/update_api_def.sh

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Update API golden

```
bazel-bin/tensorflow/tools/api/tests/api_compatibility_test
           --update_goldens True
```

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Update docstring for broadcast_to

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Enable GPU kernel for BroadcastTo

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Enable use_gpu=True for test cases

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Hiden the ops and export to tf.contrib.framework for now.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add the op to the _allowed_symbol in tf.contrib.framework

Otherwise the symbole will be hidden

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Fix pylint sanity issue.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Support passing layer instances to produce attentional hidden states (#14974)

* Support passing Layer instances to the AttentionWrapper.

* Use _compute_output_shape to get the attention layer depth

* compute_output_shape is now a public method

* Move new argument at the end

Expose Scaffold.default_local_init_op as a public static method. (#18398)

* Expose Scaffold.default_local_init_op as a public static method.

* update api

* Add a docstring.

* Add a returns section.

Improving S3 documentation. (#18406)

* Improving S3 documentation.

Added a copy-pastable guide on the variables, and also provided usable examples that give immediate feedback.

* Updating docs based on feedback.

Added back old configuration section, moved s3 implementations to bottom of document.

* Rearranged documentation before example, renamed sections to be more clear.

Fix typo (#18416)

* fix typo

* fix typo

* fix typo

* fix typo

* fix typo

* fix typo

* fix typo

* Improve comment

Update sqlite version for cmake build (#18524)

The sqlite has been updated in bazel, though
cmake version was not updated. This fix updates
sqlite in cmake so that cmake and bazel versions
are synced.

The fix has been tested on Linux:
```
tensorflow/tools/ci_build/ci_build.sh CMAKE tensorflow/tools/ci_build/builds/cmake.sh
```

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Add shape validation for tag input of StatsDataset (#18462)

* Add shape validation for tag input of StatsDataset

The tag field of the StatsDataset needs to be a scalar.
However, there was no check in the shape function. This
fix adds the check of the tag shape.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add test case for tag shape check with BytesProducedStatsDataset

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add tag shape check for LatencyStatsDataset

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add test case for tag shape check with LatencyStatsDataset

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Fix pylint issue

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Merge pull request #18511 from qlzh727/branch_192842670

Branch 192842670

Merge commit for internal changes

Automated g4 rollback of changelist 192784701

PiperOrigin-RevId: 192842670

Improve layout optimizer tests -- Evaluate nodes before and after optimization, to confirm the graph's behavior is maintained after optimization.

PiperOrigin-RevId: 192842623

Upgrade SQLite

PiperOrigin-RevId: 192837358

Restore definitions of static members in MklCpuAllocator.

These were removed in #17396 which made the static member variables of
MklCpuAllocator into inline variables, which are a C++17 feature, and not
properly restored in #18006 which reverted the inline declarations, leading to
an ODR violation that is apparently ignored with some compilers.
END_PUBLIC

RELNOTES: n/a

BEGIN_PUBLIC
Automated g4 rollback of changelist 191305220

PiperOrigin-RevId: 192836808

Enable remote functions for TPU_SYSTEM.

PiperOrigin-RevId: 192836098

Avoid mixing `Dimension` type and `int` when defining kernel shapes in conv layers.

PiperOrigin-RevId: 192834255

[XLA] Pattern matcher for HLO, Shapes, Layouts

PiperOrigin-RevId: 192834129

Add broadcasting to all LinearOperators.

This will broadcast in cases where batch shapes are not equal (but tries to determine statically if this is the case). The broadcasting is not as efficient as doing the broadcast in C++, but makes for the API to at least be completely broadcastable.

PiperOrigin-RevId: 192832919

[TF] Enable half precision XLA compiler tests for the gpu backend.

Modify some tests to allow larger error for half precision.

Enable half precision SpaceToBatchNDTest for the cpu backend.

PiperOrigin-RevId: 192831909

Added PmfToQuantizedCdf op to contrib/coder in TensorFlow.

The added op transforms probability mass functions (PMF) to quantized
cumulative distribution function (CDF), which can be used by range coder ops in
contrib/coder.

The op takes greedy approach to ensure that the post-quantization probability
masses do not sum over the maximum quantized value. The op does not make any
adjustment when the post-quantization probability masses already sum less than
the maximum value.

PiperOrigin-RevId: 192827779

Allow tf.train.Saver to load object-based checkpoints (using names)

This is the second part of the compatibility story. Object-based checkpointing APIs can already read name-based checkpoints, and now the name-based APIs can read object-based checkpoints by looking up the modified keys in the object graph proto.

PiperOrigin-RevId: 192824907

[XLA] Redesign: add ~XlaOp() and ~XlaComputation().

PiperOrigin-RevId: 192822559

Small tag change

PiperOrigin-RevId: 192821895

Extend Keras symbol-feeding to dynamic-length tensors and tensors of different dtypes from the target placeholders.

PiperOrigin-RevId: 192821770

Internal change.

PiperOrigin-RevId: 192821482

Support scalar mean in resolve_batch_normalization

PiperOrigin-RevId: 192816848

Merge pull request #18505 from yupbank/add-new-owner-for-tensor-forest

Add extra code owner for tensor_forest

Add myself into code ownder for tensor_forest

Remove closure_js_proto_library rule for tf.example protos.

PiperOrigin-RevId: 192809073

[XLA] Redesign: add a constructor: XlaComputation(HloModuleProto).

PiperOrigin-RevId: 192808038

[XLA] Redesign: add a method that creates fake data for XlaComputation.

PiperOrigin-RevId: 192807851

Expose tf.decode_compressed to the public API.

PiperOrigin-RevId: 192805605

Fix warnings in tf.distributions.Categorical (#18468)

In tf.distributions.Categorical dimension was used with argmax.
As dimension has been deprecated this generates a warning.
This fix fixes the warning by changing to axis.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Fix crash when invalid dtype was passed (#18481)

* Fix crash when invalid dtype was passed

This fix tries to address the issue raised in 18474
where crash may happen if invalid dtype (e.g., `"[,]"`)
is passed to `tf.constant(tf.string, "[,]")`. The crash
happens during the comparision of `"[,]"` and numpy dtype
candidate (e.g., `np.dtype([("qint8", np.int8, 1)])`:
```
>>> import numpy as np
>>> np.dtype([("qint8", np.int8, 1)]) == "[,]"
Segmentation fault: 11
```

This fix adds a type check to make sure the type of the passed
dtype is either numpy.dtype or type.

This fix fixes 18474.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add test case for invalid type to tf.constant

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Fix the broken TFLite iOS example. (#18483)

The demo app is only relying on CocoaPod now, but it's incorrectly
configured to use the headers on Github. It crashes the app when
the header is different between Github and CocoaPod.

Fix warnings in `nn.sampled_softmax_loss` (#18494)

* Fix warnings in `nn.sampled_softmax_loss`

The softmax_cross_entropy_with_logits has been deprecated
and replaced with softmax_cross_entropy_with_logits_v2.
This causes nn.sampled_softmax_loss to always generate
a WANRING whenever called. This fix replaces
`softmax_cross_entropy_with_logits` with `softmax_cross_entropy_with_logits_v2`
and maintains the existing behavior to fix the warning.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Pylint fix for line too long

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Add deprecation args decoration for tf.squeeze (#18495)

* Add deprecation args decoration with tf.squeeze

This fix adds deprecation args decoration with tf.squeeze,
with deprecates `squeeze_dims` with `axis`.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Enhancement with deprecated_argument_lookup

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Fixing output alternatives

PiperOrigin-RevId: 192795596

Merge pull request #18497 from qlzh727/branch_192771889

Branch 192771889

[TF:XLA] Start a TensorFlow library that contains direct wrappers for XLA operators.

Add new XlaReduceWindow and XlaDynamicUpdateSlice operators.
Add new tests for the existing XlaWhile operator.
Add wrappers for XlaSend and XlaRecv.

PiperOrigin-RevId: 192795174

Add more logging for failure cases in CUDATimer

PiperOrigin-RevId: 192793983

Fix comment in xla_data.proto related to padding value for Windows.

PiperOrigin-RevId: 192792971

Internal change.

PiperOrigin-RevId: 192791493

Disable x * x -> square(x) Grapler rewrite for complex types unless the op is on CPU. Square is not registered for complex types on GPU, and doing so produces a crash in with CUDA_ILLEGAL_INSTRUCTION when running it on open source ubuntu.

PiperOrigin-RevId: 192788160

DepthwiseConv Optimization Fixes

PiperOrigin-RevId: 192787669

Enable GCS remote cache in Windows Bazel Build

PiperOrigin-RevId: 192784701

Merge pull request #18444 from samikama/trt_static_impl

Fix TensorRT static linkage problem

Add debugging checks for setting cuda stream, so it will check fail if the
stream is not set or set to a wrong one when running cudnn methods that
conceptually require a stream.

Also add missing cudnnSetStream()s for DoRnnForwardImpl() and
DoRnnBackwardImpl().

Implementation details:
1. a current_cudnn_stream_ member is added which will be set in cudnnSetStream()
2. a different macro is used to wrap cudnn methods that require a stream in
   order to verify whether the provided stream is same as current_cudnn_stream_,
   and the program will check fail if not

PiperOrigin-RevId: 192783913

Merge commit for internal changes

Experiment with pre-shuffled fully-connected weights

PiperOrigin-RevId: 192771889

Refactor to remove the duplicate calls to obtain a function's namespace. This removes the need to explicitly import internal components (barring the tf module which cannot be imported directly).

PiperOrigin-RevId: 192771440

Add support to TFLite for dilated convolution.

PiperOrigin-RevId: 192770919

Automated g4 rollback of changelist 192768744

PiperOrigin-RevId: 192770717

Split byte_order.h off cpu_info.h

PiperOrigin-RevId: 192768744

Demo: RNN colorbot with Estimators.

PiperOrigin-RevId: 192765203

Keep function doc string at the top of the function.

PiperOrigin-RevId: 192761604

Merge pull request #17313 from jin/patch-1

Include cstring in logging.cc for use of strrchr()

- Fixed small bug in example script

PiperOrigin-RevId: 192756152

Update for upstream LLVM *.def -> *.inc rename

PiperOrigin-RevId: 192752798

Fix bug in converted_call, and add tests for it.

PiperOrigin-RevId: 192751211

updated installation instructions for Tensowflow-TensorRT integration (#18135)

* updated installation instructions for Tensowflow-TensorRT integration

* Minor format changes to clean it up.

* Adding the python symlink command for devel packages too.

* Forcing the symlink creation.

* Updating the sed command for docker parameterized build.

Implementation of Less

PiperOrigin-RevId: 192728635

-- Add a new histogram/cdf computation method compatible with the TPU.
-- Refactor utility functions into pruning_utils.py and add tests

PiperOrigin-RevId: 192727737

[XLA] Rename Interpreter{Executor,Platform} -> XlaInterpreter{Executor,Platform}.

These types live inside StreamExecutor's namespace, but they are
specific to XLA.  Therefore they either shouldn't live in SE's namespace
or should have "XLA" in the name.

Moving them out of SE's namespace is ugly, because almost every type
used inside of these headers then needs to be qualified.  So name-change
it is.

This patch was generated by a mechanical find/replace.

PiperOrigin-RevId: 192724238

Automated g4 rollback of changelist 192698931

PiperOrigin-RevId: 192718697

Automated g4 rollback of changelist 192504411

PiperOrigin-RevId: 192711501

Add boolean type to tflite in favor of comparison implementations.

PiperOrigin-RevId: 192711203

Automated g4 rollback of changelist 192691078

PiperOrigin-RevId: 192708480

Enable efficient feeding of symbolic tensors to placeholders in the Keras backend.

PiperOrigin-RevId: 192707345

Avoid calling K.learning_phase() when not necessary in Dropout layer since it instantiates a placeholder_with_default, which is not supported by TPU compilation.

PiperOrigin-RevId: 192705478

Convert GrapplerFunctionItem to (Specialized)FunctionDef.

PiperOrigin-RevId: 192704808

Adding autograph built-in function checker.

PiperOrigin-RevId: 192703924

Replace tuple<int,int,int> for version info with a class in DnnSupportr::GetVersion() (#18434)

* Replace tuple<int,int,int> for version info with a class

* Removed clang-format modifications on non-edited code

* Update dnn.h

Update the comment as per request of reviewer

Reintroducing support for constants as outputs of tf.data.map(). This fixes a regression introduced by cl/176147440.

PiperOrigin-RevId: 192702279

Print error msg in CUDATimer.Init() when CreateEvent() is not ok().

PiperOrigin-RevId: 192699277

Porting tests for `rpc_op` to OS.

PiperOrigin-RevId: 192698931

Move dummy AssertOp and CheckNumericsOp to //third_party/tensorflow/compiler/tf2xla/kernels.
Enable type DT_STRING for AssertOp and ConstOp, in order to make dummy Assert compile with a const string (assert message) as its input.

PiperOrigin-RevId: 192695938

Fix a typo in cross_tower_ops.

PiperOrigin-RevId: 192694794

Misc. small optimizations in Grappler and shape inference code.

Impact on time per optimizer on inception graph:

model_pruner:          590 ms -> 550 ms   (-7%)
function_optimizer:    130 ms -> 130 ms   (-0%)
constant_folding:     7600 ms -> 7550 ms  (-0.7%)
arithmetic_optimizer: 1860 ms -> 1550 ms  (-20%)
loop_optimizer:        320 ms -> 320 ms   (-0%)
dependency_optimizer: 1300 ms -> 720 ms   (-45%)
layout:               1400 ms -> 1400 ms  (-0%)
memory_optimizer:     4200 ms -> 3540 ms  (-16%)
PiperOrigin-RevId: 192694528

Document support for boolean values in tf.contrib.training.HParams.

PiperOrigin-RevId: 192694244

[XLA:GPU] Pass all four args to custom-call convs when they're created.

A custom-call-conv should have four arguments: lhs, rhs, algorithm, and
use-tensor-cores.  CudnnAlgorithmPicker did the right thing, and that
path is exercised 99% of the time.  But CudnnAlgorithmPicker can fail,
and if it does, we're stuck with whatever we had before.  What we had
before only had three of the four args, which is bad.

In addition to fixing it, added an e2e test that catches the bug.

PiperOrigin-RevId: 192694119

Propagate sharding of the source instruction to the copies added by layout assignment.

PiperOrigin-RevId: 192693972

Change assertions to use the tensor 'x' rather than 'x.op.name'. This enables eager execution in validate_args=True contexts.

PiperOrigin-RevId: 192693458

Exposing tensorflow.contrib.proto in the pip package.

PiperOrigin-RevId: 192691078

Add support for RNN state array of type tf.identity.

PiperOrigin-RevId: 192689747

Added a utility to compute a topo ordering of a graph

PiperOrigin-RevId: 192683166

Fix buildifier issues

[tf.data] Clean up //tensorflow/contrib/data/python/ops/BUILD.

Create spearate targets for each submodule, so that each test can depend on
the appropriate subset of Python files.

PiperOrigin-RevId: 192679856

Check if the session has been deleted before releasing a callable.

In some versions of Python, the Session._session field may be cleared
(in `Session.__del__()`) before a callable that has a reference to
that Session is deleted. Add a defensive check in the
`Session._Callable.__del__()` method.

PiperOrigin-RevId: 192679796

Remove if_static import

Merge libraries back

K-FAC: Deprecate tf.contrib.kfac.

As LayerCollections are required to instantiate KfacOptimizer and FisherEstimator, a deprecation warning is printed upon instantiating LayerCollection.

PiperOrigin-RevId: 192671370

ResolveConstantReshape transformation and fix for ResolveConstantTranspose.

PiperOrigin-RevId: 192670991

Make new build target public.

PiperOrigin-RevId: 192659759

Fix build breakage on metagraph exporting when caching_device is set

PiperOrigin-RevId: 192659701

Separate out distribute dependency out of training, as it needs to be used in summary utils (which training depends on, thus causing circular dependency).

PiperOrigin-RevId: 192656997

crf_decode fails when sequence_length is 0 (#17755)

* updating documentation

* crf_decode fails when sequence_length is 0

* fixing line length

* more pylint fixes

Add tensor support for num_spectrogram_bins in linear_to_mel_weight_matrix (#17404)

* Add tensor support for num_spectrogram_bins in linear_to_mel_weight_matrix

This fix tries to address the issue raised in 16553 where it was not possible
to provide num_spectrogram_bins as a tensor or placeholder for
linear_to_mel_weight_matrix.

The reason comes from the implementation of `_validate_arguments`
which requires num_spectrogram_bins to be a python.

However, the validation here is not necessary as `num_spectrogram_bins`
will be passed to `math_ops.linspace`, which performs the validation
anyway. The validation in `math_ops.linspace` is done in shape function
and in kernel's `Compute()`. For that it makes sense to remove the
validation of `num_spectrogram_bins` in `_validate_arguments` so that
the issue raised in 16553 could be addressed.
This fix adds a test case to cover the changes. Also, the
error case of `num_spectrogram_bins < 0` has already been covered in the
existing test case:
https://github.com/tensorflow/tensorflow/blob/013a6c7b3112573ba4d932c8a22bfaf45f648c77/tensorflow/contrib/signal/python/kernel_tests/mel_ops_test.py#L149-L165

This fix fixes 16553.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add test case for tensor support of num_spectrogram_bins in mel_ops.linear_to_mel_weight_matrix

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add comment for removing validation of num_spectrogram_bins

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Update docstring

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Update test case for num_spectrogram_bins

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Remove unused constant_op import to pass sanity check

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Upgrade libjpeg-turbo

NOTE: libjpeg-turbo 1.5.90 also exists, which adds AVX2 SIMD support. However
it also comes with a CMake build rewrite and 35 micro-architecture specialized
nasm files for x86_64 alone. We do not have the cycles to update jpeg.BUILD to
incorporate those changes at this time. If anyone wants to try, please note
we'd need predicates such as the following:

config_setting(
    name = "haswell_opt",
    values = {
        "cpu": "haswell",  # First Intel chip with AVX2
        "compilation_mode": "opt",
    },
    visibility = ["//visibility:public"],
)

config_setting(
    name = "excavator_opt",
    values = {
        "cpu": "excavator",  # First AMD chip with AVX2
        "compilation_mode": "opt",
    },
    visibility = ["//visibility:public"],
)

PiperOrigin-RevId: 192655533

Update nn.py (#17247)

adding missing quantized_relu which was missing before.

Allow for devices which have F16, no F64, no Complex (#17473)