New roadmap (#16984)

Updating the roadmap.

Add instructions for building CUDA-enabled Android TensorFlow (#16961)

* Add instructions for building CUDA-enabled Android TensorFlow

* Update README.md

* Update README.md

* Update README.md

* Update README.md

* Update README.md

* Update README.md

* Update README.md

Merge pull request #16991 from yifeif/branch_185565363

Branch 185565363

Add label_wav_dir.py (#14847)

* Add label_wav_dir.py

* Modify label_wav_dir.py

add not equal op to tf_op_files.txt (#14319)

Merge commit for internal changes

Minor eager-related performance improvements

- Add a cache for name_scope
- skip some overhead _MulGrad and _MatMulGrad

PiperOrigin-RevId: 185565363

Explicitely place the swap-in node: this ensures that subsequent rounds of
memory optimization have a more accurate picture of the placement.

PiperOrigin-RevId: 185563797

Error out or log a warning if user sets the TPUConfig.num_shards incorrectly.
Also improve TPU system metadata print out message.

PiperOrigin-RevId: 185561680

Allow other types of variables to act as a resource variable.

Introduce resource_variable_ops.is_resource_variable() function that returns true
if an _should_act_as_resource_variable attribute is set.

PiperOrigin-RevId: 185559202

add missing blank line

PiperOrigin-RevId: 185554969

Add empty scaffolding for loop optimizers in Grappler.

PiperOrigin-RevId: 185554126

Clarify that the behavior of the iterator (advancing whenever any of the components is evaluated) is not magic, but a simple consequence of the dataflow graph structure.

PiperOrigin-RevId: 185554089

Fix documentation for the real shape of the output of crf_log_likelihood.

PiperOrigin-RevId: 185552171

Use _set_attr instead of directly modifying the nodedef

PiperOrigin-RevId: 185550223

Move two common utility functions used by training and training_eager classes to a utility class.

PiperOrigin-RevId: 185548922

Tiny bugfix to eager TensorArray error message.

PiperOrigin-RevId: 185543699

Merge pull request #16494 from rongjiecomputer/unroll

Enable [no]unroll for Clang on Windows

Merge pull request #15404 from codrut3/doc_fused_fix

DOCS: Update the description of the fused parameter.

TF to XLA compiler to support FakeQuantWithMinMaxVars/Args.

PiperOrigin-RevId: 185538228

Add gradient norm target arg to wass gradient penalty function. This trick is usd in the progressive GAN paper https://arxiv.org/abs/1710.10196

PiperOrigin-RevId: 185535584

Force the use of print function in generated code.

PiperOrigin-RevId: 185531979

Mechanical variable renaming to improve consistency. No other changes.

Distinguishing between points and vectors: A point refers to a location in the tensor/filter, referred to by channel/row/col. A vector is the difference between two points (mostly 'one_past_the_end - begin'), referred to by depth/height/width.

PiperOrigin-RevId: 185496176

Internal change

PiperOrigin-RevId: 185491705

Add test to ensure that covariance terms of FID is being incorporated meaningfully.

PiperOrigin-RevId: 185488757

Disable interleave_dataset_op_test.py and remove a duplicate entry in test blacklist in cmake build.

PiperOrigin-RevId: 185488210

Fix typo in build_and_run_inception_hexagon.sh (#16968)

Signed-off-by: MyungSung Kwak <yesmung@gmail.com>

1. Add image_ops.is_jpeg Op to decide if a input string is a jpeg string or not.
2. Change tfexample_decoder in slim/objection_detection to accept different JPEG decompression method.
Defaults to ""/None which maps to a system-specific default. Currently valid values are ["INTEGER_FAST", "INTEGER_ACCURATE"]. The hint may be ignored (e.g., the internal jpeg library changes to a version that does not have that specific option.)

PiperOrigin-RevId: 185486653

[TF:XLA] Work around crash in Gather op on CPU backend by making loop bound a compile-time constant.

PiperOrigin-RevId: 185486148

[XLA:CPU] Implement vectorized Log in LLVM IR

This was the last vectorized intrinsic for which we had to call into
C++ so also remove the associated machinery.

PiperOrigin-RevId: 185482962

[TF:XLA] Implement ScatterNd.

Add a helper method for performing scatter operations. Share it between ScatterNd and UnsortedSegmentSum implementations. In passing, add support for negative indices to the  UnsortedSegmentSum implementation.

Added helper methods for creating XLA while loops. Use the new helper in both Gather and Scatter ops.

PiperOrigin-RevId: 185469229

Fix TFLite examples/image_label

PiperOrigin-RevId: 185465716

Enable Model subclassing, both in eager-mode and symbolic-mode.

PiperOrigin-RevId: 185464334

Rollforward switch group identification with fixes.

Fixed computing the switch depth: with the erroneous switch depth incorrect
clusters could be formed. Change the way the switch depth is determined (the
switch depth is now on the output side, so a switch always has a switch depth
one higher than all its inputs), add further checking during execution.

PiperOrigin-RevId: 185461054

Fix a typo in the comments.

PiperOrigin-RevId: 185459972

[XLA:GPU] Extend the CustomCall for cudnn convolutions to represent
tensor_ops_enabled.

The convolution algorithms returned from the stream executor have a flag
for whether tensor_ops is enabled. This flag is used when running each
algorithm during auto-tunning. However, this flag is not currently represented
in the CustomCall representing the auto-tune result. As a result, the algorithm
may be run differently after auto-tune.

This change adds a constant to the CustomCall for cudnn convolution algorithm
selected by auto-tune, to represent whether tensor_ops is enabled during
auto-tune. This information is used by convolution thunk to ensure that the
algorithm is run with the same flag after auto-tune.

PiperOrigin-RevId: 185458497

Merge pull request #16253 from samikama/tensorrt

Introducing TensorRT operator

Support None trainable variables that don't produce a gradient in replicate_model_fn.

This fixes #16829.

PiperOrigin-RevId: 185453911

Automated g4 rollback of changelist 185420228

PiperOrigin-RevId: 185453293

Merge pull request #16928 from rongjiecomputer/shapeutil

[MSVC] Use explicit func pointer to static method instead of lambda func

Merge pull request #16945 from yongtang/02122018-keep_dims

Fix some warnings with keep_dims in `tf.contrib.distributions`

Merge pull request #16958 from nfelt/tb-nightly-1.7.0a0

Update tb-nightly dep to >= 1.7.0a0, < 1.8.0a0

Fix test_tftrt.py format

Add documentation for s3 usage with TensorFlow (#16923)

* Add documentation for s3 usage with TensorFlow

This fix adds a very priliminary documentation for s3 usage
with TensorFlow, as an attempt to address the comment 11089.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add s3 documentation to index page for deployment.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add left navigation link for s3 docs.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Change example to use tf.data instead of old input style

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

fix typo

fix typo

fix import

Don't use tf as directly and import individual modules for internal builds

Avoid setting `ConfigProto.cluster_def` when `run_config.cluster_def` is not set.

PiperOrigin-RevId: 185443115

Add an option to tf_gen_op_wrapper_py to make it able to run the genrule
locally.

PiperOrigin-RevId: 185439892

Add a caveat that pixel value range might not be preserved by ResizeArea.

PiperOrigin-RevId: 185437687

Rename op name in comments to reflect renamed op names. NFC.

PiperOrigin-RevId: 185437550

Make buildifier happy

Update tb-nightly dep to >= 1.7.0a0, < 1.8.0a0

Add tests for visible api arguments in quantize_graph.

PiperOrigin-RevId: 185432142

Return false instead of crashing in Tensor::SharesBufferWith if neither tensor has a buffer assigned yet, since that is a valid state. Returning

  buf_ != nullptr && b.buf_ != nullptr &&  buf_->root_buffer() == b.buf_->root_buffer();

still satisfies the contract in the header, i.e. "True iff the two tensors use the same underlying refcounted storage."

PiperOrigin-RevId: 185431574

Filter out the fake XLA devices to avoid double counting the actual hardware
resources available on the machine

PiperOrigin-RevId: 185427665

Fix merge issues

Fix Py3 byte and string issue after swig update. Clarify failure message on finding libnvinfer in configure.py

allow @{} links to break across lines.

PiperOrigin-RevId: 185426070

Extend the memory optimizations to also support accumulate_n ops

PiperOrigin-RevId: 185425999

Respect the cluster spec prop during TPU system auto query.

PiperOrigin-RevId: 185423314

Scope and decorator to automatically add control dependencies.

Should mimic the desired behavior of eager code.

For now supports only straight-line code and conditionals.

PiperOrigin-RevId: 185421760

Also add quantization step node to MODEL_VARIABLES collection.

PiperOrigin-RevId: 185420228

[TF:XLA] Bump open source llvm revision to r324889

PiperOrigin-RevId: 185417275

Add missing feature in make_parse_example_spec documentation.

PiperOrigin-RevId: 185417163

Merge pull request #16952 from yifeif/branch_185398372

Branch 185398372

Add yield_single_examples arg to Estimator.predict

PiperOrigin-RevId: 185416396

[Java]: Add link to samples in the tensorflow/models repository.

PiperOrigin-RevId: 185414475

Enable the use of scheduling heuristics to reduce peak memory usage by default

PiperOrigin-RevId: 185413855

Support reduction with true keep_dims and squeeze along NHW dimensions.

PiperOrigin-RevId: 185411786

Adding support for tf.reduce_sum with keep_dims=True.

PiperOrigin-RevId: 185411141

[XLA] An HLO pass that folds BF16 F32 conversions: if an HLO already supports BF16 input/output, conversions before/after it will be removed and the HLO's input/output types will be converted to BF16.

Also updates HloVerifier to allow mixed precision if requested. If an HLO has both both F32 and BF16 inputs, ShapeInference will use F32 as the output type.

PiperOrigin-RevId: 185407143

Make variable_ops_test optonly

variable_ops_test sometimes times out in fastbuild mode.  So mark it as optonly.

Running this test with `bazel test -c opt` passes all 1000 of 1000 reruns.
Running it with just `bazel test` fails 5 out of 300 reruns.

PiperOrigin-RevId: 185404726

Change the column name in tutorials/wide.md from 'income' to 'income_bracket' to match the code

PiperOrigin-RevId: 185400490

Merge commit for internal changes

Add support for scalars in `tf.contrib.all_reduce`.

PiperOrigin-RevId: 185398372

[TF:XLA] Add additional test case for tf.gather.

PiperOrigin-RevId: 185398368

Fix shape inference bug in tensorlist

PiperOrigin-RevId: 185397219

Update bazel version in docker (#16880)

Update `tf.contrib.data` API docstring.

PiperOrigin-RevId: 185392564

Fix linter errors in test_tftrt.py

ParseNodeName fix.

ParseNodeName was skipping ops that started with an underscore, leading to warnings that input of an op was undefined and stopping grappler optimizations from being run on the graph.

PiperOrigin-RevId: 185388749

Internal Change

PiperOrigin-RevId: 185382594

For debugging purposes, it can be useful to know which ops are considered non-pure / non-constant.

PiperOrigin-RevId: 185371882

[XLA] Support generating tuple shaped fake data in client testing

The previous implementation failed over in case of a tuple shaped input
what broke the replay computation tool for the case where the input is a
tuple.

PiperOrigin-RevId: 185366228

Fix some keep_dims warnings in math_ops_tests

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Fix some warnings with keep_dims in `tf.contrib.distributions`

This fix fixes some warnings with keep_dims in `tf.contrib.distributions`

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Fix warning about keep_dims. keep_dims -> keepdims for tf.reduce_sum(). (#16876)

* Fix warning about keep_dims. keep_dims -> keepdims for tf.reduce_sum().

* fix test failure.

Improve formatting of shapes in tf.losses documentation (#16921)

CMAKE: optionally link to ZLIB as systemlib / shared objects. (#15382)

If the user has ZLIB (and devel pkg) installed at the system
and the user wants to keep using that ZLIB for tensorflow,
the cmake option "-Dsystemlib_ZLIB=ON" will allow to do so.

Another option "-Dsystemlib_ALL=ON" will turn on every
"systemlib_*" options.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Provide more diagnostic shape information in output window error message.

PiperOrigin-RevId: 185331713

Automated g4 rollback of changelist 185233116

PiperOrigin-RevId: 185324160

[TPUEstimator] Automatically detect the TPU system information, including topology for model parallelism.

PiperOrigin-RevId: 185318852

Fix segment_test and run clang-format on trt_conversion.i.

Disable flaky halton_sequence_test

PiperOrigin-RevId: 185294455

[MSVC] Use explicit func pointer to static method instead of lambda func

Fix python lint errors internally. One important change is to rename CreateInferenceGraph to create_inference_graph.

Add support for kConditional to the module group scheduler.

PiperOrigin-RevId: 185279412

typo fix (#16903)

Copied the new description from docstring on line 37. Used the phrase "spectogram timeslice" rather than "frequency window" for consistency with the tooltip on ```--window_size_ms```.