Merge pull request #18340 from JChord/master

Docs: Fix 'Unable to find source java class'

Update tf.contrib.metrics with deprecations (#18335)

* Update tf.contrib.metrics with deprecations

This fix updates tf.contrib.metrics.streaming_mean_absolution(relative/squared)_error
with deprecation notices as they have been replaces with tf.metrics.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Update streaming_mean_relative_error

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Update deprecation notice for streaming_root_mean_squared_error

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Fix the deprecation message.

* Fix pylint `Line too long (81/80)` issue

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Updating tensorboard link in Readme.md (#18161)

Merge pull request #18430 from lamberta/fix-docs-using-tpu

Docs: Clarify using_tpu.md

Tidy up doc for rebuild project

Merge pull request #18426 from qlzh727/branch_192461382

Branch 192461382

Docs: Clarify using_tpu.md

Merge commit for internal changes

Fixing dependencies.

PiperOrigin-RevId: 192461382

Fix Windows GPU TensorFlow Bazel builds.

The configure.py script will error out on Windows GPU builds due
to NCCL attempted to be configured (and is currently Linux only).

PiperOrigin-RevId: 192461362

Temporarily remove prelu from generated_examples_zip_test

PiperOrigin-RevId: 192453411

Remove unused former source of tensorflow.org/tutorials/image_retraining.

The source of https://tensorflow.org/tutorials/image_retraining has moved from
https://github.com/tensorflow/tensorflow/tree/master/tensorflow/docs_src/tutorials
to https://github.com/tensorflow/hub/tree/master/docs/tutorials
because of its use of TensorFlow Hub.

This change replaces the now-defunct version with a pointer to the new
location, in order to avoid dead code.

PiperOrigin-RevId: 192451570

Fixing propagation of minmax info on constant gather ops.

PiperOrigin-RevId: 192448922

[TF:XLA] Mark oom_test as optonly, it's really slow when compiled without optimization.

PiperOrigin-RevId: 192420481

Create FileWriter <-> tf.contrib.summary compatibility layer

This provides an implementation of FileWriter, activated by passing in a `session` parameter to the constructor, that is backed by session.run'ing graph ops that manipulate a tf.contrib.summary.create_file_writer() instance. Because tf.contrib.summary.SummaryWriters are backed by shared resources in the graph, this makes it possible to have a FileWriter and a tf.contrib.summary.SummaryWriter that both write to the same events file.

This change includes some related smaller changes:
- Factors out training_utils.py into a separate target to avoid a cyclic dep
- Moves contrib/summary/summary_ops.py to python/ops/summary_ops_v2.py
- Adds SummaryWriter.init(), .flush(), and .close() op-returning methods
- Changes create_file_writer() `name` arg to default to logdir prefixed by `logdir:` so shared resources are scoped by logdir by default
- Fixes a bug with tf.contrib.summary.flush() `writer` arg
- Makes create_file_writer()'s max_queue arg behave as documented
- Adds more testing for existing tf.contrib.summary API

PiperOrigin-RevId: 192408079

[XLA] Fix the size of data buffer for sparse literals.

PiperOrigin-RevId: 192404543

[XLA] Redesign: implement ComputeHost.

Also support convert from/to proto for ComputeHost.

PiperOrigin-RevId: 192403660

[XLA] Redesgin: implement and test Gather, Conditional.

Also support convert from/to proto for Gather.

PiperOrigin-RevId: 192400659

[XLA] Redesign: implment and test CrossReplicaSum.

PiperOrigin-RevId: 192397189

Update ops-related pbtxt files.

PiperOrigin-RevId: 192392702

[StreamExecutor] Merge StreamExecutor's and XLA's StatusOr classes.

StatusOr is a...complicated class to write.  It's really not good to
have two copies of it.  They've diverged (the XLA one is more
sophisticated), and this may be causing upstream build problems with
gcc6.

PiperOrigin-RevId: 192392111

[XLA] Redesign: implement and test BatchNormXXX.

PiperOrigin-RevId: 192391748

experimental C API: Fix compilation failure in Windows.

The functions added in
https://github.com/tensorflow/tensorflow/commit/be917027e37c5e8f21f6ba07f24bdbf072cf6dfd
are temporary, and their existence breaks compilation in MSVC because of
https://docs.microsoft.com/en-us/cpp/c-language/maximum-string-length
and
https://docs.microsoft.com/en-us/cpp/error-messages/compiler-errors-1/compiler-error-c2026

So just disabling it in Windows for now.

PiperOrigin-RevId: 192391164

Checkpointable: remove colocation constraints from restore ops

Mystery solved thanks to log_device_placement.

PiperOrigin-RevId: 192389574

Remove BN workaround for resource variable gradients bug that was recently fixed.

PiperOrigin-RevId: 192388867

Add missing TF_ATTRIBUTE_WEAK for MSVC (#18303)

Merge changes from github.

PiperOrigin-RevId: 192388250

Fix for users who were passing `Dimension` type as `units` arg in `Dense`.

PiperOrigin-RevId: 192387984

Fix incorrect math equation renderings in random_fourier_features.py (#18367)

* Fix incorrect math equation renderings in random_fourier_features.py

This fix fixes incorrect math equation renderings for markdown
in random_fourier_features.py. The issue is that
"```" backtick should not be added when mathjax quote is used ("\\(" or "$$").

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Additional fix.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* MathJax fixes

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Fix pylint errors

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Fix code block rendering issue in adding_an_op.md (#18368)

* Fix code block rendering issue in adding_an_op.md

In adding_an_op.md, html code was used in markdown for code blocks.
However, this does not work very well as some of the code blocks
includes incorrect rendering.

This fix converts html into "```c++" (backticks) so that the rendering
could be fixed.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Fix additional html code

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Fix lang-cpp issue

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Further clean up

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

typo and readability fixes in CPU section (#18370)

Fixed a typo in the Tuning MKL section, and modified punctuation for intra_op_parallelism_threads section for easier readability.

TFTS: De-flake the LSTM test

Disabling the value-based check for now. Hopefully the shapes are deterministic.

PiperOrigin-RevId: 192383553

Forward the status from LookupResource to GetInputTensorFromVariable rather than returning a generic error status

PiperOrigin-RevId: 192382499

[XLA] Redesign: implement Conj.

PiperOrigin-RevId: 192381481

[XLA] Redesign: implement SliceInDim.

PiperOrigin-RevId: 192381080

[XLA] Redesign: implement ReduceAll.

PiperOrigin-RevId: 192380688

[XLA] Redesign: implement and test SelectAndScatter.

PiperOrigin-RevId: 192380121

Update LogToSTDErr for TF Lite usage

PiperOrigin-RevId: 192379483

Add types to error message in case of mismatch. NFC.

PiperOrigin-RevId: 192370979

Add a thread-safe producer-consumer queue.

PiperOrigin-RevId: 192370670

Fix issue with gradients of resource variables in cond.

PiperOrigin-RevId: 192369091

[XLA] Redesign: implement and test ReduceWindow.

PiperOrigin-RevId: 192368401

Merge pull request #18407 from av8ramit/fix_sed_cmd

Updating the sed command for docker parameterized build.

Update programmers guide

PiperOrigin-RevId: 192368335

Supporting FakeQuant num_bits and getting the fake quant op matching tensorflow.

PiperOrigin-RevId: 192367307

[XLA] GRPC service definition.

PiperOrigin-RevId: 192364932

Fix `nn` module RNN namespace issues.

PiperOrigin-RevId: 192364808

Updating the sed command for docker parameterized build.

Allow passing allow_custom_ops for toco_convert.

PiperOrigin-RevId: 192362688

Merge pull request #18399 from av8ramit/fix_docker_link

Forcing the symlink creation.

Cleaning up _distributed_apply now the device policy is unnecessary

PiperOrigin-RevId: 192360913

In `get_variable`, nest the choice to use `ResourceVariable` under an
`init_scope`.

This makes sure that, when executing eagerly, calls to `get_variable` in a
`defun`-compiled function retrieve `ResourceVariable`s instead of `Variables`.

PiperOrigin-RevId: 192360775

Small changes to testing code, plus a new binary to check diff from command line.

PiperOrigin-RevId: 192360373

[XLA] Redesign: implement and test Conv.

PiperOrigin-RevId: 192359226

Allow negative feature values in computation for `sum` combiner.

PiperOrigin-RevId: 192355950

Add quantized LogSoftmax.

PiperOrigin-RevId: 192352432

Forcing the symlink creation.

Run EvaluateNodes for ModelPrunerTest_StopGradientPruning. Also updated the test fixture to inherit from GrapplerTest.

PiperOrigin-RevId: 192350828

ParseOpData returns kTfLiteError when error happens.

PiperOrigin-RevId: 192346224

Bug fix for statistical_testing:
  - Max/Min computations should be done over the sample dimension.
  - Change dominate check to be greater_equal instead of greater (for matching dimensions).

PiperOrigin-RevId: 192345809

Add missing import for RNNClassifier

PiperOrigin-RevId: 192344760

[XLA] Redesign: implement and test Rev, BitcastConvertType, Map, and ReducePrecision.

PiperOrigin-RevId: 192342686

Pad support for quantized zero.

PiperOrigin-RevId: 192342172

test previously untested eval codepaths.

PiperOrigin-RevId: 192341561

Handle duplicate features by coalescing them together into a single feature.

PiperOrigin-RevId: 192341065

Refactor layers:
- tf.layers layers now subclasses tf.keras.layers layers.
- tf.keras.layers is now agnostic to variable scopes and global collections (future-proof). It also uses ResourceVariable everywhere by default.
- As a result tf.keras.layers is in general lower-complexity, with fewer hacks and workarounds. However some of current code is temporary (variable creation should be moved to Checkpointable, arguably, and there are some dependency issues that will require later refactors).
- The legacy tf.layers layers behavior is kept, with references to variable scopes and global collections injected in the subclassed tf.layers.base.Layer class (the content of tf.layers.base.Layer is the complexity differential between the old implementation and the new one).

Note: this refactor does slightly change the behavior of tf.layers.base.Layer, by disabling extreme edge-case behavior that either has long been invalid, or is dangerous and should most definitely be disabled. This will not affect any users since such behaviors only existed in the base Layer unit tests. The behaviors disabled are:
- Option to create reusable variables in `call` (already invalid for some time).
- Option to use a variable scope to create layer variables outside of the layer while not having the layer track such variables locally.
PiperOrigin-RevId: 192339798

Merge pull request #18391 from av8ramit/fix_devel_docker_python

Adding the python symlink command for devel packages too.

Update declaration order in staging ops Buffer class according to C++ style guide

PiperOrigin-RevId: 192336966

Checkpointable: wrap restore ops in init_scope

This should make restore() work with defun-wrapped code, when variables are
created inside the function. Just lifts the restore code into the outer
context. Adds a test for it.

PiperOrigin-RevId: 192331065

Merge pull request #18388 from qlzh727/branch_192309109

Branch 192309109

Make custom_graph_optimizer_registry header-only (#18387)

Adds it as a dependency to libtensorflow_framework.so so its symbols are
available to shared objects which want to register optimizers. No other rules
include it, so shared objects won't accidentally get their own version of the
registry.

Employ array flat sizes more directly in reference_ops.

PiperOrigin-RevId: 192327464

Upgrade gRPC version and fix file duplication

This bumps the gRPC version used in OSS Tensorflow to pick up grpc/grpc#14541, which exposes gRPC serialization classes which were previously hidden in an internal namespace. Using these files eliminates files duplicated from gRPC repo

PiperOrigin-RevId: 192327358

Expand list of value-preserving ops. This will increase the number of graphs where we can apply the involution and mul->conv fusion optimizations.

PiperOrigin-RevId: 192323712

Enable loop-invariant node motion in the Grappler loop optimizer.
Thanks to the team at Alibaba, who contributed the original version of this code.

PiperOrigin-RevId: 192322484

Fix bug in TFLite Interpreter python interface

PiperOrigin-RevId: 192318426

[XLA] Fix the size of the data returned from Literal for sparse literals.

PiperOrigin-RevId: 192315888

Adding the python symlink command for devel packages too.

Adds support for hoisting out common denominator in arithmetic_optimizer

PiperOrigin-RevId: 192314177

Merge commit for internal changes

[TF:XLA] fix a segfault in MakeFakeArguments, and add a test case.

PiperOrigin-RevId: 192310749

Simplify test_util.run_in_graph_and_eager_modes

- Get rid of unnecessary options
- Update various resource variable tests so that they correctly exercise the cases where the variables are placed on GPU (these "with tf.device('/cpu:0')" blocks that were added for eager execution are no longer necessary)

PiperOrigin-RevId: 192309109

Add python built-in types support for `tf.as_dtype` (#17652)

* Add python built-in types support for `tf.as_dtype`

This fix tries to address the issue raised in 17641 where
it was not possible to use `tf.as_dtype(float)` the same
way as numpy `np.dtype(float)`.
This fix adds the built-in types support for `tf.as_dtype`,
so that it is possible to specify:
```
dtypes.as_dtype(float)   # dtypes.float64
dtypes.as_dtype(int)     # dtypes.int32
dtypes.as_dtype(long)    # dtypes.int64
dtypes.as_dtype(complex) # dtypes.complex128
dtypes.as_dtype(bool)    # dtypes.bool
```

This fix fixes 17641.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add test cases for built-in types support with `tf.as_dtype`

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Fix failed test cases with added built-in types support of tf.as_dtype

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Fix python 3 build

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Restrict the changes to float and bool based on review feedback

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Place data format op on CPU:0.

PiperOrigin-RevId: 192302833

raw_input() was removed in Python 3 (#16440)

Fix markdown in a couple of tf.estimator docstrings.

PiperOrigin-RevId: 192299871

Remove manifest_merger from tensorflow_demo. This is an internal-only attribute
that is being removed from bazel.

PiperOrigin-RevId: 192298746

Fix capitalization (on master)

PiperOrigin-RevId: 192298563

[XLA:GPU] Add infrastructure for unrolling kernels to improve bandwidth utilization.

We often have simple kernels that do very little actual work, duplicating that
can increase the used bandwidth.

This change introduces flags and infrastructure for unrolling kernels, it
doesn't include any cost heuristics and is disabled by default. Based on code
written by Bixia Zheng.

PiperOrigin-RevId: 192296781

Added minimum op, better type support in maximum.

PiperOrigin-RevId: 192292693

Update document

PiperOrigin-RevId: 192292160

Suppress -Wself-assign in self-assignment tests, which triggers in newer clang
revisions.

PiperOrigin-RevId: 192284946

[XLA] Redesign: implement and test custom call.

PiperOrigin-RevId: 192241311

[XLA] Redesign: implement XlaBuilder::IsConstant, XlaBuidler::BuildConstantSubGraph, and Client::ComputeConstant(XlaComputation...).
- Since the builder no longer holds a client, we moved the ComputeConstant to the client side so that it can communicate with the service side. Now we add XlaBuilder::BuildConstantSubGraph, which is only responsible for building a subgraph that is compile-time constant.
- Before this change, every XlaBuilder has a unique id. Now since it also builds constant subgraph, we give every XlaComputation being built a global unique id, and uniquify instruction names when actually building the XlaComputation.

PiperOrigin-RevId: 192236997

Implementation of ArgMax

PiperOrigin-RevId: 192236845

Updating three tests in constant_folding_test.cc with PlaceHolders Nodes to check EvaluateNodes returns the same output for the original and optimized graph

PiperOrigin-RevId: 192235310

Merge pull request #18366 from qlzh727/branch_192210794

Branch 192210794

Merge pull request #18347 from case540/fix_source_writer

Fixes to source_writer.cc.

Fix the GCS Kokoro build badge links.

The original badges I added were redirected/authenticated links (I think). This
resulted in broken images on the README. These new links should not be
redirected and should just link to the badge images.

PiperOrigin-RevId: 192230689

Addressed comments.

- Free all un-popped GenericNamespace objects in destructor (not
  just the one garunteed to be there).
- Renamed test file to test.java.snippet.