fix test error (#18128)

[tfgan] Add one sided wasserstein gradient penalty (#18098)

* [tfgan] Add one sided wasserstein gradient penalty

* [tfgan] Switch gradient penalty mode to boolean

* [tfgan] Fix lint errors and boolean comparison

Fix the tpu related broken link especially for imagenet_to_gcs.py (#18126)

 Fix some formatting issue in cudnn_rnn and factorization docstrings (#18125)

* Fix some formatting issue in cudnn_rnn and factorization docstrings

* fix minor intent <=80 chars

* Add more minor formatting fixes

* fix minor intent

* fix sigma with \sigma

Fix issue with Luong attention when scale=True and dtype of tf.float16/tf.float64 (#18106)

* Fix issue with Luong attention when scale=True and dtype=tf.float16/tf.float64

This fix tries to address the issue raised in 18099 where
Luong throws a ValueError when scale=True and dtype is not tf.float32.

This fix addresses the issue with the additional test case added.

This fix fixes 18099.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Fix pylint issue

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add test case for Luong attention with scale=True and dtype=float16/float64

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add assertEqual to confirm the dtypes of the output

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Fix several formatting issues in python api guides (#18121)

* Fix several formatting in python api guides

* Fix minor format

Adding optional generated code printing in the demo notebook (#18122)

Merge pull request #18120 from xiejw/branch_191063815

Branch 191063815

Merge commit for internal changes

Replaced calls to deprecated tensorflow::StringPiece methods with their
tensorflow::str_util equivalents.

This will allow the deprecated methods to be removed.

PiperOrigin-RevId: 191063815

Before this change, a Tensor contained a device pointer and a TensorInfoManager datastructure contained a mapping from device pointer to XlaTensorInfo object. This TensorInfoManager needed to be an Allocator too, so it could be informed when a Tensor is released.

After this change, a Tensor on an XlaDevice contains an XlaTensor object. The XlaTensor object is the equivalent of the old XlaTensorInfo object.

This has advantages and drawbacks:
  + We don't need yet another allocator wrapper, as there is no side-band data to manage.
  + No hashtable lookups are required.
  - As XlaLocalLaunchOp could either be on an XlaDevice or a TF-classic device, we need some way to distinguish whether a Tensor is a TF-classic tensor (holds a device pointer) or an XlaTensor (we use a tagged pointer).

As part of this, allocate ShapedBuffers using the XLA backend's allocator directly instead of a roundabout route where we:
  Wrapped the XLA allocator in an XlaDeviceAllocator
  Then wrapped the XlaDeviceAllocator in an XlaAllocator

This leaves less to go wrong. Ideally we'd actually use StreamExecutor's allocator here, but this is less useful than XLA's as it doesn't provide helpful OOM messages (just returns nullptr).

PiperOrigin-RevId: 191048184

Internal change.

PiperOrigin-RevId: 191037166

Merge pull request #18110 from xiejw/branch_191029891

Branch 191029891

Merge commit for internal changes

Merged commit includes the following changes:
191029891  by xiejw:

    Fix python script file.

--
191029336  by isaprykin:

    Add .configure method to the whole hierarchy of DistributionStrategies.

--
191026971  by blamb:

    Updates get_started nav and renames the beginner guides to include eager.

--
191025863  by mrry:

    Add private Python API for accessing the C++ Session::*Callable API.

--
191025795  by mikecase:

    Internal Change.

--
191024780  by isaprykin:

    Internal change.

--

PiperOrigin-RevId: 191029891

Add summaries from only the first tower in distributed strategy.

PiperOrigin-RevId: 191024726

Internal Change.

PiperOrigin-RevId: 191024708

Internal change

PiperOrigin-RevId: 191024677

Internal change

PiperOrigin-RevId: 191024085

BUGFIX:  sample_stats.percentile:  Fractions for interpolation were done in
float, which caused the error d - 1 == d for large 'd'.  Fix is to do in
double.  Also clipping index values to [0,..., d - 1] in case double isn't enough for some huge array
PiperOrigin-RevId: 191023164

Internal change.

PiperOrigin-RevId: 191023160

Add basic serialization support to DistributedVariable (by using the underlying primary variable's serialization). Also, throw an exception when trying to de-serialize as we haven't implemented that yet.

PiperOrigin-RevId: 191022884

Add output info into op_context otherwise the estimator crashes when OOM.

PiperOrigin-RevId: 191021184

Prevent infinite loop in constant folding when materializing broadcast gradient nodes that are subsequently constant folded.

PiperOrigin-RevId: 191020868

Internal change.

PiperOrigin-RevId: 191020351

Disable shape inference for functions since it doesn't seem to work when
functions are instantiated inside a while loop.

PiperOrigin-RevId: 191019870

Fixed typo in PReLU.

PiperOrigin-RevId: 191019421

Getting rid of the threadpool from FunctionBufferingResource. It wasn't really serving much purpose apart from moving all the function logic execution onto those threads and making the destruction of the resource quite complicated.

PiperOrigin-RevId: 191017836

Move the simple_estimator_example to the examples/ dir.

PiperOrigin-RevId: 191017560

Add distribution support for incrementing the global step.
Don't require Dataset as input to eval and predict even when using
a DistributionStrategy.

PiperOrigin-RevId: 191017191

Port TensorFlow demo to TFLite with three activities: MobileNet Classification, MobileNet SSD Object Detection, and Speech hotword classification

PiperOrigin-RevId: 191015617

Fix typo in comment (#18105)

* Added a JavaScript tab to DEVELOP.
* Added a JavaScript file to DEPLOY.
* Added a link to JavaScript API Ref.

PiperOrigin-RevId: 191012951

Tighten the condition for node removal next to device crossings, since the previous changes were observed to cause a performance regression for distributed execution.

PiperOrigin-RevId: 191011347

Add details of new mailing lists

PiperOrigin-RevId: 191011187

Updating documentation.

PiperOrigin-RevId: 191008662

Fixing a subtle bug where in some cases the post cancellation work wasn't being done correctly. This is the scenario in which FunctionBufferingResource::Cancel() got called while buffering was being done, but then the buffer filled up in which case FillBuffer() wasn't ever called and the Cancel() method would get stuck waiting on a notification from the condition variable leading to timeouts. This CL fixes this by making sure FillBuffer() got called one last time in this case.

Tested by running contrib/data/python/kernel_tests:prefetching_ops_test 500 times and ran contrib/distribute/python:values_test 500 times with no timeouts.

PiperOrigin-RevId: 191007895

Minor language change in readme.

PiperOrigin-RevId: 191006151

Add support for running benchmarks in XLA unit tests.
In the XLA internal test 'main', parse the --benchmarks flag if it exists
and runs the specified benchmarks. Previously microbenchmarks defined in
unit tests were never run.

PiperOrigin-RevId: 191001183

Updated eager guide to use tensorflow 1.7.
Code snippets still work.

PiperOrigin-RevId: 191001008

- Expose slim arg_scope function to compute keys to enable tessting.
- Add is_training=None option to mobinenet arg_scopes. This allows the users to set is_training from an outer scope.

PiperOrigin-RevId: 190997959

Undisables broken list_ops_test

PiperOrigin-RevId: 190997355

  capture_tpu_profile will fallback to old behavior if user specify local directories as model directory.

PiperOrigin-RevId: 190996878

Internal Change

PiperOrigin-RevId: 190996815

Add tf.contrib.distribute, which defines classes DistributionStrategy
and MirroredStrategy, and related functionality.

Also add tf.contrib.optimizer_v2, an update to the Optimizer API.

RELNOTES: Can now pass tf.contrib.distribute.MirroredStrategy() to
tf.estimator.RunConfig() to run an Estimator model on multiple GPUs
on one machine.
PiperOrigin-RevId: 190996247

Internal change.

PiperOrigin-RevId: 190995029

[XLA] Remove some dead code from Executable.

PiperOrigin-RevId: 190994733

TFLite logs to stderr.

PiperOrigin-RevId: 190992629

LSTM support: Add non-uint8 quantized elementwise unary operators.

PiperOrigin-RevId: 190986046

boosted_trees: post-submit clean up
 - non-public objects are renamed.
 - is_single_machine is set properly when run_config is not populated properly (i.e. empty).
PiperOrigin-RevId: 190984693

[XLA] Remove note about what implementations do for DynamicSlice and DynamicUpdateSlice.

It is impossible to commit to a particular "implementation-defined behavior" for all implementations.

PiperOrigin-RevId: 190981804

Updating install_golang.sh - bumping to 1.10 (#17989)

Turns eager device placement on by default.

Change the device policy to have silent copies, which are logged when
RunMetadata tracking is enabled.

In the process, changed TensorHandle to always keep its context around if
it gets one. Changed TFE_TensorHandleResolve to, if necessary, copy to the
CPU (since the user has no control as to whether this copy is needed by
default).

PiperOrigin-RevId: 190978086

Docs: Add Eager Execution guide to Programmer's Guide.

PiperOrigin-RevId: 190977505

Docs: Move TFLite docs into tensorflow.org

PiperOrigin-RevId: 190977057

Use GraphProperties directly in ArithmeticOptimizer.

PiperOrigin-RevId: 190976918

Updating a test in constant_folding_test.cc that uses a graph with placeholder nodes by providing input to those nodes. This will allow evaluation of the fetch nodes in the optimized and original graph and check whether the output tensors produced by them are the same.

PiperOrigin-RevId: 190976595

Fix math equation format in tf.contrib.bayesflow.monte_carlo (#18089)

* Fix math equation format in contrib\bayesflow

* Fix minor pylint error

Initial commit for the demo notebook (#18093)

* Create touch.txt

Dummy file to create the branch and directory structure

* Add files via upload

Initial commit

* Delete touch.txt

Fixed a spelling error that broke the GANEstimator documentation example (#18097)

Fixed a spelling error that broke the tfgan.estimator.GANEstimator documentation example

Internal change.

PiperOrigin-RevId: 190976338

Fix docstring.

PiperOrigin-RevId: 190975767

Avoid evaluating SaveSpec Tensors multiple times when executing eagerly

The Saver now calls a SaveSpec callable once when saving and not at all when restoring. Previously saving evaluated the callable twice and restoring once (copying a variable's value each time).

Requires a dtype be passed to a SaveSpec if its tensor is callable.

PiperOrigin-RevId: 190972754

Minor adjustments to an error message.

PiperOrigin-RevId: 190972253

Add more tflite hosted models like resnet, inception-v4, nasnet.

PiperOrigin-RevId: 190970367

Merge pull request #18095 from xiejw/branch_190953197

Branch 190953197

Leaves attributes on outside_compilation nodes so they can be replicated in a later pass.

PiperOrigin-RevId: 190965218

Initialize pointer to ScopedAllocatorMgr in BaseGPUDevice.

PiperOrigin-RevId: 190964008

Update ops-related pbtxt files.

PiperOrigin-RevId: 190959179

Resolve conflicts.

[INTEL MKL] utilize test_util.IsMklEnabled() to check if the MKL support is turned on or not (#18062)

* Fixed issue #92, timeline_test unit test fails, changed the test so that it can take cpu name changed with MKLDNN naming conversion

* [INTEL MKL] utilize test_util.IsMklEnabled() to check if the MKL support is turned on or not

Update README.md (#18076)

Add YouTube channel

Raise a nicer error message when trying to call gradients with while loop (#18052)

* Produce a nicer error message when trying to call gradients on a while loop without properly serializing graph via MetaGraphDef

* Fix syntax and lint error

* Fix minor intent: Wrong continued indentation (add 2 spaces)

Automated g4 rollback of changelist 190808678

PiperOrigin-RevId: 190955400

Automated g4 rollback of changelist 190858242

PiperOrigin-RevId: 190953197

Allow experimental string attrs for functions.

PiperOrigin-RevId: 190951605

Cache op input's fetched from the C API.

PiperOrigin-RevId: 190951499

[XLA:GPU] Assume that tuple sub-buffers are available at runtime.

Previously we assumed this was not the case, and allowed front-ends to
pass in a pointer to tuple without also passing in pointers to
sub-buffers.

This mostly worked: Whenever we wanted a tuple sub-buffer, we'd just
chase the tuple's pointers in our emitted kernel.

But this doesn't work if we ever need a pointer to that sub-buffer on
the host.  Which we do if e.g. the sub-buffer is an input to a cudnn
call.

There are various ways to make this work, but by far the simplest and
most efficient is simply to specify away this problem, and say that the
front-end *must* give us all the pointers we want.  This is what the
earlier change, "Assert that all buffers and sub-buffers passed to XLA
have an explicit pointer" did.

This change adds a testcase and lets us skip some pointer chasing when
we have a tuple whose sub-buffers are known statically.

PiperOrigin-RevId: 190949743

LSTM support: Further quantized Fully-Connected op optimization.

PiperOrigin-RevId: 190946885

Automated g4 rollback of changelist 190728742

PiperOrigin-RevId: 190946066

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 190942952

Added kernels and estimators for Gradient Boosting Trees algorithm.
BoostedTreesClassifier and BoostedTreesRegressor are added to tf.estimator.
Also some training utility functions are added to tf.contrib.estimator.

PiperOrigin-RevId: 190942599

Add bitcast for equal bitwidth casts.

Map bitcasts to XLA bitcast HLO if the bitwidth of the elementtype is the same.

PiperOrigin-RevId: 190942398

Upgrade Eigen version.

PiperOrigin-RevId: 190942370

[tf.data] Optimizations on make_csv_dataset internals.

PiperOrigin-RevId: 190933143

Disable the toco binary in pip feature until it can used shared libs (#18061)

* Disable the toco binary in pip feature until it can used shared libraries.

The binary size was doubled by the saved model change. Since to process
saved models most of the TensorFlow runtime is needed. A workaround to
this is in the works and should be submitted in the next couple weeks.

* Fix linter errors with unused tensorflow libs

* Mollify the linter by removing os.

Add meta-distribution which reshapes batch dims.

PiperOrigin-RevId: 190930846

Default disable including the coordinator in the TPU job (#18073)

* Default disable including the coordinator in the TPU job

* Fix the test

Fix math equation format in layers (#18069)

Internal change.

PiperOrigin-RevId: 190913047

Move the swapping kernels to the all_kernels library to avoid registering them
more than once from tensorflow/contrib.

PiperOrigin-RevId: 190887394

Add --announce_rc Bazel arg to several of our builds.

This will help to...
 - Refactor the build scripts without accidently adding functional changes.
 - Help debug several issues where some options aren't being added correctly
   by configure script.

PiperOrigin-RevId: 190884531

DistributionStrategy-enable Estimator.

PiperOrigin-RevId: 190882152

Fix TensorList decoding bug. Thanks to Alexandre Passos for finding this.

PiperOrigin-RevId: 190879840

Fixed the shape function of the SplitV op that incorrectly often assumed that
the shape of all the outputs is the same.

PiperOrigin-RevId: 190879600

Support structured source in GradientTape.gradient

Before this change, it was easy to forget [] around the source tensor.
This mistake lead to GradientTape.gradient(), returning a list of Nones.
Nones normally tell to the user that the source and the target are
not connected via differentiable operations, which is not the source
of the error in this case.

Instead of adding a check that `sources` is a list of tensors, this CL
adds ability to handle structured source (which includes a lone tensor),
similarly to many existing TensorFlow APIs.

Also, with Alex's help, it fixes a bug where repeated tensors in
`sources` were not handled correctly.

PiperOrigin-RevId: 190878583

Remove all_opensource_files. It's not needed any more.

PiperOrigin-RevId: 190878279

[tf.data] Maintain a reference on the FunctionBufferingResource while a get-next operation is active.

Previously, the reference count on a FunctionBufferingResource could drop to 0 and it could be deleted (e.g. by a DestroyResourceOp) while a get-next operation is active on it. This would lead to use-after-free errors.

PiperOrigin-RevId: 190878208

Relax limitations on rerouting graph outputs.

- Allow multiple outputs of output_tensors in fold_batch_norms.
- Allow duplicate consumers in quantize.
- I also quick a fix issue for matching final layers that have batch norm.

PiperOrigin-RevId: 190873003

Fix the incorect format of math equation in factorization_ops (#18054)

* Fix the incorect format of math equation in factorization_ops

* Fix minor intent format

* Fix pylint issues

* Fix serveral minor intent