Merge commit for internal changes

Merged commit includes the following changes:
191029891  by xiejw:

    Fix python script file.

--
191029336  by isaprykin:

    Add .configure method to the whole hierarchy of DistributionStrategies.

--
191026971  by blamb:

    Updates get_started nav and renames the beginner guides to include eager.

--
191025863  by mrry:

    Add private Python API for accessing the C++ Session::*Callable API.

--
191025795  by mikecase:

    Internal Change.

--
191024780  by isaprykin:

    Internal change.

--

PiperOrigin-RevId: 191029891

Add summaries from only the first tower in distributed strategy.

PiperOrigin-RevId: 191024726

Internal Change.

PiperOrigin-RevId: 191024708

Internal change

PiperOrigin-RevId: 191024677

Internal change

PiperOrigin-RevId: 191024085

BUGFIX:  sample_stats.percentile:  Fractions for interpolation were done in
float, which caused the error d - 1 == d for large 'd'.  Fix is to do in
double.  Also clipping index values to [0,..., d - 1] in case double isn't enough for some huge array
PiperOrigin-RevId: 191023164

Internal change.

PiperOrigin-RevId: 191023160

Add basic serialization support to DistributedVariable (by using the underlying primary variable's serialization). Also, throw an exception when trying to de-serialize as we haven't implemented that yet.

PiperOrigin-RevId: 191022884

Add output info into op_context otherwise the estimator crashes when OOM.

PiperOrigin-RevId: 191021184

Prevent infinite loop in constant folding when materializing broadcast gradient nodes that are subsequently constant folded.

PiperOrigin-RevId: 191020868

Internal change.

PiperOrigin-RevId: 191020351

Disable shape inference for functions since it doesn't seem to work when
functions are instantiated inside a while loop.

PiperOrigin-RevId: 191019870

Fixed typo in PReLU.

PiperOrigin-RevId: 191019421

Getting rid of the threadpool from FunctionBufferingResource. It wasn't really serving much purpose apart from moving all the function logic execution onto those threads and making the destruction of the resource quite complicated.

PiperOrigin-RevId: 191017836

Move the simple_estimator_example to the examples/ dir.

PiperOrigin-RevId: 191017560

Add distribution support for incrementing the global step.
Don't require Dataset as input to eval and predict even when using
a DistributionStrategy.

PiperOrigin-RevId: 191017191

Port TensorFlow demo to TFLite with three activities: MobileNet Classification, MobileNet SSD Object Detection, and Speech hotword classification

PiperOrigin-RevId: 191015617

Fix typo in comment (#18105)

* Added a JavaScript tab to DEVELOP.
* Added a JavaScript file to DEPLOY.
* Added a link to JavaScript API Ref.

PiperOrigin-RevId: 191012951

Tighten the condition for node removal next to device crossings, since the previous changes were observed to cause a performance regression for distributed execution.

PiperOrigin-RevId: 191011347

Add details of new mailing lists

PiperOrigin-RevId: 191011187

Updating documentation.

PiperOrigin-RevId: 191008662

Fixing a subtle bug where in some cases the post cancellation work wasn't being done correctly. This is the scenario in which FunctionBufferingResource::Cancel() got called while buffering was being done, but then the buffer filled up in which case FillBuffer() wasn't ever called and the Cancel() method would get stuck waiting on a notification from the condition variable leading to timeouts. This CL fixes this by making sure FillBuffer() got called one last time in this case.

Tested by running contrib/data/python/kernel_tests:prefetching_ops_test 500 times and ran contrib/distribute/python:values_test 500 times with no timeouts.

PiperOrigin-RevId: 191007895

Minor language change in readme.

PiperOrigin-RevId: 191006151

Add support for running benchmarks in XLA unit tests.
In the XLA internal test 'main', parse the --benchmarks flag if it exists
and runs the specified benchmarks. Previously microbenchmarks defined in
unit tests were never run.

PiperOrigin-RevId: 191001183

Updated eager guide to use tensorflow 1.7.
Code snippets still work.

PiperOrigin-RevId: 191001008

- Expose slim arg_scope function to compute keys to enable tessting.
- Add is_training=None option to mobinenet arg_scopes. This allows the users to set is_training from an outer scope.

PiperOrigin-RevId: 190997959

Undisables broken list_ops_test

PiperOrigin-RevId: 190997355

  capture_tpu_profile will fallback to old behavior if user specify local directories as model directory.

PiperOrigin-RevId: 190996878

Internal Change

PiperOrigin-RevId: 190996815

Add tf.contrib.distribute, which defines classes DistributionStrategy
and MirroredStrategy, and related functionality.

Also add tf.contrib.optimizer_v2, an update to the Optimizer API.

RELNOTES: Can now pass tf.contrib.distribute.MirroredStrategy() to
tf.estimator.RunConfig() to run an Estimator model on multiple GPUs
on one machine.
PiperOrigin-RevId: 190996247

Internal change.

PiperOrigin-RevId: 190995029

[XLA] Remove some dead code from Executable.

PiperOrigin-RevId: 190994733

TFLite logs to stderr.

PiperOrigin-RevId: 190992629

LSTM support: Add non-uint8 quantized elementwise unary operators.

PiperOrigin-RevId: 190986046

boosted_trees: post-submit clean up
 - non-public objects are renamed.
 - is_single_machine is set properly when run_config is not populated properly (i.e. empty).
PiperOrigin-RevId: 190984693

[XLA] Remove note about what implementations do for DynamicSlice and DynamicUpdateSlice.

It is impossible to commit to a particular "implementation-defined behavior" for all implementations.

PiperOrigin-RevId: 190981804

Updating install_golang.sh - bumping to 1.10 (#17989)

Turns eager device placement on by default.

Change the device policy to have silent copies, which are logged when
RunMetadata tracking is enabled.

In the process, changed TensorHandle to always keep its context around if
it gets one. Changed TFE_TensorHandleResolve to, if necessary, copy to the
CPU (since the user has no control as to whether this copy is needed by
default).

PiperOrigin-RevId: 190978086

Docs: Add Eager Execution guide to Programmer's Guide.

PiperOrigin-RevId: 190977505

Docs: Move TFLite docs into tensorflow.org

PiperOrigin-RevId: 190977057

Use GraphProperties directly in ArithmeticOptimizer.

PiperOrigin-RevId: 190976918

Updating a test in constant_folding_test.cc that uses a graph with placeholder nodes by providing input to those nodes. This will allow evaluation of the fetch nodes in the optimized and original graph and check whether the output tensors produced by them are the same.

PiperOrigin-RevId: 190976595

Fix math equation format in tf.contrib.bayesflow.monte_carlo (#18089)

* Fix math equation format in contrib\bayesflow

* Fix minor pylint error

Initial commit for the demo notebook (#18093)

* Create touch.txt

Dummy file to create the branch and directory structure

* Add files via upload

Initial commit

* Delete touch.txt

Fixed a spelling error that broke the GANEstimator documentation example (#18097)

Fixed a spelling error that broke the tfgan.estimator.GANEstimator documentation example

Internal change.

PiperOrigin-RevId: 190976338

Fix docstring.

PiperOrigin-RevId: 190975767

Avoid evaluating SaveSpec Tensors multiple times when executing eagerly

The Saver now calls a SaveSpec callable once when saving and not at all when restoring. Previously saving evaluated the callable twice and restoring once (copying a variable's value each time).

Requires a dtype be passed to a SaveSpec if its tensor is callable.

PiperOrigin-RevId: 190972754

Minor adjustments to an error message.

PiperOrigin-RevId: 190972253

Add more tflite hosted models like resnet, inception-v4, nasnet.

PiperOrigin-RevId: 190970367

Merge pull request #18095 from xiejw/branch_190953197

Branch 190953197

Leaves attributes on outside_compilation nodes so they can be replicated in a later pass.

PiperOrigin-RevId: 190965218

Initialize pointer to ScopedAllocatorMgr in BaseGPUDevice.

PiperOrigin-RevId: 190964008

Update ops-related pbtxt files.

PiperOrigin-RevId: 190959179

Resolve conflicts.

[INTEL MKL] utilize test_util.IsMklEnabled() to check if the MKL support is turned on or not (#18062)

* Fixed issue #92, timeline_test unit test fails, changed the test so that it can take cpu name changed with MKLDNN naming conversion

* [INTEL MKL] utilize test_util.IsMklEnabled() to check if the MKL support is turned on or not

Update README.md (#18076)

Add YouTube channel

Raise a nicer error message when trying to call gradients with while loop (#18052)

* Produce a nicer error message when trying to call gradients on a while loop without properly serializing graph via MetaGraphDef

* Fix syntax and lint error

* Fix minor intent: Wrong continued indentation (add 2 spaces)

Automated g4 rollback of changelist 190808678

PiperOrigin-RevId: 190955400

Automated g4 rollback of changelist 190858242

PiperOrigin-RevId: 190953197

Allow experimental string attrs for functions.

PiperOrigin-RevId: 190951605

Cache op input's fetched from the C API.

PiperOrigin-RevId: 190951499

[XLA:GPU] Assume that tuple sub-buffers are available at runtime.

Previously we assumed this was not the case, and allowed front-ends to
pass in a pointer to tuple without also passing in pointers to
sub-buffers.

This mostly worked: Whenever we wanted a tuple sub-buffer, we'd just
chase the tuple's pointers in our emitted kernel.

But this doesn't work if we ever need a pointer to that sub-buffer on
the host.  Which we do if e.g. the sub-buffer is an input to a cudnn
call.

There are various ways to make this work, but by far the simplest and
most efficient is simply to specify away this problem, and say that the
front-end *must* give us all the pointers we want.  This is what the
earlier change, "Assert that all buffers and sub-buffers passed to XLA
have an explicit pointer" did.

This change adds a testcase and lets us skip some pointer chasing when
we have a tuple whose sub-buffers are known statically.

PiperOrigin-RevId: 190949743

LSTM support: Further quantized Fully-Connected op optimization.

PiperOrigin-RevId: 190946885

Automated g4 rollback of changelist 190728742

PiperOrigin-RevId: 190946066

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 190942952

Added kernels and estimators for Gradient Boosting Trees algorithm.
BoostedTreesClassifier and BoostedTreesRegressor are added to tf.estimator.
Also some training utility functions are added to tf.contrib.estimator.

PiperOrigin-RevId: 190942599

Add bitcast for equal bitwidth casts.

Map bitcasts to XLA bitcast HLO if the bitwidth of the elementtype is the same.

PiperOrigin-RevId: 190942398

Upgrade Eigen version.

PiperOrigin-RevId: 190942370

[tf.data] Optimizations on make_csv_dataset internals.

PiperOrigin-RevId: 190933143

Disable the toco binary in pip feature until it can used shared libs (#18061)

* Disable the toco binary in pip feature until it can used shared libraries.

The binary size was doubled by the saved model change. Since to process
saved models most of the TensorFlow runtime is needed. A workaround to
this is in the works and should be submitted in the next couple weeks.

* Fix linter errors with unused tensorflow libs

* Mollify the linter by removing os.

Add meta-distribution which reshapes batch dims.

PiperOrigin-RevId: 190930846

Default disable including the coordinator in the TPU job (#18073)

* Default disable including the coordinator in the TPU job

* Fix the test

Fix math equation format in layers (#18069)

Internal change.

PiperOrigin-RevId: 190913047

Move the swapping kernels to the all_kernels library to avoid registering them
more than once from tensorflow/contrib.

PiperOrigin-RevId: 190887394

Add --announce_rc Bazel arg to several of our builds.

This will help to...
 - Refactor the build scripts without accidently adding functional changes.
 - Help debug several issues where some options aren't being added correctly
   by configure script.

PiperOrigin-RevId: 190884531

DistributionStrategy-enable Estimator.

PiperOrigin-RevId: 190882152

Fix TensorList decoding bug. Thanks to Alexandre Passos for finding this.

PiperOrigin-RevId: 190879840

Fixed the shape function of the SplitV op that incorrectly often assumed that
the shape of all the outputs is the same.

PiperOrigin-RevId: 190879600

Support structured source in GradientTape.gradient

Before this change, it was easy to forget [] around the source tensor.
This mistake lead to GradientTape.gradient(), returning a list of Nones.
Nones normally tell to the user that the source and the target are
not connected via differentiable operations, which is not the source
of the error in this case.

Instead of adding a check that `sources` is a list of tensors, this CL
adds ability to handle structured source (which includes a lone tensor),
similarly to many existing TensorFlow APIs.

Also, with Alex's help, it fixes a bug where repeated tensors in
`sources` were not handled correctly.

PiperOrigin-RevId: 190878583

Remove all_opensource_files. It's not needed any more.

PiperOrigin-RevId: 190878279

[tf.data] Maintain a reference on the FunctionBufferingResource while a get-next operation is active.

Previously, the reference count on a FunctionBufferingResource could drop to 0 and it could be deleted (e.g. by a DestroyResourceOp) while a get-next operation is active on it. This would lead to use-after-free errors.

PiperOrigin-RevId: 190878208

Relax limitations on rerouting graph outputs.

- Allow multiple outputs of output_tensors in fold_batch_norms.
- Allow duplicate consumers in quantize.
- I also quick a fix issue for matching final layers that have batch norm.

PiperOrigin-RevId: 190873003

Fix the incorect format of math equation in factorization_ops (#18054)

* Fix the incorect format of math equation in factorization_ops

* Fix minor intent format

* Fix pylint issues

* Fix serveral minor intent

[XLA] Redesign: implement GetComputationStats.

PiperOrigin-RevId: 190871262

Relax CuDNN version requirements because CuDNN is backwards compatible within
a major release starting with CuDNN 7.0

PiperOrigin-RevId: 190869028

Implement assert_same_structure in C++

Also implements helper functions nest._is_namedtuple
nest._same_namedtuple.

Also, fix a bug in FlattenHelper where error from recursive
calls were not propagated up immediately.

This change implements a good chunk of machinery that will
allow us to move map_structure to C++.

Before:
entry {
  name: "NestBenchmark.assert_same_structure_6_elem"
  iters: 30000
  wall_time: 4.79532718658e-05
}

entry {
  name: "NestBenchmark.assert_same_structure_60_elem"
  iters: 30000
  wall_time: 0.000403008667628
}

After:
entry {
  name: "NestBenchmark.assert_same_structure_6_elem"
  iters: 30000
  wall_time: 1.65301720301e-05
}

entry {
  name: "NestBenchmark.assert_same_structure_60_elem"
  iters: 30000
  wall_time: 0.000147621099154
}

PiperOrigin-RevId: 190869007

TPU: Implement 3rd gen input pipeline config.

In this new configuration, we are able to drive a Cloud TPU at full device performance, and achieve over 3k images/sec on ResNet-50. The previous bottleneck was the un-pipeline-able split that occurred after the iterator.get_next() call. This split (when not splitting on the batch-major dimension) caused the training job to be single-threaded-CPU-bottlenecked, resulting in a performance of only ~2650 images/sec on ResNet-50.

This latest input pipeline configuration requires the use of datasets. By requiring datasets, we gain the ability to call get_next() num_replicas times per host, and avoid the expensive split op. (Note: this also opens up potential future avenues for further optimization.) Despite this, we retain a lot of nice usability properties that per_host_v1 (aka input pipeline config v2) gave us.

PiperOrigin-RevId: 190865741

Further speed up statistical_testing_test by breaking up DKWM test.

PiperOrigin-RevId: 190863893

Missed ScopedUnref in ResourceGather

PiperOrigin-RevId: 190861558

Collective Ops Part 1

The basic interface definitions, local-only versions of remote-access,
param-resolution, device-resolution and mgr.

A collective op is able to execute synchronously across devices
and across separate graphs. Collective ops to be introduced eventually
include broadcast and all-reduce.  This change is part of a series of
changes that will introduce the necessary infrastructure then the
initial op implementations.

PiperOrigin-RevId: 190860248

Automated g4 rollback of changelist 190835392

PiperOrigin-RevId: 190858242

Tower-local variable support for DistributionStrategy. Each tower has
its own variable, but fetch() and checkpoint apply a reduction to get
a single value.

PiperOrigin-RevId: 190853123

Add IsSquare bool to the grappler op_types.

PiperOrigin-RevId: 190852501

[tf.data] Expose the symbol `tf.contrib.data.make_csv_dataset()`.

PiperOrigin-RevId: 190849333

Refresh Community pages to surface new resources, SIGs and mailing lists.

PiperOrigin-RevId: 190845545

Automated g4 rollback of changelist 190801044

PiperOrigin-RevId: 190839672