Disable tsan for tensorflow/python/estimator:replicate_model_fn_test

It gets flaky failures.

PiperOrigin-RevId: 191100692

Enable writing of summaries in ExamplesPerSecondHook

PiperOrigin-RevId: 191094585

Break FileSystem's dependency on ThreadPool.

PiperOrigin-RevId: 191092932

Internal change.

PiperOrigin-RevId: 191090993

Rename distributed_apply to _distributed_apply in OptimizerV2 to match
the Optimizer base class.

PiperOrigin-RevId: 191089407

Create a wrapper for bfloat16 scope so that users don't need the custom getter.

PiperOrigin-RevId: 191085552

Check for errors returned by ExecuteOnStream before calling
BlockHostUntilDone. If ExecuteOnStream fails, BlockHostUntilDone will
also fail in a way that makes debugging much harder.

RELNOTES: n/a
PiperOrigin-RevId: 191085159

[XLA] Add IsConstant to the local Python client.

PiperOrigin-RevId: 191080094

Fix several data races by acquiring locks.

(The racy accesses were detected by the thread safety annotations.)

PiperOrigin-RevId: 191077376

Fix the index to match the left nav.

PiperOrigin-RevId: 191075496

Fix a crash in Quantize() when tf.contrib.framework.get_name_scope() == None.

PiperOrigin-RevId: 191068059

Update test for DebugStripper to construct graph in scope.

PiperOrigin-RevId: 191067139

Replaced calls to deprecated tensorflow::StringPiece methods with their
tensorflow::str_util equivalents.

This will allow the deprecated methods to be removed.

PiperOrigin-RevId: 191063815

Before this change, a Tensor contained a device pointer and a TensorInfoManager datastructure contained a mapping from device pointer to XlaTensorInfo object. This TensorInfoManager needed to be an Allocator too, so it could be informed when a Tensor is released.

After this change, a Tensor on an XlaDevice contains an XlaTensor object. The XlaTensor object is the equivalent of the old XlaTensorInfo object.

This has advantages and drawbacks:
  + We don't need yet another allocator wrapper, as there is no side-band data to manage.
  + No hashtable lookups are required.
  - As XlaLocalLaunchOp could either be on an XlaDevice or a TF-classic device, we need some way to distinguish whether a Tensor is a TF-classic tensor (holds a device pointer) or an XlaTensor (we use a tagged pointer).

As part of this, allocate ShapedBuffers using the XLA backend's allocator directly instead of a roundabout route where we:
  Wrapped the XLA allocator in an XlaDeviceAllocator
  Then wrapped the XlaDeviceAllocator in an XlaAllocator

This leaves less to go wrong. Ideally we'd actually use StreamExecutor's allocator here, but this is less useful than XLA's as it doesn't provide helpful OOM messages (just returns nullptr).

PiperOrigin-RevId: 191048184

Internal change.

PiperOrigin-RevId: 191037166

Merged commit includes the following changes:
191029891  by xiejw:

    Fix python script file.

--
191029336  by isaprykin:

    Add .configure method to the whole hierarchy of DistributionStrategies.

--
191026971  by blamb:

    Updates get_started nav and renames the beginner guides to include eager.

--
191025863  by mrry:

    Add private Python API for accessing the C++ Session::*Callable API.

--
191025795  by mikecase:

    Internal Change.

--
191024780  by isaprykin:

    Internal change.

--

PiperOrigin-RevId: 191029891

Add summaries from only the first tower in distributed strategy.

PiperOrigin-RevId: 191024726

Internal Change.

PiperOrigin-RevId: 191024708

Internal change

PiperOrigin-RevId: 191024677

Internal change

PiperOrigin-RevId: 191024085

BUGFIX:  sample_stats.percentile:  Fractions for interpolation were done in
float, which caused the error d - 1 == d for large 'd'.  Fix is to do in
double.  Also clipping index values to [0,..., d - 1] in case double isn't enough for some huge array
PiperOrigin-RevId: 191023164

Internal change.

PiperOrigin-RevId: 191023160

Add basic serialization support to DistributedVariable (by using the underlying primary variable's serialization). Also, throw an exception when trying to de-serialize as we haven't implemented that yet.

PiperOrigin-RevId: 191022884

Add output info into op_context otherwise the estimator crashes when OOM.

PiperOrigin-RevId: 191021184

Prevent infinite loop in constant folding when materializing broadcast gradient nodes that are subsequently constant folded.

PiperOrigin-RevId: 191020868

Internal change.

PiperOrigin-RevId: 191020351

Disable shape inference for functions since it doesn't seem to work when
functions are instantiated inside a while loop.

PiperOrigin-RevId: 191019870

Fixed typo in PReLU.

PiperOrigin-RevId: 191019421

Getting rid of the threadpool from FunctionBufferingResource. It wasn't really serving much purpose apart from moving all the function logic execution onto those threads and making the destruction of the resource quite complicated.

PiperOrigin-RevId: 191017836

Move the simple_estimator_example to the examples/ dir.

PiperOrigin-RevId: 191017560

Add distribution support for incrementing the global step.
Don't require Dataset as input to eval and predict even when using
a DistributionStrategy.

PiperOrigin-RevId: 191017191

Port TensorFlow demo to TFLite with three activities: MobileNet Classification, MobileNet SSD Object Detection, and Speech hotword classification

PiperOrigin-RevId: 191015617

* Added a JavaScript tab to DEVELOP.
* Added a JavaScript file to DEPLOY.
* Added a link to JavaScript API Ref.

PiperOrigin-RevId: 191012951

Tighten the condition for node removal next to device crossings, since the previous changes were observed to cause a performance regression for distributed execution.

PiperOrigin-RevId: 191011347

Add details of new mailing lists

PiperOrigin-RevId: 191011187

Updating documentation.

PiperOrigin-RevId: 191008662

Fixing a subtle bug where in some cases the post cancellation work wasn't being done correctly. This is the scenario in which FunctionBufferingResource::Cancel() got called while buffering was being done, but then the buffer filled up in which case FillBuffer() wasn't ever called and the Cancel() method would get stuck waiting on a notification from the condition variable leading to timeouts. This CL fixes this by making sure FillBuffer() got called one last time in this case.

Tested by running contrib/data/python/kernel_tests:prefetching_ops_test 500 times and ran contrib/distribute/python:values_test 500 times with no timeouts.

PiperOrigin-RevId: 191007895

Minor language change in readme.

PiperOrigin-RevId: 191006151

Add support for running benchmarks in XLA unit tests.
In the XLA internal test 'main', parse the --benchmarks flag if it exists
and runs the specified benchmarks. Previously microbenchmarks defined in
unit tests were never run.

PiperOrigin-RevId: 191001183

Updated eager guide to use tensorflow 1.7.
Code snippets still work.

PiperOrigin-RevId: 191001008

- Expose slim arg_scope function to compute keys to enable tessting.
- Add is_training=None option to mobinenet arg_scopes. This allows the users to set is_training from an outer scope.

PiperOrigin-RevId: 190997959

Undisables broken list_ops_test

PiperOrigin-RevId: 190997355

  capture_tpu_profile will fallback to old behavior if user specify local directories as model directory.

PiperOrigin-RevId: 190996878

Internal Change

PiperOrigin-RevId: 190996815

Add tf.contrib.distribute, which defines classes DistributionStrategy
and MirroredStrategy, and related functionality.

Also add tf.contrib.optimizer_v2, an update to the Optimizer API.

RELNOTES: Can now pass tf.contrib.distribute.MirroredStrategy() to
tf.estimator.RunConfig() to run an Estimator model on multiple GPUs
on one machine.
PiperOrigin-RevId: 190996247

Internal change.

PiperOrigin-RevId: 190995029

[XLA] Remove some dead code from Executable.

PiperOrigin-RevId: 190994733

TFLite logs to stderr.

PiperOrigin-RevId: 190992629

LSTM support: Add non-uint8 quantized elementwise unary operators.

PiperOrigin-RevId: 190986046

boosted_trees: post-submit clean up
 - non-public objects are renamed.
 - is_single_machine is set properly when run_config is not populated properly (i.e. empty).
PiperOrigin-RevId: 190984693

[XLA] Remove note about what implementations do for DynamicSlice and DynamicUpdateSlice.

It is impossible to commit to a particular "implementation-defined behavior" for all implementations.

PiperOrigin-RevId: 190981804

Turns eager device placement on by default.

Change the device policy to have silent copies, which are logged when
RunMetadata tracking is enabled.

In the process, changed TensorHandle to always keep its context around if
it gets one. Changed TFE_TensorHandleResolve to, if necessary, copy to the
CPU (since the user has no control as to whether this copy is needed by
default).

PiperOrigin-RevId: 190978086

Docs: Add Eager Execution guide to Programmer's Guide.

PiperOrigin-RevId: 190977505

Docs: Move TFLite docs into tensorflow.org

PiperOrigin-RevId: 190977057

Use GraphProperties directly in ArithmeticOptimizer.

PiperOrigin-RevId: 190976918

Updating a test in constant_folding_test.cc that uses a graph with placeholder nodes by providing input to those nodes. This will allow evaluation of the fetch nodes in the optimized and original graph and check whether the output tensors produced by them are the same.

PiperOrigin-RevId: 190976595

Internal change.

PiperOrigin-RevId: 190976338

Fix docstring.

PiperOrigin-RevId: 190975767

Avoid evaluating SaveSpec Tensors multiple times when executing eagerly

The Saver now calls a SaveSpec callable once when saving and not at all when restoring. Previously saving evaluated the callable twice and restoring once (copying a variable's value each time).

Requires a dtype be passed to a SaveSpec if its tensor is callable.

PiperOrigin-RevId: 190972754

Minor adjustments to an error message.

PiperOrigin-RevId: 190972253

Add more tflite hosted models like resnet, inception-v4, nasnet.

PiperOrigin-RevId: 190970367

Leaves attributes on outside_compilation nodes so they can be replicated in a later pass.

PiperOrigin-RevId: 190965218

Initialize pointer to ScopedAllocatorMgr in BaseGPUDevice.

PiperOrigin-RevId: 190964008

Update ops-related pbtxt files.

PiperOrigin-RevId: 190959179

Automated g4 rollback of changelist 190808678

PiperOrigin-RevId: 190955400

Automated g4 rollback of changelist 190858242

PiperOrigin-RevId: 190953197

Allow experimental string attrs for functions.

PiperOrigin-RevId: 190951605

Cache op input's fetched from the C API.

PiperOrigin-RevId: 190951499

[XLA:GPU] Assume that tuple sub-buffers are available at runtime.

Previously we assumed this was not the case, and allowed front-ends to
pass in a pointer to tuple without also passing in pointers to
sub-buffers.

This mostly worked: Whenever we wanted a tuple sub-buffer, we'd just
chase the tuple's pointers in our emitted kernel.

But this doesn't work if we ever need a pointer to that sub-buffer on
the host.  Which we do if e.g. the sub-buffer is an input to a cudnn
call.

There are various ways to make this work, but by far the simplest and
most efficient is simply to specify away this problem, and say that the
front-end *must* give us all the pointers we want.  This is what the
earlier change, "Assert that all buffers and sub-buffers passed to XLA
have an explicit pointer" did.

This change adds a testcase and lets us skip some pointer chasing when
we have a tuple whose sub-buffers are known statically.

PiperOrigin-RevId: 190949743

LSTM support: Further quantized Fully-Connected op optimization.

PiperOrigin-RevId: 190946885

Automated g4 rollback of changelist 190728742

PiperOrigin-RevId: 190946066

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 190942952

Added kernels and estimators for Gradient Boosting Trees algorithm.
BoostedTreesClassifier and BoostedTreesRegressor are added to tf.estimator.
Also some training utility functions are added to tf.contrib.estimator.

PiperOrigin-RevId: 190942599

Add bitcast for equal bitwidth casts.

Map bitcasts to XLA bitcast HLO if the bitwidth of the elementtype is the same.

PiperOrigin-RevId: 190942398

Upgrade Eigen version.

PiperOrigin-RevId: 190942370

[tf.data] Optimizations on make_csv_dataset internals.

PiperOrigin-RevId: 190933143

Add meta-distribution which reshapes batch dims.

PiperOrigin-RevId: 190930846

Internal change.

PiperOrigin-RevId: 190913047

Move the swapping kernels to the all_kernels library to avoid registering them
more than once from tensorflow/contrib.

PiperOrigin-RevId: 190887394

Add --announce_rc Bazel arg to several of our builds.

This will help to...
 - Refactor the build scripts without accidently adding functional changes.
 - Help debug several issues where some options aren't being added correctly
   by configure script.

PiperOrigin-RevId: 190884531

DistributionStrategy-enable Estimator.

PiperOrigin-RevId: 190882152

Fix TensorList decoding bug. Thanks to Alexandre Passos for finding this.

PiperOrigin-RevId: 190879840

Fixed the shape function of the SplitV op that incorrectly often assumed that
the shape of all the outputs is the same.

PiperOrigin-RevId: 190879600

Support structured source in GradientTape.gradient

Before this change, it was easy to forget [] around the source tensor.
This mistake lead to GradientTape.gradient(), returning a list of Nones.
Nones normally tell to the user that the source and the target are
not connected via differentiable operations, which is not the source
of the error in this case.

Instead of adding a check that `sources` is a list of tensors, this CL
adds ability to handle structured source (which includes a lone tensor),
similarly to many existing TensorFlow APIs.

Also, with Alex's help, it fixes a bug where repeated tensors in
`sources` were not handled correctly.

PiperOrigin-RevId: 190878583

Remove all_opensource_files. It's not needed any more.

PiperOrigin-RevId: 190878279

[tf.data] Maintain a reference on the FunctionBufferingResource while a get-next operation is active.

Previously, the reference count on a FunctionBufferingResource could drop to 0 and it could be deleted (e.g. by a DestroyResourceOp) while a get-next operation is active on it. This would lead to use-after-free errors.

PiperOrigin-RevId: 190878208

Relax limitations on rerouting graph outputs.

- Allow multiple outputs of output_tensors in fold_batch_norms.
- Allow duplicate consumers in quantize.
- I also quick a fix issue for matching final layers that have batch norm.

PiperOrigin-RevId: 190873003

[XLA] Redesign: implement GetComputationStats.

PiperOrigin-RevId: 190871262

Relax CuDNN version requirements because CuDNN is backwards compatible within
a major release starting with CuDNN 7.0

PiperOrigin-RevId: 190869028

Implement assert_same_structure in C++

Also implements helper functions nest._is_namedtuple
nest._same_namedtuple.

Also, fix a bug in FlattenHelper where error from recursive
calls were not propagated up immediately.

This change implements a good chunk of machinery that will
allow us to move map_structure to C++.

Before:
entry {
  name: "NestBenchmark.assert_same_structure_6_elem"
  iters: 30000
  wall_time: 4.79532718658e-05
}

entry {
  name: "NestBenchmark.assert_same_structure_60_elem"
  iters: 30000
  wall_time: 0.000403008667628
}

After:
entry {
  name: "NestBenchmark.assert_same_structure_6_elem"
  iters: 30000
  wall_time: 1.65301720301e-05
}

entry {
  name: "NestBenchmark.assert_same_structure_60_elem"
  iters: 30000
  wall_time: 0.000147621099154
}

PiperOrigin-RevId: 190869007

TPU: Implement 3rd gen input pipeline config.

In this new configuration, we are able to drive a Cloud TPU at full device performance, and achieve over 3k images/sec on ResNet-50. The previous bottleneck was the un-pipeline-able split that occurred after the iterator.get_next() call. This split (when not splitting on the batch-major dimension) caused the training job to be single-threaded-CPU-bottlenecked, resulting in a performance of only ~2650 images/sec on ResNet-50.

This latest input pipeline configuration requires the use of datasets. By requiring datasets, we gain the ability to call get_next() num_replicas times per host, and avoid the expensive split op. (Note: this also opens up potential future avenues for further optimization.) Despite this, we retain a lot of nice usability properties that per_host_v1 (aka input pipeline config v2) gave us.

PiperOrigin-RevId: 190865741

Further speed up statistical_testing_test by breaking up DKWM test.

PiperOrigin-RevId: 190863893

Missed ScopedUnref in ResourceGather

PiperOrigin-RevId: 190861558

Collective Ops Part 1

The basic interface definitions, local-only versions of remote-access,
param-resolution, device-resolution and mgr.

A collective op is able to execute synchronously across devices
and across separate graphs. Collective ops to be introduced eventually
include broadcast and all-reduce.  This change is part of a series of
changes that will introduce the necessary infrastructure then the
initial op implementations.

PiperOrigin-RevId: 190860248

Automated g4 rollback of changelist 190835392

PiperOrigin-RevId: 190858242

Tower-local variable support for DistributionStrategy. Each tower has
its own variable, but fetch() and checkpoint apply a reduction to get
a single value.

PiperOrigin-RevId: 190853123

Add IsSquare bool to the grappler op_types.

PiperOrigin-RevId: 190852501

[tf.data] Expose the symbol `tf.contrib.data.make_csv_dataset()`.

PiperOrigin-RevId: 190849333

Refresh Community pages to surface new resources, SIGs and mailing lists.

PiperOrigin-RevId: 190845545

Automated g4 rollback of changelist 190801044

PiperOrigin-RevId: 190839672