Reduce overhead for eager ops

- Call _context_handle in the fastpath. Fall back to slow path if it is not
  initialized.
  A better fix would be to not initialize handle and devices lazily (and not
  have to pay that function call in the slow path either), but that
  seems to break all GPU/TPU tests. I'm not as yet really familiar with how
  devices are recognized, but I'd be happy to hear any ideas you may have to
  fix this.
- context.context() is monkey patched to remove the "is None" check once we
  know the context is correctly initialized. Ideally we would be able to remove
  this function call as well.
- Maintain is_eager instead of doing the comparison every time. Also, in the
  fastpath, inline the check directly instead of paying the function call cost.
- Inline _eager_context.device_name instead of get the device_name property to
  not pay the function call cost

gen_array_ops.identity Old: 216706.923837 examples/sec (4.61452722549)
gen_array_ops.identity New: 290819.129714 examples/sec (3.43856334686)

PiperOrigin-RevId: 191336857

eager: Tweak error message.

Motivated by
https://stackoverflow.com/questions/49616532/a-tensorflow-eager-gpu-error/49617069

PiperOrigin-RevId: 191334050

Rewrite Add/AddN subgraph, minimizing number of required broadcasts.

1) Collect to AddOpsGroup inputs of symbolically defined
   shapes, that can be broadcasted to the root shape
2) Rewrite equal shapes with AddN(s)
3) Build Add tree from aggegations of different shapes,
   minimizing the cost of broadcast

PiperOrigin-RevId: 191331566

Fix a bug in AvgPoolGrad op cost in extracting input x's shape. AvgPoolGrad
takes a shape tensor; hence, a value should be parsed from inputs(0) to extract
correct shape of x.

PiperOrigin-RevId: 191330762

Switch to the TensorFlow API generation based on ApiDef's and tf_export
decorators.

PiperOrigin-RevId: 191326767

Fix #18180

tf.size() was not respecting the `out_type` argument when eager execution was
enabled.

PiperOrigin-RevId: 191326039

TFTS: Clean up the cold start SignatureDef.

Removes state where it wasn't used.

PiperOrigin-RevId: 191324834

[XLA] Redesign: improve error handling:
- For every op creation method, check whether there's any existing error, if so, don't do anything and returns an empty op. To do this efficiently, make the NoteErrorOrReturn method accept a lambda, and check first_error_ before evaluating the lambda.
- Return error instead of TF_CHECK_RET, because the second seems to always print ERROR logs.

PiperOrigin-RevId: 191322082

Switched to using TensorFlow's true dilated convolution support now that it is implemented, and removed emulated dilated convolution support.

PiperOrigin-RevId: 191319505

Replaced calls to deprecated tensorflow::StringPiece methods with their
tensorflow::str_util equivalents.

This will allow the deprecated methods to be removed.

PiperOrigin-RevId: 191316903

Improves the documentation of control_dependencies.

PiperOrigin-RevId: 191314766

Replaced calls to deprecated tensorflow::StringPiece methods with their
tensorflow::str_util equivalents.

This will allow the deprecated methods to be removed.

PiperOrigin-RevId: 191314576

Remove reshape of sparse tensor indices in for maybe_batch.

PiperOrigin-RevId: 191310753

Additional arg scope test that demonstrate how nested arg_scope objects behave.

PiperOrigin-RevId: 191308666

Automated g4 rollback of changelist 191127281

PiperOrigin-RevId: 191305220

Only test types supported and change log_eps for bfloat16.

PiperOrigin-RevId: 191302894

Add CycleGAN specific summary.

PiperOrigin-RevId: 191302480

Update tests to enable flipping on bfloat16 types.

Skip individual tests that are currently failing with bfloat16.

PiperOrigin-RevId: 191296618

Adding support for RandomUniform. Basic support for op import/export of RandomUniform, and constant resolution with static seeds.

PiperOrigin-RevId: 191293897

Make batch_sequences_with_states_test.py work with the C API enabled.

The C API improves static shape inference, making more errors caught
at graph construction time instead of runtime.

PiperOrigin-RevId: 191260634

[XLA] Redesign: implement and test concat.

PiperOrigin-RevId: 191244047

[XLA] Add a ReduceWindow test to reduce along the lane dimension.

PiperOrigin-RevId: 191214828

Fix typo

PiperOrigin-RevId: 191159820

Add a unit test to verify that dependency optimizer could remove noop and greaterequal node in a simple graph.

PiperOrigin-RevId: 191157450

Log large allocations and total memory usage for the CPU device.

PiperOrigin-RevId: 191152060

Support int64 slice spec for StridedSliceGrad.
Currently this doesn't work since _StridedSliceGrad always passes a int32 shape which restricts indices values to be of the same type.
Add a test that fails before and passes after the change.

PiperOrigin-RevId: 191140718

Simple fixes for documentation on tf.nn.softmax_cross_entropy_with_logits (and v2).

PiperOrigin-RevId: 191134015

Implement strip CheckNumerics in DebugStripper.

PiperOrigin-RevId: 191131935

Doc string clean-ups for class DistributionStrategy.

PiperOrigin-RevId: 191128500

Restore definitions of static members in MklCpuAllocator.

These were removed in #17396 which made the static member variables of
MklCpuAllocator into inline variables, which are a C++17 feature, and not
properly restored in #18006 which reverted the inline declarations, leading to
an ODR violation that is apparently ignored with some compilers.

PiperOrigin-RevId: 191127281

[XLA] Add a reduce-window test.
REL_NOTES:n/a
PiperOrigin-RevId: 191126542

  Add the waiting time and cross-replica-sum time to StepInfoResult.

PiperOrigin-RevId: 191124408

Add attr when rewriter adds an XlaHostCompute Op indicating which outside_compilation_subgraph it corresponds to.

PiperOrigin-RevId: 191124345

Improve the precision of Reduce in the interpreter when adding floats, by accumulating in a double.

Also, speed it up by not creating intermediate Literals. The microbenchmark now runs in < 1 ns, as opposed to 30 sec before.

PiperOrigin-RevId: 191123983

Make tfe.Iterator work with async mode.

PiperOrigin-RevId: 191121622

Raise exception in SWIG on bad TF_Status from C API.

This change provides an alternative mechanism to
tf.raise_exception_on_not_ok_status(), which is inefficient and
error-prone (people often use the status multiple times in the with
block, but it's only checked when the context manager exits). Instead,
it uses SWIG to automatically raise an exception when a C API method
fails. Note that this removes the status argument from affected
methods.

For now, I've only applied this typemap to C API methods. It would be
good to expand this to all uses of raise_exception_on_not_ok_status.

PiperOrigin-RevId: 191121016

 show breakdown of total execution time with compute and memory time

PiperOrigin-RevId: 191119550

tf.maximum: Correctly calculate output shape when broadcast is necessary.

PiperOrigin-RevId: 191115726

Remove unused imports

PiperOrigin-RevId: 191112880

Disable tsan for tensorflow/python/estimator:replicate_model_fn_test

It gets flaky failures.

PiperOrigin-RevId: 191100692

Enable writing of summaries in ExamplesPerSecondHook

PiperOrigin-RevId: 191094585

Break FileSystem's dependency on ThreadPool.

PiperOrigin-RevId: 191092932

Internal change.

PiperOrigin-RevId: 191090993

Rename distributed_apply to _distributed_apply in OptimizerV2 to match
the Optimizer base class.

PiperOrigin-RevId: 191089407

Create a wrapper for bfloat16 scope so that users don't need the custom getter.

PiperOrigin-RevId: 191085552

Check for errors returned by ExecuteOnStream before calling
BlockHostUntilDone. If ExecuteOnStream fails, BlockHostUntilDone will
also fail in a way that makes debugging much harder.

RELNOTES: n/a
PiperOrigin-RevId: 191085159

[XLA] Add IsConstant to the local Python client.

PiperOrigin-RevId: 191080094

Fix several data races by acquiring locks.

(The racy accesses were detected by the thread safety annotations.)

PiperOrigin-RevId: 191077376

Fix the index to match the left nav.

PiperOrigin-RevId: 191075496

Fix a crash in Quantize() when tf.contrib.framework.get_name_scope() == None.

PiperOrigin-RevId: 191068059

Update test for DebugStripper to construct graph in scope.

PiperOrigin-RevId: 191067139

Replaced calls to deprecated tensorflow::StringPiece methods with their
tensorflow::str_util equivalents.

This will allow the deprecated methods to be removed.

PiperOrigin-RevId: 191063815

Before this change, a Tensor contained a device pointer and a TensorInfoManager datastructure contained a mapping from device pointer to XlaTensorInfo object. This TensorInfoManager needed to be an Allocator too, so it could be informed when a Tensor is released.

After this change, a Tensor on an XlaDevice contains an XlaTensor object. The XlaTensor object is the equivalent of the old XlaTensorInfo object.

This has advantages and drawbacks:
  + We don't need yet another allocator wrapper, as there is no side-band data to manage.
  + No hashtable lookups are required.
  - As XlaLocalLaunchOp could either be on an XlaDevice or a TF-classic device, we need some way to distinguish whether a Tensor is a TF-classic tensor (holds a device pointer) or an XlaTensor (we use a tagged pointer).

As part of this, allocate ShapedBuffers using the XLA backend's allocator directly instead of a roundabout route where we:
  Wrapped the XLA allocator in an XlaDeviceAllocator
  Then wrapped the XlaDeviceAllocator in an XlaAllocator

This leaves less to go wrong. Ideally we'd actually use StreamExecutor's allocator here, but this is less useful than XLA's as it doesn't provide helpful OOM messages (just returns nullptr).

PiperOrigin-RevId: 191048184

Internal change.

PiperOrigin-RevId: 191037166

Merged commit includes the following changes:
191029891  by xiejw:

    Fix python script file.

--
191029336  by isaprykin:

    Add .configure method to the whole hierarchy of DistributionStrategies.

--
191026971  by blamb:

    Updates get_started nav and renames the beginner guides to include eager.

--
191025863  by mrry:

    Add private Python API for accessing the C++ Session::*Callable API.

--
191025795  by mikecase:

    Internal Change.

--
191024780  by isaprykin:

    Internal change.

--

PiperOrigin-RevId: 191029891

Add summaries from only the first tower in distributed strategy.

PiperOrigin-RevId: 191024726

Internal Change.

PiperOrigin-RevId: 191024708

Internal change

PiperOrigin-RevId: 191024677

Internal change

PiperOrigin-RevId: 191024085

BUGFIX:  sample_stats.percentile:  Fractions for interpolation were done in
float, which caused the error d - 1 == d for large 'd'.  Fix is to do in
double.  Also clipping index values to [0,..., d - 1] in case double isn't enough for some huge array
PiperOrigin-RevId: 191023164

Internal change.

PiperOrigin-RevId: 191023160

Add basic serialization support to DistributedVariable (by using the underlying primary variable's serialization). Also, throw an exception when trying to de-serialize as we haven't implemented that yet.

PiperOrigin-RevId: 191022884

Add output info into op_context otherwise the estimator crashes when OOM.

PiperOrigin-RevId: 191021184

Prevent infinite loop in constant folding when materializing broadcast gradient nodes that are subsequently constant folded.

PiperOrigin-RevId: 191020868

Internal change.

PiperOrigin-RevId: 191020351

Disable shape inference for functions since it doesn't seem to work when
functions are instantiated inside a while loop.

PiperOrigin-RevId: 191019870

Fixed typo in PReLU.

PiperOrigin-RevId: 191019421

Getting rid of the threadpool from FunctionBufferingResource. It wasn't really serving much purpose apart from moving all the function logic execution onto those threads and making the destruction of the resource quite complicated.

PiperOrigin-RevId: 191017836

Move the simple_estimator_example to the examples/ dir.

PiperOrigin-RevId: 191017560

Add distribution support for incrementing the global step.
Don't require Dataset as input to eval and predict even when using
a DistributionStrategy.

PiperOrigin-RevId: 191017191

Port TensorFlow demo to TFLite with three activities: MobileNet Classification, MobileNet SSD Object Detection, and Speech hotword classification

PiperOrigin-RevId: 191015617

* Added a JavaScript tab to DEVELOP.
* Added a JavaScript file to DEPLOY.
* Added a link to JavaScript API Ref.

PiperOrigin-RevId: 191012951

Tighten the condition for node removal next to device crossings, since the previous changes were observed to cause a performance regression for distributed execution.

PiperOrigin-RevId: 191011347

Add details of new mailing lists

PiperOrigin-RevId: 191011187

Updating documentation.

PiperOrigin-RevId: 191008662

Fixing a subtle bug where in some cases the post cancellation work wasn't being done correctly. This is the scenario in which FunctionBufferingResource::Cancel() got called while buffering was being done, but then the buffer filled up in which case FillBuffer() wasn't ever called and the Cancel() method would get stuck waiting on a notification from the condition variable leading to timeouts. This CL fixes this by making sure FillBuffer() got called one last time in this case.

Tested by running contrib/data/python/kernel_tests:prefetching_ops_test 500 times and ran contrib/distribute/python:values_test 500 times with no timeouts.

PiperOrigin-RevId: 191007895

Minor language change in readme.

PiperOrigin-RevId: 191006151

Add support for running benchmarks in XLA unit tests.
In the XLA internal test 'main', parse the --benchmarks flag if it exists
and runs the specified benchmarks. Previously microbenchmarks defined in
unit tests were never run.

PiperOrigin-RevId: 191001183

Updated eager guide to use tensorflow 1.7.
Code snippets still work.

PiperOrigin-RevId: 191001008

- Expose slim arg_scope function to compute keys to enable tessting.
- Add is_training=None option to mobinenet arg_scopes. This allows the users to set is_training from an outer scope.

PiperOrigin-RevId: 190997959

Undisables broken list_ops_test

PiperOrigin-RevId: 190997355

  capture_tpu_profile will fallback to old behavior if user specify local directories as model directory.

PiperOrigin-RevId: 190996878

Internal Change

PiperOrigin-RevId: 190996815

Add tf.contrib.distribute, which defines classes DistributionStrategy
and MirroredStrategy, and related functionality.

Also add tf.contrib.optimizer_v2, an update to the Optimizer API.

RELNOTES: Can now pass tf.contrib.distribute.MirroredStrategy() to
tf.estimator.RunConfig() to run an Estimator model on multiple GPUs
on one machine.
PiperOrigin-RevId: 190996247

Internal change.

PiperOrigin-RevId: 190995029

[XLA] Remove some dead code from Executable.

PiperOrigin-RevId: 190994733

TFLite logs to stderr.

PiperOrigin-RevId: 190992629

LSTM support: Add non-uint8 quantized elementwise unary operators.

PiperOrigin-RevId: 190986046

boosted_trees: post-submit clean up
 - non-public objects are renamed.
 - is_single_machine is set properly when run_config is not populated properly (i.e. empty).
PiperOrigin-RevId: 190984693

[XLA] Remove note about what implementations do for DynamicSlice and DynamicUpdateSlice.

It is impossible to commit to a particular "implementation-defined behavior" for all implementations.

PiperOrigin-RevId: 190981804

Turns eager device placement on by default.

Change the device policy to have silent copies, which are logged when
RunMetadata tracking is enabled.

In the process, changed TensorHandle to always keep its context around if
it gets one. Changed TFE_TensorHandleResolve to, if necessary, copy to the
CPU (since the user has no control as to whether this copy is needed by
default).

PiperOrigin-RevId: 190978086

Docs: Add Eager Execution guide to Programmer's Guide.

PiperOrigin-RevId: 190977505

Docs: Move TFLite docs into tensorflow.org

PiperOrigin-RevId: 190977057

Use GraphProperties directly in ArithmeticOptimizer.

PiperOrigin-RevId: 190976918

Updating a test in constant_folding_test.cc that uses a graph with placeholder nodes by providing input to those nodes. This will allow evaluation of the fetch nodes in the optimized and original graph and check whether the output tensors produced by them are the same.

PiperOrigin-RevId: 190976595

Internal change.

PiperOrigin-RevId: 190976338

Fix docstring.

PiperOrigin-RevId: 190975767

Avoid evaluating SaveSpec Tensors multiple times when executing eagerly

The Saver now calls a SaveSpec callable once when saving and not at all when restoring. Previously saving evaluated the callable twice and restoring once (copying a variable's value each time).

Requires a dtype be passed to a SaveSpec if its tensor is callable.

PiperOrigin-RevId: 190972754

Minor adjustments to an error message.

PiperOrigin-RevId: 190972253

Add more tflite hosted models like resnet, inception-v4, nasnet.

PiperOrigin-RevId: 190970367