Deleted a special case

PiperOrigin-RevId: 191385909

Automated g4 rollback of changelist 191037166

PiperOrigin-RevId: 191385075

Add int64 to Variant mutable hash table variants.

PiperOrigin-RevId: 191380970

[XLA] Redesign: migrate while_test to use XlaBuilder, and implement the ops needed to pass the tests, including: While, Slice, DynamicUpdateSlice, Dot, DotGeneral, ConvertElementType, Rng, and Reduce.

Also, when a module has embedded computaitons, the service side would complain if the instruction names are not unique in the scope of the module. To ensure instruction names are unique in module, use both the computation id and instruction id as suffix.

PiperOrigin-RevId: 191379697

Don't use session context manager when we need session to outlive the context block.

PiperOrigin-RevId: 191376772

Internal change.

PiperOrigin-RevId: 191374719

TFTS: Add a OneShotPredictionHead with no model state in its serving signature.

PiperOrigin-RevId: 191373516

[XLA] Redesign: implement ExecuteGraphParallel.

PiperOrigin-RevId: 191371793

Add a config option to run Grappler optimizers more than once.
Don't crash in layout optimizer if no cluster is given.
Clean up Cluster::DisableOptimizer() so it actually turns all current optimizers off.

PiperOrigin-RevId: 191368433

Clarify ResourceVariable specification

PiperOrigin-RevId: 191365224

Java: Update to 1.7.0

PiperOrigin-RevId: 191361364

Automated g4 rollback of changelist 191326767

PiperOrigin-RevId: 191360905

Add support for resource variables

PiperOrigin-RevId: 191360477

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 191360220

Add tf.math.polyval that evaluates an element-wise polynomial using Horner's method. This is equivalent to numpy.polyval.

PiperOrigin-RevId: 191359241

[XLA] Set trace for the operand of a trace instruction when creating the instruction directly or creating from proto. Also implement XlaBuidler::Trace.

PiperOrigin-RevId: 191357376

Update ops-related pbtxt files.

PiperOrigin-RevId: 191356007

Fix assertion error in Graph._create_op_from_tf_operation.

_create_op_from_tf_operation would raise an assertion error if a node
was imported with the same name as an unused name_scope. This isn't
really an error, so this change removes the assert.

Note that with this change, the affected node will have a different
name with the C API enabled, but this seems ok especially considering
this is an edge case.

PiperOrigin-RevId: 191353116

[TF] Copy-on-write for Resource Variant assign op.

PiperOrigin-RevId: 191351293

Replaced calls to deprecated tensorflow::StringPiece methods with their
tensorflow::str_util equivalents.

This will allow the deprecated methods to be removed.

PiperOrigin-RevId: 191350894

ResourceHandleShapeAndType returns bytes, not unicode.

This could cause failures when enabling the C API with python3.

PiperOrigin-RevId: 191350031

Export "VERSION" as "__version__" as well

PiperOrigin-RevId: 191346647

Export the rest of If, While, and For.

We keep _If and _While. This moves the tests and python generators.
The operators are not part of the public tensorflow API.

PiperOrigin-RevId: 191344237

Don't bypass reshape nodes that anchor control dependencies

PiperOrigin-RevId: 191342646

Verify that a %send and a %recv on the same channel, don't end up landing on the same device.
Also verify that send/send-done and recv/recv-done are on the same device/module.

PiperOrigin-RevId: 191340724

Reduce overhead for eager ops

- Call _context_handle in the fastpath. Fall back to slow path if it is not
  initialized.
  A better fix would be to not initialize handle and devices lazily (and not
  have to pay that function call in the slow path either), but that
  seems to break all GPU/TPU tests. I'm not as yet really familiar with how
  devices are recognized, but I'd be happy to hear any ideas you may have to
  fix this.
- context.context() is monkey patched to remove the "is None" check once we
  know the context is correctly initialized. Ideally we would be able to remove
  this function call as well.
- Maintain is_eager instead of doing the comparison every time. Also, in the
  fastpath, inline the check directly instead of paying the function call cost.
- Inline _eager_context.device_name instead of get the device_name property to
  not pay the function call cost

gen_array_ops.identity Old: 216706.923837 examples/sec (4.61452722549)
gen_array_ops.identity New: 290819.129714 examples/sec (3.43856334686)

PiperOrigin-RevId: 191336857

eager: Tweak error message.

Motivated by
https://stackoverflow.com/questions/49616532/a-tensorflow-eager-gpu-error/49617069

PiperOrigin-RevId: 191334050

Rewrite Add/AddN subgraph, minimizing number of required broadcasts.

1) Collect to AddOpsGroup inputs of symbolically defined
   shapes, that can be broadcasted to the root shape
2) Rewrite equal shapes with AddN(s)
3) Build Add tree from aggegations of different shapes,
   minimizing the cost of broadcast

PiperOrigin-RevId: 191331566

Fix a bug in AvgPoolGrad op cost in extracting input x's shape. AvgPoolGrad
takes a shape tensor; hence, a value should be parsed from inputs(0) to extract
correct shape of x.

PiperOrigin-RevId: 191330762

Switch to the TensorFlow API generation based on ApiDef's and tf_export
decorators.

PiperOrigin-RevId: 191326767

Fix #18180

tf.size() was not respecting the `out_type` argument when eager execution was
enabled.

PiperOrigin-RevId: 191326039

TFTS: Clean up the cold start SignatureDef.

Removes state where it wasn't used.

PiperOrigin-RevId: 191324834

[XLA] Redesign: improve error handling:
- For every op creation method, check whether there's any existing error, if so, don't do anything and returns an empty op. To do this efficiently, make the NoteErrorOrReturn method accept a lambda, and check first_error_ before evaluating the lambda.
- Return error instead of TF_CHECK_RET, because the second seems to always print ERROR logs.

PiperOrigin-RevId: 191322082

Switched to using TensorFlow's true dilated convolution support now that it is implemented, and removed emulated dilated convolution support.

PiperOrigin-RevId: 191319505

Replaced calls to deprecated tensorflow::StringPiece methods with their
tensorflow::str_util equivalents.

This will allow the deprecated methods to be removed.

PiperOrigin-RevId: 191316903

Improves the documentation of control_dependencies.

PiperOrigin-RevId: 191314766

Replaced calls to deprecated tensorflow::StringPiece methods with their
tensorflow::str_util equivalents.

This will allow the deprecated methods to be removed.

PiperOrigin-RevId: 191314576

Remove reshape of sparse tensor indices in for maybe_batch.

PiperOrigin-RevId: 191310753

Additional arg scope test that demonstrate how nested arg_scope objects behave.

PiperOrigin-RevId: 191308666

Automated g4 rollback of changelist 191127281

PiperOrigin-RevId: 191305220

Only test types supported and change log_eps for bfloat16.

PiperOrigin-RevId: 191302894

Add CycleGAN specific summary.

PiperOrigin-RevId: 191302480

Update tests to enable flipping on bfloat16 types.

Skip individual tests that are currently failing with bfloat16.

PiperOrigin-RevId: 191296618

Adding support for RandomUniform. Basic support for op import/export of RandomUniform, and constant resolution with static seeds.

PiperOrigin-RevId: 191293897

Make batch_sequences_with_states_test.py work with the C API enabled.

The C API improves static shape inference, making more errors caught
at graph construction time instead of runtime.

PiperOrigin-RevId: 191260634

[XLA] Redesign: implement and test concat.

PiperOrigin-RevId: 191244047

[XLA] Add a ReduceWindow test to reduce along the lane dimension.

PiperOrigin-RevId: 191214828

Fix typo

PiperOrigin-RevId: 191159820

Add a unit test to verify that dependency optimizer could remove noop and greaterequal node in a simple graph.

PiperOrigin-RevId: 191157450

Log large allocations and total memory usage for the CPU device.

PiperOrigin-RevId: 191152060

Support int64 slice spec for StridedSliceGrad.
Currently this doesn't work since _StridedSliceGrad always passes a int32 shape which restricts indices values to be of the same type.
Add a test that fails before and passes after the change.

PiperOrigin-RevId: 191140718

Simple fixes for documentation on tf.nn.softmax_cross_entropy_with_logits (and v2).

PiperOrigin-RevId: 191134015

Implement strip CheckNumerics in DebugStripper.

PiperOrigin-RevId: 191131935

Doc string clean-ups for class DistributionStrategy.

PiperOrigin-RevId: 191128500

Restore definitions of static members in MklCpuAllocator.

These were removed in #17396 which made the static member variables of
MklCpuAllocator into inline variables, which are a C++17 feature, and not
properly restored in #18006 which reverted the inline declarations, leading to
an ODR violation that is apparently ignored with some compilers.

PiperOrigin-RevId: 191127281

[XLA] Add a reduce-window test.
REL_NOTES:n/a
PiperOrigin-RevId: 191126542

  Add the waiting time and cross-replica-sum time to StepInfoResult.

PiperOrigin-RevId: 191124408

Add attr when rewriter adds an XlaHostCompute Op indicating which outside_compilation_subgraph it corresponds to.

PiperOrigin-RevId: 191124345

Improve the precision of Reduce in the interpreter when adding floats, by accumulating in a double.

Also, speed it up by not creating intermediate Literals. The microbenchmark now runs in < 1 ns, as opposed to 30 sec before.

PiperOrigin-RevId: 191123983

Make tfe.Iterator work with async mode.

PiperOrigin-RevId: 191121622

Raise exception in SWIG on bad TF_Status from C API.

This change provides an alternative mechanism to
tf.raise_exception_on_not_ok_status(), which is inefficient and
error-prone (people often use the status multiple times in the with
block, but it's only checked when the context manager exits). Instead,
it uses SWIG to automatically raise an exception when a C API method
fails. Note that this removes the status argument from affected
methods.

For now, I've only applied this typemap to C API methods. It would be
good to expand this to all uses of raise_exception_on_not_ok_status.

PiperOrigin-RevId: 191121016

 show breakdown of total execution time with compute and memory time

PiperOrigin-RevId: 191119550

tf.maximum: Correctly calculate output shape when broadcast is necessary.

PiperOrigin-RevId: 191115726

Remove unused imports

PiperOrigin-RevId: 191112880

Disable tsan for tensorflow/python/estimator:replicate_model_fn_test

It gets flaky failures.

PiperOrigin-RevId: 191100692

Enable writing of summaries in ExamplesPerSecondHook

PiperOrigin-RevId: 191094585

Break FileSystem's dependency on ThreadPool.

PiperOrigin-RevId: 191092932

Internal change.

PiperOrigin-RevId: 191090993

Rename distributed_apply to _distributed_apply in OptimizerV2 to match
the Optimizer base class.

PiperOrigin-RevId: 191089407

Create a wrapper for bfloat16 scope so that users don't need the custom getter.

PiperOrigin-RevId: 191085552

Check for errors returned by ExecuteOnStream before calling
BlockHostUntilDone. If ExecuteOnStream fails, BlockHostUntilDone will
also fail in a way that makes debugging much harder.

RELNOTES: n/a
PiperOrigin-RevId: 191085159

[XLA] Add IsConstant to the local Python client.

PiperOrigin-RevId: 191080094

Fix several data races by acquiring locks.

(The racy accesses were detected by the thread safety annotations.)

PiperOrigin-RevId: 191077376

Fix the index to match the left nav.

PiperOrigin-RevId: 191075496

Fix a crash in Quantize() when tf.contrib.framework.get_name_scope() == None.

PiperOrigin-RevId: 191068059

Update test for DebugStripper to construct graph in scope.

PiperOrigin-RevId: 191067139

Replaced calls to deprecated tensorflow::StringPiece methods with their
tensorflow::str_util equivalents.

This will allow the deprecated methods to be removed.

PiperOrigin-RevId: 191063815

Before this change, a Tensor contained a device pointer and a TensorInfoManager datastructure contained a mapping from device pointer to XlaTensorInfo object. This TensorInfoManager needed to be an Allocator too, so it could be informed when a Tensor is released.

After this change, a Tensor on an XlaDevice contains an XlaTensor object. The XlaTensor object is the equivalent of the old XlaTensorInfo object.

This has advantages and drawbacks:
  + We don't need yet another allocator wrapper, as there is no side-band data to manage.
  + No hashtable lookups are required.
  - As XlaLocalLaunchOp could either be on an XlaDevice or a TF-classic device, we need some way to distinguish whether a Tensor is a TF-classic tensor (holds a device pointer) or an XlaTensor (we use a tagged pointer).

As part of this, allocate ShapedBuffers using the XLA backend's allocator directly instead of a roundabout route where we:
  Wrapped the XLA allocator in an XlaDeviceAllocator
  Then wrapped the XlaDeviceAllocator in an XlaAllocator

This leaves less to go wrong. Ideally we'd actually use StreamExecutor's allocator here, but this is less useful than XLA's as it doesn't provide helpful OOM messages (just returns nullptr).

PiperOrigin-RevId: 191048184

Internal change.

PiperOrigin-RevId: 191037166

Merged commit includes the following changes:
191029891  by xiejw:

    Fix python script file.

--
191029336  by isaprykin:

    Add .configure method to the whole hierarchy of DistributionStrategies.

--
191026971  by blamb:

    Updates get_started nav and renames the beginner guides to include eager.

--
191025863  by mrry:

    Add private Python API for accessing the C++ Session::*Callable API.

--
191025795  by mikecase:

    Internal Change.

--
191024780  by isaprykin:

    Internal change.

--

PiperOrigin-RevId: 191029891

Add summaries from only the first tower in distributed strategy.

PiperOrigin-RevId: 191024726

Internal Change.

PiperOrigin-RevId: 191024708

Internal change

PiperOrigin-RevId: 191024677

Internal change

PiperOrigin-RevId: 191024085

BUGFIX:  sample_stats.percentile:  Fractions for interpolation were done in
float, which caused the error d - 1 == d for large 'd'.  Fix is to do in
double.  Also clipping index values to [0,..., d - 1] in case double isn't enough for some huge array
PiperOrigin-RevId: 191023164

Internal change.

PiperOrigin-RevId: 191023160

Add basic serialization support to DistributedVariable (by using the underlying primary variable's serialization). Also, throw an exception when trying to de-serialize as we haven't implemented that yet.

PiperOrigin-RevId: 191022884

Add output info into op_context otherwise the estimator crashes when OOM.

PiperOrigin-RevId: 191021184

Prevent infinite loop in constant folding when materializing broadcast gradient nodes that are subsequently constant folded.

PiperOrigin-RevId: 191020868

Internal change.

PiperOrigin-RevId: 191020351

Disable shape inference for functions since it doesn't seem to work when
functions are instantiated inside a while loop.

PiperOrigin-RevId: 191019870

Fixed typo in PReLU.

PiperOrigin-RevId: 191019421

Getting rid of the threadpool from FunctionBufferingResource. It wasn't really serving much purpose apart from moving all the function logic execution onto those threads and making the destruction of the resource quite complicated.

PiperOrigin-RevId: 191017836

Move the simple_estimator_example to the examples/ dir.

PiperOrigin-RevId: 191017560

Add distribution support for incrementing the global step.
Don't require Dataset as input to eval and predict even when using
a DistributionStrategy.

PiperOrigin-RevId: 191017191

Port TensorFlow demo to TFLite with three activities: MobileNet Classification, MobileNet SSD Object Detection, and Speech hotword classification

PiperOrigin-RevId: 191015617

* Added a JavaScript tab to DEVELOP.
* Added a JavaScript file to DEPLOY.
* Added a link to JavaScript API Ref.

PiperOrigin-RevId: 191012951

Tighten the condition for node removal next to device crossings, since the previous changes were observed to cause a performance regression for distributed execution.

PiperOrigin-RevId: 191011347

Add details of new mailing lists

PiperOrigin-RevId: 191011187

Updating documentation.

PiperOrigin-RevId: 191008662