Faster reduce_logsoftmax (specially in eager) and bugfixes in broadcast_to

PiperOrigin-RevId: 194870645

Small fix to prevent a crash if the delegate has not implemented FreeBufferHandle.

PiperOrigin-RevId: 194866595

Add MultiNodeDataset and MultiNodeIterator which are intended to work for multi-node distribution strategy.

PiperOrigin-RevId: 194862215

[XLA] Change the TF2XLA bridge to perform F16 reduction using F32 data type.

Add test cases to test that reduce sum for bfloat16 and float16 doesn't lose too
much precision.

PiperOrigin-RevId: 194862078

Improve error message for pip_smoke_test.

PiperOrigin-RevId: 194859591

Do not allocate memory for literal as it will be allocated later.

PiperOrigin-RevId: 194857422

Enhancements to GRAPHVIZ_DOT output:
    -edge weights added to encourage straighter main data-flow
    -line thickness proportional to log(data_size)
    -set global parameter "nslimit" to prevent excessive layout time for difficult graphs

PiperOrigin-RevId: 194854051

Implement unary chain hoisting optimization for Concat, Split, and SplitV.

For Concat, hoist prefix chains of unary ops before concatenation, e.g.
  // Rewrites
  //       Concat({Cos(Exp(a)), Cos(Exp(b)), Cos(Exp(c))})
  // into
  //       Cos(Exp(Concat({a, b, c}))).

For Split/SplitV hoist unary postfix chains before the split, e.g.
  // Rewrites
  //          [Cos(Exp(y)) for y in Split(x)]
  // into
  //          [y for y in Split(Cos(Exp(x)))].

The new optimization is off by default.

PiperOrigin-RevId: 194850318

Add XLA logo to its documentation page

PiperOrigin-RevId: 194847599

Do not cast int64 to int32 in keras embedding lookups.

Often when working on the GPU with tf int64s are more efficient as int32s will
be copied back and forth to the host quite a bit.

PiperOrigin-RevId: 194846629

[TF:XLA] Fix some unexpected memory leak in hlo_graph_dumper_test.

PiperOrigin-RevId: 194845792

Removing an obsolete TODO

PiperOrigin-RevId: 194845376

Push down const inputs into the function of specialized functions.

PiperOrigin-RevId: 194843380

[tf.data] Adding support for `tf.SparseTensor` into `tf.contrib.data.scan()`

PiperOrigin-RevId: 194842266

Extend SDCAOptimizer functionality to prune negative indices (the default value for OOV with tf.feature_column.FeatureColumn, sparse / categorical).

PiperOrigin-RevId: 194839178

Fix a bug in profiler.

PiperOrigin-RevId: 194838948

Cleanup handling of non-Tensor valued event_ndims in Bijector.

PiperOrigin-RevId: 194836408

Fix device assignment in xla/service/service.cc to build the assignment based on
the provided device handles rather than using the default assignment.

PiperOrigin-RevId: 194829761

Fix typos in tf.GradientTape documentation.

PiperOrigin-RevId: 194829506

When a mirrored variable is fetched in cross-tower mode, fetch its primary variable.

This prevents errors like
ValueError: Fetch argument MirroredVariable({'/job:localhost/replica:0/task:0/device:GPU:0': <tf.Variable 'global_step:0' shape=() dtype=int64>, '/job:localhost/replica:0/task:0/device:GPU:1': <tf.Variable 'global_step/replica_1:0' shape=() dtype=int64>}) cannot be interpreted as a Tensor. (Device /job:localhost/replica:0/task:0/device:CPU:0 not found in ['/job:localhost/replica:0/task:0/device:GPU:0', '/job:localhost/replica:0/task:0/device:GPU:1'] (current device ))

I ran distribute/examples/resnet with and without the change and it fixed the problem.

PiperOrigin-RevId: 194828672

[TF:XLA] Bump open source llvm revision to r331173

PiperOrigin-RevId: 194827639

Use the default rewriter config instead of a custom one

PiperOrigin-RevId: 194824761

Fix bugs in AssignOp:
 1. Releasing the unique_ptr would "leak" a TensorBuffer refcount.
 2. The output shape is defined by rhs, not lhs.

PiperOrigin-RevId: 194822802

-Miscellaneous code clean-up

PiperOrigin-RevId: 194821201

Add --keep_going flag to bazel query in pip_smoke_test to bypass bazel query cannot handle select statement.

PiperOrigin-RevId: 194816816

Add snippet illustrating discretized logistic mixture for WaveNet.

Currently, the example manually centers the bins in order to capture ?rounding? intervals and not ?ceiling? intervals. In the future, we may simplify the example by expanding QuantizedDistribution with a binning argument.

PiperOrigin-RevId: 194814662

Switch install get_started link

PiperOrigin-RevId: 194811871

Prepare nodes that will be allocated using ScopedAllocator.

This includes changes to Executor that (1) set scope_id on nodes that are
decorated with _scoped_allocator attribute, (2) mark such nodes to never
forward input.

PiperOrigin-RevId: 194807086

Remove manifest_merger that is being removed from Bazel 0.13.0.

PiperOrigin-RevId: 194798790

Clarify return type for defun as zero or more `tf.Tensor`s.

PiperOrigin-RevId: 194796621

Fixes to tape gradient for providing outputs and having multiple targets.

PiperOrigin-RevId: 194796304

Adding a depthwise convolution kernel op (with label 'cudnn_grouped_convolution') which forwards to cuDNN grouped convolutions.

PiperOrigin-RevId: 194780352

Cleaning up tracing code.

PiperOrigin-RevId: 194768567

Keras: Supply `maximum_iterations` to the TF backend when possible.
PiperOrigin-RevId: 194723199

Add support for a clean checkpoint and shutdown in response to a termination notice.

PiperOrigin-RevId: 194722985

Added del_hparam(), the counter part of add_hparam.

PiperOrigin-RevId: 194711291

Update the Swift for TensorFlow community page.

PiperOrigin-RevId: 194687897

[TF:XLA]
- Require a module config when creating an HloModule.
- All tests using HloTestBase create a module using CreateNewModule.

PiperOrigin-RevId: 194684585

Internally rewrite RevBlock to use @custom_gradient

PiperOrigin-RevId: 194679657

Java: Release 1.8.0

PiperOrigin-RevId: 194663800

[tf.data] Use core::ScopedUnref to avoid resource leakage.

If for whatever reason iterator_resource->set_iterator did not return Status::OK(), we would leak a reference on the iterator_resource. With this change, we won't leak the resource.

PiperOrigin-RevId: 194662412

Allow not specifying eval_spec when evaluation is not necessarily run.

PiperOrigin-RevId: 194661814

This is Part 1 of Swift<->TF sends/recvs: support sending tensors from TF to
Swift via direct session.

The changes are:

1. Added an experimental TF C API TF_DequeueNamedTensor() to consume the queued
tensors from a dequeue op. One use case is for the Swift host program to consume
tensors sent by TF, where the queue is a Fifo queue managed by TF.

Enqueuing tensors are done by running an enqueue op in a graph. The queued
tensors are not persisted, and will be lost if the process/machine dies. The
queue has a bounded capacity, to prevent producer from being unboundedly ahead
of consumer.

while caller of TF_DequeueNamedTensor() could have run the Fifo dequeue op
directly, the extra level of indirection provided by this API allows us to more
easily switch the queuing impl to another mechanism. If and once we stabilize on
the Fifo queue based impl, we can remove this API.

2. Added a new S4TF runtime API _TFCReceiveTensorHandle() that receives a tensor
  via TF_DequeueNamedTensor().

3. To support tensor receives in host program, taught PartitionCloner in
  TFPartition to insert SIL code to call _TFCReceiveTensorHandle().

4. To support tensor sends in accelerator program, taught TFGraphLowering in
  generate QueueEnqueueV2 nodes in the TF graphs, with appropriate control
  dependence to make sure these nodes get executed.

a) The enqueue produces no output tensor, and is executed only for its side
effect. To ensure it is executed properly, control dependence is wired up. The
general design is: before a TF_Function (can be a top level function or the body
function of a while op) produces an output tensor OT, make OT control dependent
on the enqueue op, so that enqueue gets run before the function returns.

b) If tensor send occurs in a while loop body, the body logic currently gets
lowered in 3 places: the while op cond function, the while op body function, and
the ops at the same level as the while op itself (for running the last loop
iteration). In this case, the correct TFGraph lowering is to run the enqueue in
the last 2 out of the 3 places above.

After this CL, the dual versions of the above (dequeuing via an op, and
enqueuing via C API) will be added.

PiperOrigin-RevId: 194658511

Removing hidden_ops.txt file.

PiperOrigin-RevId: 194637892

Fix kernel creation bug, due to constant folding always use CPU.

PiperOrigin-RevId: 194636076

Add test case on compiling dense layer node with XLA.

PiperOrigin-RevId: 194634563

Properly export recurrent in contrib.

The following symbols are available:
- tf.contrib.recurrent.bidirectional_functional_rnn
- tf.contrib.recurrent.functional_rnn
- tf.contrib.recurrent.Recurrent

PiperOrigin-RevId: 194632138

HLO profiling for tfcompile.

This CL extends the --xla_hlo_profile knob to tfcompile.  tf_library rules can
now set enable_xla_hlo_profiling to True to:

 - Have the generated code update per-HLO profile counters as it executes.
 - Have tfcompile generate and serialize an instance HloProfilePrinterData with
   a compiled model that can be used to pretty-print the collected profile
   counters.

PiperOrigin-RevId: 194627272

  Add internal uint b stats to TfOpStats.

PiperOrigin-RevId: 194625155

Split up ElementaIrEmitter::MakeElementGenerator into smaller functions; NFC

PiperOrigin-RevId: 194622198

[XLA] Fix bug in ShapeUtil::StripDegenerateDimensions

PiperOrigin-RevId: 194621163

Make RetryingFileSystem a template.

PiperOrigin-RevId: 194614877

Minor fix to SDCAOptimizer documentation.

PiperOrigin-RevId: 194609850

[TF:XLA:INTERPRETER] implement bfloat16 comparisons

PiperOrigin-RevId: 194608854

Fix broken ElementWiseFusionTest.

PiperOrigin-RevId: 194602336

Minor eager service proto clarification.

PiperOrigin-RevId: 194596337

[XLA:CPU] Implement fusion for the Gather HLO

PiperOrigin-RevId: 194594759

If two identical functions are given different grad func,
they should be named differently. Otherwise, tf.gradients
gets confused.

PiperOrigin-RevId: 194593519

Remove whitespaces from tags in saved_model_cli.

This currently causes tags mismatch because a leading whitespace is added
within the saved_model_cli when doing ', '.join(tag_set).

PiperOrigin-RevId: 194590154

[TF:XLA] Bump open source llvm revision to r330950

PiperOrigin-RevId: 194588403

Remove scope name from bfloat16

PiperOrigin-RevId: 194580957

eager: Improve error message when GradientTape is used incorrectly.

PiperOrigin-RevId: 194580654

Replace GrapplerFunctionItem input with a constant.

PiperOrigin-RevId: 194579253

Internally rewrite @recompute_grad to use @custom_gradient

PiperOrigin-RevId: 194571125

Added string conversion operator to tensorflow::StringPiece.
Marked ToString method as deprecated.

This will allow tensorflow::StringPiece to be replaced with absl::string_view (once the deprecated method is removed) as absl::string_view does not contain the ToString method.

PiperOrigin-RevId: 194551042

Fix bug in @custom_gradient in Eager mode with numpy inputs

PiperOrigin-RevId: 194538828

[TF:XLA] Bump open source llvm revision to r330926

PiperOrigin-RevId: 194530610

Automated g4 rollback of changelist 194306629

PiperOrigin-RevId: 194507274

Reenable factorization_ops_test on ASAN after adding shard_count = 4. Tests now
finish with these stats: "max = 150.6s, min = 27.4s, avg = 66.3s, dev = 19.5s" over 1000 runs and this runtime distribution should be fairly safe for deadline of 300s.

PiperOrigin-RevId: 194500204

Implement floor operator

PiperOrigin-RevId: 194490433

Automated g4 rollback of changelist 194442428

PiperOrigin-RevId: 194485227

Free scratch memory in ~BaseGPUDevice.

PiperOrigin-RevId: 194483351

Implements linear no-offset (aka symmetric) quantizer.

PiperOrigin-RevId: 194482547

Split out SaveableObjects into their own file

Pulls a couple build rules out of tensorflow/python:training. I'd like to use a SaveableObject in :checkpointable (for saving some Python state by default), which means the file with SaveableObject has to be essientially dependency-free.

PiperOrigin-RevId: 194473987

More informative error message when loading a graph_def which uses unknown ops.
Fixes #17014

PiperOrigin-RevId: 194472083

Fix some flakiness in test.

PiperOrigin-RevId: 194470125

Internal change.

PiperOrigin-RevId: 194468535

Handle variations in scoping of batch norms for correct unfused batch norm folding.

PiperOrigin-RevId: 194465704

Remove the inter-op thread pool

Forgot about this in cl/194299356.  However, when I checked cl/194299356, I
found that we actually (incorrectly?) used the *intra* op thread pool in the
parallel CPU executable?  Does that mean the inter op thread pool was always
unused?

PiperOrigin-RevId: 194464734

[tf.data] Adds support for adding scalar value to `StatsAggregator`.

PiperOrigin-RevId: 194463407

[tf.data] Changes description for `bytes_produced_stats` and `latency_stats` in accordance with the breaking changes in cl/193432590.

PiperOrigin-RevId: 194461964

- Default values of cov and inv variables are now 0.  Zero-debiasing (as in Adam) is used for the cov matrices.  Note this this requires that cov variables, then inv variables, are all updated before the first training update is made.  All examples have been modified to do this. NOTE: you *may* have to increase the damping value you use at the start of optimization after this change (or throughout, if you are using a constant value).
- Changed the initial default approximation used for generic registrations to "diagonal"
- Convenience properties for ops and thunks have all been removed, along with "make_ops_and_vars". User should only interface with "make_vars_and_create_op_thunks" (or maybe "create_ops_and_vars_thunks").

PiperOrigin-RevId: 194461623

Add support for variables in tf.custom_gradient

PiperOrigin-RevId: 194460752

Disable triangular_solve_test on ASAN due to flaky time outs.

PiperOrigin-RevId: 194460641

Edit tensorflow.org/community/swift page.

PiperOrigin-RevId: 194459754

Adds optimization to convert division of sqrt to multiplication of rsqrt

PiperOrigin-RevId: 194459152

Disable densenet_test on MSAN due to flaky time outs.

PiperOrigin-RevId: 194458270

Remove unnecessary TF_NEED_GCP from build scripts.

PiperOrigin-RevId: 194448612

Adding some slightly more exhaustive strided_slice test parameters.

PiperOrigin-RevId: 194446000

[TF:XLA] Add INTEL MKL_DNN Conv2d method to XLA/CPU backend

The INTEL MKL_DNN provides 32-bit Conv2d method. With INTEL_MKL flag set,
XLA backend emits runtime call to MKL_DNN Conv2d instead of Eigen.

PiperOrigin-RevId: 194445212

Run 2 passes of rewrites by default

PiperOrigin-RevId: 194443770

Delay deleting RingReducer until group_size_tensor_ready_ has
been notified.  Otherwise this can result in a bad pointer dereference
under some early abort conditions.

PiperOrigin-RevId: 194443206

Fix build by adding op_lib dependencies to trt_engine_op_loader, and remove
unnecessary dependency from the tf_gen_op_libs.

PiperOrigin-RevId: 194442728

Automated g4 rollback of changelist 194269675

PiperOrigin-RevId: 194442428

gRPC worker cache owns a shared_ptr to the channel cache

PiperOrigin-RevId: 194441794

For tf.gradients(), do not backpropagate through integer tensors.
All integer tensors are now considered constant with respect to all `xs`.
This fixes a bug in gradients through tf.while_loop.

PiperOrigin-RevId: 194438529

Optimize functions in the function library.

PiperOrigin-RevId: 194434546

Move */logging.cc into :platform_base since it already exposes the header loggging.h

This also brings env_time.h and env_time.cc, because on the 'default' platform logging needs env_time.

Add helpers tf_platform_srcs and tf_platform_hdrs to deal with files
that are not necessarily available in all platforms.

PiperOrigin-RevId: 194434322

Simplify, test and document logic in instruction fusion that decides whether we
allow fusion when an operation needs to be duplicated.

PiperOrigin-RevId: 194429279

Removing @@ comments from core TensorFlow. They are no longer needed for exporting symbols to the TensorFlow API.

PiperOrigin-RevId: 194426855