Implementation of the fully-connected TFLite Op using the symmetric quantization.

PiperOrigin-RevId: 195010312

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 195010310

Fixed some outdated comments

PiperOrigin-RevId: 195006088

Minor JNI performance improvement.

PiperOrigin-RevId: 195002949

Making ids unique in nn.embedding_lookup_sparse. This helps to reduce RPC calls for looking up the embeddings when there are repeated ids in the batch.

PiperOrigin-RevId: 195002785

Fix bug in peak buffer accounting in buffer assignment.
Buffer assignment keeps track of the set of logical buffers which are live at
the point of peak memory usage for each allocation. Previously colocated
buffers were not properly accounted for. This CL addresses this problem.

PiperOrigin-RevId: 195001567

Merge changes from github.

PiperOrigin-RevId: 194997009

Make tower-local variables non-trainable even with the default
DistributionStrategy.

PiperOrigin-RevId: 194996819

Enable checkpointless eval and predict for tf.estimator.

PiperOrigin-RevId: 194993191

Update community/swift

PiperOrigin-RevId: 194991305

Update schema.

PiperOrigin-RevId: 194989704

Relax the stringent memory allocator constraints in AssignOp if a Grappler graph analysis determines it to be safe. This will allow Assign to reuse the input buffer to initialize the variable in many cases.

PiperOrigin-RevId: 194988134

Collective Ops Part 5

Distributed-mode implementations of DeviceResolverInterface
and ParamResolverInterface.  Extend Worker interface with
new methods in support of these interfaces.

This change is part of a series of changes introducing infrastructure
for collective ops and initial implementations of reduction and broadcast.

PiperOrigin-RevId: 194984585

Open source infeed test

PiperOrigin-RevId: 194983270

Add utility to auto shard a dataset pipeline in the appropriate place by locating the file readers and sharding their input files.

PiperOrigin-RevId: 194982311

Add a pointer from Device to its owning DeviceMgr.
Allow remote function execution on TPU devices.

PiperOrigin-RevId: 194981511

Implements matrix multiply-accumulate for linear no-offset (aka symmetric) quantizer.

PiperOrigin-RevId: 194978865

Add device_util.resolve method which merges with current device as well.

PiperOrigin-RevId: 194976633

Simplified shape inference.

PiperOrigin-RevId: 194975603

Improve shape inference for tf.contrib.signal.frame.

PiperOrigin-RevId: 194972934

Boosted trees: support indicator column.

PiperOrigin-RevId: 194971229

eager: Update sample notebooks with API changes in the last few releases.

Most notably:
- Avoid using tf.contrib.eager since equivalent functionality if available outside tf.contrib
- Datasets can be directly iterated on.
- Use tf.GradientTape instead of tf.contrib.eager.implicit_gradients

PiperOrigin-RevId: 194971115

Automated g4 rollback of changelist 194917415

PiperOrigin-RevId: 194962702

Fix crash in HloGraphDumper where it crashes on tuple shaped constants

The problem is that it tries to use a special logic for 0 element constants
but the logic used to check the number of elements only supports array shapes.

PiperOrigin-RevId: 194945246

Preventing RemoveTrivialBinary from removing broadcasts.

PiperOrigin-RevId: 194937001

Protocol buffer classes now list their fields in dir(cls)

PiperOrigin-RevId: 194917415

[XLA:CPU] Open source some tests.

PiperOrigin-RevId: 194903752

Update ops-related pbtxt files.

PiperOrigin-RevId: 194883351

Move LinearOperatorKronecker and LinearOperatorBlockDiag to core.

PiperOrigin-RevId: 194881237

[XLA] Redesign: dump HloSnapshot at the point where it used to dump the SessionModule.

PiperOrigin-RevId: 194880385

Internal change.

PiperOrigin-RevId: 194877173

Remove proto header import from core/framework/tracking_allocator.h

The goal is to make kernels mostly independent of proto headers, which will let us lock down our .so import.

PiperOrigin-RevId: 194876569

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 194874988

[XLA] Redesign: migrate tensorflow/compiler/tf2xla, tensorflow/compiler/aot:
- xla::ComputationBuilder -> xla::XlaBuilder
- xla::ComputationDataHandle -> xla::XlaOp
- xla::Computation -> xla::XlaComputation
- xla::CompileOnlyClient::AotComputationInstance -> xla::CompileOnlyClient::AotXlaComputationInstance
- xla::SessionModule -> xla::HloSnapshot

PiperOrigin-RevId: 194874462

[tf.data] Adding an experimental `group_by_reducer` transformation which groups elements of an input pipeline by a key, applies a reduce function to elements of each group "on-the-fly", and outputs the results once all input elements have been processed.

PiperOrigin-RevId: 194874087

Internal cleanup.

PiperOrigin-RevId: 194871141

Faster reduce_logsoftmax (specially in eager) and bugfixes in broadcast_to

PiperOrigin-RevId: 194870645

Small fix to prevent a crash if the delegate has not implemented FreeBufferHandle.

PiperOrigin-RevId: 194866595

Add MultiNodeDataset and MultiNodeIterator which are intended to work for multi-node distribution strategy.

PiperOrigin-RevId: 194862215

[XLA] Change the TF2XLA bridge to perform F16 reduction using F32 data type.

Add test cases to test that reduce sum for bfloat16 and float16 doesn't lose too
much precision.

PiperOrigin-RevId: 194862078

Improve error message for pip_smoke_test.

PiperOrigin-RevId: 194859591

Do not allocate memory for literal as it will be allocated later.

PiperOrigin-RevId: 194857422

Enhancements to GRAPHVIZ_DOT output:
    -edge weights added to encourage straighter main data-flow
    -line thickness proportional to log(data_size)
    -set global parameter "nslimit" to prevent excessive layout time for difficult graphs

PiperOrigin-RevId: 194854051

Implement unary chain hoisting optimization for Concat, Split, and SplitV.

For Concat, hoist prefix chains of unary ops before concatenation, e.g.
  // Rewrites
  //       Concat({Cos(Exp(a)), Cos(Exp(b)), Cos(Exp(c))})
  // into
  //       Cos(Exp(Concat({a, b, c}))).

For Split/SplitV hoist unary postfix chains before the split, e.g.
  // Rewrites
  //          [Cos(Exp(y)) for y in Split(x)]
  // into
  //          [y for y in Split(Cos(Exp(x)))].

The new optimization is off by default.

PiperOrigin-RevId: 194850318

Add XLA logo to its documentation page

PiperOrigin-RevId: 194847599

Do not cast int64 to int32 in keras embedding lookups.

Often when working on the GPU with tf int64s are more efficient as int32s will
be copied back and forth to the host quite a bit.

PiperOrigin-RevId: 194846629

[TF:XLA] Fix some unexpected memory leak in hlo_graph_dumper_test.

PiperOrigin-RevId: 194845792

Removing an obsolete TODO

PiperOrigin-RevId: 194845376

Push down const inputs into the function of specialized functions.

PiperOrigin-RevId: 194843380

[tf.data] Adding support for `tf.SparseTensor` into `tf.contrib.data.scan()`

PiperOrigin-RevId: 194842266

Extend SDCAOptimizer functionality to prune negative indices (the default value for OOV with tf.feature_column.FeatureColumn, sparse / categorical).

PiperOrigin-RevId: 194839178

Fix a bug in profiler.

PiperOrigin-RevId: 194838948

Cleanup handling of non-Tensor valued event_ndims in Bijector.

PiperOrigin-RevId: 194836408

Fix device assignment in xla/service/service.cc to build the assignment based on
the provided device handles rather than using the default assignment.

PiperOrigin-RevId: 194829761

Fix typos in tf.GradientTape documentation.

PiperOrigin-RevId: 194829506

When a mirrored variable is fetched in cross-tower mode, fetch its primary variable.

This prevents errors like
ValueError: Fetch argument MirroredVariable({'/job:localhost/replica:0/task:0/device:GPU:0': <tf.Variable 'global_step:0' shape=() dtype=int64>, '/job:localhost/replica:0/task:0/device:GPU:1': <tf.Variable 'global_step/replica_1:0' shape=() dtype=int64>}) cannot be interpreted as a Tensor. (Device /job:localhost/replica:0/task:0/device:CPU:0 not found in ['/job:localhost/replica:0/task:0/device:GPU:0', '/job:localhost/replica:0/task:0/device:GPU:1'] (current device ))

I ran distribute/examples/resnet with and without the change and it fixed the problem.

PiperOrigin-RevId: 194828672

[TF:XLA] Bump open source llvm revision to r331173

PiperOrigin-RevId: 194827639

Use the default rewriter config instead of a custom one

PiperOrigin-RevId: 194824761

Fix bugs in AssignOp:
 1. Releasing the unique_ptr would "leak" a TensorBuffer refcount.
 2. The output shape is defined by rhs, not lhs.

PiperOrigin-RevId: 194822802

-Miscellaneous code clean-up

PiperOrigin-RevId: 194821201

Add --keep_going flag to bazel query in pip_smoke_test to bypass bazel query cannot handle select statement.

PiperOrigin-RevId: 194816816

Add snippet illustrating discretized logistic mixture for WaveNet.

Currently, the example manually centers the bins in order to capture ?rounding? intervals and not ?ceiling? intervals. In the future, we may simplify the example by expanding QuantizedDistribution with a binning argument.

PiperOrigin-RevId: 194814662

Switch install get_started link

PiperOrigin-RevId: 194811871

Prepare nodes that will be allocated using ScopedAllocator.

This includes changes to Executor that (1) set scope_id on nodes that are
decorated with _scoped_allocator attribute, (2) mark such nodes to never
forward input.

PiperOrigin-RevId: 194807086

Remove manifest_merger that is being removed from Bazel 0.13.0.

PiperOrigin-RevId: 194798790

Clarify return type for defun as zero or more `tf.Tensor`s.

PiperOrigin-RevId: 194796621

Fixes to tape gradient for providing outputs and having multiple targets.

PiperOrigin-RevId: 194796304

Adding a depthwise convolution kernel op (with label 'cudnn_grouped_convolution') which forwards to cuDNN grouped convolutions.

PiperOrigin-RevId: 194780352

Cleaning up tracing code.

PiperOrigin-RevId: 194768567

Keras: Supply `maximum_iterations` to the TF backend when possible.
PiperOrigin-RevId: 194723199

Add support for a clean checkpoint and shutdown in response to a termination notice.

PiperOrigin-RevId: 194722985

Added del_hparam(), the counter part of add_hparam.

PiperOrigin-RevId: 194711291

Update the Swift for TensorFlow community page.

PiperOrigin-RevId: 194687897

[TF:XLA]
- Require a module config when creating an HloModule.
- All tests using HloTestBase create a module using CreateNewModule.

PiperOrigin-RevId: 194684585

Internally rewrite RevBlock to use @custom_gradient

PiperOrigin-RevId: 194679657

Java: Release 1.8.0

PiperOrigin-RevId: 194663800

[tf.data] Use core::ScopedUnref to avoid resource leakage.

If for whatever reason iterator_resource->set_iterator did not return Status::OK(), we would leak a reference on the iterator_resource. With this change, we won't leak the resource.

PiperOrigin-RevId: 194662412

Allow not specifying eval_spec when evaluation is not necessarily run.

PiperOrigin-RevId: 194661814

This is Part 1 of Swift<->TF sends/recvs: support sending tensors from TF to
Swift via direct session.

The changes are:

1. Added an experimental TF C API TF_DequeueNamedTensor() to consume the queued
tensors from a dequeue op. One use case is for the Swift host program to consume
tensors sent by TF, where the queue is a Fifo queue managed by TF.

Enqueuing tensors are done by running an enqueue op in a graph. The queued
tensors are not persisted, and will be lost if the process/machine dies. The
queue has a bounded capacity, to prevent producer from being unboundedly ahead
of consumer.

while caller of TF_DequeueNamedTensor() could have run the Fifo dequeue op
directly, the extra level of indirection provided by this API allows us to more
easily switch the queuing impl to another mechanism. If and once we stabilize on
the Fifo queue based impl, we can remove this API.

2. Added a new S4TF runtime API _TFCReceiveTensorHandle() that receives a tensor
  via TF_DequeueNamedTensor().

3. To support tensor receives in host program, taught PartitionCloner in
  TFPartition to insert SIL code to call _TFCReceiveTensorHandle().

4. To support tensor sends in accelerator program, taught TFGraphLowering in
  generate QueueEnqueueV2 nodes in the TF graphs, with appropriate control
  dependence to make sure these nodes get executed.

a) The enqueue produces no output tensor, and is executed only for its side
effect. To ensure it is executed properly, control dependence is wired up. The
general design is: before a TF_Function (can be a top level function or the body
function of a while op) produces an output tensor OT, make OT control dependent
on the enqueue op, so that enqueue gets run before the function returns.

b) If tensor send occurs in a while loop body, the body logic currently gets
lowered in 3 places: the while op cond function, the while op body function, and
the ops at the same level as the while op itself (for running the last loop
iteration). In this case, the correct TFGraph lowering is to run the enqueue in
the last 2 out of the 3 places above.

After this CL, the dual versions of the above (dequeuing via an op, and
enqueuing via C API) will be added.

PiperOrigin-RevId: 194658511

Removing hidden_ops.txt file.

PiperOrigin-RevId: 194637892

Fix kernel creation bug, due to constant folding always use CPU.

PiperOrigin-RevId: 194636076

Add test case on compiling dense layer node with XLA.

PiperOrigin-RevId: 194634563

Properly export recurrent in contrib.

The following symbols are available:
- tf.contrib.recurrent.bidirectional_functional_rnn
- tf.contrib.recurrent.functional_rnn
- tf.contrib.recurrent.Recurrent

PiperOrigin-RevId: 194632138

HLO profiling for tfcompile.

This CL extends the --xla_hlo_profile knob to tfcompile.  tf_library rules can
now set enable_xla_hlo_profiling to True to:

 - Have the generated code update per-HLO profile counters as it executes.
 - Have tfcompile generate and serialize an instance HloProfilePrinterData with
   a compiled model that can be used to pretty-print the collected profile
   counters.

PiperOrigin-RevId: 194627272

  Add internal uint b stats to TfOpStats.

PiperOrigin-RevId: 194625155

Split up ElementaIrEmitter::MakeElementGenerator into smaller functions; NFC

PiperOrigin-RevId: 194622198

[XLA] Fix bug in ShapeUtil::StripDegenerateDimensions

PiperOrigin-RevId: 194621163

Make RetryingFileSystem a template.

PiperOrigin-RevId: 194614877

Minor fix to SDCAOptimizer documentation.

PiperOrigin-RevId: 194609850

[TF:XLA:INTERPRETER] implement bfloat16 comparisons

PiperOrigin-RevId: 194608854

Fix broken ElementWiseFusionTest.

PiperOrigin-RevId: 194602336

Minor eager service proto clarification.

PiperOrigin-RevId: 194596337

[XLA:CPU] Implement fusion for the Gather HLO

PiperOrigin-RevId: 194594759

If two identical functions are given different grad func,
they should be named differently. Otherwise, tf.gradients
gets confused.

PiperOrigin-RevId: 194593519

Remove whitespaces from tags in saved_model_cli.

This currently causes tags mismatch because a leading whitespace is added
within the saved_model_cli when doing ', '.join(tag_set).

PiperOrigin-RevId: 194590154

[TF:XLA] Bump open source llvm revision to r330950

PiperOrigin-RevId: 194588403

Remove scope name from bfloat16

PiperOrigin-RevId: 194580957

eager: Improve error message when GradientTape is used incorrectly.

PiperOrigin-RevId: 194580654

Replace GrapplerFunctionItem input with a constant.

PiperOrigin-RevId: 194579253

Internally rewrite @recompute_grad to use @custom_gradient

PiperOrigin-RevId: 194571125