Automated g4 rollback of changelist 197026249

PiperOrigin-RevId: 197049255

[TF:XLA] Do not rely on implementation-defined semantics of DynamicSlice.

ReverseSequence relies on DynamicSlice wrapping around, which is implementation-defined behavior, and is not guaranteed. Pad the input instead.

PiperOrigin-RevId: 197043307

Allows users to specify allow_custom_ops when calling tf.contrib.lite.toco_convert().

PiperOrigin-RevId: 197039477

Remove -DGEMMLOWP_ALLOW_SLOW_SCALAR_FALLBACK being added by default to all builds.

PiperOrigin-RevId: 197037867

Support functools.partial as callable object in tf_inspect.getargspec.

PiperOrigin-RevId: 197036874

[XLA] Redesign: delete Client::LoadSnapeshot(SessionModule). This is a precondition to delete xla::Computation.

PiperOrigin-RevId: 197033641

Test some distributions stuff in Eager as well as Graph

PiperOrigin-RevId: 197033485

Internal Change

PiperOrigin-RevId: 197028096

Support 1x1x1xN bias sizes in TFLite's convolution and FC layers.

PiperOrigin-RevId: 197027135

Internal change

PiperOrigin-RevId: 197026249

Remove C API staging from importer.py.

PiperOrigin-RevId: 197024708

Fix the fizzbuzz example

PiperOrigin-RevId: 197021930

Use integral power function rather than floating point version. The integral version is faster.

PiperOrigin-RevId: 197021020

[XLA:GPU] Unroll multi-output loop fusions

This is easier than I thought because we can assume that all tuple members have
the same number of elements. LLVM doesn't do a great job of vectorizing the
resulting stores, but otherwise this is working fine.

PiperOrigin-RevId: 197019718

Change loop variable type to be deduced.

PiperOrigin-RevId: 197017789

Change traverse_test.test_module to traverse a constructed dummy module rather than testcase itself.

PiperOrigin-RevId: 197010681

Allows the fizzbuzz example to work when called as fizzbuzz(tf.constant(10)).

Fixes #18960

PiperOrigin-RevId: 197008373

Rename private push/pop API and use from `stop_recording` method.

PiperOrigin-RevId: 197007561

[TF:XLA] remove re-initializations of Literals

It's an antipattern to have:

auto x = Literal::CreateFromShape(my_shape);
x->Populate();

as that results in initialization followed by reinitialization. Can be replaced
with:

auto x = MakeUnique<Literal>(my_shape);
x->Populate();

Suggested-by: Kay Zhu <kayzhu@google.com>
PiperOrigin-RevId: 197007127

Improve the error message printed when a WorkerService::GetStatus() call fails on session creation.

PiperOrigin-RevId: 197003951

Improvements to function._FuncGraph.

* Adds 'inputs', 'outputs', and 'name' field to _FuncGraph. This
  allows _FuncGraph to encapsulate all the information needed to
  convert it to a FunctionDef.
* Refactor logic for converting a Python callable to a _FuncGraph into
  a new method, func_graph_from_py_func().

These changes are in preparation for converting tf.cond to emit an If
op. By exposing _FuncGraph functionality outside of _DefinedFunction,
_FuncGraphs can be used to represent functions that are manipulated
(e.g. to output intermediate tensors) before being converted to
FunctionDef protos.

PiperOrigin-RevId: 197003496

Remove misleading declaration-as-default that results in a deleted constructor, and a misguided comment.

PiperOrigin-RevId: 197003162

[XLA] Adds HloLivenessAnalysis and HloModuleDCE.
HloLivenessAnalysis marks all live instruction outputs (i.e. tuple elements) for all instructions in an HloModule, propagating live values across computation boundaries.
HloModuleDCE sweeps through each instructions dead tuple elements, eliminating dead code (currently removes dead tuple elements from while loops, but could be extended to do the same for call instructions).

PiperOrigin-RevId: 197003043

Update SessionTest.testFeedShapeCompatibility to work with C API enabled.

This test got lost in the transition. Prior to enabling the C API,
some constant node whose values were used for shape inference would be
marked as unfeedable in tensor_util.constant_value
(https://github.com/tensorflow/tensorflow/blob/r1.8/tensorflow/python/framework/tensor_util.py#L810).

This shape inference path is no longer used with the C API enabled, so
the constant node is successfully fed, triggering a runtime shape error.

This is arguably a regression, but given that the Python code wouldn't
mark all nodes evaluated during shape inference as unfeedable, it
seems ok to relax the check a little more.

PiperOrigin-RevId: 197002741

Avoid accessing platform/default directly.

PiperOrigin-RevId: 197001347

Fixed bug in tf.pad shape logic that made it more restrictive than necessary by interpreting 0 as False.

PiperOrigin-RevId: 196998883

Methods to stop and reset tf.GradientTape()

PiperOrigin-RevId: 196995160

[TF:XLA] Bump open source llvm revision to r332584

PiperOrigin-RevId: 196992500

Drop some old dump_graphviz options

PiperOrigin-RevId: 196989899

Adapt LLVM ORC interface change in r332541.

PiperOrigin-RevId: 196978634

Add evaluation metrics and export results in the new train_and_evaluate API (for local mode).

PiperOrigin-RevId: 196962253

Move BUILD file to OVIC folder and add model validation.

PiperOrigin-RevId: 196940252

Update installation documentation to reflect that CUDA 8 and cuDNN 6 are minimal supported versions.
Remove GPU instructions for MacOS because GPUs are not supported anymore.

PiperOrigin-RevId: 196939548

Sort tags before logging.

PiperOrigin-RevId: 196936678

[tf.data] Accept NumPy dtype objects in `Dataset.from_generator(..., output_types=...)`.

PiperOrigin-RevId: 196935179

Add more logging in BaseGPUDevice::ComputeHelper for kernel completion.

PiperOrigin-RevId: 196933479

Making GetOptionalInput from kernel_util.h return a pointer to const data.

PiperOrigin-RevId: 196932028

[TF:XLA] Bump open source llvm revision to r332236

PiperOrigin-RevId: 196930996

Internal change.

PiperOrigin-RevId: 196927869

Enhance DenseLayer + XLA compatibility test cases to cover compilation behavior differences in different jit modes.

PiperOrigin-RevId: 196926896

Append device name in executor logging

PiperOrigin-RevId: 196924318

[TF:XLA] Make noinline function work with control flow.
1) Make the local function library for control flow self-contained. The control flow function could refer to a noinline function not defined in the local library. Copy the missing FunctionDefs from the glocal library to the local one.
2) Fix the index used to get the output shapes for functional nodes.

PiperOrigin-RevId: 196922649

[XLA] Remove XlaOp::GetShape. It only works when the buidler of the XlaOp is not freeed.

PiperOrigin-RevId: 196921647

Remove _USE_C_API staging in tests now that the C API is enabled by default.

This is in preparation for removing the _USE_C_API toggle altogether.

PiperOrigin-RevId: 196920890

Remove _USE_C_API staging in tests now that the C API is enabled by default.

This is in preparation for removing the _USE_C_API toggle altogether.

PiperOrigin-RevId: 196920481

Fix typo in TensorHandle

PiperOrigin-RevId: 196919119

Re-enabling a test after a previous fix.

PiperOrigin-RevId: 196916467

Remove no-op statement. tf_additional_lib_srcs only selects .cc files. When we
do tf_additional_lib_srcs(exclude=[**/*.cc]) we are selecting zero files, and
the statement can be safely removed.

PiperOrigin-RevId: 196916359

Adds basic TPU replicate training support for Keras.

PiperOrigin-RevId: 196916177

[XLA] Improve documentation on HloModule, HloComputation, and HloInstruction.

PiperOrigin-RevId: 196915982

[XLA] Add documentation explaining FusionKind.

PiperOrigin-RevId: 196914484

Remove unused inclusions

PiperOrigin-RevId: 196913890

[XLA:GPU] Add op-tracing to XLA:GPU.

PiperOrigin-RevId: 196912575

Allow for remote eager execution.

PiperOrigin-RevId: 196910675

Remove unused inclusions

PiperOrigin-RevId: 196906815

Move DoesNotUseOperandBuffer and CanShareOperandBufferWithUser from
liveness_util to methods on TuplePointsToAnalysis and HloDataflowAnalysis.

PiperOrigin-RevId: 196903216

[TF:XLA] Take subcomputations into account during HLO scheduling.

In the List scheduler, if an instruction calls subcomputations, we count the memory usage of the subcomputation towards the memory usage of the parent instruction.

PiperOrigin-RevId: 196903042

Fixing test for Topk kernel in TFlite

PiperOrigin-RevId: 196899232

Make sparse_cross operations publicly available.

PiperOrigin-RevId: 196899145

Add test for 64-bit clz and sign.

PiperOrigin-RevId: 196894702

Fix typo in comment

PiperOrigin-RevId: 196894582

Add a parameter to the adaptive shared batcher which allows the user to set a lower bound for in_flight_batches_limit.

This can help prevent overloads which may occur during large traffic shifts - a small value learned during a period of low load can be unsuitable at high load.

PiperOrigin-RevId: 196893320

Checkpointable: move python/training/checkpointable_* to python/training/checkpointable/

Need to add some new checkpointable files in core (specifically I had some checkpointable data structures in mind), and prefixing more files with "checkpointable_" in python/training/ seems dirty.

No functional changes, just some branching and build/import fiddling.

PiperOrigin-RevId: 196883136

Automated g4 rollback of changelist 196691101

PiperOrigin-RevId: 196879933

BUILD cleanup in contrib/lite/...

PiperOrigin-RevId: 196878865

Fix the gradient of reduce_prod for complex dtypes.

Fixes #12514

PiperOrigin-RevId: 196878148

Remove sorted as types not sortable.

PiperOrigin-RevId: 196876502

Fix broken link.

PiperOrigin-RevId: 196873792

Add a test for compiled tfe.defun in GradientTape

PiperOrigin-RevId: 196873235

Remove redundant initialization of collective params.

subdiv_permutations is being resized twice in GenerateSubdivParams.

PiperOrigin-RevId: 196870781

Use sequence_length arg for dynamic_rnn within RNNEstimator

This does not affect correctness, but improves performance by skipping padded
parts of the sequence. Also correct documentation in rnn.py that states the
opposite.

PiperOrigin-RevId: 196869793

[TF:XLA:CPU] enable s32 reduce-window

PiperOrigin-RevId: 196869296

Fix the CCFLAGS mismatch.

PiperOrigin-RevId: 196868601

Expand tests to include int64 output type.

PiperOrigin-RevId: 196868485

Turn off MirroredStrategy Dataset prefetching in tests when using the
combinations library. It adds some small non-determinism to the input
batches which can make tests flaky.

Also add a default DistributionStrategy combination.

PiperOrigin-RevId: 196866569

Internal Change.

PiperOrigin-RevId: 196864489

[XLA:GPU] Emit the final write of the tuple pointers

Turns out this doesn't matter when the fusion is emitted as a kernel, but does
when the whole thing is inlined. Oops.

PiperOrigin-RevId: 196863545

Fixes tflite_diff script.

PiperOrigin-RevId: 196852157

[XLA:GPU] Teach ir_emitter_nested how to deal with multi output loop fusion

Most of the plumbing is there already, just set up a loop emitter with a target
for each tuple element. For a simple case the output looks reasonable, though I
haven't checked correctness of anything complex.

PiperOrigin-RevId: 196850926

Remove more Estimator dependencies from core TensorFlow.

Cleaning up some imports and deps I left behind that are no
longer used.

PiperOrigin-RevId: 196850661

Removed C++ ABSL includes from tensorflow/core and tensorflow/compiler.

This is necessary to prevent undefined behavior caused by ODR violations, which could occur if different versions of ABSL are linked together.

PiperOrigin-RevId: 196847315

Add TPUContext for input_fn invocation.

PiperOrigin-RevId: 196846795

[TF:XLA:INTERPRETER] speed up select and scatter by avoiding memory allocation in loops

HandleSelectAndScatter() has 2 IterateThroughWindow() blocks. Before, we spent (in percent total program time):
11.98% Literal::CreateR0() = 10.82% (block1) + 1.16% (block2)
 4.91% Literal::~Literal() =  4.44% (block1) + 0.51% (block2)
 1.52% operator delete     =  1.38% (block1) + 0.14% (block2)
=====
18.41% total

After:
 1.99% Literal::~Literal() =  1.83% (block1) + 0.16% (block2)
 0.68% operator delete     =  0.61% (block1) + 0.07% (block2)
=====
 2.67% total
PiperOrigin-RevId: 196844177

Add tf.contrib.data.make_tf_record_dataset() like make_csv_dataset() and
make_batched_features_dataset(), that is easy and fast by default.

PiperOrigin-RevId: 196844073

boosted_trees: accept integer labels properly now the same as float labels; added tests about labels.

PiperOrigin-RevId: 196841265

Don't initialize GPUs if none will be used.

PiperOrigin-RevId: 196838739

Migrating BestModelExportStrategy to core library.

PiperOrigin-RevId: 196837506

Modify tf.contrib.distributions.BatchReshape to behave a bit more like
tf.reshape: accept a single unknown dimension and infer partial shape
information statically.

PiperOrigin-RevId: 196833267

Resolved inconsistency with shape inference for tf.reduce_join when passing non-Tensor values.
Removed deprecated arguments in tf.reduce_join test.

PiperOrigin-RevId: 196832183

[XLA] Expose MinimumMemoryForComputation in hlo_scheduling.h

PiperOrigin-RevId: 196829414

Add support libraries in core/platform.

PiperOrigin-RevId: 196826860

Migrate HloExecutionProfileTest to textual HLO

Also add lhs_contracting_dims and rhs_contracting_dims to make the test more realistic.
Before, the dot operation was created with CreateBinary instead of CreateCanonicalDot.

PiperOrigin-RevId: 196822255

Employ array flat sizes more directly in optimized_ops, some places in reference_ops.h.

PiperOrigin-RevId: 196819423

internal change

PiperOrigin-RevId: 196813574

Refactor HloInstruction::Fuse and add a method for multi-output fusion.

PiperOrigin-RevId: 196813042

Improving variable_scope documentation.

PiperOrigin-RevId: 196807465

Implementation of transpose_conv

PiperOrigin-RevId: 196806646

Add performance notes for in-context gradient calls.

Also:
* Add _{start,stop}_recording methods to GradientTape.
* Add performance notes when calling gradient in recording context for
  persistent tapes.
* s/tfe.GradientTape/tf.GradientTape/ in docstrings.
PiperOrigin-RevId: 196786148

[TF:XLA] Make softplus more accurate

The softplus function computes log(exp(x) + 1).

We computed it this way but with special cases to handle underflow and
overflow.
This was done by comparing the input against a quantity with the
magnitude 13.94238515. Note that this quantity is not representable as a single
precision float and is instead rounded to 13.9423847.

If softplus would overflow, it will be approximated as x.
If softplus would underflow, it will be approximated as exp(x).

Unfortunately, this can provide inaccurate results for negative floats close to
the threshold.

For example: consider x = -13.9274826049805. softmax(x) is ~8.94068849e-7;
rounded to the nearest single precision float, this is 8.940689e-7.

In this case, x is quite close to the underflow threshold but not close enough
to be approximated by exp(x) == 8.94069273e-7.
Rather, it gets calculated using the canonical definition of softmax and comes
to 8.34464686e-7.

This result comes out to be wrong by 1,048,568 ULPs.

Instead, we can compute it the way one would compute LogSumExp(x, 0):
  max(x, 0) + log(exp(x - max(x, 0)) + exp(0 - max(x, 0)))

When x is positive, this is:
  x + log(exp(0) + exp(-x))

When x is negative, this is:
  log(exp(x) + exp(0))

When x is 0, this is:
  log(exp(0) + exp(0))

exp(0) evaluates to 1 which gives us:
  if x is positive, x + log(1 + exp(-x))
  if x is negative, log(exp(x) + 1)
  if x is zero,     log(2)

These three cases can be combined like so:
  max(x, 0) + log(exp(-abs(x)) + 1)

Further, we can increase the fidelity of the log calculation by using log1p:
  max(x, 0) + log1p(exp(-abs(x)))

This computation naturally handles underflow and overflow while also providing
more numerically accurate results for a few small, positive, floating point
values.

PiperOrigin-RevId: 196782814

Fix bug in `WorkerService::Logging()` handler.

Since transitioning to proto3, it was not possible to distinguish between the absence of
LoggingRequest::rpc_logging and it being set to false. This led to a bug that ignored
log-disabling messages in some implementations, which meant that logging was never
disabled. This fix adds explicit fields in LoggingRequest for enabling and disabling RPC
logging.
PiperOrigin-RevId: 196782547