Prototype for tf.data writer API.

PiperOrigin-RevId: 193534333

Added support for concatenation and slicing of symbolic shapes

PiperOrigin-RevId: 193532769

Create a skeleton tf.contrib.checkpoint.

My plan for this is to incubate tools for working with object-based checkpoints:
  - Tools for managing dependency graphs, e.g. checkpointable lists/dictionaries
  - Inspecting/visualizing checkpoints
  - Listing variables and gathering initializers from a Checkpointable object
    and its dependencies
  - Verifying all variables are accessible as dependencies, which should make
    converting existing graph building Saver uses easier/safer.

This CL includes none of those things, it just moves the split_dependency tool
here instead of contrib/eager.

PiperOrigin-RevId: 193531292

[tf.data] Add checkpointing support for MapAndBatchDataset.

PiperOrigin-RevId: 193528712

Disable dlopen error of libneuralnetworks for non-Android platforms.

PiperOrigin-RevId: 193528346

[TF:XLA] Change HloTestBase::ExecuteNoHloPasses to return a literal directly.

PiperOrigin-RevId: 193526900

Pin pip to version 9.0.3

* This is because pip 10 is still unstable in some distros
* reference: https://github.com/pypa/pip/issues/5240

PiperOrigin-RevId: 193525542

Teach the conditinal simplifier about sharding.

PiperOrigin-RevId: 193510638

Update the Colorbot demo to use a Keras model in addition to the Estimator.

PiperOrigin-RevId: 193508874

Support for converting entire class hierarchies:
 * limit the methods being converted to those that have not been inherited from the superclass
 * include the (possibly compiled) superclass in the definition of the compiled class
 * either mark the superclass for conversion or generate an absolute aliased import line, depending on whether it's whitelisted

PiperOrigin-RevId: 193499204

Handle corner case in Python 3: members annotated with @classmethod.

PiperOrigin-RevId: 193495506

Set the random seed in on-demand mode.

PiperOrigin-RevId: 193488103

Update feature_util's GetFeatures to show compile-time error for unsupported types instead of a link-time error.

PiperOrigin-RevId: 193480683

Remove proto import in header files for core/kernels/boosted_trees.
Move implementations that requires declaration of TreeEnsemble to .cc files.

The goal is to make kernels mostly independent of proto headers, which will let us lock down our .so import

PiperOrigin-RevId: 193478404

docs: Add a note on building the C and/or Java API binaries from source.

See #15290

PiperOrigin-RevId: 193473886

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 193471104

Update ops-related pbtxt files.

PiperOrigin-RevId: 193469437

[tf.data] Add native implementation for `tf.contrib.data.unbatch()`.

The implementation has two main improvements:
1. Avoid relatively expensive (~15us) function invocation for each incoming batch.
2. Use std::move() where possible to avoid copying strings/variants into the unbatched
   elements.

PiperOrigin-RevId: 193467856

[XLA] Fix BF16 propagation bug for while condition.

PiperOrigin-RevId: 193465140

Initial addition of CLZ HLO

* Adds the HLO op and lowering on CPU/GPU/evaluator;
* This does not update the operation semantics;

PiperOrigin-RevId: 193461989

Expose tf.contrib.training.{prepend_from_queue_and_padded_batch_dataset}

Also its helper method "enqueue_in_queue_dataset".

PiperOrigin-RevId: 193458095

Use the host implementation of vec permute op if the input on the host. Note
that the op still needs to be placed on the GPU so that it stays within the
same partiion with the neighboring ops, and as a result, no unnecessary send
and recv are created.

PiperOrigin-RevId: 193457328

Teach the reshape mover pass about sharding.

PiperOrigin-RevId: 193457083

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 193456151

Update ops-related pbtxt files.

PiperOrigin-RevId: 193454093

Teach transpose folding about sharding.

PiperOrigin-RevId: 193451839

[TF TensorLists] Add TensorListConcatLists

TensorListConcat concatenates two TensorLists' entries (supports non-scalar
Tensors containing TensorLists).

PiperOrigin-RevId: 193451787

Various lint fixes to TensorFlow detected after GitHub merge.

PiperOrigin-RevId: 193448139

Enable for all gpus.

PiperOrigin-RevId: 193446717

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 193446519

Update ops-related pbtxt files.

PiperOrigin-RevId: 193443417

Fix reference name.

PiperOrigin-RevId: 193442269

Replace space in "Fraction of Zero Values" with _ because using space is illegal and will be auto replaced.

PiperOrigin-RevId: 193441676

Add a ten-second timeout to the DeleteWorkerSession call.

Previously, `MasterSession::Close()` did not block on the cleanup RPCs
to the individual workers, leading to deployments where the remote
workers might be shut down (e.g. by an external mechanism) before the
session was closed. In order to switch over to using
DeleteWorkerSession for all sessions, and preserve backwards
compatibility, we need to permit this behavior. Therefore, this CL
adds a 10-second timeout on the requests to workers, and logs an error
if the request does not succeed in that time period.

PiperOrigin-RevId: 193441618

Add tf.train.Checkpoint for reading and writing object-based checkpoints.

Previously exposed as tf.contrib.eager.Checkpoint / tfe.Checkpoint.

Spiffies up the documentation a bit, but otherwise just adds the export decorator.

Compatible in both directions with tf.train.Saver (object-based checkpoints can be fed to tf.train.Saver, and name-based checkpoints can be fed to tf.train.Checkpoint).

PiperOrigin-RevId: 193439442

Change distribution.distribute_dataset to accept an input_fn instead of a dataset.

PiperOrigin-RevId: 193437651

Adds dataset transformation function `set_stats_aggregator(..)`, which sets the given `stats_aggregator` for aggregating the input dataset stats.

PiperOrigin-RevId: 193432590

Disable failing test RGBToHSVTest.testBatch

PiperOrigin-RevId: 193431888

Remove duplicate code.

PiperOrigin-RevId: 193430279

Have TensorFlow Distributions share name scopes across method calls.
END_PUBLIC

*** Reason for rollback ***

Roll forward, allowing distributions to have same names across objects.

*** Original change description ***

BEGIN_PUBLIC
Automated g4 rollback of changelist 190728742

PiperOrigin-RevId: 193428925

Automated g4 rollback of changelist 192180356

PiperOrigin-RevId: 193427566

Never use the LegacySession when a Master explicitly calls CreateWorkerSession.

Previously, if the session handle was unrecognized by the worker, it
would default to using the LegacySession. This prevents us from
noticing that a server has been restarted.

To address the problem in a backwards-compatible way, we add a bit to
each session-handle-carrying worker request, indicating whether the
master believes that CreateWorkerSession has been called. If this bit
is set and the handle is unrecognized, the worker will raise an
AbortedError, which can be caught by high-level frameworks such as
`tf.estimator`.

Note that CreateWorkerSession is not yet used by default, and a
follow-up change will add that.

PiperOrigin-RevId: 193427057

A very simple AST pattern matcher. Only supports wildcards, and it's minimally tested. When using, you may want to add your use case to the tests.

PiperOrigin-RevId: 193426859

Fix loss computation bug in Model training/eval methods with eager execution enabled.
Fixes #18642.

PiperOrigin-RevId: 193423288

Fix a bug in GcsFileSystem that inconsistent read error may not be revealed if
the requested read size is larger than the block size.

PiperOrigin-RevId: 193422905

Merged commit includes the following changes:
193422827  by yifeif:

    Fix buildifier error.

--
193421691  by skyewm:

    Make GraphModeFunctions work with _USE_C_SHAPES=True.

    Tensor._handle_data is going away. This change adds special hooks for
    propagating the resource handle shape information through
    EagerTensors.

--
193421473  by A. Unique TensorFlower:

    Register dynamic_stitch for DT_VARIANT type.

--
193421175  by nolivia:

    disabling flaky tsan test

--
193420117  by nolivia:

    disabling flaky test in tensorflow that has no apparent culprit

--

PiperOrigin-RevId: 193422827

Adds an implementation of the precision at recall metric.

PiperOrigin-RevId: 193418737

Increase shard count of :init_ops_test.

PiperOrigin-RevId: 193418147

Allow turning off checkpointing for ShardedMutableDenseHashTable. Keep the checkpointing=True as the default.

PiperOrigin-RevId: 193417350

Automated g4 rollback of changelist 193392688

PiperOrigin-RevId: 193413401

If the summary is empty, return empty list for quantiles.

PiperOrigin-RevId: 193413363

Replace six.get_unbound_function with a simpler version that doesn't crash for methods of tf.keras.Model.

PiperOrigin-RevId: 193411332

[XLA] Redesign: add arguments, result, and execution_platform to HloProto, because the SessionModule has those.

PiperOrigin-RevId: 193411310

Use the new gather HLO in the bridge when lowering TF gather ops; NFC

After gather expansion this should boil down to a while loop very similar to
what we emit from the bridge today.

PiperOrigin-RevId: 193410095

Internal-only change.

PiperOrigin-RevId: 193409980

Catch OSError in gen_git_source.py subprocess call.

OSError occurs if git cannot be found. This is a initial fix for some
Windows build errors.

PiperOrigin-RevId: 193407250

Prevent access to deallocated hash map upon exit().

PiperOrigin-RevId: 193404950

Improves error messaging for bad (empty) CSV files.

PiperOrigin-RevId: 193404804

Moving all state (variables) required for _EmbeddingColumn and _SharedEmbeddingColumn into a base.Layer

PiperOrigin-RevId: 193401873

Create specialized functions in optimized graph for each function instantiation context.

PiperOrigin-RevId: 193399263

Minor test improvement

PiperOrigin-RevId: 193398068

Automated g4 rollback of changelist 193369280

PiperOrigin-RevId: 193396206

Make toco generate uint8 weights that are safe for fast int8 kernels.

PiperOrigin-RevId: 193395910

Add support for initializable iterator in distribution strategies. Use that in estimator.

PiperOrigin-RevId: 193394603

Expose an API for invoking sized delete.

Sized delete avoids a costly lookup to map the pointer to the allocated size
when this information is commonly available (Allocator::Deallocate).  As this
code also provides an alignment, we only use these paths when aligned new is
available.

PiperOrigin-RevId: 193392688

Change operands of subtraction expression to have well-defined behaviour.

At present, signed arithmetic overflows (i.e. has undefined behaviour) in general, e.g. when computing 0 - INT_MIN or INT_MAX - INT_MIN. The fact that we want the result in the unsigned type does not help us here.

The fix is to convert the operands to the corresponding unsigned type first and then perform the operation in unsigned arithmetic, which is well-defined and has the correct subtraction behaviour.

PiperOrigin-RevId: 193391813

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 193378249

Update ops-related pbtxt files.

PiperOrigin-RevId: 193378087

Simplify the break canonicalization transformer to use more of the base transformer helpers. Add support for the loop's else block.

PiperOrigin-RevId: 193370640

Updating some more tests in constant_folding_test.cc so that the tests evaluate the original and optimized graphs and check if their outputs are the same.

PiperOrigin-RevId: 193369280

Avoid generating degenerate dimensions during gather expansions

This gets rid of two cases that used to introduce degenerate dimensions
(dimensions with bound = 1) into the while loop state:

 - Previously we'd explicitly reshape gathers using scalar indices to have a
   minor degenerate dimension.  With this CL we no longer do that - instead we
   push this into the code that looks up the index vector from the gather
   indices tensor.
 - Previously we'd have the accumulator (the tensor we're
   dynamic-update-slice-ing into) contain all of the degenerate window dims that
   the gather op would later elide (after the while loop).  With this CL we
   eagerly elide these dimensions as we slice out individual windows from the
   operand.

PiperOrigin-RevId: 193365863

Allow default min/max ranges for int16 data types.

PiperOrigin-RevId: 193362891

Fix bug in importing while loops within a while loop.

PiperOrigin-RevId: 193358699

Enable the n=1 special case in the DeserializeSparse op.

The optimized case was previously dead because of two off-by-one errors (mea culpa).

PiperOrigin-RevId: 193314065

No public changes.

PiperOrigin-RevId: 193309262

[XLA] Convert XLA to use xla::se as a namespace alias for ::stream_executor.

PiperOrigin-RevId: 193301997

Disable CheckpointSaverHook when both save_checkpoints_secs and
save_checkpoints_steps are None

PiperOrigin-RevId: 193299688

Comment out part of ring_reducer_test suspected to have a race.

PiperOrigin-RevId: 193292788

Minor cleanups to the gather expander; NFC

This change is NFC now, but it makes the code more general and this generality
will be used later on.  For instance

  ExpandFirstDimIntoNDims(transposed_gather_indices, {1, shape.dimensions(0)})

does not work if shape is a scalar shape (and this fine because today shape is
never scalar) but

  PrependDegenerateDims(transposed_gather_indices, 1)

works fine if transposed_gather_indices is scalar (and it will be, in a future
change).

PiperOrigin-RevId: 193283404

TpuStrategy -> TPUStrategy

PiperOrigin-RevId: 193275991

Fix CheckpointSaverHook to properly save every save_checkpoints_steps for TPU workloads.

PiperOrigin-RevId: 193266515

Internal Change.

PiperOrigin-RevId: 193262066

Don't consider control flow edges when computing switch depth of switch.

PiperOrigin-RevId: 193259710

Use easy_install to update pip only on Ubuntu14.04

* We only depends on easy_install/easy_install3 to update pip on Ubuntu14.04
* They are not always available for later system e.g. debian9
* We can use pip/pip3 to update themselves

PiperOrigin-RevId: 193257326

[StreamExecutor] Rename ::perftools::gputools -> ::stream_executor, part 1.

Step 1 of re-namespace'ing StreamExecutor into ::stream_executor.

This moves everything inside of stream_executor/..., and leaves a
namespace alias into ::perftools::gputools.  The next steps will clean
up users to use the new namespace.

This is mostly a mechanical change, but it also includes a bunch of
non-mechanical changes that ideally would be split out into separate
patches.  Unfortunately they all sort of need to be shoved in here for
various reasons:

 - forward declarations need to be in the same namespace as the actual
   types, so we need to change all forward declarations of
   StreamExecutor types in this one patch.

 - Uses of these forward declarations need to be changed to the new
   namespace (or otherwise we need to add a namespace alias to the
   relevant header, but this is pretty ugly).

 - Various initialization code needs to live in StreamExecutor's "real"
   namespace, so all this needs to be changed.

PiperOrigin-RevId: 193256128

[XLA] Redesign: support xla::XlaComputation in compile-only client and service.

PiperOrigin-RevId: 193247845

Make GroupRec* const in GroupRecCallback by marking mu mutable in
CollectiveParamResolverLocal::GroupRec.

PiperOrigin-RevId: 193247799

Use is_constructible instead of is_convertible.

Before this, all objects would follow the slow path (since nothing is
convertible to AlphaNum since it has a private copy constructor).

Before:
entry {
  name: "MicroBenchmarks.benchmark_defun_matmul_2_by_2_CPU"
  iters: 30000
  wall_time: 67.5895690918
  extras {
    key: "examples_per_sec"
    value {
      double_value: 14795.1823549
    }
  }
}

After:
entry {
  name: "MicroBenchmarks.benchmark_defun_matmul_2_by_2_CPU"
  iters: 30000
  wall_time: 61.0044002533
  extras {
    key: "examples_per_sec"
    value {
      double_value: 16392.2601623
    }
  }
}
PiperOrigin-RevId: 193247183

Unpack multiple assignments when processing lists. This supports the cases "a, b = [], []" and "[a, b] = [], []". Also expand the static analysis to support list unpacking constructs.

PiperOrigin-RevId: 193247024

Internal change.

PiperOrigin-RevId: 193246563

Fixing a bug in strided slice. The op was not handling negative indices correctly.

PiperOrigin-RevId: 193245539

Cache the ag_internal module, to avoid falsely rejecting it when in the namespace of a previously converted function. Explicitly reject lambda functions, for now, becasue they require special treatment.

PiperOrigin-RevId: 193241279

[XLA] Fix arguments to IsSparseArray and IsDenseArray

PiperOrigin-RevId: 193238920

Fix the test gensym to prevent creating duplicate names in the same test.

PiperOrigin-RevId: 193238314

Relaxes the type constraints for the features in ServingInputReceiver, so it will accept anything convertible to a Tensor or SparseTensor.

This makes it possible to use with tf.contrib.labeled_tensor.

PiperOrigin-RevId: 193238295

Removes another custom implementation of ZeroCopyInputStream, instead uses the now public gRPC implementation.

Also, moves GrpcByteSource to grpc_util, to keep it near the other serialization code.

Lastly, gives a more verbose error if serialization (unparsing) fails (which should not ever happen).

PiperOrigin-RevId: 193236893

Automated g4 rollback of changelist 193168327

PiperOrigin-RevId: 193234819

Moving gradient registration for CudnnRNN op from contrib to core.

PiperOrigin-RevId: 193234663

Fixes and cleanup to support more complex quantized models and adds PropagateFakeQuantNumBits.

PiperOrigin-RevId: 193232630

Replace decode_image with decode_jpeg to avoid ValueError in datasets programmers guide.

PiperOrigin-RevId: 193231717