Automated g4 rollback of changelist 193602050

PiperOrigin-RevId: 193625346

[XLA] Rework the local XLA client's Shape class with separate array and tuple shape constructors.

PiperOrigin-RevId: 193624591

Skip tests with no_oss tag in XLA builds.

PiperOrigin-RevId: 193619344

Always include the local worker in the list of filtered targets.

It is currently legal to specify a device filter that doesn't include the local worker.
In that case, the MasterSession includes all local devices regardless of the filter.
This change extends this behavior to the list of filtered workers, which will be crucial for backwards compatibility when we enable CreateWorkerSession for all MasterSessions, because we need to call CreateWorkerSession on all potential workers.

PiperOrigin-RevId: 193613313

[XLA] Remove default argument on virtual function DeviceMemoryAllocator::Allocate().

Default args on virtual functions are disallowed by the Google style
guide, for good reason.  They have the extremely surprising behavior
that the defaults you get when calling a function on a pointer depend
not on the underlying type of the object, but on whatever is the
semantic type of the pointer!

PiperOrigin-RevId: 193611213

Support variable parameter structure in TPU distribution strategy.

TPUStrategy is added to a few more tests.

There appears to be an issue with the batch norm test in minimize_loss_test where the moving averages stay at 0.  I'm trying to resolve that separately as the next CL.

PiperOrigin-RevId: 193610264

Automated g4 rollback of changelist 193593761

PiperOrigin-RevId: 193609407

Internal change.

PiperOrigin-RevId: 193608140

[XLA] Fix a bug in the name_uniquer.

The problem happens because the name_uniquer stripped away the numeric suffix if it <=0. The solution is, if there was a numeric suffix, the result should also have a numeric suffix.

PiperOrigin-RevId: 193606838

Optimize Graph function library.

PiperOrigin-RevId: 193605910

Respect any device filters in {Create,Delete}WorkerSessions().

This is another step towards enabling us to turn on explicit worker
sessions for all master sessions.

PiperOrigin-RevId: 193605565

internal
END_PUBLIC

BEGIN_PUBLIC
Automated g4 rollback of changelist 193571934

PiperOrigin-RevId: 193602050

Internal testing changes

PiperOrigin-RevId: 193601134

Update DecodeProtoOp so that it returns explicitly specified default values for missing fields.

PiperOrigin-RevId: 193600735

Add support for non-Tensor args in recompute_grad

Previously, the function decorated by recompute_grad had to have a signature that contained only positional arguments, and all those arguments had to be Tensors. Most "layers" users define however have non-Tensor arguments (for example, various hyperparameters) and often have keyword arguments as well. This change allows a user to use whatever function signature they wish while being explicit about which arguments are Tensors.

PiperOrigin-RevId: 193600682

Minor code refactoring.

PiperOrigin-RevId: 193600173

[XLA] De-unique_ptr-ify ShapedBuffer and ScopedShapedBuffer.

These are already notionally equivalent to T* and unique_ptr<T>, so
having a unique_ptr of a {Scoped,}ShapedBuffer is pretty redundant.

Also clean up the ScopedShapedBuffer API a bit.

PiperOrigin-RevId: 193599773

Removed deprecated methods from tensorflow::StringPiece.

This will allow tensorflow::StringPiece to be more easily replaced with absl::string_view as absl::string_view does not contain those methods.

PiperOrigin-RevId: 193599651

Run EvaluateNodes for ModelPruner test except for NoPruning.

PiperOrigin-RevId: 193596812

Improve error messages for LiteralTestUtil::Near.
Previously error messages for mismatches were difficult to read with much of the space taken by useless stack traces. This CL cleans up the message considerably and adds additional information including statistics about the values and mismatches.

PiperOrigin-RevId: 193594593

Cleaned up the handling of merge nodes

PiperOrigin-RevId: 193593810

Make xla/service:cpu_plugin depend on the StreamExecutor host platform.

PiperOrigin-RevId: 193593761

Automated g4 rollback of changelist 193564222

PiperOrigin-RevId: 193588935

Internal-only change.

PiperOrigin-RevId: 193588868

Simplifying cols_to_vars update

PiperOrigin-RevId: 193585237

Prevent a bool field from being accessed when uninitialized.

PiperOrigin-RevId: 193584746

Convert a local variable and mutex to a struct so GUARDED_BY annotation works correctly.

PiperOrigin-RevId: 193584438

Only generate floating points that are fractions like n / 256, since they are RGB pixels. This fixes RGBToHSVTest.testBatch on low-precision dtypes like bfloat16.

PiperOrigin-RevId: 193581652

disabling opensource testing for failing xla test

PiperOrigin-RevId: 193579805

Replaced calls to deprecated tensorflow::StringPiece methods with their
tensorflow::str_util equivalents.

This will allow the deprecated methods to be removed.

PiperOrigin-RevId: 193575992

The HLO element type converter must remove side effecting instructions like Rng

The CPU backend does not know how to lower bf16 typed RNG nodes so even unused
instances of these can't remain in the HLO IR.
HloComputation::ReplaceInstruction keeps these Rng nodes around since it doesn't
remove side effecting nodes.
PiperOrigin-RevId: 193575183

RecordReader: Simplify interface contract and implementation.

Prior to this change, RecordReader had the following contract:
- Records can be read in any order, EXCEPT if compression or buffering was
  enabled.
- If the underlying file is being concurrently written to
  then calls to ReadRecord() may fail (because of an incomplete
  record near the end of a file), but a retry may succeed (once the
  record is written), EXCEPT if compression or buffering is enabled
  (in which case the failure will be terminal).

  This "retry-may-succeed" behavior is relied upon by tensorboard
  (https://github.com/tensorflow/tensorboard/blob/1.7/tensorboard/backend/event_processing/event_file_loader.py#L55)
  where one process (typically the model training process) is writing
  tf.summary events to an event file and another process (tensorboard)
  is concurrently reading it.

With this change, the intent is to remove the EXCEPTions and have the
same behavior irrespective of compression/buffering.

Additionally, fix a memory leak when ZlibInputStream::Reset() is invoked.

PiperOrigin-RevId: 193571934

Make flat_transforms_to_matrices and matrices_to_flat_transforms public available.

PiperOrigin-RevId: 193571089

tools/lib_package: Fix typo in README

PiperOrigin-RevId: 193566850

Allow output has a different shape from input in the image.transform (#17011).

PiperOrigin-RevId: 193564222

Support various shapes in TPU DistributionStrategy.

PiperOrigin-RevId: 193563912

Collective Ops Part 4

Add Broadcaster.
A few minor adjustments to CollectiveParams and RMA.

This change is part of a series of changes introducing infrastructure
for collective ops and initial implementations of reduction and broadcast.

PiperOrigin-RevId: 193562391

Make PmfToQuantizedCdf op to make adjustments if the sum of quantized pmf is
less than 2**precision.

Prior to the change, the op did nothing when the sum of quantized pmf was less
than 2**precision. While the produced CDF was valid for range coders,
adjustments to CDF could be made to achieve better compression rate.

PiperOrigin-RevId: 193558740

Fix bug in ring_reducer.cc abort handling.

PiperOrigin-RevId: 193557334

Add support for Dataset Iterators in Model training/eval methods in graph mode.

PiperOrigin-RevId: 193552275

Internal cleanup.

PiperOrigin-RevId: 193552240

Avoid looking up the shape functions multiple times
Improved the handling of fed nodes

PiperOrigin-RevId: 193552210

Change estimator to only log non-binary eval metrics, because logging binary metrics such as images will lead to crash.

PiperOrigin-RevId: 193551927

Implements linear_model using _LinearModel. Added support for cols_to_vars in _LinearModel in order to make this possible. Also, made some fixes so that variable names come out the same as before.

PiperOrigin-RevId: 193551353

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 193550428

Update ops-related pbtxt files.

PiperOrigin-RevId: 193546050

Updating tests in constant_folding_test.cc so that they Evaluate the optimized and original graph and check if their outputs are the same.

PiperOrigin-RevId: 193543478

Fix open source BUILD bugs for cloud profiler. Increment
version for releasing cloud_tpu_profiler 1.6 with pod profiling support.

PiperOrigin-RevId: 193541692

Allow non-isolated worker sessions to borrow `WorkerEnv::device_mgr`.

Without this change, a shared resource (e.g. an Iterator) could not be
created in one session `s1`, and used in a later session `s2` after
`s1` was closed, because the iterator might indirectly capture devices
from the previous session, and use them after they are freed when the
`WorkerSession` was deleted.

The current change only affects the singleton "legacy" WorkerSession,
which is never deleted, but this is necessary to switch all sessions
to use separate WorkerSession objects.

PiperOrigin-RevId: 193541426

Fix undefined signed integer overflow by performing addition more carefully.

PiperOrigin-RevId: 193537461

Add metric names to model.metrics_names in compile for keras models run in eager execution. This prevents us from dropping metrics when we run model.evaluate.

PiperOrigin-RevId: 193536341

distribution_util moved into its own BUILD target, so linear_operator can depend on it.

PiperOrigin-RevId: 193535400

Prototype for tf.data writer API.

PiperOrigin-RevId: 193534333

Added support for concatenation and slicing of symbolic shapes

PiperOrigin-RevId: 193532769

Create a skeleton tf.contrib.checkpoint.

My plan for this is to incubate tools for working with object-based checkpoints:
  - Tools for managing dependency graphs, e.g. checkpointable lists/dictionaries
  - Inspecting/visualizing checkpoints
  - Listing variables and gathering initializers from a Checkpointable object
    and its dependencies
  - Verifying all variables are accessible as dependencies, which should make
    converting existing graph building Saver uses easier/safer.

This CL includes none of those things, it just moves the split_dependency tool
here instead of contrib/eager.

PiperOrigin-RevId: 193531292

[tf.data] Add checkpointing support for MapAndBatchDataset.

PiperOrigin-RevId: 193528712

Disable dlopen error of libneuralnetworks for non-Android platforms.

PiperOrigin-RevId: 193528346

[TF:XLA] Change HloTestBase::ExecuteNoHloPasses to return a literal directly.

PiperOrigin-RevId: 193526900

Pin pip to version 9.0.3

* This is because pip 10 is still unstable in some distros
* reference: https://github.com/pypa/pip/issues/5240

PiperOrigin-RevId: 193525542

Teach the conditinal simplifier about sharding.

PiperOrigin-RevId: 193510638

Update the Colorbot demo to use a Keras model in addition to the Estimator.

PiperOrigin-RevId: 193508874

Support for converting entire class hierarchies:
 * limit the methods being converted to those that have not been inherited from the superclass
 * include the (possibly compiled) superclass in the definition of the compiled class
 * either mark the superclass for conversion or generate an absolute aliased import line, depending on whether it's whitelisted

PiperOrigin-RevId: 193499204

Handle corner case in Python 3: members annotated with @classmethod.

PiperOrigin-RevId: 193495506

Set the random seed in on-demand mode.

PiperOrigin-RevId: 193488103

Update feature_util's GetFeatures to show compile-time error for unsupported types instead of a link-time error.

PiperOrigin-RevId: 193480683

Remove proto import in header files for core/kernels/boosted_trees.
Move implementations that requires declaration of TreeEnsemble to .cc files.

The goal is to make kernels mostly independent of proto headers, which will let us lock down our .so import

PiperOrigin-RevId: 193478404

docs: Add a note on building the C and/or Java API binaries from source.

See #15290

PiperOrigin-RevId: 193473886

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 193471104

Update ops-related pbtxt files.

PiperOrigin-RevId: 193469437

[tf.data] Add native implementation for `tf.contrib.data.unbatch()`.

The implementation has two main improvements:
1. Avoid relatively expensive (~15us) function invocation for each incoming batch.
2. Use std::move() where possible to avoid copying strings/variants into the unbatched
   elements.

PiperOrigin-RevId: 193467856

[XLA] Fix BF16 propagation bug for while condition.

PiperOrigin-RevId: 193465140

Initial addition of CLZ HLO

* Adds the HLO op and lowering on CPU/GPU/evaluator;
* This does not update the operation semantics;

PiperOrigin-RevId: 193461989

Expose tf.contrib.training.{prepend_from_queue_and_padded_batch_dataset}

Also its helper method "enqueue_in_queue_dataset".

PiperOrigin-RevId: 193458095

Use the host implementation of vec permute op if the input on the host. Note
that the op still needs to be placed on the GPU so that it stays within the
same partiion with the neighboring ops, and as a result, no unnecessary send
and recv are created.

PiperOrigin-RevId: 193457328

Teach the reshape mover pass about sharding.

PiperOrigin-RevId: 193457083

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 193456151

Update ops-related pbtxt files.

PiperOrigin-RevId: 193454093

Teach transpose folding about sharding.

PiperOrigin-RevId: 193451839

[TF TensorLists] Add TensorListConcatLists

TensorListConcat concatenates two TensorLists' entries (supports non-scalar
Tensors containing TensorLists).

PiperOrigin-RevId: 193451787

Various lint fixes to TensorFlow detected after GitHub merge.

PiperOrigin-RevId: 193448139

Enable for all gpus.

PiperOrigin-RevId: 193446717

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 193446519

Update ops-related pbtxt files.

PiperOrigin-RevId: 193443417

Fix reference name.

PiperOrigin-RevId: 193442269

Replace space in "Fraction of Zero Values" with _ because using space is illegal and will be auto replaced.

PiperOrigin-RevId: 193441676

Add a ten-second timeout to the DeleteWorkerSession call.

Previously, `MasterSession::Close()` did not block on the cleanup RPCs
to the individual workers, leading to deployments where the remote
workers might be shut down (e.g. by an external mechanism) before the
session was closed. In order to switch over to using
DeleteWorkerSession for all sessions, and preserve backwards
compatibility, we need to permit this behavior. Therefore, this CL
adds a 10-second timeout on the requests to workers, and logs an error
if the request does not succeed in that time period.

PiperOrigin-RevId: 193441618

Add tf.train.Checkpoint for reading and writing object-based checkpoints.

Previously exposed as tf.contrib.eager.Checkpoint / tfe.Checkpoint.

Spiffies up the documentation a bit, but otherwise just adds the export decorator.

Compatible in both directions with tf.train.Saver (object-based checkpoints can be fed to tf.train.Saver, and name-based checkpoints can be fed to tf.train.Checkpoint).

PiperOrigin-RevId: 193439442

Change distribution.distribute_dataset to accept an input_fn instead of a dataset.

PiperOrigin-RevId: 193437651

Adds dataset transformation function `set_stats_aggregator(..)`, which sets the given `stats_aggregator` for aggregating the input dataset stats.

PiperOrigin-RevId: 193432590

Disable failing test RGBToHSVTest.testBatch

PiperOrigin-RevId: 193431888

Remove duplicate code.

PiperOrigin-RevId: 193430279

Have TensorFlow Distributions share name scopes across method calls.
END_PUBLIC

*** Reason for rollback ***

Roll forward, allowing distributions to have same names across objects.

*** Original change description ***

BEGIN_PUBLIC
Automated g4 rollback of changelist 190728742

PiperOrigin-RevId: 193428925

Automated g4 rollback of changelist 192180356

PiperOrigin-RevId: 193427566

Never use the LegacySession when a Master explicitly calls CreateWorkerSession.

Previously, if the session handle was unrecognized by the worker, it
would default to using the LegacySession. This prevents us from
noticing that a server has been restarted.

To address the problem in a backwards-compatible way, we add a bit to
each session-handle-carrying worker request, indicating whether the
master believes that CreateWorkerSession has been called. If this bit
is set and the handle is unrecognized, the worker will raise an
AbortedError, which can be caught by high-level frameworks such as
`tf.estimator`.

Note that CreateWorkerSession is not yet used by default, and a
follow-up change will add that.

PiperOrigin-RevId: 193427057

A very simple AST pattern matcher. Only supports wildcards, and it's minimally tested. When using, you may want to add your use case to the tests.

PiperOrigin-RevId: 193426859

Fix loss computation bug in Model training/eval methods with eager execution enabled.
Fixes #18642.

PiperOrigin-RevId: 193423288

Fix a bug in GcsFileSystem that inconsistent read error may not be revealed if
the requested read size is larger than the block size.

PiperOrigin-RevId: 193422905

Merged commit includes the following changes:
193422827  by yifeif:

    Fix buildifier error.

--
193421691  by skyewm:

    Make GraphModeFunctions work with _USE_C_SHAPES=True.

    Tensor._handle_data is going away. This change adds special hooks for
    propagating the resource handle shape information through
    EagerTensors.

--
193421473  by A. Unique TensorFlower:

    Register dynamic_stitch for DT_VARIANT type.

--
193421175  by nolivia:

    disabling flaky tsan test

--
193420117  by nolivia:

    disabling flaky test in tensorflow that has no apparent culprit

--

PiperOrigin-RevId: 193422827

Adds an implementation of the precision at recall metric.

PiperOrigin-RevId: 193418737

Increase shard count of :init_ops_test.

PiperOrigin-RevId: 193418147