Add a utility to visualize object-based checkpoints

Useful for generating a warm fuzzy feeling that everything you think should be saved was saved, and for explaining what object-based checkpointing is. (Also useful on the former front will be a planned "assert that all of this Graph's trainable variables are accessible from object X" function.)

Somewhat hacky since it generates strings rather than using the pydot bindings (and so works without a pydot dependency).

PiperOrigin-RevId: 193708003

Changed tf_to_tflite build rule.

PiperOrigin-RevId: 193707628

Add native dilated support for conv3d and its gradients in cudnn v>=6.

PiperOrigin-RevId: 193703316

[TF:XLA] Now that the compiler no longer introduces implicit broadcasts, forbid them in the HLO verifier.

PiperOrigin-RevId: 193702874

Prefix compat import with underscore in meta_graph_transform.py so that it
doesn't get exported as part of API: https://www.tensorflow.org/versions/r1.8/api_docs/python/tf/contrib/meta_graph_transform/meta_graph_transform

PiperOrigin-RevId: 193702570

[XLA] Fix a bug in ToProto: don't add gather attributes twice.

PiperOrigin-RevId: 193699745

Move the guts of TFE_Op into EagerOperation

PiperOrigin-RevId: 193698320

Allow creating tensors from numpy arrays, and other various constants - try #2

Allow type-inference from a different input tensor, similar to args_to_matching_eager.

- Update TFE_Py_TensorShapeSlice to take tuples.
- Update int values to allow int/long in py2
END_PUBLIC

BEGIN_PUBLIC
Automated g4 rollback of changelist 192184809

PiperOrigin-RevId: 193696790

Temporarily set cudnn Rnn math precision to fp32.

Problem:
When calling cudnnGetRNNLinLayerMatrixParams(), return error CUDNN_STATUS_BAD_PARAM if:

* RNN descriptor set math precision = CUDNN_DATA_FLOAT
* input descriptor dataType = CUDNN_DATA_HALF
* weight descriptor dataType= CUDNN_DATA_HALF

If updating Rnn descriptor math precision to CUDNN_DATA_HALF, then no error.

cudnn 7.1.4 will fix the problem.

PiperOrigin-RevId: 193696566

Speed up safe_strtod and safe_strtof functions by using double-conversion library
Closes #12102.

PiperOrigin-RevId: 193696537

Use CreateWorkerSession and DeleteWorkerSession for all distributed sessions.

This change adds a phase to the session creation protocol: the master now contacts all workers to register a session handle and create a "WorkerSession" on each worker before it first registers or runs a graph on any worker. Subsequent requests to a worker ensure that the worker has the session handle registered before performing the request, and an AbortedError is raised if the worker has not (e.g. because it restarted after a failure).

As a result, more failure cases are covered by the high-level APIs (tf.estimator, Slim, etc.) that recreate the session on receiving an AbortedError. Previously, there was a possible race condition in which a PS task could restart between variable initialization and the first step, leading to a FailedPreconditionError ("Attempting to use uninitialized value") that would not be handled by the high-level APIs.

PiperOrigin-RevId: 193694958

[XLA:CPU] Use Eigen for F64 dot operations

PiperOrigin-RevId: 193694613

Disable constant folding and arithmetic optimizations for functions.

PiperOrigin-RevId: 193688466

Adding Shape inference functions to outfeed enqueue ops.

PiperOrigin-RevId: 193688099

Change the TF record reader to use 16MB buffering by default in order to improve performance.

PiperOrigin-RevId: 193685521

Correct error in "Adding An Op" docs.

The macro `REGISTER_KERNEL_BUILDER` always declared a functor specialized on floats, instead of the type actually passed into the macro.

PiperOrigin-RevId: 193682519

Don't delete inbound_nodes and outbound_nodes, these no longer exist.

PiperOrigin-RevId: 193679512

Fix msan error in MapAndBatchDataset.
While checkpointing tensors in BatchResult.output save only the initialized slice.
If the final batch is short, the entire batch tensor may not be initialized.

PiperOrigin-RevId: 193678679

[TF:XLA] Bump open source llvm revision to r330313

PiperOrigin-RevId: 193678317

Eliminate the guard around Winograd non-fused convolutions with cudnn7.

PiperOrigin-RevId: 193669636

internal change

PiperOrigin-RevId: 193659701

[TF:XLA] Implement ClipByValue.

PiperOrigin-RevId: 193646890

[TF:XLA] Factor out the handling of while instructions to make HloVerifier::Run shorter.

PiperOrigin-RevId: 193626864

Automated g4 rollback of changelist 193602050

PiperOrigin-RevId: 193625346

[XLA] Rework the local XLA client's Shape class with separate array and tuple shape constructors.

PiperOrigin-RevId: 193624591

Skip tests with no_oss tag in XLA builds.

PiperOrigin-RevId: 193619344

Always include the local worker in the list of filtered targets.

It is currently legal to specify a device filter that doesn't include the local worker.
In that case, the MasterSession includes all local devices regardless of the filter.
This change extends this behavior to the list of filtered workers, which will be crucial for backwards compatibility when we enable CreateWorkerSession for all MasterSessions, because we need to call CreateWorkerSession on all potential workers.

PiperOrigin-RevId: 193613313

[XLA] Remove default argument on virtual function DeviceMemoryAllocator::Allocate().

Default args on virtual functions are disallowed by the Google style
guide, for good reason.  They have the extremely surprising behavior
that the defaults you get when calling a function on a pointer depend
not on the underlying type of the object, but on whatever is the
semantic type of the pointer!

PiperOrigin-RevId: 193611213

Support variable parameter structure in TPU distribution strategy.

TPUStrategy is added to a few more tests.

There appears to be an issue with the batch norm test in minimize_loss_test where the moving averages stay at 0.  I'm trying to resolve that separately as the next CL.

PiperOrigin-RevId: 193610264

Automated g4 rollback of changelist 193593761

PiperOrigin-RevId: 193609407

Internal change.

PiperOrigin-RevId: 193608140

[XLA] Fix a bug in the name_uniquer.

The problem happens because the name_uniquer stripped away the numeric suffix if it <=0. The solution is, if there was a numeric suffix, the result should also have a numeric suffix.

PiperOrigin-RevId: 193606838

Optimize Graph function library.

PiperOrigin-RevId: 193605910

Respect any device filters in {Create,Delete}WorkerSessions().

This is another step towards enabling us to turn on explicit worker
sessions for all master sessions.

PiperOrigin-RevId: 193605565

internal
END_PUBLIC

BEGIN_PUBLIC
Automated g4 rollback of changelist 193571934

PiperOrigin-RevId: 193602050

Internal testing changes

PiperOrigin-RevId: 193601134

Update DecodeProtoOp so that it returns explicitly specified default values for missing fields.

PiperOrigin-RevId: 193600735

Add support for non-Tensor args in recompute_grad

Previously, the function decorated by recompute_grad had to have a signature that contained only positional arguments, and all those arguments had to be Tensors. Most "layers" users define however have non-Tensor arguments (for example, various hyperparameters) and often have keyword arguments as well. This change allows a user to use whatever function signature they wish while being explicit about which arguments are Tensors.

PiperOrigin-RevId: 193600682

Minor code refactoring.

PiperOrigin-RevId: 193600173

[XLA] De-unique_ptr-ify ShapedBuffer and ScopedShapedBuffer.

These are already notionally equivalent to T* and unique_ptr<T>, so
having a unique_ptr of a {Scoped,}ShapedBuffer is pretty redundant.

Also clean up the ScopedShapedBuffer API a bit.

PiperOrigin-RevId: 193599773

Removed deprecated methods from tensorflow::StringPiece.

This will allow tensorflow::StringPiece to be more easily replaced with absl::string_view as absl::string_view does not contain those methods.

PiperOrigin-RevId: 193599651

Run EvaluateNodes for ModelPruner test except for NoPruning.

PiperOrigin-RevId: 193596812

Improve error messages for LiteralTestUtil::Near.
Previously error messages for mismatches were difficult to read with much of the space taken by useless stack traces. This CL cleans up the message considerably and adds additional information including statistics about the values and mismatches.

PiperOrigin-RevId: 193594593

Cleaned up the handling of merge nodes

PiperOrigin-RevId: 193593810

Make xla/service:cpu_plugin depend on the StreamExecutor host platform.

PiperOrigin-RevId: 193593761

Automated g4 rollback of changelist 193564222

PiperOrigin-RevId: 193588935

Internal-only change.

PiperOrigin-RevId: 193588868

Simplifying cols_to_vars update

PiperOrigin-RevId: 193585237

Prevent a bool field from being accessed when uninitialized.

PiperOrigin-RevId: 193584746

Convert a local variable and mutex to a struct so GUARDED_BY annotation works correctly.

PiperOrigin-RevId: 193584438

Only generate floating points that are fractions like n / 256, since they are RGB pixels. This fixes RGBToHSVTest.testBatch on low-precision dtypes like bfloat16.

PiperOrigin-RevId: 193581652

disabling opensource testing for failing xla test

PiperOrigin-RevId: 193579805

Replaced calls to deprecated tensorflow::StringPiece methods with their
tensorflow::str_util equivalents.

This will allow the deprecated methods to be removed.

PiperOrigin-RevId: 193575992

The HLO element type converter must remove side effecting instructions like Rng

The CPU backend does not know how to lower bf16 typed RNG nodes so even unused
instances of these can't remain in the HLO IR.
HloComputation::ReplaceInstruction keeps these Rng nodes around since it doesn't
remove side effecting nodes.
PiperOrigin-RevId: 193575183

RecordReader: Simplify interface contract and implementation.

Prior to this change, RecordReader had the following contract:
- Records can be read in any order, EXCEPT if compression or buffering was
  enabled.
- If the underlying file is being concurrently written to
  then calls to ReadRecord() may fail (because of an incomplete
  record near the end of a file), but a retry may succeed (once the
  record is written), EXCEPT if compression or buffering is enabled
  (in which case the failure will be terminal).

  This "retry-may-succeed" behavior is relied upon by tensorboard
  (https://github.com/tensorflow/tensorboard/blob/1.7/tensorboard/backend/event_processing/event_file_loader.py#L55)
  where one process (typically the model training process) is writing
  tf.summary events to an event file and another process (tensorboard)
  is concurrently reading it.

With this change, the intent is to remove the EXCEPTions and have the
same behavior irrespective of compression/buffering.

Additionally, fix a memory leak when ZlibInputStream::Reset() is invoked.

PiperOrigin-RevId: 193571934

Make flat_transforms_to_matrices and matrices_to_flat_transforms public available.

PiperOrigin-RevId: 193571089

tools/lib_package: Fix typo in README

PiperOrigin-RevId: 193566850

Allow output has a different shape from input in the image.transform (#17011).

PiperOrigin-RevId: 193564222

Support various shapes in TPU DistributionStrategy.

PiperOrigin-RevId: 193563912

Collective Ops Part 4

Add Broadcaster.
A few minor adjustments to CollectiveParams and RMA.

This change is part of a series of changes introducing infrastructure
for collective ops and initial implementations of reduction and broadcast.

PiperOrigin-RevId: 193562391

Make PmfToQuantizedCdf op to make adjustments if the sum of quantized pmf is
less than 2**precision.

Prior to the change, the op did nothing when the sum of quantized pmf was less
than 2**precision. While the produced CDF was valid for range coders,
adjustments to CDF could be made to achieve better compression rate.

PiperOrigin-RevId: 193558740

Fix bug in ring_reducer.cc abort handling.

PiperOrigin-RevId: 193557334

Add support for Dataset Iterators in Model training/eval methods in graph mode.

PiperOrigin-RevId: 193552275

Internal cleanup.

PiperOrigin-RevId: 193552240

Avoid looking up the shape functions multiple times
Improved the handling of fed nodes

PiperOrigin-RevId: 193552210

Change estimator to only log non-binary eval metrics, because logging binary metrics such as images will lead to crash.

PiperOrigin-RevId: 193551927

Implements linear_model using _LinearModel. Added support for cols_to_vars in _LinearModel in order to make this possible. Also, made some fixes so that variable names come out the same as before.

PiperOrigin-RevId: 193551353

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 193550428

Update ops-related pbtxt files.

PiperOrigin-RevId: 193546050

Updating tests in constant_folding_test.cc so that they Evaluate the optimized and original graph and check if their outputs are the same.

PiperOrigin-RevId: 193543478

Fix open source BUILD bugs for cloud profiler. Increment
version for releasing cloud_tpu_profiler 1.6 with pod profiling support.

PiperOrigin-RevId: 193541692

Allow non-isolated worker sessions to borrow `WorkerEnv::device_mgr`.

Without this change, a shared resource (e.g. an Iterator) could not be
created in one session `s1`, and used in a later session `s2` after
`s1` was closed, because the iterator might indirectly capture devices
from the previous session, and use them after they are freed when the
`WorkerSession` was deleted.

The current change only affects the singleton "legacy" WorkerSession,
which is never deleted, but this is necessary to switch all sessions
to use separate WorkerSession objects.

PiperOrigin-RevId: 193541426

Fix undefined signed integer overflow by performing addition more carefully.

PiperOrigin-RevId: 193537461

Add metric names to model.metrics_names in compile for keras models run in eager execution. This prevents us from dropping metrics when we run model.evaluate.

PiperOrigin-RevId: 193536341

distribution_util moved into its own BUILD target, so linear_operator can depend on it.

PiperOrigin-RevId: 193535400

Prototype for tf.data writer API.

PiperOrigin-RevId: 193534333

Added support for concatenation and slicing of symbolic shapes

PiperOrigin-RevId: 193532769

Create a skeleton tf.contrib.checkpoint.

My plan for this is to incubate tools for working with object-based checkpoints:
  - Tools for managing dependency graphs, e.g. checkpointable lists/dictionaries
  - Inspecting/visualizing checkpoints
  - Listing variables and gathering initializers from a Checkpointable object
    and its dependencies
  - Verifying all variables are accessible as dependencies, which should make
    converting existing graph building Saver uses easier/safer.

This CL includes none of those things, it just moves the split_dependency tool
here instead of contrib/eager.

PiperOrigin-RevId: 193531292

[tf.data] Add checkpointing support for MapAndBatchDataset.

PiperOrigin-RevId: 193528712

Disable dlopen error of libneuralnetworks for non-Android platforms.

PiperOrigin-RevId: 193528346

[TF:XLA] Change HloTestBase::ExecuteNoHloPasses to return a literal directly.

PiperOrigin-RevId: 193526900

Pin pip to version 9.0.3

* This is because pip 10 is still unstable in some distros
* reference: https://github.com/pypa/pip/issues/5240

PiperOrigin-RevId: 193525542

Teach the conditinal simplifier about sharding.

PiperOrigin-RevId: 193510638

Update the Colorbot demo to use a Keras model in addition to the Estimator.

PiperOrigin-RevId: 193508874

Support for converting entire class hierarchies:
 * limit the methods being converted to those that have not been inherited from the superclass
 * include the (possibly compiled) superclass in the definition of the compiled class
 * either mark the superclass for conversion or generate an absolute aliased import line, depending on whether it's whitelisted

PiperOrigin-RevId: 193499204

Handle corner case in Python 3: members annotated with @classmethod.

PiperOrigin-RevId: 193495506

Set the random seed in on-demand mode.

PiperOrigin-RevId: 193488103

Update feature_util's GetFeatures to show compile-time error for unsupported types instead of a link-time error.

PiperOrigin-RevId: 193480683

Remove proto import in header files for core/kernels/boosted_trees.
Move implementations that requires declaration of TreeEnsemble to .cc files.

The goal is to make kernels mostly independent of proto headers, which will let us lock down our .so import

PiperOrigin-RevId: 193478404

docs: Add a note on building the C and/or Java API binaries from source.

See #15290

PiperOrigin-RevId: 193473886

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 193471104

Update ops-related pbtxt files.

PiperOrigin-RevId: 193469437

[tf.data] Add native implementation for `tf.contrib.data.unbatch()`.

The implementation has two main improvements:
1. Avoid relatively expensive (~15us) function invocation for each incoming batch.
2. Use std::move() where possible to avoid copying strings/variants into the unbatched
   elements.

PiperOrigin-RevId: 193467856

[XLA] Fix BF16 propagation bug for while condition.

PiperOrigin-RevId: 193465140

Initial addition of CLZ HLO

* Adds the HLO op and lowering on CPU/GPU/evaluator;
* This does not update the operation semantics;

PiperOrigin-RevId: 193461989

Expose tf.contrib.training.{prepend_from_queue_and_padded_batch_dataset}

Also its helper method "enqueue_in_queue_dataset".

PiperOrigin-RevId: 193458095

Use the host implementation of vec permute op if the input on the host. Note
that the op still needs to be placed on the GPU so that it stays within the
same partiion with the neighboring ops, and as a result, no unnecessary send
and recv are created.

PiperOrigin-RevId: 193457328

Teach the reshape mover pass about sharding.

PiperOrigin-RevId: 193457083

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 193456151

Update ops-related pbtxt files.

PiperOrigin-RevId: 193454093