Collective Ops Part 3

BaseCollectiveExecutor and RingReducer.

This change is part of a series of changes introducing infrastructure
for collective ops and initial implementations of reduction and broadcast.

PiperOrigin-RevId: 192624521

Fixing dependencies.

PiperOrigin-RevId: 192624191

Updating tests containing graphs with Variables so that they Evaluate the original and optimized graphs and check if the outputs are same.

PiperOrigin-RevId: 192616402

Special-case the name scoping for operator methods. TensorFlow disallows top-level name scopes to begin with underscores. Also use the transformer scope information to get to the enclosing function name.

PiperOrigin-RevId: 192600256

Make DType, TensorShape, and Dimension "reducable" for pickling purposes.

PiperOrigin-RevId: 192591402

Enable an r2 reduce window test case.

PiperOrigin-RevId: 192560111

Fix description of DynamicUpdateSlice.

PiperOrigin-RevId: 192550101

Add closure_js_proto_library build for tf.example protos.

PiperOrigin-RevId: 192549109

Enable a reduce window test case.

PiperOrigin-RevId: 192548652

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 192548367

Update ops-related pbtxt files.

PiperOrigin-RevId: 192546579

[XLA] Redesign: fix GetComputationGraphStats.

CreateFromProto requires that the config has proper entry_computation_layout, so give the config the program shape.

PiperOrigin-RevId: 192546316

Switch to WaitForNotification to fix the flaky test.

See:
https://source.cloud.google.com/results/invocations/31632a30-3728-4635-a456-f89b9e8b9dfe/log
PiperOrigin-RevId: 192544848

[XLA] Redesign: test sharding.

Also set the sharding to the instruction when created from proto.

PiperOrigin-RevId: 192543024

Increase size of //tensorflow/python/kernel_tests:linalg_ops_test to "medium".

PiperOrigin-RevId: 192542956

In model_to_estimator, only run get_weights when there are initialized Keras variables(which assumes there exists a session). Otherwise create a session so that we can run get_config().
Actually fix #18193.

PiperOrigin-RevId: 192541442

Add `tf.contrib.stateless.stateless_multinomial()`.

This is a starting point for Dataset-compatible weighted sampling across a list of datasets.

PiperOrigin-RevId: 192540412

Internal testing changes

PiperOrigin-RevId: 192537874

Automated g4 rollback of changelist 192516190

PiperOrigin-RevId: 192536085

Update ops-related pbtxt files.

PiperOrigin-RevId: 192534931

boosted_trees: make sure ensemble deserialization happens for the non-TRAIN modes too.

PiperOrigin-RevId: 192532297

Move callback into bound function to avoid copying.

PiperOrigin-RevId: 192530231

Speed up computing mean confidence intervals by avoiding tf.while_loop.

Implement a vectorized way to compute the same thing instead.

PiperOrigin-RevId: 192524667

support profiling multiple tpu through one grpc and one session.
data are saved with host prefix.

PiperOrigin-RevId: 192523668

Adding support of core feature columns and losses to gradient boosted trees estimators.

PiperOrigin-RevId: 192521398

Revealing the range of node ids in the latest layer via resource' state

PiperOrigin-RevId: 192520351

Increase size of //tensorflow/python/kernel_tests:sets_test to "medium".

PiperOrigin-RevId: 192519639

Fixes issue where name scope collisions could lead to an invalid variable in the metagraph.

PiperOrigin-RevId: 192518307

GCS Filesystem should not cache checkpoint file as we need to read the updated checkpoints from the contents.

PiperOrigin-RevId: 192517819

Extend support to remove transpose/reverse on dimensions of size 1.

PiperOrigin-RevId: 192516190

Adding support for batch_to_space_nd op with crops.

PiperOrigin-RevId: 192511036

Adds a nodedef_fn parameter to copy_op_handler, allowing customization by mutating
NodeDef before creating the copied operation.

PiperOrigin-RevId: 192505209

BREAKING_CHANGE: Remove event_ndims in Bijector, and require `log_det_jacobian` methods to take event_ndims.

The class level event_ndims parameter is being deprecated in favor of passing it in
to the `log_det_jacobian` methods.

Specific changes:

  - `log_det_jacobian` signatures are now `log_det_jacobian(input, event_ndims)`

  - Constructors no long have event_ndims passed in (e.g. Affine() vs. Affine(event_ndims=0)).

  - All bijectors must specify a subset of [forward_min_event_ndims, inverse_min_event_ndims]. This is the minimal dimensionality the bijector operates on, with it being "broadcasted" to any passed in event_ndims (e.g. Exp has forward_min_event_ndims = 0. That means it operates on scalars. However, we can use the bijector on any event_ndims > 0 (i.e. we've broadcasted the transformation to work on any amount of event_ndims > 0), and jacobian reduction will work in those cases.

As a result of this change, all bijectors should "broadcast" (e.g. Sigmoid now works on any number of event_ndims).

Other changes (internal and documentation):
  - Added clarifications on Jacobian Determinant vs. Jacobian Matrix.
  - Added clarifications on min_event_ndims, and what the jacobian reduction is over.
  - Changed caching of ildj to be keyed on event_ndims.
  - Several bug fixes to bugs unearthed while writing this code (e.g. transformed distribution shape computation being incorrect)

PiperOrigin-RevId: 192504919

Porting tests for the `decode_proto` and `encode_proto` to OS.

PiperOrigin-RevId: 192504411

Support for removing unfused quantized activation functions and min/max.

PiperOrigin-RevId: 192503204

Replace examples/image_retraining by a pointer to TensorFlow Hub.

https://github.com/tensorflow/hub/tree/master/examples/image_retraining
has the same tool, upgraded to use TensorFlow Hub instead of raw graph defs.

PiperOrigin-RevId: 192502469

Factor out the syntactic function scope tracking into the transformer. Choosing not to do this at static analysis because it exposes the scope to any node, making it easier to use by any specialization of a transformer.

PiperOrigin-RevId: 192502309

When not necessary, avoid the creation of a `placeholder_with_default` in BN (not yet supported by TPU compilation).

PiperOrigin-RevId: 192502020

DepthwiseConv Optimizations

PiperOrigin-RevId: 192499401

Internal change.

PiperOrigin-RevId: 192498471

Adding hp5y back.

PiperOrigin-RevId: 192491335

Internal TF Lite test changes

PiperOrigin-RevId: 192491201

Increase size of tensorflow/contrib/data/python/kernel_tests:batch_dataset_op_test to "medium".

PiperOrigin-RevId: 192484895

Update docs for softmax_cross_entropy_with_logits.

PiperOrigin-RevId: 192482242

Script to create custom_ops inside a TensorFlow graphdef.

PiperOrigin-RevId: 192481690

Disable prelu tests for real now.

PiperOrigin-RevId: 192480452

Fix uninitialized value.

PiperOrigin-RevId: 192479630

Use tf.train.get_or_create_global_step() instead of deprecated variables.get_or_create_global_step().

PiperOrigin-RevId: 192476077

Add gradient in cond test to match CallGradInLoop.

PiperOrigin-RevId: 192463997

Add a clear error message for when a doc does not have a title.

PiperOrigin-RevId: 192463583

Import FunctionDef as GrapplerFunctionItem

Explicitly track function input arg expansion into Placeholders,
and keep metadata to map between FunctionDef and GraphDef connectivity
formats.

PiperOrigin-RevId: 192462592

Fixing dependencies.

PiperOrigin-RevId: 192461382

Fix Windows GPU TensorFlow Bazel builds.

The configure.py script will error out on Windows GPU builds due
to NCCL attempted to be configured (and is currently Linux only).

PiperOrigin-RevId: 192461362

Temporarily remove prelu from generated_examples_zip_test

PiperOrigin-RevId: 192453411

Remove unused former source of tensorflow.org/tutorials/image_retraining.

The source of https://tensorflow.org/tutorials/image_retraining has moved from
https://github.com/tensorflow/tensorflow/tree/master/tensorflow/docs_src/tutorials
to https://github.com/tensorflow/hub/tree/master/docs/tutorials
because of its use of TensorFlow Hub.

This change replaces the now-defunct version with a pointer to the new
location, in order to avoid dead code.

PiperOrigin-RevId: 192451570

Fixing propagation of minmax info on constant gather ops.

PiperOrigin-RevId: 192448922

[TF:XLA] Mark oom_test as optonly, it's really slow when compiled without optimization.

PiperOrigin-RevId: 192420481

Create FileWriter <-> tf.contrib.summary compatibility layer

This provides an implementation of FileWriter, activated by passing in a `session` parameter to the constructor, that is backed by session.run'ing graph ops that manipulate a tf.contrib.summary.create_file_writer() instance. Because tf.contrib.summary.SummaryWriters are backed by shared resources in the graph, this makes it possible to have a FileWriter and a tf.contrib.summary.SummaryWriter that both write to the same events file.

This change includes some related smaller changes:
- Factors out training_utils.py into a separate target to avoid a cyclic dep
- Moves contrib/summary/summary_ops.py to python/ops/summary_ops_v2.py
- Adds SummaryWriter.init(), .flush(), and .close() op-returning methods
- Changes create_file_writer() `name` arg to default to logdir prefixed by `logdir:` so shared resources are scoped by logdir by default
- Fixes a bug with tf.contrib.summary.flush() `writer` arg
- Makes create_file_writer()'s max_queue arg behave as documented
- Adds more testing for existing tf.contrib.summary API

PiperOrigin-RevId: 192408079

[XLA] Fix the size of data buffer for sparse literals.

PiperOrigin-RevId: 192404543

[XLA] Redesign: implement ComputeHost.

Also support convert from/to proto for ComputeHost.

PiperOrigin-RevId: 192403660

[XLA] Redesgin: implement and test Gather, Conditional.

Also support convert from/to proto for Gather.

PiperOrigin-RevId: 192400659

[XLA] Redesign: implment and test CrossReplicaSum.

PiperOrigin-RevId: 192397189

Update ops-related pbtxt files.

PiperOrigin-RevId: 192392702

[StreamExecutor] Merge StreamExecutor's and XLA's StatusOr classes.

StatusOr is a...complicated class to write.  It's really not good to
have two copies of it.  They've diverged (the XLA one is more
sophisticated), and this may be causing upstream build problems with
gcc6.

PiperOrigin-RevId: 192392111

[XLA] Redesign: implement and test BatchNormXXX.

PiperOrigin-RevId: 192391748

experimental C API: Fix compilation failure in Windows.

The functions added in
https://github.com/tensorflow/tensorflow/commit/be917027e37c5e8f21f6ba07f24bdbf072cf6dfd
are temporary, and their existence breaks compilation in MSVC because of
https://docs.microsoft.com/en-us/cpp/c-language/maximum-string-length
and
https://docs.microsoft.com/en-us/cpp/error-messages/compiler-errors-1/compiler-error-c2026

So just disabling it in Windows for now.

PiperOrigin-RevId: 192391164

Checkpointable: remove colocation constraints from restore ops

Mystery solved thanks to log_device_placement.

PiperOrigin-RevId: 192389574

Remove BN workaround for resource variable gradients bug that was recently fixed.

PiperOrigin-RevId: 192388867

Merge changes from github.

PiperOrigin-RevId: 192388250

Fix for users who were passing `Dimension` type as `units` arg in `Dense`.

PiperOrigin-RevId: 192387984

TFTS: De-flake the LSTM test

Disabling the value-based check for now. Hopefully the shapes are deterministic.

PiperOrigin-RevId: 192383553

Forward the status from LookupResource to GetInputTensorFromVariable rather than returning a generic error status

PiperOrigin-RevId: 192382499

[XLA] Redesign: implement Conj.

PiperOrigin-RevId: 192381481

[XLA] Redesign: implement SliceInDim.

PiperOrigin-RevId: 192381080

[XLA] Redesign: implement ReduceAll.

PiperOrigin-RevId: 192380688

[XLA] Redesign: implement and test SelectAndScatter.

PiperOrigin-RevId: 192380121

Update LogToSTDErr for TF Lite usage

PiperOrigin-RevId: 192379483

Add types to error message in case of mismatch. NFC.

PiperOrigin-RevId: 192370979

Add a thread-safe producer-consumer queue.

PiperOrigin-RevId: 192370670

Fix issue with gradients of resource variables in cond.

PiperOrigin-RevId: 192369091

[XLA] Redesign: implement and test ReduceWindow.

PiperOrigin-RevId: 192368401

Update programmers guide

PiperOrigin-RevId: 192368335

Supporting FakeQuant num_bits and getting the fake quant op matching tensorflow.

PiperOrigin-RevId: 192367307

[XLA] GRPC service definition.

PiperOrigin-RevId: 192364932

Fix `nn` module RNN namespace issues.

PiperOrigin-RevId: 192364808

Allow passing allow_custom_ops for toco_convert.

PiperOrigin-RevId: 192362688

Cleaning up _distributed_apply now the device policy is unnecessary

PiperOrigin-RevId: 192360913

In `get_variable`, nest the choice to use `ResourceVariable` under an
`init_scope`.

This makes sure that, when executing eagerly, calls to `get_variable` in a
`defun`-compiled function retrieve `ResourceVariable`s instead of `Variables`.

PiperOrigin-RevId: 192360775

Small changes to testing code, plus a new binary to check diff from command line.

PiperOrigin-RevId: 192360373

[XLA] Redesign: implement and test Conv.

PiperOrigin-RevId: 192359226

Allow negative feature values in computation for `sum` combiner.

PiperOrigin-RevId: 192355950

Add quantized LogSoftmax.

PiperOrigin-RevId: 192352432

Run EvaluateNodes for ModelPrunerTest_StopGradientPruning. Also updated the test fixture to inherit from GrapplerTest.

PiperOrigin-RevId: 192350828

ParseOpData returns kTfLiteError when error happens.

PiperOrigin-RevId: 192346224

Bug fix for statistical_testing:
  - Max/Min computations should be done over the sample dimension.
  - Change dominate check to be greater_equal instead of greater (for matching dimensions).

PiperOrigin-RevId: 192345809

Add missing import for RNNClassifier

PiperOrigin-RevId: 192344760

[XLA] Redesign: implement and test Rev, BitcastConvertType, Map, and ReducePrecision.

PiperOrigin-RevId: 192342686

Pad support for quantized zero.

PiperOrigin-RevId: 192342172

test previously untested eval codepaths.

PiperOrigin-RevId: 192341561

Handle duplicate features by coalescing them together into a single feature.

PiperOrigin-RevId: 192341065