Porting tests for `rpc_op` to OS.

PiperOrigin-RevId: 192698931

Move dummy AssertOp and CheckNumericsOp to //third_party/tensorflow/compiler/tf2xla/kernels.
Enable type DT_STRING for AssertOp and ConstOp, in order to make dummy Assert compile with a const string (assert message) as its input.

PiperOrigin-RevId: 192695938

Fix a typo in cross_tower_ops.

PiperOrigin-RevId: 192694794

Misc. small optimizations in Grappler and shape inference code.

Impact on time per optimizer on inception graph:

model_pruner:          590 ms -> 550 ms   (-7%)
function_optimizer:    130 ms -> 130 ms   (-0%)
constant_folding:     7600 ms -> 7550 ms  (-0.7%)
arithmetic_optimizer: 1860 ms -> 1550 ms  (-20%)
loop_optimizer:        320 ms -> 320 ms   (-0%)
dependency_optimizer: 1300 ms -> 720 ms   (-45%)
layout:               1400 ms -> 1400 ms  (-0%)
memory_optimizer:     4200 ms -> 3540 ms  (-16%)
PiperOrigin-RevId: 192694528

Document support for boolean values in tf.contrib.training.HParams.

PiperOrigin-RevId: 192694244

[XLA:GPU] Pass all four args to custom-call convs when they're created.

A custom-call-conv should have four arguments: lhs, rhs, algorithm, and
use-tensor-cores.  CudnnAlgorithmPicker did the right thing, and that
path is exercised 99% of the time.  But CudnnAlgorithmPicker can fail,
and if it does, we're stuck with whatever we had before.  What we had
before only had three of the four args, which is bad.

In addition to fixing it, added an e2e test that catches the bug.

PiperOrigin-RevId: 192694119

Propagate sharding of the source instruction to the copies added by layout assignment.

PiperOrigin-RevId: 192693972

Change assertions to use the tensor 'x' rather than 'x.op.name'. This enables eager execution in validate_args=True contexts.

PiperOrigin-RevId: 192693458

Exposing tensorflow.contrib.proto in the pip package.

PiperOrigin-RevId: 192691078

Add support for RNN state array of type tf.identity.

PiperOrigin-RevId: 192689747

Added a utility to compute a topo ordering of a graph

PiperOrigin-RevId: 192683166

[tf.data] Clean up //tensorflow/contrib/data/python/ops/BUILD.

Create spearate targets for each submodule, so that each test can depend on
the appropriate subset of Python files.

PiperOrigin-RevId: 192679856

Check if the session has been deleted before releasing a callable.

In some versions of Python, the Session._session field may be cleared
(in `Session.__del__()`) before a callable that has a reference to
that Session is deleted. Add a defensive check in the
`Session._Callable.__del__()` method.

PiperOrigin-RevId: 192679796

K-FAC: Deprecate tf.contrib.kfac.

As LayerCollections are required to instantiate KfacOptimizer and FisherEstimator, a deprecation warning is printed upon instantiating LayerCollection.

PiperOrigin-RevId: 192671370

ResolveConstantReshape transformation and fix for ResolveConstantTranspose.

PiperOrigin-RevId: 192670991

Make new build target public.

PiperOrigin-RevId: 192659759

Fix build breakage on metagraph exporting when caching_device is set

PiperOrigin-RevId: 192659701

Separate out distribute dependency out of training, as it needs to be used in summary utils (which training depends on, thus causing circular dependency).

PiperOrigin-RevId: 192656997

Upgrade libjpeg-turbo

NOTE: libjpeg-turbo 1.5.90 also exists, which adds AVX2 SIMD support. However
it also comes with a CMake build rewrite and 35 micro-architecture specialized
nasm files for x86_64 alone. We do not have the cycles to update jpeg.BUILD to
incorporate those changes at this time. If anyone wants to try, please note
we'd need predicates such as the following:

config_setting(
    name = "haswell_opt",
    values = {
        "cpu": "haswell",  # First Intel chip with AVX2
        "compilation_mode": "opt",
    },
    visibility = ["//visibility:public"],
)

config_setting(
    name = "excavator_opt",
    values = {
        "cpu": "excavator",  # First AMD chip with AVX2
        "compilation_mode": "opt",
    },
    visibility = ["//visibility:public"],
)

PiperOrigin-RevId: 192655533

Fix comment of bucket_by_sequence_length about return type of
element_length_func. Current code requires tf.int32 in order to compare with
buckets_min which is int32.

PiperOrigin-RevId: 192652917

Restore dependency on estimator utils from model.

PiperOrigin-RevId: 192651583

[XLA] Redesign: add XlaComputation::IsNull.

PiperOrigin-RevId: 192649052

Add softsign bijector.

PiperOrigin-RevId: 192648596

Add FunctionTest.testLayerInDefun

PiperOrigin-RevId: 192647818

Start moving Checkpointable utilities toward core

Doesn't add to the public API yet, just shifts code around. Changes:
  - A tiny bit of renaming (to avoid having _Checkpoint and Checkpoint in the same file)
  - Removed the garbage collection decorator from a few tests due to the uuid4() garbage issue (apparently core tests get run on Python 2.7.9?)
  - Renamed "Object" to "CheckpointableObject" in the proto, since core protos have Java bindings and apparently Java had something else in mind for the keyword "Object" :)
but otherwise this is a pure move.

After this CL I'll propose adding tf.train.Checkpoint to the API (currently tf.contrib.eager.Checkpoint), move the utilities that are still in contrib/eager to their own contrib directory (there will be a few more misc. utilities for inspecting checkpoints and managing dependencies), get tf.train.Saver to read object-based checkpoints for compatibility, and work on Model.save_weights/load_weights.

PiperOrigin-RevId: 192646890

Add testCompileTimeConstantsInDefun in xla

PiperOrigin-RevId: 192646199

Construct Orthogonal kernels for 2d convolutions.

PiperOrigin-RevId: 192645769

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 192644946

Fixed error where no background audio samples were being used when testing no-speech clips

PiperOrigin-RevId: 192644704

Fix lost dependency

PiperOrigin-RevId: 192643127

Update ops-related pbtxt files.

PiperOrigin-RevId: 192640621

Fix shape inference for outside_compilation clusters that include cycles.

PiperOrigin-RevId: 192637289

Make default weights initializer in `base_layers.Layer` suitable for their dtype.

PiperOrigin-RevId: 192634133

[TF] Add TensorListPushBackBatch.

Also modify code to ensure aliased forwarding happens whenever
possible with DT_VARIANT objects in ResourceVariables and in the new op.

PiperOrigin-RevId: 192632202

Introduced tool to run an HLO module in replicated fashion, by infeeding random data and outfeeding the data generated at each step.
The arguments of the computation can be either read from the session module, or randomly generated.
The tool uses the raw transfer manager API to infeed and outfeed the data.

PiperOrigin-RevId: 192628605

Collective Ops Part 3

BaseCollectiveExecutor and RingReducer.

This change is part of a series of changes introducing infrastructure
for collective ops and initial implementations of reduction and broadcast.

PiperOrigin-RevId: 192624521

Fixing dependencies.

PiperOrigin-RevId: 192624191

Updating tests containing graphs with Variables so that they Evaluate the original and optimized graphs and check if the outputs are same.

PiperOrigin-RevId: 192616402

Special-case the name scoping for operator methods. TensorFlow disallows top-level name scopes to begin with underscores. Also use the transformer scope information to get to the enclosing function name.

PiperOrigin-RevId: 192600256

Make DType, TensorShape, and Dimension "reducable" for pickling purposes.

PiperOrigin-RevId: 192591402

Enable an r2 reduce window test case.

PiperOrigin-RevId: 192560111

Fix description of DynamicUpdateSlice.

PiperOrigin-RevId: 192550101

Add closure_js_proto_library build for tf.example protos.

PiperOrigin-RevId: 192549109

Enable a reduce window test case.

PiperOrigin-RevId: 192548652

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 192548367

Update ops-related pbtxt files.

PiperOrigin-RevId: 192546579

[XLA] Redesign: fix GetComputationGraphStats.

CreateFromProto requires that the config has proper entry_computation_layout, so give the config the program shape.

PiperOrigin-RevId: 192546316

Switch to WaitForNotification to fix the flaky test.

See:
https://source.cloud.google.com/results/invocations/31632a30-3728-4635-a456-f89b9e8b9dfe/log
PiperOrigin-RevId: 192544848

[XLA] Redesign: test sharding.

Also set the sharding to the instruction when created from proto.

PiperOrigin-RevId: 192543024

Increase size of //tensorflow/python/kernel_tests:linalg_ops_test to "medium".

PiperOrigin-RevId: 192542956

In model_to_estimator, only run get_weights when there are initialized Keras variables(which assumes there exists a session). Otherwise create a session so that we can run get_config().
Actually fix #18193.

PiperOrigin-RevId: 192541442

Add `tf.contrib.stateless.stateless_multinomial()`.

This is a starting point for Dataset-compatible weighted sampling across a list of datasets.

PiperOrigin-RevId: 192540412

Internal testing changes

PiperOrigin-RevId: 192537874

Automated g4 rollback of changelist 192516190

PiperOrigin-RevId: 192536085

Update ops-related pbtxt files.

PiperOrigin-RevId: 192534931

boosted_trees: make sure ensemble deserialization happens for the non-TRAIN modes too.

PiperOrigin-RevId: 192532297

Move callback into bound function to avoid copying.

PiperOrigin-RevId: 192530231

Speed up computing mean confidence intervals by avoiding tf.while_loop.

Implement a vectorized way to compute the same thing instead.

PiperOrigin-RevId: 192524667

support profiling multiple tpu through one grpc and one session.
data are saved with host prefix.

PiperOrigin-RevId: 192523668

Adding support of core feature columns and losses to gradient boosted trees estimators.

PiperOrigin-RevId: 192521398

Revealing the range of node ids in the latest layer via resource' state

PiperOrigin-RevId: 192520351

Increase size of //tensorflow/python/kernel_tests:sets_test to "medium".

PiperOrigin-RevId: 192519639

Fixes issue where name scope collisions could lead to an invalid variable in the metagraph.

PiperOrigin-RevId: 192518307

GCS Filesystem should not cache checkpoint file as we need to read the updated checkpoints from the contents.

PiperOrigin-RevId: 192517819

Extend support to remove transpose/reverse on dimensions of size 1.

PiperOrigin-RevId: 192516190

Adding support for batch_to_space_nd op with crops.

PiperOrigin-RevId: 192511036

Adds a nodedef_fn parameter to copy_op_handler, allowing customization by mutating
NodeDef before creating the copied operation.

PiperOrigin-RevId: 192505209

BREAKING_CHANGE: Remove event_ndims in Bijector, and require `log_det_jacobian` methods to take event_ndims.

The class level event_ndims parameter is being deprecated in favor of passing it in
to the `log_det_jacobian` methods.

Specific changes:

  - `log_det_jacobian` signatures are now `log_det_jacobian(input, event_ndims)`

  - Constructors no long have event_ndims passed in (e.g. Affine() vs. Affine(event_ndims=0)).

  - All bijectors must specify a subset of [forward_min_event_ndims, inverse_min_event_ndims]. This is the minimal dimensionality the bijector operates on, with it being "broadcasted" to any passed in event_ndims (e.g. Exp has forward_min_event_ndims = 0. That means it operates on scalars. However, we can use the bijector on any event_ndims > 0 (i.e. we've broadcasted the transformation to work on any amount of event_ndims > 0), and jacobian reduction will work in those cases.

As a result of this change, all bijectors should "broadcast" (e.g. Sigmoid now works on any number of event_ndims).

Other changes (internal and documentation):
  - Added clarifications on Jacobian Determinant vs. Jacobian Matrix.
  - Added clarifications on min_event_ndims, and what the jacobian reduction is over.
  - Changed caching of ildj to be keyed on event_ndims.
  - Several bug fixes to bugs unearthed while writing this code (e.g. transformed distribution shape computation being incorrect)

PiperOrigin-RevId: 192504919

Porting tests for the `decode_proto` and `encode_proto` to OS.

PiperOrigin-RevId: 192504411

Support for removing unfused quantized activation functions and min/max.

PiperOrigin-RevId: 192503204

Replace examples/image_retraining by a pointer to TensorFlow Hub.

https://github.com/tensorflow/hub/tree/master/examples/image_retraining
has the same tool, upgraded to use TensorFlow Hub instead of raw graph defs.

PiperOrigin-RevId: 192502469

Factor out the syntactic function scope tracking into the transformer. Choosing not to do this at static analysis because it exposes the scope to any node, making it easier to use by any specialization of a transformer.

PiperOrigin-RevId: 192502309

When not necessary, avoid the creation of a `placeholder_with_default` in BN (not yet supported by TPU compilation).

PiperOrigin-RevId: 192502020

DepthwiseConv Optimizations

PiperOrigin-RevId: 192499401

Internal change.

PiperOrigin-RevId: 192498471

Adding hp5y back.

PiperOrigin-RevId: 192491335

Internal TF Lite test changes

PiperOrigin-RevId: 192491201

Increase size of tensorflow/contrib/data/python/kernel_tests:batch_dataset_op_test to "medium".

PiperOrigin-RevId: 192484895

Update docs for softmax_cross_entropy_with_logits.

PiperOrigin-RevId: 192482242

Script to create custom_ops inside a TensorFlow graphdef.

PiperOrigin-RevId: 192481690

Disable prelu tests for real now.

PiperOrigin-RevId: 192480452

Fix uninitialized value.

PiperOrigin-RevId: 192479630

Use tf.train.get_or_create_global_step() instead of deprecated variables.get_or_create_global_step().

PiperOrigin-RevId: 192476077

Add gradient in cond test to match CallGradInLoop.

PiperOrigin-RevId: 192463997

Add a clear error message for when a doc does not have a title.

PiperOrigin-RevId: 192463583

Import FunctionDef as GrapplerFunctionItem

Explicitly track function input arg expansion into Placeholders,
and keep metadata to map between FunctionDef and GraphDef connectivity
formats.

PiperOrigin-RevId: 192462592

Fixing dependencies.

PiperOrigin-RevId: 192461382

Fix Windows GPU TensorFlow Bazel builds.

The configure.py script will error out on Windows GPU builds due
to NCCL attempted to be configured (and is currently Linux only).

PiperOrigin-RevId: 192461362

Temporarily remove prelu from generated_examples_zip_test

PiperOrigin-RevId: 192453411

Remove unused former source of tensorflow.org/tutorials/image_retraining.

The source of https://tensorflow.org/tutorials/image_retraining has moved from
https://github.com/tensorflow/tensorflow/tree/master/tensorflow/docs_src/tutorials
to https://github.com/tensorflow/hub/tree/master/docs/tutorials
because of its use of TensorFlow Hub.

This change replaces the now-defunct version with a pointer to the new
location, in order to avoid dead code.

PiperOrigin-RevId: 192451570

Fixing propagation of minmax info on constant gather ops.

PiperOrigin-RevId: 192448922

[TF:XLA] Mark oom_test as optonly, it's really slow when compiled without optimization.

PiperOrigin-RevId: 192420481

Create FileWriter <-> tf.contrib.summary compatibility layer

This provides an implementation of FileWriter, activated by passing in a `session` parameter to the constructor, that is backed by session.run'ing graph ops that manipulate a tf.contrib.summary.create_file_writer() instance. Because tf.contrib.summary.SummaryWriters are backed by shared resources in the graph, this makes it possible to have a FileWriter and a tf.contrib.summary.SummaryWriter that both write to the same events file.

This change includes some related smaller changes:
- Factors out training_utils.py into a separate target to avoid a cyclic dep
- Moves contrib/summary/summary_ops.py to python/ops/summary_ops_v2.py
- Adds SummaryWriter.init(), .flush(), and .close() op-returning methods
- Changes create_file_writer() `name` arg to default to logdir prefixed by `logdir:` so shared resources are scoped by logdir by default
- Fixes a bug with tf.contrib.summary.flush() `writer` arg
- Makes create_file_writer()'s max_queue arg behave as documented
- Adds more testing for existing tf.contrib.summary API

PiperOrigin-RevId: 192408079

[XLA] Fix the size of data buffer for sparse literals.

PiperOrigin-RevId: 192404543

[XLA] Redesign: implement ComputeHost.

Also support convert from/to proto for ComputeHost.

PiperOrigin-RevId: 192403660

[XLA] Redesgin: implement and test Gather, Conditional.

Also support convert from/to proto for Gather.

PiperOrigin-RevId: 192400659

[XLA] Redesign: implment and test CrossReplicaSum.

PiperOrigin-RevId: 192397189

Update ops-related pbtxt files.

PiperOrigin-RevId: 192392702

[StreamExecutor] Merge StreamExecutor's and XLA's StatusOr classes.

StatusOr is a...complicated class to write.  It's really not good to
have two copies of it.  They've diverged (the XLA one is more
sophisticated), and this may be causing upstream build problems with
gcc6.

PiperOrigin-RevId: 192392111

[XLA] Redesign: implement and test BatchNormXXX.

PiperOrigin-RevId: 192391748