Avoid mixing `Dimension` type and `int` when defining kernel shapes in conv layers.

PiperOrigin-RevId: 192834255

[XLA] Pattern matcher for HLO, Shapes, Layouts

PiperOrigin-RevId: 192834129

Add broadcasting to all LinearOperators.

This will broadcast in cases where batch shapes are not equal (but tries to determine statically if this is the case). The broadcasting is not as efficient as doing the broadcast in C++, but makes for the API to at least be completely broadcastable.

PiperOrigin-RevId: 192832919

[TF] Enable half precision XLA compiler tests for the gpu backend.

Modify some tests to allow larger error for half precision.

Enable half precision SpaceToBatchNDTest for the cpu backend.

PiperOrigin-RevId: 192831909

Added PmfToQuantizedCdf op to contrib/coder in TensorFlow.

The added op transforms probability mass functions (PMF) to quantized
cumulative distribution function (CDF), which can be used by range coder ops in
contrib/coder.

The op takes greedy approach to ensure that the post-quantization probability
masses do not sum over the maximum quantized value. The op does not make any
adjustment when the post-quantization probability masses already sum less than
the maximum value.

PiperOrigin-RevId: 192827779

Allow tf.train.Saver to load object-based checkpoints (using names)

This is the second part of the compatibility story. Object-based checkpointing APIs can already read name-based checkpoints, and now the name-based APIs can read object-based checkpoints by looking up the modified keys in the object graph proto.

PiperOrigin-RevId: 192824907

[XLA] Redesign: add ~XlaOp() and ~XlaComputation().

PiperOrigin-RevId: 192822559

Small tag change

PiperOrigin-RevId: 192821895

Extend Keras symbol-feeding to dynamic-length tensors and tensors of different dtypes from the target placeholders.

PiperOrigin-RevId: 192821770

Internal change.

PiperOrigin-RevId: 192821482

Support scalar mean in resolve_batch_normalization

PiperOrigin-RevId: 192816848

Remove closure_js_proto_library rule for tf.example protos.

PiperOrigin-RevId: 192809073

[XLA] Redesign: add a constructor: XlaComputation(HloModuleProto).

PiperOrigin-RevId: 192808038

[XLA] Redesign: add a method that creates fake data for XlaComputation.

PiperOrigin-RevId: 192807851

Expose tf.decode_compressed to the public API.

PiperOrigin-RevId: 192805605

Fixing output alternatives

PiperOrigin-RevId: 192795596

[TF:XLA] Start a TensorFlow library that contains direct wrappers for XLA operators.

Add new XlaReduceWindow and XlaDynamicUpdateSlice operators.
Add new tests for the existing XlaWhile operator.
Add wrappers for XlaSend and XlaRecv.

PiperOrigin-RevId: 192795174

Add more logging for failure cases in CUDATimer

PiperOrigin-RevId: 192793983

Fix comment in xla_data.proto related to padding value for Windows.

PiperOrigin-RevId: 192792971

Internal change.

PiperOrigin-RevId: 192791493

Disable x * x -> square(x) Grapler rewrite for complex types unless the op is on CPU. Square is not registered for complex types on GPU, and doing so produces a crash in with CUDA_ILLEGAL_INSTRUCTION when running it on open source ubuntu.

PiperOrigin-RevId: 192788160

DepthwiseConv Optimization Fixes

PiperOrigin-RevId: 192787669

Enable GCS remote cache in Windows Bazel Build

PiperOrigin-RevId: 192784701

Add debugging checks for setting cuda stream, so it will check fail if the
stream is not set or set to a wrong one when running cudnn methods that
conceptually require a stream.

Also add missing cudnnSetStream()s for DoRnnForwardImpl() and
DoRnnBackwardImpl().

Implementation details:
1. a current_cudnn_stream_ member is added which will be set in cudnnSetStream()
2. a different macro is used to wrap cudnn methods that require a stream in
   order to verify whether the provided stream is same as current_cudnn_stream_,
   and the program will check fail if not

PiperOrigin-RevId: 192783913

Experiment with pre-shuffled fully-connected weights

PiperOrigin-RevId: 192771889

Refactor to remove the duplicate calls to obtain a function's namespace. This removes the need to explicitly import internal components (barring the tf module which cannot be imported directly).

PiperOrigin-RevId: 192771440

Add support to TFLite for dilated convolution.

PiperOrigin-RevId: 192770919

Automated g4 rollback of changelist 192768744

PiperOrigin-RevId: 192770717

Split byte_order.h off cpu_info.h

PiperOrigin-RevId: 192768744

Demo: RNN colorbot with Estimators.

PiperOrigin-RevId: 192765203

Keep function doc string at the top of the function.

PiperOrigin-RevId: 192761604

- Fixed small bug in example script

PiperOrigin-RevId: 192756152

Update for upstream LLVM *.def -> *.inc rename

PiperOrigin-RevId: 192752798

Fix bug in converted_call, and add tests for it.

PiperOrigin-RevId: 192751211

Implementation of Less

PiperOrigin-RevId: 192728635

-- Add a new histogram/cdf computation method compatible with the TPU.
-- Refactor utility functions into pruning_utils.py and add tests

PiperOrigin-RevId: 192727737

[XLA] Rename Interpreter{Executor,Platform} -> XlaInterpreter{Executor,Platform}.

These types live inside StreamExecutor's namespace, but they are
specific to XLA.  Therefore they either shouldn't live in SE's namespace
or should have "XLA" in the name.

Moving them out of SE's namespace is ugly, because almost every type
used inside of these headers then needs to be qualified.  So name-change
it is.

This patch was generated by a mechanical find/replace.

PiperOrigin-RevId: 192724238

Automated g4 rollback of changelist 192698931

PiperOrigin-RevId: 192718697

Automated g4 rollback of changelist 192504411

PiperOrigin-RevId: 192711501

Add boolean type to tflite in favor of comparison implementations.

PiperOrigin-RevId: 192711203

Automated g4 rollback of changelist 192691078

PiperOrigin-RevId: 192708480

Enable efficient feeding of symbolic tensors to placeholders in the Keras backend.

PiperOrigin-RevId: 192707345

Avoid calling K.learning_phase() when not necessary in Dropout layer since it instantiates a placeholder_with_default, which is not supported by TPU compilation.

PiperOrigin-RevId: 192705478

Convert GrapplerFunctionItem to (Specialized)FunctionDef.

PiperOrigin-RevId: 192704808

Adding autograph built-in function checker.

PiperOrigin-RevId: 192703924

Reintroducing support for constants as outputs of tf.data.map(). This fixes a regression introduced by cl/176147440.

PiperOrigin-RevId: 192702279

Print error msg in CUDATimer.Init() when CreateEvent() is not ok().

PiperOrigin-RevId: 192699277

Porting tests for `rpc_op` to OS.

PiperOrigin-RevId: 192698931

Move dummy AssertOp and CheckNumericsOp to //third_party/tensorflow/compiler/tf2xla/kernels.
Enable type DT_STRING for AssertOp and ConstOp, in order to make dummy Assert compile with a const string (assert message) as its input.

PiperOrigin-RevId: 192695938

Fix a typo in cross_tower_ops.

PiperOrigin-RevId: 192694794

Misc. small optimizations in Grappler and shape inference code.

Impact on time per optimizer on inception graph:

model_pruner:          590 ms -> 550 ms   (-7%)
function_optimizer:    130 ms -> 130 ms   (-0%)
constant_folding:     7600 ms -> 7550 ms  (-0.7%)
arithmetic_optimizer: 1860 ms -> 1550 ms  (-20%)
loop_optimizer:        320 ms -> 320 ms   (-0%)
dependency_optimizer: 1300 ms -> 720 ms   (-45%)
layout:               1400 ms -> 1400 ms  (-0%)
memory_optimizer:     4200 ms -> 3540 ms  (-16%)
PiperOrigin-RevId: 192694528

Document support for boolean values in tf.contrib.training.HParams.

PiperOrigin-RevId: 192694244

[XLA:GPU] Pass all four args to custom-call convs when they're created.

A custom-call-conv should have four arguments: lhs, rhs, algorithm, and
use-tensor-cores.  CudnnAlgorithmPicker did the right thing, and that
path is exercised 99% of the time.  But CudnnAlgorithmPicker can fail,
and if it does, we're stuck with whatever we had before.  What we had
before only had three of the four args, which is bad.

In addition to fixing it, added an e2e test that catches the bug.

PiperOrigin-RevId: 192694119

Propagate sharding of the source instruction to the copies added by layout assignment.

PiperOrigin-RevId: 192693972

Change assertions to use the tensor 'x' rather than 'x.op.name'. This enables eager execution in validate_args=True contexts.

PiperOrigin-RevId: 192693458

Exposing tensorflow.contrib.proto in the pip package.

PiperOrigin-RevId: 192691078

Add support for RNN state array of type tf.identity.

PiperOrigin-RevId: 192689747

Added a utility to compute a topo ordering of a graph

PiperOrigin-RevId: 192683166

[tf.data] Clean up //tensorflow/contrib/data/python/ops/BUILD.

Create spearate targets for each submodule, so that each test can depend on
the appropriate subset of Python files.

PiperOrigin-RevId: 192679856

Check if the session has been deleted before releasing a callable.

In some versions of Python, the Session._session field may be cleared
(in `Session.__del__()`) before a callable that has a reference to
that Session is deleted. Add a defensive check in the
`Session._Callable.__del__()` method.

PiperOrigin-RevId: 192679796

K-FAC: Deprecate tf.contrib.kfac.

As LayerCollections are required to instantiate KfacOptimizer and FisherEstimator, a deprecation warning is printed upon instantiating LayerCollection.

PiperOrigin-RevId: 192671370

ResolveConstantReshape transformation and fix for ResolveConstantTranspose.

PiperOrigin-RevId: 192670991

Make new build target public.

PiperOrigin-RevId: 192659759

Fix build breakage on metagraph exporting when caching_device is set

PiperOrigin-RevId: 192659701

Separate out distribute dependency out of training, as it needs to be used in summary utils (which training depends on, thus causing circular dependency).

PiperOrigin-RevId: 192656997

Upgrade libjpeg-turbo

NOTE: libjpeg-turbo 1.5.90 also exists, which adds AVX2 SIMD support. However
it also comes with a CMake build rewrite and 35 micro-architecture specialized
nasm files for x86_64 alone. We do not have the cycles to update jpeg.BUILD to
incorporate those changes at this time. If anyone wants to try, please note
we'd need predicates such as the following:

config_setting(
    name = "haswell_opt",
    values = {
        "cpu": "haswell",  # First Intel chip with AVX2
        "compilation_mode": "opt",
    },
    visibility = ["//visibility:public"],
)

config_setting(
    name = "excavator_opt",
    values = {
        "cpu": "excavator",  # First AMD chip with AVX2
        "compilation_mode": "opt",
    },
    visibility = ["//visibility:public"],
)

PiperOrigin-RevId: 192655533

Fix comment of bucket_by_sequence_length about return type of
element_length_func. Current code requires tf.int32 in order to compare with
buckets_min which is int32.

PiperOrigin-RevId: 192652917

Restore dependency on estimator utils from model.

PiperOrigin-RevId: 192651583

[XLA] Redesign: add XlaComputation::IsNull.

PiperOrigin-RevId: 192649052

Add softsign bijector.

PiperOrigin-RevId: 192648596

Add FunctionTest.testLayerInDefun

PiperOrigin-RevId: 192647818

Start moving Checkpointable utilities toward core

Doesn't add to the public API yet, just shifts code around. Changes:
  - A tiny bit of renaming (to avoid having _Checkpoint and Checkpoint in the same file)
  - Removed the garbage collection decorator from a few tests due to the uuid4() garbage issue (apparently core tests get run on Python 2.7.9?)
  - Renamed "Object" to "CheckpointableObject" in the proto, since core protos have Java bindings and apparently Java had something else in mind for the keyword "Object" :)
but otherwise this is a pure move.

After this CL I'll propose adding tf.train.Checkpoint to the API (currently tf.contrib.eager.Checkpoint), move the utilities that are still in contrib/eager to their own contrib directory (there will be a few more misc. utilities for inspecting checkpoints and managing dependencies), get tf.train.Saver to read object-based checkpoints for compatibility, and work on Model.save_weights/load_weights.

PiperOrigin-RevId: 192646890

Add testCompileTimeConstantsInDefun in xla

PiperOrigin-RevId: 192646199

Construct Orthogonal kernels for 2d convolutions.

PiperOrigin-RevId: 192645769

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 192644946

Fixed error where no background audio samples were being used when testing no-speech clips

PiperOrigin-RevId: 192644704

Fix lost dependency

PiperOrigin-RevId: 192643127

Update ops-related pbtxt files.

PiperOrigin-RevId: 192640621

Fix shape inference for outside_compilation clusters that include cycles.

PiperOrigin-RevId: 192637289

Make default weights initializer in `base_layers.Layer` suitable for their dtype.

PiperOrigin-RevId: 192634133

[TF] Add TensorListPushBackBatch.

Also modify code to ensure aliased forwarding happens whenever
possible with DT_VARIANT objects in ResourceVariables and in the new op.

PiperOrigin-RevId: 192632202

Introduced tool to run an HLO module in replicated fashion, by infeeding random data and outfeeding the data generated at each step.
The arguments of the computation can be either read from the session module, or randomly generated.
The tool uses the raw transfer manager API to infeed and outfeed the data.

PiperOrigin-RevId: 192628605

Collective Ops Part 3

BaseCollectiveExecutor and RingReducer.

This change is part of a series of changes introducing infrastructure
for collective ops and initial implementations of reduction and broadcast.

PiperOrigin-RevId: 192624521

Fixing dependencies.

PiperOrigin-RevId: 192624191

Updating tests containing graphs with Variables so that they Evaluate the original and optimized graphs and check if the outputs are same.

PiperOrigin-RevId: 192616402

Special-case the name scoping for operator methods. TensorFlow disallows top-level name scopes to begin with underscores. Also use the transformer scope information to get to the enclosing function name.

PiperOrigin-RevId: 192600256

Make DType, TensorShape, and Dimension "reducable" for pickling purposes.

PiperOrigin-RevId: 192591402

Enable an r2 reduce window test case.

PiperOrigin-RevId: 192560111

Fix description of DynamicUpdateSlice.

PiperOrigin-RevId: 192550101

Add closure_js_proto_library build for tf.example protos.

PiperOrigin-RevId: 192549109

Enable a reduce window test case.

PiperOrigin-RevId: 192548652

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 192548367

Update ops-related pbtxt files.

PiperOrigin-RevId: 192546579

[XLA] Redesign: fix GetComputationGraphStats.

CreateFromProto requires that the config has proper entry_computation_layout, so give the config the program shape.

PiperOrigin-RevId: 192546316

Switch to WaitForNotification to fix the flaky test.

See:
https://source.cloud.google.com/results/invocations/31632a30-3728-4635-a456-f89b9e8b9dfe/log
PiperOrigin-RevId: 192544848

[XLA] Redesign: test sharding.

Also set the sharding to the instruction when created from proto.

PiperOrigin-RevId: 192543024

Increase size of //tensorflow/python/kernel_tests:linalg_ops_test to "medium".

PiperOrigin-RevId: 192542956

In model_to_estimator, only run get_weights when there are initialized Keras variables(which assumes there exists a session). Otherwise create a session so that we can run get_config().
Actually fix #18193.

PiperOrigin-RevId: 192541442

Add `tf.contrib.stateless.stateless_multinomial()`.

This is a starting point for Dataset-compatible weighted sampling across a list of datasets.

PiperOrigin-RevId: 192540412

Internal testing changes

PiperOrigin-RevId: 192537874