Automated g4 rollback of changelist 183273334

PiperOrigin-RevId: 183291956

Deprecation warning on Variables's += methods

PiperOrigin-RevId: 183290246

Remove no longer used param fields from TfLiteResizeBilinerParams

PiperOrigin-RevId: 183284937

VLOG shape inference and annotation return status.

PiperOrigin-RevId: 183280222

Automated g4 rollback of changelist 183251689

PiperOrigin-RevId: 183273334

Add C0330 bad-continuation check to pylint.

PiperOrigin-RevId: 183270896

[XLA] Make xla_hlo_profile_test less flaky

Instead of relying on some oeprations always taking longer than others (and this
appearing in a specific order in the rendered HLO profile), pick them out by
opcode.

PiperOrigin-RevId: 183268593

Simplify the template mechanism by specifying templates using multi-line strings instead of functions. This loses the syntax verification on templates, but it avoids the clutter of lint overrides and the duplication of parameter names, so things are more readable.

Addresses #16318

PiperOrigin-RevId: 183260854

Surface error if input is not flat list of eager tensors

PiperOrigin-RevId: 183253112

[TF RNN] Ensure dynamic_rnn runs at least one step to propagate dynamic shape info.

PiperOrigin-RevId: 183251689

Add functions to encapsulate the logic for checking and setting tensor type.

PiperOrigin-RevId: 183250334

Add shard count to select and scatter tests

RELNOTES: n/a
PiperOrigin-RevId: 183250076

Automated g4 rollback of changelist 183239252

PiperOrigin-RevId: 183241034

Drop the manually_create field from RnnState.

Initially, I thought that the shape of RNN state arrays could always be
determined by shape propagation. Then I came across some graphs where this
wasn't so easy to infer, so I introduced manually_create thinking of it
as a hack. Today I took another look at dropping that hack, and had a
"D'oh" moment when I realized that the cyclic nature of RNN graphs makes
it impossible to infer the shapes of all arrays by usual propagation.
For example, in a LSTM cell, the input array is concatenated with
a state array, so if we don't already know the shape of that state array,
shape propagation stops there.

Thus, this change removes manually_create by making toco always behave as
if manually_create=true, i.e. early-creating all RNN state arrays with
the shape explicitly specified by the user. The next TODO item here
(see model_flags.proto) is to introduce a generic 'shape' field, so far
the current 'size' field only allows specifying 1-D shapes.

PiperOrigin-RevId: 183239252

Fixes FunctionLibraryRuntime to be destroyed before ExecutorImpl when NewLocalExecutor returns an error status.

PiperOrigin-RevId: 183220585

Add WarmStartSettings configuration for all Estimators.

PiperOrigin-RevId: 183197945

Fix eager Pooling1D unit test for data_format='channels_first'

PiperOrigin-RevId: 183196050

Automated g4 rollback of changelist 183171572

PiperOrigin-RevId: 183192221

[XLA] Add more tests for ConvertElementType.

PiperOrigin-RevId: 183185601

Make the graph generation for TFBT deterministic.

PiperOrigin-RevId: 183183086

[XLA] Fix HloModule clone.

Currently the cloning of an instruction is usually "shallow": the called
computations of the instruction are reused in the clone. This mechanism is
useful when the hlo graph need to be modified in place (e.g. inliner, and some
hlo passes). One exception is the fusion instruction: it's always "deep"
copied, which means the fused computation is copied as well. So when we deep
cloning an HLO module, don't re-copy the fused computation, and do let the
instruction's clone function know where to put the copied fused computation.

PiperOrigin-RevId: 183181206

Allow passing candidate sampling seed in to sampled_softmax_loss for testing.

PiperOrigin-RevId: 183180196

[XLA] Allow buffers for CustomCalls to be reused.

PiperOrigin-RevId: 183177944

Refactoring pass.
Add a container context class to shorten argument lists and expose context information in a more organized manner.
Clean up names, docs and tests.
Rename submodule to avoid clashing with the new @covert decorator.

PiperOrigin-RevId: 183174971

Don't close session in debug_gradients_test.py.

PiperOrigin-RevId: 183171960

VISIBILITY_FIX:  Add 'auto_correlation' to _allowed_symbols.

PiperOrigin-RevId: 183171955

Make batch_sequences_with_states_test.py work with C API enabled.

PiperOrigin-RevId: 183171572

Make resource_variable_ops_test.py work with the C API enabled.

PiperOrigin-RevId: 183171341

Add R3 and R5 tests to select and scatter.

- Added evaluator support so that we can test S&S in arbitrary dimensions.

RELNOTES: n/a
PiperOrigin-RevId: 183168473

Add copy method to EagerVariableStore.

EagerVariableStore.copy creates a new EagerVariableStore instance containing new variables so that they can be modified without affecting the variables in the old store.

PiperOrigin-RevId: 183167776

Fix comparison bug in remove_trivial_binary

PiperOrigin-RevId: 183167508

Dedup control dependencies where the node already depends on the source as a non-control input.

PiperOrigin-RevId: 183166819

Defer logging infeed error messages for a short time to see if the main session returns.

PiperOrigin-RevId: 183162866

Prepare internal kernels for BroadcastMul and BroadcastAdd

PiperOrigin-RevId: 183160907

Basic AddN support in toco

PiperOrigin-RevId: 183160197

[TF:XLA:CPU] Fix an issue with explicitly vectorized reductions

The explicitly vectorized reduction kernel assumes that the input and the output
layouts are "same" (not identical which is not possible, but have the same
ordering of the un-reduced dimensions).  This change makes IrEmitter check this
precondition.

PiperOrigin-RevId: 183158249

[TF:XLA] Replace most of HloProfilePrinter by a protocol buffer

This change replaces the meat of HloProfilePrinter with a protobuf
HloProfilePrinterData.  The original plan was to serialize HloProfilePrinter
into C++ source code and put that in a .cc file along with the string for the
xla::ProgramShape.  However, since we now directly serialize xla::ProgramShape
into a .o file, for consistency I think we should do the same thing for
HloProfilePrinter (instead of adding yet another output file to tfcompile).

The change itself is fairly simple, it is large mostly due to the mass renaming
I had to do.

PiperOrigin-RevId: 183158192

Set export_outs in KMeans' EstimatorSpec.

PiperOrigin-RevId: 183154542

Make tensor_util_test.py work with the C API enabled.

Some of the shape inference error messages have changed. We also need
to wrap an InvalidArgumentError as a ValueError for backwards compat.

PiperOrigin-RevId: 183150857

internal change

PiperOrigin-RevId: 183148922

Modify dynamic_rnn to use max_seq_length for its while_loop.

This is especially important with XLA compilation, which will usually have
a maximum time dimension on the input that is (sometimes much larger than)
max(sequence_length).  In these cases, a lot of compute can be saved.

PiperOrigin-RevId: 183148831

Parameterized docker build now supports a local pip whl file path.

PiperOrigin-RevId: 183148798

When a device list API such as TF_DeviceListName() succeeds, set the output status to OK.

PiperOrigin-RevId: 183148319

Go: Update generated wrapper functions for TensorFlow ops.

PiperOrigin-RevId: 183146357

[XLA] Enable F16 for the CPU and GPU backends.

Enhance the IR emitter to handle mathematics operations with F16 types.
Add tests for F16 mathematics operations.

PiperOrigin-RevId: 183144087

Remove THIRD_PARTY_ from #include guards

They don't make sense in the open source repository.

PiperOrigin-RevId: 183140889

Update ops-related pbtxt files.

PiperOrigin-RevId: 183140179

Expose shared_embedding_columns in tf.feature_column.

PiperOrigin-RevId: 183139975

Adds loss_reduction argument to canned estimators.

PiperOrigin-RevId: 183139970

[Eager mode] Add an Eager-optimized version of the IteratorGetNext op.

Since in eager mode the kernel execution happens on the calling thread
(which would be blocked anyway), we can invoke the iterator
synchronously, and do not need to perform a context switch to and from
a background thread.

Improves the latency benchmarks in
//third_party/tensorflow/contrib/eager/python:datasets_test by
approximately 7us to 13us per element.

PiperOrigin-RevId: 183137488

Silent copies for int32 tensors in TFE.

Fixes #16106

PiperOrigin-RevId: 183137298

[TF:XLA] Bump open source llvm revision to r323309

PiperOrigin-RevId: 183133556

Make TFLite Pad op have parity with TF Pad op.

PiperOrigin-RevId: 183131070

Portability fix for parse_testdata.cc

PiperOrigin-RevId: 183129228

tf_contextlib forgotten oops

PiperOrigin-RevId: 183126126

Initializes the context before setting the device policy

PiperOrigin-RevId: 183126037

[XLA] Fix crash in HloOrdering::ToString().

HloOrdering::ToString() was crashing when given a computation containing
a fusion instruction.
PiperOrigin-RevId: 183121645

Internal change.

PiperOrigin-RevId: 183117665

[BatchNorm] Remove CPU implementation

We now use batchnorm rewriter (tensorflow/compiler/xla/service/batchnorm_rewriter.h) to expand batch norm into smaller ops. A specific implementation should not be needed anymore (for CPU).

RELNOTES:n/a
PiperOrigin-RevId: 183117252

Fixed linter errors.

PiperOrigin-RevId: 183115307

fix typos in schema.fbs comments.

PiperOrigin-RevId: 183114994

Introduce experimental quantize training and eval apis.
These APIs will include options that may have undefined behavior, still being researched. The non experimental APIs will have better hardware support and will be more suitable for users aiming to rewrite graphs to provide to backends (e.g. TFLite).

PiperOrigin-RevId: 183109634

Fix update_api_def.sh script to output ApiDefs instead of ApiDef proto.

PiperOrigin-RevId: 183109303

Internal Change

PiperOrigin-RevId: 183105591

TFE: Add graph benchmark for linear regression, for comparison with our eager execution benchmark.

PiperOrigin-RevId: 183105403

Merge changes from github.

PiperOrigin-RevId: 183100142

* BUGFIX:  See code associated with scale_identity_multiplier
* BUGFIX:  See code associated with 'weight' inside sample_n
* Use parameterization `temperature` rather than `mix_scale`.
* Simplify documentation and link to arXiv paper for details
* Document that we allow `temperature` to have any shape broadcastable with `mix_loc`.  This is a mute point to some degree since we require K = 2 now.
* Add some tests

PiperOrigin-RevId: 183098275

Rename internal field.

PiperOrigin-RevId: 183093901

Allow setting per-thread device copying policies in TFE.

PiperOrigin-RevId: 183093407

Don't set unused Operation private fields if the C API is enabled.

This helps catch invalid uses of the private fields with the C API
enabled, and refactors Operation.__init__ in preparation for enabling
the C API and eventually getting rid of the _USE_C_API toggle.

PiperOrigin-RevId: 183092099

Adds sharding in head_test to prevent timeouts.

PiperOrigin-RevId: 183089222

Automated g4 rollback of changelist 183076718

PiperOrigin-RevId: 183085489

Remove unused ResizeBilinear options. Use a tensor to read new sizes.

PiperOrigin-RevId: 183085403

[TPU] Raise error for unimplemented TPU op.

Raise an error as soon as detected that an unsupported TPU op is added. Update the list of unimplemented ops.

PiperOrigin-RevId: 183076718

Use RunConfig.master to set up the Session for running prediction in Estimator.predict()

PiperOrigin-RevId: 183053484

Add Real NVP and NICE bijectors and tests.

PiperOrigin-RevId: 183044638

Make an API for non-slot variables. This new API is safer than the
existing AdamOptimizer code when switching between multiple graphs
or multiple threads.

PiperOrigin-RevId: 183039296

[tf.data] Fixes flaky timeouts of stats_dataset_ops_test.

PiperOrigin-RevId: 183033139

Add nested support for `assertAllClose()` so `a` and `b` can be arbitrarily nested of
a numpy array, tuple, list, namedtuple or anything can be converted to a numpy array.

PiperOrigin-RevId: 183027752

Go: Update generated wrapper functions for TensorFlow ops.

PiperOrigin-RevId: 183027491

Update ops-related pbtxt files.

PiperOrigin-RevId: 183024949

Support StridedSlice in TFLite for 1D-4D tensors.

PiperOrigin-RevId: 183020501

[TPU] Add extra type checking in Python around the infeed operation, since it is a common mistake to make.

PiperOrigin-RevId: 183020077

Mark TensorArrayV2 ops and deprecated io_ops deprecated.

PiperOrigin-RevId: 183019408

[XLA:python] Pull static method off of ComputationBuilder class.

PiperOrigin-RevId: 183017700

Adds a mechanism for whitelisting ops for use in map_fns using a WHITELIST_OP_FOR_DATASET_FUNCTIONS macro.
Changes criteria for whitelisting stateful dataset ops. We used to check for the presence of the output_shapes attr. Now we just match the name and the output type.

PiperOrigin-RevId: 183014929

Enable and fix some bfloat16 tests.

PiperOrigin-RevId: 183013346

Add unidirectional sequence LSTM to TFLite Ops.

PiperOrigin-RevId: 183010993

Make the toco python wrapper lazy loaded to avoid dep error.

PiperOrigin-RevId: 183007943

Make namedtuples with identical name and field names to be considered as the same shallow structure.

PiperOrigin-RevId: 183007218

Add a base transformer class with useful utilities.
Intercept errors in the base class and include additional context information.
Use the base transformer class with type_info.py.

PiperOrigin-RevId: 183004622

[TF:XLA:CPU] Alias tensorflow::gtl to gtl for brevity

PiperOrigin-RevId: 183001493

Adds regularization_losses in remaining heads.

PiperOrigin-RevId: 183000075

Switch models/ to use new test-specification format

PiperOrigin-RevId: 182999650

LabeledTensor: don't test Tensor.shape object, test value instead.

With the C API enabled, a new TensorShape object may be generated
every Tensor.get_shape call.

PiperOrigin-RevId: 182998609

Tweaks to PR 16101 which adds stream selection support for `tf.contrib.ffmpeg.decode_audio`.

PiperOrigin-RevId: 182998275

Make bijectors/reshape_test.py work with C API enabled.

Some of the error messages change with the C API enabled due to slight
differences in shape inference (in this case, the C API catches shape
errors sooner). This change refactors some of the tests to expect
different error messages in different cases.

PiperOrigin-RevId: 182997183

Turn private Operation and Tensor fields into properties.

Unfortunately there are many uses of these private fields. Turning
them into properties that call public API methods will allow enabling
the C API before fixing all such uses.

PiperOrigin-RevId: 182993539

Replace the use of ConsumeValueOrDie with TF_ASSERT_OK_AND_ASSIGN.

PiperOrigin-RevId: 182992618

Updating the update_version script to act appropriately for rc0 when it comes
to the install sources tested configurations table along with a warning. Using perl rather than sed as it supports regex look behind.

PiperOrigin-RevId: 182992467