Fix override annotations

PiperOrigin-RevId: 183367326

Fix checkpoint_utils.init_from_checkpoint() to be deterministic.

PiperOrigin-RevId: 183354193

Set up TensorRT configurations for external use, and add a test.

PiperOrigin-RevId: 183347199

  Adds R1 test for ReduceWindow.

PiperOrigin-RevId: 183345779

Go: Update generated wrapper functions for TensorFlow ops.

PiperOrigin-RevId: 183342483

For windows cmake build turn on CMAKE_SUPPRESS_REGENERATION to avoid flaky
build failures.

PiperOrigin-RevId: 183341561

Clarified documentation on resize_images.align_corners parameter.

PiperOrigin-RevId: 183339087

Log more info about the ill-formed node in ComputeTransitiveFanin.

PiperOrigin-RevId: 183333452

internal change

PiperOrigin-RevId: 183333411

[XLA] Add source mapping utility translation unit, use it in the local client.

PiperOrigin-RevId: 183331075

  [tpu:profiler] Add infeed enqueue operation data to tf_op_stats.proto.

PiperOrigin-RevId: 183328456

Update tf.keras to the Keras 2.1.3 API.

PiperOrigin-RevId: 183328052

Set size of test //third_party/tensorflow/python/data/kernel_tests:dataset_from_generator_op_test to medium

It sometimes takes longer than a minute, and thus gets flaky timeouts.

PiperOrigin-RevId: 183326334

Allow passing dummy/custom minmax information on a per-array basis,
unlike the existing --default_ranges_{min,max} flags which only allowed
to set a single global value for all arrays.

This takes the form of a new embedded message in ModelFlags, which is
its own message so that it can be serialized separately. The command-line
interface is --arrays_extra_info_file=some_proto.pbtxt, i.e. we don't
try to make a command-line-flags-only interface, we mandate putting the info
in a file. The rationale is that users may want to specify custom minmax
for hundreds of arrays, so it would be cumbersome to have that all in a
command line.

This should be considered an experimental feature, in the sense that
in properly quantized models, minmax information is already embedded
in the graph (e.g. in FakeQuant nodes). This is an extension of the
existing --default_ranges_{min,max} feature which had turned out to be
too restrictive for many users.

PiperOrigin-RevId: 183326000

Add input_shape to seq2seq helpers.

PiperOrigin-RevId: 183321394

Replace instances of `control_dependencies(None)` with `init_scope` when
initializing variables.

Today, when variables are constructed (Resource and otherwise), we lift certain
operations, including the VarHandleOp and initialization ops, out of all
control flow contexts; the mechanism for doing so is entering the context
manager returned by `control_dependencies(None)`. This change replaces various
instances of this mechanism with `init_scope`, which clears control dependencies, lifts ops out of function-building graphs, and pauses the gradient tape. As a result,
variables that are created inside graph functions will be automatically hoisted
into an outer context.

PiperOrigin-RevId: 183320576

Move flatbuffer verifier to a separate lib

PiperOrigin-RevId: 183318384

Add an option to input a GraphDef.

PiperOrigin-RevId: 183317862

Make kernel_tests/scalar_test.py work with the C API enabled.

This also moves the set_producer_version function from a specific test
file to test_util.py, since it's needed in two test files now.

PiperOrigin-RevId: 183316990

[XLA] Disable half_test_cpu as it is flaky

PiperOrigin-RevId: 183315762

Record requested cpu cores in OpPerformance.

PiperOrigin-RevId: 183313321

Automated g4 rollback of changelist 183296506

PiperOrigin-RevId: 183312680

Deleted unused data fields

PiperOrigin-RevId: 183312596

Make batch_sequences_with_states_test.py work with C API enabled, take 2.

This fixes the original rollback by using placeholders for the
SparseTensor shapes. The flakiness was caused by the nondeterministic
ordering of the sequences dict.

PiperOrigin-RevId: 183308774

Show friendlier error message on failure in tf_optimizer.i

Without it we trigger a segmentation fault, but later in a different stack, which is not so helpful.

PiperOrigin-RevId: 183307729

In the TF cost model, ensure when id grows, records for each op's outputs match the number of outputs.

PiperOrigin-RevId: 183306267

Adds loss_fn argument in remaining heads.

PiperOrigin-RevId: 183301479

[XLA:GPU] Implement conditional as a sequence of thunks in the GPU backend.

This also includes the following fixes:

(1) Update buffer assignment for conditionals so that the buffers corresponding to the true operand and the true computation parameter are colocated, and similarly, the buffers corresponding to the false operand and the false computation parameter are colocated.

(2) Update GPU copy insertion pass to insert copies when constants appear as operands of conditional instructions.

PiperOrigin-RevId: 183297282

[XLA] Add HLO matcher for CustomCall that accepts a call target.

PiperOrigin-RevId: 183296506

Whitelist "bool" as a valid TPU infeed type.

PiperOrigin-RevId: 183296017

Drop the manually_create field from RnnState.

Initially, I thought that the shape of RNN state arrays could always be
determined by shape propagation. Then I came across some graphs where this
wasn't so easy to infer, so I introduced manually_create thinking of it
as a hack. Today I took another look at dropping that hack, and had a
"D'oh" moment when I realized that the cyclic nature of RNN graphs makes
it impossible to infer the shapes of all arrays by usual propagation.
For example, in a LSTM cell, the input array is concatenated with
a state array, so if we don't already know the shape of that state array,
shape propagation stops there.

Thus, this change removes manually_create by making toco always behave as
if manually_create=true, i.e. early-creating all RNN state arrays with
the shape explicitly specified by the user. The next TODO item here
(see model_flags.proto) is to introduce a generic 'shape' field, so far
the current 'size' field only allows specifying 1-D shapes.

PiperOrigin-RevId: 183294102

Use LookupOrCreateResource when creating summary writers. The resource may
already exist because it's associated with the device.

PiperOrigin-RevId: 183293761

Add OPENSOURCE extension to schema_generated.h

PiperOrigin-RevId: 183293637

Make select_and_scatter_test optonly

- Make select_and_scatter_test optonly.
- Reduce number of shards.

PiperOrigin-RevId: 183292230

Automated g4 rollback of changelist 183273334

PiperOrigin-RevId: 183291956

Deprecation warning on Variables's += methods

PiperOrigin-RevId: 183290246

Remove no longer used param fields from TfLiteResizeBilinerParams

PiperOrigin-RevId: 183284937

VLOG shape inference and annotation return status.

PiperOrigin-RevId: 183280222

Automated g4 rollback of changelist 183251689

PiperOrigin-RevId: 183273334

Add C0330 bad-continuation check to pylint.

PiperOrigin-RevId: 183270896

[XLA] Make xla_hlo_profile_test less flaky

Instead of relying on some oeprations always taking longer than others (and this
appearing in a specific order in the rendered HLO profile), pick them out by
opcode.

PiperOrigin-RevId: 183268593

Simplify the template mechanism by specifying templates using multi-line strings instead of functions. This loses the syntax verification on templates, but it avoids the clutter of lint overrides and the duplication of parameter names, so things are more readable.

Addresses #16318

PiperOrigin-RevId: 183260854

Surface error if input is not flat list of eager tensors

PiperOrigin-RevId: 183253112

[TF RNN] Ensure dynamic_rnn runs at least one step to propagate dynamic shape info.

PiperOrigin-RevId: 183251689

Add functions to encapsulate the logic for checking and setting tensor type.

PiperOrigin-RevId: 183250334

Add shard count to select and scatter tests

RELNOTES: n/a
PiperOrigin-RevId: 183250076

Automated g4 rollback of changelist 183239252

PiperOrigin-RevId: 183241034

Drop the manually_create field from RnnState.

Initially, I thought that the shape of RNN state arrays could always be
determined by shape propagation. Then I came across some graphs where this
wasn't so easy to infer, so I introduced manually_create thinking of it
as a hack. Today I took another look at dropping that hack, and had a
"D'oh" moment when I realized that the cyclic nature of RNN graphs makes
it impossible to infer the shapes of all arrays by usual propagation.
For example, in a LSTM cell, the input array is concatenated with
a state array, so if we don't already know the shape of that state array,
shape propagation stops there.

Thus, this change removes manually_create by making toco always behave as
if manually_create=true, i.e. early-creating all RNN state arrays with
the shape explicitly specified by the user. The next TODO item here
(see model_flags.proto) is to introduce a generic 'shape' field, so far
the current 'size' field only allows specifying 1-D shapes.

PiperOrigin-RevId: 183239252

Fixes FunctionLibraryRuntime to be destroyed before ExecutorImpl when NewLocalExecutor returns an error status.

PiperOrigin-RevId: 183220585

Add WarmStartSettings configuration for all Estimators.

PiperOrigin-RevId: 183197945

Fix eager Pooling1D unit test for data_format='channels_first'

PiperOrigin-RevId: 183196050

Automated g4 rollback of changelist 183171572

PiperOrigin-RevId: 183192221

[XLA] Add more tests for ConvertElementType.

PiperOrigin-RevId: 183185601

Make the graph generation for TFBT deterministic.

PiperOrigin-RevId: 183183086

[XLA] Fix HloModule clone.

Currently the cloning of an instruction is usually "shallow": the called
computations of the instruction are reused in the clone. This mechanism is
useful when the hlo graph need to be modified in place (e.g. inliner, and some
hlo passes). One exception is the fusion instruction: it's always "deep"
copied, which means the fused computation is copied as well. So when we deep
cloning an HLO module, don't re-copy the fused computation, and do let the
instruction's clone function know where to put the copied fused computation.

PiperOrigin-RevId: 183181206

Allow passing candidate sampling seed in to sampled_softmax_loss for testing.

PiperOrigin-RevId: 183180196

[XLA] Allow buffers for CustomCalls to be reused.

PiperOrigin-RevId: 183177944

Refactoring pass.
Add a container context class to shorten argument lists and expose context information in a more organized manner.
Clean up names, docs and tests.
Rename submodule to avoid clashing with the new @covert decorator.

PiperOrigin-RevId: 183174971

Don't close session in debug_gradients_test.py.

PiperOrigin-RevId: 183171960

VISIBILITY_FIX:  Add 'auto_correlation' to _allowed_symbols.

PiperOrigin-RevId: 183171955

Make batch_sequences_with_states_test.py work with C API enabled.

PiperOrigin-RevId: 183171572

Make resource_variable_ops_test.py work with the C API enabled.

PiperOrigin-RevId: 183171341

Add R3 and R5 tests to select and scatter.

- Added evaluator support so that we can test S&S in arbitrary dimensions.

RELNOTES: n/a
PiperOrigin-RevId: 183168473

Add copy method to EagerVariableStore.

EagerVariableStore.copy creates a new EagerVariableStore instance containing new variables so that they can be modified without affecting the variables in the old store.

PiperOrigin-RevId: 183167776

Fix comparison bug in remove_trivial_binary

PiperOrigin-RevId: 183167508

Dedup control dependencies where the node already depends on the source as a non-control input.

PiperOrigin-RevId: 183166819

Defer logging infeed error messages for a short time to see if the main session returns.

PiperOrigin-RevId: 183162866

Prepare internal kernels for BroadcastMul and BroadcastAdd

PiperOrigin-RevId: 183160907

Basic AddN support in toco

PiperOrigin-RevId: 183160197

[TF:XLA:CPU] Fix an issue with explicitly vectorized reductions

The explicitly vectorized reduction kernel assumes that the input and the output
layouts are "same" (not identical which is not possible, but have the same
ordering of the un-reduced dimensions).  This change makes IrEmitter check this
precondition.

PiperOrigin-RevId: 183158249

[TF:XLA] Replace most of HloProfilePrinter by a protocol buffer

This change replaces the meat of HloProfilePrinter with a protobuf
HloProfilePrinterData.  The original plan was to serialize HloProfilePrinter
into C++ source code and put that in a .cc file along with the string for the
xla::ProgramShape.  However, since we now directly serialize xla::ProgramShape
into a .o file, for consistency I think we should do the same thing for
HloProfilePrinter (instead of adding yet another output file to tfcompile).

The change itself is fairly simple, it is large mostly due to the mass renaming
I had to do.

PiperOrigin-RevId: 183158192

Set export_outs in KMeans' EstimatorSpec.

PiperOrigin-RevId: 183154542

Make tensor_util_test.py work with the C API enabled.

Some of the shape inference error messages have changed. We also need
to wrap an InvalidArgumentError as a ValueError for backwards compat.

PiperOrigin-RevId: 183150857

internal change

PiperOrigin-RevId: 183148922

Modify dynamic_rnn to use max_seq_length for its while_loop.

This is especially important with XLA compilation, which will usually have
a maximum time dimension on the input that is (sometimes much larger than)
max(sequence_length).  In these cases, a lot of compute can be saved.

PiperOrigin-RevId: 183148831

Parameterized docker build now supports a local pip whl file path.

PiperOrigin-RevId: 183148798

When a device list API such as TF_DeviceListName() succeeds, set the output status to OK.

PiperOrigin-RevId: 183148319

Go: Update generated wrapper functions for TensorFlow ops.

PiperOrigin-RevId: 183146357

[XLA] Enable F16 for the CPU and GPU backends.

Enhance the IR emitter to handle mathematics operations with F16 types.
Add tests for F16 mathematics operations.

PiperOrigin-RevId: 183144087

Remove THIRD_PARTY_ from #include guards

They don't make sense in the open source repository.

PiperOrigin-RevId: 183140889

Update ops-related pbtxt files.

PiperOrigin-RevId: 183140179

Expose shared_embedding_columns in tf.feature_column.

PiperOrigin-RevId: 183139975

Adds loss_reduction argument to canned estimators.

PiperOrigin-RevId: 183139970

[Eager mode] Add an Eager-optimized version of the IteratorGetNext op.

Since in eager mode the kernel execution happens on the calling thread
(which would be blocked anyway), we can invoke the iterator
synchronously, and do not need to perform a context switch to and from
a background thread.

Improves the latency benchmarks in
//third_party/tensorflow/contrib/eager/python:datasets_test by
approximately 7us to 13us per element.

PiperOrigin-RevId: 183137488

Silent copies for int32 tensors in TFE.

Fixes #16106

PiperOrigin-RevId: 183137298

[TF:XLA] Bump open source llvm revision to r323309

PiperOrigin-RevId: 183133556

Make TFLite Pad op have parity with TF Pad op.

PiperOrigin-RevId: 183131070

Portability fix for parse_testdata.cc

PiperOrigin-RevId: 183129228

tf_contextlib forgotten oops

PiperOrigin-RevId: 183126126

Initializes the context before setting the device policy

PiperOrigin-RevId: 183126037

[XLA] Fix crash in HloOrdering::ToString().

HloOrdering::ToString() was crashing when given a computation containing
a fusion instruction.
PiperOrigin-RevId: 183121645

Internal change.

PiperOrigin-RevId: 183117665

[BatchNorm] Remove CPU implementation

We now use batchnorm rewriter (tensorflow/compiler/xla/service/batchnorm_rewriter.h) to expand batch norm into smaller ops. A specific implementation should not be needed anymore (for CPU).

RELNOTES:n/a
PiperOrigin-RevId: 183117252

Fixed linter errors.

PiperOrigin-RevId: 183115307

fix typos in schema.fbs comments.

PiperOrigin-RevId: 183114994

Introduce experimental quantize training and eval apis.
These APIs will include options that may have undefined behavior, still being researched. The non experimental APIs will have better hardware support and will be more suitable for users aiming to rewrite graphs to provide to backends (e.g. TFLite).

PiperOrigin-RevId: 183109634

Fix update_api_def.sh script to output ApiDefs instead of ApiDef proto.

PiperOrigin-RevId: 183109303

Internal Change

PiperOrigin-RevId: 183105591

TFE: Add graph benchmark for linear regression, for comparison with our eager execution benchmark.

PiperOrigin-RevId: 183105403

Merge changes from github.

PiperOrigin-RevId: 183100142