Add shape validation for symbolic tensors passed to fit (only graph mode).

PiperOrigin-RevId: 197921675

Fix convert_to_tensor logic in GradientDescentOptimizer's _prepare method

Previously, eagerly executing an optimizer that had been used in a `defun`
led to a cryptic error because the learning rate tensor supplied to the update
op was in fact a vestigial graph Tensor.

PiperOrigin-RevId: 197919104

Improve TOCO Python API.

PiperOrigin-RevId: 197918102

Fix build failure introduced by cl/197457316

PiperOrigin-RevId: 197917867

Warn about tf.Variable semantics

PiperOrigin-RevId: 197915380

Add a checkpointable map data structure

PiperOrigin-RevId: 197913890

[XLA] Speed up slice_test again.

Previous patch missed one instance of creating a constant inside of
slice_test.

PiperOrigin-RevId: 197909685

[XLA] Devectorize constant-sized arrays

A sufficiently smart compiler could promote these from heap to stack, in
practice no compiler does that. Remove the superfluous heap allocations
manually.

PiperOrigin-RevId: 197907388

Fix a bug in BestExporter - estimator.model_dir should be property instead of a function.

PiperOrigin-RevId: 197904351

Internal change.

PiperOrigin-RevId: 197902509

Extracts the 'switch with same input' optimization into its own method.

PiperOrigin-RevId: 197900929

When using fake infeed data, fill the infeed when it is empty.

This makes sure we avoid OOM when there is too much infeed data to send it at
once, and we also don't need the magic "num_infeeds" parameter anymore.

PiperOrigin-RevId: 197886121

Style guide edits: refer to the broader Google style guide, which is what was actually used in the code, to replace some of the rules that were spelled out explicitly.
Use AutoGraph, rather than TensorFlow AutoGraph for name.

PiperOrigin-RevId: 197881802

Automated g4 rollback of changelist 197477959

PiperOrigin-RevId: 197868028

Allow to generate fake infeed buffers with shapes derived from the computation.

When replaying a computation from a HloSnapshot, we want to be able to provide fake
infeed data. This was already possible when the infeed shape is known by providing
it with the --fake_infeed_shape flag. With this CL, we add the option to derive it
from the provided HloSnapshot. Also, we transfer the infeed shape a fixed number of
times instead of infinitely many times (configurable with a flag).
Otherwise we will definitely run out of memory at some point.

PiperOrigin-RevId: 197863412

[XLA:GPU] Basic multi-output fusion for GPU.

Take a conservative approach and attempt multi-output fusion in cases where "regular" fusion is not an option.

PiperOrigin-RevId: 197852598

Implement support for reshape in IndexedArrayAnalysis

PiperOrigin-RevId: 197843589

Add unit tests to tflite kernels

PiperOrigin-RevId: 197842122

Resolve name collisions with assets in SavedModels by deduplicating names that
point to distinct files.

PiperOrigin-RevId: 197835288

Add support for is_recompute optional kwarg to functions decorated with recompute_grad

PiperOrigin-RevId: 197834316

Set the correct shape in transformed distribution.

Also add distribution_util.maybe_get_static_event_ndims to be reused in bijector and transformed distribution classes.

PiperOrigin-RevId: 197831651

Moves estimator getting started docs into programmer's guide.
Update path references and magic links.
Remove getting started with estimators doc.
Add redirects.

PiperOrigin-RevId: 197826223

Add back some public interface methods.

PiperOrigin-RevId: 197826136

HloSharding parsing from string, used by new Sharding HloMatcher for ease of use.

PiperOrigin-RevId: 197825588

Extracts the SimplifyReduction optimization into its own method.

PiperOrigin-RevId: 197823183

Aggregating IndexedSlices: Do not require first element to be IndexedSlices.

PiperOrigin-RevId: 197821479

[XLA] Speed up SliceTest.

- Use parameters rather than constants, because LLVM and ptxas are slow
  with large constants.

- Use iota rather than filling with random values, because the latter is
  slow.

PiperOrigin-RevId: 197820897

Cache generated LLVM IR for GEBP

After this change all generated GEBPs with the same shape will share a single
llvm::Function.

This is NFC for any actual workloads because the GEBP emitter isn't exercised by
normal code-paths yet.

PiperOrigin-RevId: 197820606

Add import.

PiperOrigin-RevId: 197820050

[tf.data] Split out the `tf.contrib.data.sample_from_datasets()` tests.

These were previously broken and disabled in CI builds; this change also fixes
them up.

PiperOrigin-RevId: 197818554

Internal cleanup to remove a difference from the code on github.

PiperOrigin-RevId: 197817738

Internal change.

PiperOrigin-RevId: 197816560

Refactor StatSummarizer extract common functionality without proto dependencies.

PiperOrigin-RevId: 197816405

Simplify the remapper code and added support for non scalar mean, variance, scale and offset.

PiperOrigin-RevId: 197812268

Open source rewrite_for_inference().

PiperOrigin-RevId: 197810460

Make depthwiseconv handler handle filter ranges beyond 255

PiperOrigin-RevId: 197810361

Add support for IndexedSlices in Distribution Strategy all reduce. Issue reported in #19069

PiperOrigin-RevId: 197806955

Run only small and medium tests in CI builds.

PiperOrigin-RevId: 197806292

added support for calling fit on Dataset objects

PiperOrigin-RevId: 197805615

Fix CurlHttpRequest handling unexpectedly large responses

This fixes a few issues with CurlHttpRequest (and correspondingly GcsFileSystem):

- Return status FAILED_PRECONDITION (i.e. "your buffer was too small") when CurlHttpRequest has a direct response buffer and the response is too large for the buffer, instead of UNAVAILABLE, since if the server resource is actually a fixed size, retrying automatically won't help at all.  Also, include the message about the too-small buffer size in the returned Status as opposed to logging it, making it more obvious that it's treated as a message about a hard failure versus just a warning.

- If the response was actually a 416 Range Not Satisfied response, fully pretend that the response had no body even if we got one (I'm looking at you GCS... it returns a 177-byte error message).  This means:
  - Ignore a "buffer too small" error produced by the logic described above
  - Don't report the length of that body in GetResultBufferDirectBytesTransferred(), which looks to the client like data corruption, just report 0 (this fix makes it match the behavior of the non-direct-buffer response handling)

I also tweaked the error messages, e.g. the message that includes an HTTP response code shouldn't report the CURLcode since it will always be CURLE_OK at that point.

PiperOrigin-RevId: 197805003

Add support for partitioned variables to SDCA.

PiperOrigin-RevId: 197803127

Adding scatter_nd* ops to Andrtoid build.

PiperOrigin-RevId: 197799974

[TF:XLA] Add tests to show that the List scheduler handles tuples correctly (in and out of fusions).

PiperOrigin-RevId: 197798787

[XLA] Fix exhaustive_f32_elementwise_test's size marker.

"enormous" is a size, not a tag.

PiperOrigin-RevId: 197795125

Allow vars_to_warm_start to be a list of strings or Variables, which allows for non-TRAINABLE_VARIABLES to be warm-started.

PiperOrigin-RevId: 197794989

[XLA] Draw hollow arrowheads for small arrays in dumped HLO graphs.

The intent is to make it easier to tell what's "big" and what's "small".

PiperOrigin-RevId: 197794902

Modify model output names to not be unique when in distribution context.

PiperOrigin-RevId: 197791115

Add NNAPI delegation for EMBEDING_LOOKUP, RNN, SVDF

PiperOrigin-RevId: 197790679

New quantized log(x) for x > 1.  Used for LogSoftmax.

PiperOrigin-RevId: 197786738

Clear docstrings for auto-generated module files, and detach github links from generated files.

PiperOrigin-RevId: 197783520

Add a test to reproduce copy-on-read bug for variables

PiperOrigin-RevId: 197781741

Internal Change

PiperOrigin-RevId: 197778159

Adding utility class for manipulating a GraphDef.

PiperOrigin-RevId: 197777416

Extracts the SimplifyReshape optimization into its own method.

PiperOrigin-RevId: 197770994

Automated g4 rollback of changelist 197741984

PiperOrigin-RevId: 197769770

Introduce Encoder and Decoder classes so that platform/*coding* doesn't have to
depend on framework/resource_handler and framework/variant.

PiperOrigin-RevId: 197768387

[TF:XLA] Register a real implementation of ControlTrigger on XLA devices.

PiperOrigin-RevId: 197759239

Add a checkpointable list data structure

Allows tracking of Layers and other checkpointable objects by number.

Fixes #19250.

PiperOrigin-RevId: 197749961

Update build visibility of //third_party/tensorflow/contrib/signal

PiperOrigin-RevId: 197747430

  Combine op-profiles collected from individual TPUs.

PiperOrigin-RevId: 197743291

Keep column order in make_csv_dataset.

PiperOrigin-RevId: 197742412

Add a "--no_search_hints" flag to the api-docs generator.

PiperOrigin-RevId: 197742114

PiperOrigin-RevId: 197741984

Fix typo in error message.

PiperOrigin-RevId: 197741341

Quick fix for Kokoro breakage.

PiperOrigin-RevId: 197739982

Add 'platform_' libraries in core/BUILD.

PiperOrigin-RevId: 197736600

Support batch size > 1 in L2Normalization 8 bit quantized implementations.

PiperOrigin-RevId: 197736184

Add a method XlaTensor:ReleaseShapedBuffer() to relinquish the shaped buffer owned by an XlaTensor.
Add an equality operator for xla::ShapeIndexView.

PiperOrigin-RevId: 197716313

[TF:XLA:GPU] Relax test tolerance due to flakiness.

PiperOrigin-RevId: 197708758

Use the right attributes when creating placeholder nodes.

PiperOrigin-RevId: 197673355

Internal Change

PiperOrigin-RevId: 197661636

Add interfaces to Compiler that are sufficient to implement a backend-independent offline auto-tuner for backend configurations of ops as well as automatic testing across candidate configurations.

Also add a simple Scanner class that is handy for parsing things.

PiperOrigin-RevId: 197657512

Fix an issue when mixing sparse and dense features in the same model.

PiperOrigin-RevId: 197650140

Add convolution with NHWC layout to stream executor.

PiperOrigin-RevId: 197650067

[TF:XLA] Bump open source llvm revision to r333002

PiperOrigin-RevId: 197644290

Fix the LSTM test in TFLite.

PiperOrigin-RevId: 197643581

Expose the new collective reduce and broacast ops as non-public
python interface functions.  Note that they are not yet fully
implemented; this change is to facilitate further development.

PiperOrigin-RevId: 197639372

Always append the trailing slash when look up or insert a directory path in the stat cache.

PiperOrigin-RevId: 197637482

Remove reservoir sampling from SummaryDbWriter

PiperOrigin-RevId: 197634162

Adds a kernel that checks whether vector is zero or not.

PiperOrigin-RevId: 197633182

[TF:XLA] Add clarification to the DFS scheduler.

PiperOrigin-RevId: 197629355

Extract out common code and make things safer; NFC

RowMajorMatrixVectorProductEmitter and ColumnMajorMatrixVectorProductEmitter
both cache* the generated LLVM IR by keying off the dimensions of the operation,
the primitive type etc.  Before this CL the code computing the cache key lived
separately from the GEMV emitters.  This pattern introduces a risk that the GEMV
emitters will end up with some state not modeled in the cache key, resulting in
a subtle bug.

This CL reduces the risk by escapsulating the cache key generation and the input
configuration to the GEMV emitters in a single class.

 * In the sense that two different dot operations with the same M,K,N will share
   a single LLVM IR function body.

PiperOrigin-RevId: 197628423

[TF:XLA] Add a helper to update HLO reachability.

This can be used if the user does not care if reachability changed after an
update.

PiperOrigin-RevId: 197628007

[TF:XLA] Roll back the functionality change of cl/197458260 to unbreak test.

PiperOrigin-RevId: 197625888

[TF:XLA] make miscomparison error messages more readable

PiperOrigin-RevId: 197620560

[XLA] Skip BF16 output conversion folding when CRS is the root.

PiperOrigin-RevId: 197618934

Collective Ops Part 7

Complete just enough of the core implementation to run
multi-device collectives locally within a single process.
Interfaces are still private and not availble for general use.

PiperOrigin-RevId: 197617132

Move executor_test.cc to tensorflow/core/common_runtime/.

PiperOrigin-RevId: 197611583

Fix memory leak when going from the fast path to the slow path in eager

Fixes #19385

PiperOrigin-RevId: 197607384

Detect unknown batch size in predictions dict

PiperOrigin-RevId: 197606059

[XLA:GPU] Emit fused reduces from batchnorm expander

This is an intermediate step until we have working multi-output fusion. Once
we have it, this change should be reverted as it might interfere with fusion.

PiperOrigin-RevId: 197605814

[XLA:GPU] Add lowering for input fusions with multiple reduce outputs

This is limited to reduces that have the same shapes and reduced dimensions.
Most of the code is making the individual emission code emit multiple reduction
in the same loop. This requires multi-output fusion to provide a speedup.

PiperOrigin-RevId: 197599248

Actually return the value from train_and_evaluate.

PiperOrigin-RevId: 197597953

* Remove the bias centering graph if it is turned off.
* Create consts once. Otherwise each time the constant is passed to an Op, a new Const op is created.
* Speed up the graph construction by using a functions to build splits.

PiperOrigin-RevId: 197590220

Adding stop request capability to CheckpointSaverListener. An example usage of it is stopping training based on evaluation metrics. Example usage is as follows:

my-estimator = tf.estimator.DNNClassifier(...)
stopper = StopTrainingBasedOnEvaluateMetrics(my-estimator)
my-estimator.train(..., saving_listeners=[stopper])

where:

class StopTrainingBasedOnEvaluateMetrics(tf.train.CheckpointSaverListener):
  """A saver listener to run evaluate with every checkpoint."""
  def __init__(self, estimator):
    self._estimator = estimator

  def after_save(self, session, global_step_value):
    eval_results = self._estimator.evaluate(...)
    if stop-if-started-overfitting(eval_results):
      return True

PiperOrigin-RevId: 197586515

Make init_scope preserve the inner device stack when lifting into a graph.

Eager execution doesn't implement device stacks and in particular it doesn't support device functions (which determine the device on a per-op basis), so in general it's not possible to do the same when lifting into the eager context.

PiperOrigin-RevId: 197583446

Special case the 'dict' call, which trips other mechanisms for built-ins.

PiperOrigin-RevId: 197576297

[TF:XLA] Fix xla_interpreter_device build

PiperOrigin-RevId: 197571618

Contributing guidelines, style guide and README updates

PiperOrigin-RevId: 197564905

Update calls to addPassesToEmitFile

PiperOrigin-RevId: 197564506