[XLA] Cache computations when creating reduces in algebraic simplifier or batchnorm expander

Otherwise we create a lot of identical small computations. This shouldn't have
an effect except for cluttering the HLO, but turns out HloCSE doesn't look
inside of the computation of reduces, effectively never eliminating reduces
that were produced via this code path.

While there clean up some YAGNI, this only worked for F32 anyways, so just
hardcode it.

PiperOrigin-RevId: 196689316

[TF:XLA] Generalize existing support for keeping variables on an XLA device in reshaped form, instead allowing XLA devices to keep all tensors in a reshaped form outside an XLA computation.

PiperOrigin-RevId: 196683444

Adding --distinct_host_configuration=false in tools/bazel.rc

When building TensorFlow, the host and target platforms are usually the same. So we don't have to distinct them by default. This helps avoid building the same targets twice.

If we need to do cross compilation, add --config=cross-compile to distinct them.

PiperOrigin-RevId: 196673728

update doc

PiperOrigin-RevId: 196670274

Small polishing changes in stream executor, no functional changes.

PiperOrigin-RevId: 196665609

internal change

PiperOrigin-RevId: 196640024

Reland improve fusion logic of (a dot b) * alpha

The previous fusion approach didn't work because a multiplication by a scalar value
will be changed into an explicit broadcast.
Another issue that is fixed in this CL is retrieving the constant value from
the literal. This depends on the PrimitiveType, before we always assumed it to be double.
Also when checking ImplementedAsGemm() we should not call it recursively, but instead just the check related to kDot.
Finally add an execution test and adjust the fusion logic test.

The fix for the issue that caused the revert is that we check earlier that consumer->operand_count() is 2.
Also, we fix the call to Get() to pass {} instead of {0}.
And we handle an output fusion node in GemmThunk to extract the dimension numbers from the dot operation.

PiperOrigin-RevId: 196631031

[TF:XLA] Scheduling test which demonstrates that we are ignoring the memory needed by subcomputations.

PiperOrigin-RevId: 196618347

Added type check to feature column keys. So that users will get meaningful error messages in situations like: #19219

PiperOrigin-RevId: 196616638

Partial update of tf.keras to the Keras 2.1.6 API.

Changes included are:
- Fix `batch_dot` when `axes=None`
- Add axis=-1 as an argument to keras.backend.softmax
- Fix ctc_batch_cost() error when batch_size = 1
- Print previous best in ModelCheckpoint callback
- Fix ReduceLROnPlateau callback
- Extend RemoteMonitor to send data as application/json
- Fix default dilation rate value in 2D separable conv.
- Fix for MobileNet model with undefined shape
- Disable require_flatten in nasnet & Add an error message for undefined shape.
- Improve tests by designating dtype of sample data
- Multi_gpu_model supporting legacy/fullCPU/fullGPU

PiperOrigin-RevId: 196615376

  Function should inherit device information from the caller site.

PiperOrigin-RevId: 196614376

Update SCALED mode to use the full quantized range of -128..127 when possible.

PiperOrigin-RevId: 196606455

[XLA] Move more comparison functions to non-test library.

PiperOrigin-RevId: 196605347

Move model_to_estimator utility into Estimator from Keras.

Working on untangling TF/Estimator deps. We would like to get to a state
where Estimator depends on Keras and not vice versa

PiperOrigin-RevId: 196605024

Fix a bug in HloInstruction::ImplicitlyBroadcastsOperand where operands with the same dimension but different types are not considered broadcast.

PiperOrigin-RevId: 196603348

Adds CsvDataset, which both reads and parses files.
Example usage: dataset = tf.contrib.data.CsvDataset(filenames, record_defaults=record_defaults, **kwargs)
Motivation: Fusing reading and parsing is more performant and correct than the previous canonical CSV parsing flow (`dataset = tf.data.TextLineDataset(filenames).map(lambda l: tf.decode_csv(l, **kwargs))`)

Closes #19077.

PiperOrigin-RevId: 196601381

Disable LinearOperatorKroneckerTest.test_solve_{with_broadcast} temporarily.

PiperOrigin-RevId: 196601310

[tf.data] Add optional `args` argument to `Dataset.from_generator()`.

The new argument allows you to parameterize the generator with the value of a tf.Tensor,
enabling `Dataset.from_generator()` to be initialized from a placeholder or used in a
nested expression (such as `flat_map()` or `parallel_interleave()`). For example:

```python
def generator(n):
  for _ in range(n):
    yield n

# Define a generator based on a placeholder.
placeholder = tf.placeholder(tf.int64, shape=[])
dataset = tf.data.Dataset.from_generator(generator, tf.int64, args=(placeholder,))

# Define a generator based on the value of a nested dataset element.
dataset = tf.data.Dataset.range(10).flat_map(
    lambda i: tf.data.Dataset.from_generator(generator, tf.int64, args=(i,)))
```

Fixes #19269. Partially addresses issue #13101.

PiperOrigin-RevId: 196598650

Introduce LossScalingOptimizer for mixed precision training.

PiperOrigin-RevId: 196597196

Add an option to execute eval on cpu, regardless of training runs on TPU.
This will let users to benefit from TPU training, but avoid complex
eval metrics functions to be ported to TPU.

PiperOrigin-RevId: 196587755

Refactoring: Make OpResolver return const pointer.
PiperOrigin-RevId: 196587227

Automated g4 rollback of changelist 196565296

PiperOrigin-RevId: 196586601

ClangTidy - Readability cleanup:/code-findings-fixes.

* unused using-declarations
* redundant string conversions
* C-style casts
* redundant get() call on smart pointer
* the 'empty' method should be used to check for emptiness instead of 'size'

PiperOrigin-RevId: 196585984

Make sure that variables aren't created as partition variables since only non-scalar partition variables are supported.

PiperOrigin-RevId: 196584749

Fix bug where custom layers could crash.

Layer.add_weight would crash when called without a dtype or initializer.

PiperOrigin-RevId: 196583182

Fix functional.While(), functional.For(rewrite_with_while)

When executing on GPU, synchronously copy cond result from device to host.

PiperOrigin-RevId: 196580820

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 196580619

Add ExplicitShapes as a new shape inference function for Ops with
multiple outputs, each of which is explicitly declared.

PiperOrigin-RevId: 196579920

Remove CuDNNRNN timing test.

PiperOrigin-RevId: 196578043

Fix copy functions of MutableOpResolver

PiperOrigin-RevId: 196577314

Used aligned allocation for vector cache.

PiperOrigin-RevId: 196576497

Update ops-related pbtxt files.

PiperOrigin-RevId: 196576189

Internal change.

PiperOrigin-RevId: 196575483

Refactoring: Remove lite/tools:mutable_op_resolver dependency.
PiperOrigin-RevId: 196575387

Stricter analysis for functional conditional generation

PiperOrigin-RevId: 196573938

Do shape validation in ScatterNd kernel, not just the shape inference function.

Fixes #18648

PiperOrigin-RevId: 196572262

Fail gracefully with a helpful error message when provided with conflicting
visible_devices_list.

See #19083
See #18861

More generally, this change avoids assertion failures (that will bring the
whole process down) on a few code-paths that can be triggerred by user input.

PiperOrigin-RevId: 196572013

Internal change.

PiperOrigin-RevId: 196570742

Make CollectiveParamReducerLocal::InitInstanceSharedParams non-blocking.

PiperOrigin-RevId: 196570011

Automated g4 rollback of changelist 196456687

PiperOrigin-RevId: 196567964

Add score filtering to tf.image.non_max_suppression.

PiperOrigin-RevId: 196567928

Update the eager programmer's guide to reflect the fact that "==" is not
implemented in the natural way for the Tensor class.

PiperOrigin-RevId: 196566940

ReverseDFS scheduler reverses the heuristics used in DFSScheduler.

Also fixes hlo_schedule_test to remove the expected order on unrelated operations.

PiperOrigin-RevId: 196565651

Disable flaky cudnn_recurrent test

PiperOrigin-RevId: 196565296

Reenable virtual gpu test, and decrease the number of testing rounds.

PiperOrigin-RevId: 196565153

[XLA] Ergonomic improvements to --xla_hlo_profile.

- Don't display ops with 0 optimal seconds and 0 actual cycles.  These
  are ops that were expected to be free and were actually free.

- Fix HloCostAnalysis to mark parameters, constants, and
  get-tuple-element as expected-to-be-free per the definition above.

- Allow optimal-seconds < 0 to indicate "I don't know".  Use this for
  custom calls, and then hide such ops from the "seconds above the
  optimum" table.

- Don't display "<none>" and "<unknown>" -- instead, just display the
  empty string.  Less visual noise.

- Instead of showing ~5 ops per category in the categories tables, show
  everything.  This isn't so noisy now that we're hiding "free" ops, and
  it makes finding optimization opportunities much easier.

PiperOrigin-RevId: 196564177

Add If op rewriter.

* Add attribute to If op to indicate if lowering to switch-merge form is
  needed;
* Add initial version of If op rewriter than transforms a If op into
  switch/merge nodes (as would have been constructed via tf.cond) if the If op
  has the lowering attribute set.
  - The pass is not ready for general use and, for example, does not support
    reference data types.

PiperOrigin-RevId: 196563421

Reserves 'context' key in TPUEstimator params dict.

PiperOrigin-RevId: 196561620

Add CheckpointInputPipelineHook to the API docs.

PiperOrigin-RevId: 196560221

Added support for strided slicing of symbolic shapes

PiperOrigin-RevId: 196558466

Resolve inlined function input/output types from GrapplerFunctionItem.

Remove duplicated code to resolve type from attributes.

PiperOrigin-RevId: 196558061

Updated speech commands example to use new dataset

PiperOrigin-RevId: 196557132

Various ClangTidy-inspired fixes.

PiperOrigin-RevId: 196556727

  add memory utilization estimate for HLO op profile.

PiperOrigin-RevId: 196553696

Deletes an unused private method in head.py

PiperOrigin-RevId: 196545696

Don't check that bool arrays are quantized.

PiperOrigin-RevId: 196541955

Use utility methods to compute AttrValue hash code and check for equality.

PiperOrigin-RevId: 196531355

avoid having stream_executor depend on tensorflow/core

PiperOrigin-RevId: 196521381

Extracts the following optimizations into methods:

PartialConstPropThroughIdentityN
ConstantPushDown

PiperOrigin-RevId: 196520167

Pre-factoring: Fix overly specific test expectations to prepare for multi-output fusion.
PiperOrigin-RevId: 196514026

Prevent removal of constant inputs to passthrough ops.

PiperOrigin-RevId: 196505061

Bump protobuf dependency to fix windows build issues.

PiperOrigin-RevId: 196456687

Introduce op version into TFLite

PiperOrigin-RevId: 196448769

Update UI for Camera example.

PiperOrigin-RevId: 196444970

ClangTidy - Legacy cleanup:

  * use nullptr
  * converting integer literal to bool, use bool literal instead
  * annotate this function with 'override' or (rarely) 'final'
  * prefer using 'override' or (rarely) 'final' instead of 'virtual'

PiperOrigin-RevId: 196441181

Fix logic bug: should use logical-AND, not bitwise-AND.

PiperOrigin-RevId: 196435466

Make CPython implementation function type-correct, which removes UB from calling a function through a pointer of the wrong type, and also removes a C-style cast.

PiperOrigin-RevId: 196428430

Automated g4 rollback of changelist 196349902

PiperOrigin-RevId: 196387391

Check that the module group metadata builder correctly detects whether there are more than one companion instruction per device/module.

PiperOrigin-RevId: 196369766

Adding cuDNN header dependency to targets that include the cuDNN header file.

PiperOrigin-RevId: 196349902

Automated g4 rollback of changelist 196166118

PiperOrigin-RevId: 196340289

Making GetInput from kernel_util.h return a pointer to const data.

PiperOrigin-RevId: 196340200

Add bool conversion in toco for tflite since bool is supported by tflite.

PiperOrigin-RevId: 196339883

Implement additional options to control the string output of HloInstruction and HloComputation.

PiperOrigin-RevId: 196334340

Add IsCondMerge.

PiperOrigin-RevId: 196332782

Add hook for checkpointing input pipeline while training with Estimator.

PiperOrigin-RevId: 196331223

[XLA] s/tensorflow::Status/Status/.

These are type aliases of one another; we'd like to be consistent and
use the shorter one.

PiperOrigin-RevId: 196322955

Checkpointable: Remove overzealous error checking from tf.make_template

It was checking that all variables in the Template's scope were dependencies, but Optimizer slot variables are created with the same prefix (and should not be dependencies).

Conversely, eager execution's eager slot variable creation meant that Templates create unnecessary/somewhat harmful dependencies on restored slot variables. Fixes that.

PiperOrigin-RevId: 196321999

In broadcaster.cc send from the input tensor, not the output, since
it may not have been forwarded.  Add non-forwarding cases to unittest.

PiperOrigin-RevId: 196320304

Add `<float>` to the call to `Tensor`

PiperOrigin-RevId: 196316735

Expose MaybeGetMinimumShape for use in cost estimators other than OpLevelCostEstimator.

PiperOrigin-RevId: 196315239

Introduce an indirection to access posix/error.h, so implementations don't
have to worry about platform details.

PiperOrigin-RevId: 196315234

Implement constant-only ListDiff Op in XLA to support dense layer.

PiperOrigin-RevId: 196315170

[XLA:GPU] Load kernel thunks' kernels before running them.

The motivation here is that with --xla_hlo_profile, we count the time
spent in Thunk::ExecuteOnStream, but we don't want to count the time
spent loading the CUDA code into the GPU as time spent in the first
kernel thunk we try to run.

PiperOrigin-RevId: 196314733

Modify the python interface to toco to provide arithmetic operations used by the model.

PiperOrigin-RevId: 196314416

Remove degenerate batch dimensions form batch dot

The way things are set up today this specific optimization isn't particularly
important, but I want to implement a follow-on optimization in
BatchDotSimplification to transform (non-degenerate) batch GEMV operations into
GEMM which I'm expecting to help us a bit.

This would normally be in the algebraic simplifier, but we want to fixpoint this
pass before we run DotDecomposer.  This will become more important when we
implement the (non-degenerate) batch GEMV operations -> GEMM transform.

PiperOrigin-RevId: 196314230

[TF:XLA] Bump open source llvm revision to r332085

PiperOrigin-RevId: 196314181

Checkpointable: Add UniqueNameTracker for managing dependencies on arbitrarily named objects

Makes generating object-unique dependency names easier, which will hopefully discourage people from using Graph-global names with Checkpointable.

PiperOrigin-RevId: 196311633

Add some python wrapper for TF_ApiDefMap.

PiperOrigin-RevId: 196308677

Make the elemental ir emitter for dot operations respect contraction dims

PiperOrigin-RevId: 196305803

Allow zero initializer by default for string variables (no reason not to)

PiperOrigin-RevId: 196302302

Reads the L2 and L3 cache sizes from the system instead of using hard-coded constants.

PiperOrigin-RevId: 196296096

Update HeapSimulator to use BufferValue.

PiperOrigin-RevId: 196293610

Change default number of threads to 1.

PiperOrigin-RevId: 196293227

Updating the descriptions for TensorFlow.

PiperOrigin-RevId: 196291844

RELNOTES: This allows the use of '.' in variables (e.g. "hparams.parse('a.b=1.0')"), which would previously raise an error. This will correspond to an attribute name with an embedded '.' symbol (e.g. 'a.b'), which can only be accessed indirectly (e.g. through getattr and setattr).  To set this up the user will first need to explicitly add the variable to the hparam object (e.g. "hparams.add_hparam(name='a.b', value=0.0)").

NOTE: the use of '.' in variable names is now allowed, but it is not recommended.
PiperOrigin-RevId: 196278660

Allow communicating instructions within a kCall computation.

PiperOrigin-RevId: 196278635

[XLA] Fix a doc that still mentioned computation_builder.

PiperOrigin-RevId: 196278086

Move fn_args utility into core TensorFlow from Estimator.

Working on untangling TF/Estimator deps. Some core TF code depends on Estimator
by using the fn_args utility function within Estimator.

PiperOrigin-RevId: 196277612

Introduce ordered_inputs option to graph_matcher to allow simpler matching of commutative operations.

#18919

PiperOrigin-RevId: 196276502