Reenable virtual gpu test, and decrease the number of testing rounds.

PiperOrigin-RevId: 196565153

[XLA] Ergonomic improvements to --xla_hlo_profile.

- Don't display ops with 0 optimal seconds and 0 actual cycles.  These
  are ops that were expected to be free and were actually free.

- Fix HloCostAnalysis to mark parameters, constants, and
  get-tuple-element as expected-to-be-free per the definition above.

- Allow optimal-seconds < 0 to indicate "I don't know".  Use this for
  custom calls, and then hide such ops from the "seconds above the
  optimum" table.

- Don't display "<none>" and "<unknown>" -- instead, just display the
  empty string.  Less visual noise.

- Instead of showing ~5 ops per category in the categories tables, show
  everything.  This isn't so noisy now that we're hiding "free" ops, and
  it makes finding optimization opportunities much easier.

PiperOrigin-RevId: 196564177

Add If op rewriter.

* Add attribute to If op to indicate if lowering to switch-merge form is
  needed;
* Add initial version of If op rewriter than transforms a If op into
  switch/merge nodes (as would have been constructed via tf.cond) if the If op
  has the lowering attribute set.
  - The pass is not ready for general use and, for example, does not support
    reference data types.

PiperOrigin-RevId: 196563421

Reserves 'context' key in TPUEstimator params dict.

PiperOrigin-RevId: 196561620

Add CheckpointInputPipelineHook to the API docs.

PiperOrigin-RevId: 196560221

Added support for strided slicing of symbolic shapes

PiperOrigin-RevId: 196558466

Resolve inlined function input/output types from GrapplerFunctionItem.

Remove duplicated code to resolve type from attributes.

PiperOrigin-RevId: 196558061

Updated speech commands example to use new dataset

PiperOrigin-RevId: 196557132

Various ClangTidy-inspired fixes.

PiperOrigin-RevId: 196556727

  add memory utilization estimate for HLO op profile.

PiperOrigin-RevId: 196553696

Deletes an unused private method in head.py

PiperOrigin-RevId: 196545696

Don't check that bool arrays are quantized.

PiperOrigin-RevId: 196541955

Use utility methods to compute AttrValue hash code and check for equality.

PiperOrigin-RevId: 196531355

avoid having stream_executor depend on tensorflow/core

PiperOrigin-RevId: 196521381

Extracts the following optimizations into methods:

PartialConstPropThroughIdentityN
ConstantPushDown

PiperOrigin-RevId: 196520167

Pre-factoring: Fix overly specific test expectations to prepare for multi-output fusion.
PiperOrigin-RevId: 196514026

Prevent removal of constant inputs to passthrough ops.

PiperOrigin-RevId: 196505061

Bump protobuf dependency to fix windows build issues.

PiperOrigin-RevId: 196456687

Introduce op version into TFLite

PiperOrigin-RevId: 196448769

Update UI for Camera example.

PiperOrigin-RevId: 196444970

ClangTidy - Legacy cleanup:

  * use nullptr
  * converting integer literal to bool, use bool literal instead
  * annotate this function with 'override' or (rarely) 'final'
  * prefer using 'override' or (rarely) 'final' instead of 'virtual'

PiperOrigin-RevId: 196441181

Fix logic bug: should use logical-AND, not bitwise-AND.

PiperOrigin-RevId: 196435466

Make CPython implementation function type-correct, which removes UB from calling a function through a pointer of the wrong type, and also removes a C-style cast.

PiperOrigin-RevId: 196428430

Automated g4 rollback of changelist 196349902

PiperOrigin-RevId: 196387391

Check that the module group metadata builder correctly detects whether there are more than one companion instruction per device/module.

PiperOrigin-RevId: 196369766

Adding cuDNN header dependency to targets that include the cuDNN header file.

PiperOrigin-RevId: 196349902

Automated g4 rollback of changelist 196166118

PiperOrigin-RevId: 196340289

Making GetInput from kernel_util.h return a pointer to const data.

PiperOrigin-RevId: 196340200

Add bool conversion in toco for tflite since bool is supported by tflite.

PiperOrigin-RevId: 196339883

Implement additional options to control the string output of HloInstruction and HloComputation.

PiperOrigin-RevId: 196334340

Add IsCondMerge.

PiperOrigin-RevId: 196332782

Add hook for checkpointing input pipeline while training with Estimator.

PiperOrigin-RevId: 196331223

[XLA] s/tensorflow::Status/Status/.

These are type aliases of one another; we'd like to be consistent and
use the shorter one.

PiperOrigin-RevId: 196322955

Checkpointable: Remove overzealous error checking from tf.make_template

It was checking that all variables in the Template's scope were dependencies, but Optimizer slot variables are created with the same prefix (and should not be dependencies).

Conversely, eager execution's eager slot variable creation meant that Templates create unnecessary/somewhat harmful dependencies on restored slot variables. Fixes that.

PiperOrigin-RevId: 196321999

In broadcaster.cc send from the input tensor, not the output, since
it may not have been forwarded.  Add non-forwarding cases to unittest.

PiperOrigin-RevId: 196320304

Add `<float>` to the call to `Tensor`

PiperOrigin-RevId: 196316735

Expose MaybeGetMinimumShape for use in cost estimators other than OpLevelCostEstimator.

PiperOrigin-RevId: 196315239

Introduce an indirection to access posix/error.h, so implementations don't
have to worry about platform details.

PiperOrigin-RevId: 196315234

Implement constant-only ListDiff Op in XLA to support dense layer.

PiperOrigin-RevId: 196315170

[XLA:GPU] Load kernel thunks' kernels before running them.

The motivation here is that with --xla_hlo_profile, we count the time
spent in Thunk::ExecuteOnStream, but we don't want to count the time
spent loading the CUDA code into the GPU as time spent in the first
kernel thunk we try to run.

PiperOrigin-RevId: 196314733

Modify the python interface to toco to provide arithmetic operations used by the model.

PiperOrigin-RevId: 196314416

Remove degenerate batch dimensions form batch dot

The way things are set up today this specific optimization isn't particularly
important, but I want to implement a follow-on optimization in
BatchDotSimplification to transform (non-degenerate) batch GEMV operations into
GEMM which I'm expecting to help us a bit.

This would normally be in the algebraic simplifier, but we want to fixpoint this
pass before we run DotDecomposer.  This will become more important when we
implement the (non-degenerate) batch GEMV operations -> GEMM transform.

PiperOrigin-RevId: 196314230

[TF:XLA] Bump open source llvm revision to r332085

PiperOrigin-RevId: 196314181

Checkpointable: Add UniqueNameTracker for managing dependencies on arbitrarily named objects

Makes generating object-unique dependency names easier, which will hopefully discourage people from using Graph-global names with Checkpointable.

PiperOrigin-RevId: 196311633

Add some python wrapper for TF_ApiDefMap.

PiperOrigin-RevId: 196308677

Make the elemental ir emitter for dot operations respect contraction dims

PiperOrigin-RevId: 196305803

Allow zero initializer by default for string variables (no reason not to)

PiperOrigin-RevId: 196302302

Reads the L2 and L3 cache sizes from the system instead of using hard-coded constants.

PiperOrigin-RevId: 196296096

Update HeapSimulator to use BufferValue.

PiperOrigin-RevId: 196293610

Change default number of threads to 1.

PiperOrigin-RevId: 196293227

Updating the descriptions for TensorFlow.

PiperOrigin-RevId: 196291844

RELNOTES: This allows the use of '.' in variables (e.g. "hparams.parse('a.b=1.0')"), which would previously raise an error. This will correspond to an attribute name with an embedded '.' symbol (e.g. 'a.b'), which can only be accessed indirectly (e.g. through getattr and setattr).  To set this up the user will first need to explicitly add the variable to the hparam object (e.g. "hparams.add_hparam(name='a.b', value=0.0)").

NOTE: the use of '.' in variable names is now allowed, but it is not recommended.
PiperOrigin-RevId: 196278660

Allow communicating instructions within a kCall computation.

PiperOrigin-RevId: 196278635

[XLA] Fix a doc that still mentioned computation_builder.

PiperOrigin-RevId: 196278086

Move fn_args utility into core TensorFlow from Estimator.

Working on untangling TF/Estimator deps. Some core TF code depends on Estimator
by using the fn_args utility function within Estimator.

PiperOrigin-RevId: 196277612

Introduce ordered_inputs option to graph_matcher to allow simpler matching of commutative operations.

#18919

PiperOrigin-RevId: 196276502

Use Identity instead of Snapshot when the graph does not contain ops that modify their inputs.

PiperOrigin-RevId: 196275133

[XLA] Redesign: delete ComputationBuilder.

PiperOrigin-RevId: 196275032

Adds code examples in public head methods.

PiperOrigin-RevId: 196272143

ArithmeticOptimizer assumes valid feeds in aggressive mode.

ArithmeticOptimizer depends heavily on shapes in some stages.

PiperOrigin-RevId: 196264319

Make core:device_tracer private to core/BUILD.

PiperOrigin-RevId: 196254936

Add NNAPI 1.1 Div/Mul/Pad/Mean nodes.

PiperOrigin-RevId: 196240584

Fixing 'nothing to do' test in depthwise backward filter kernel for GPU.

PiperOrigin-RevId: 196233957

Remove 'using' of dnn types in CudnnSupport implementation file.

PiperOrigin-RevId: 196233933

Added eval_dir to Estimator so that user does not need to guess which directory contains evaluation summaries.

PiperOrigin-RevId: 196218167

Add missing #include. tensorflow::FunctionDef only happens to be available in this header because it happens to be forward-declared in one of the other .proto.h headers, but it's not actually used there and will go away.

PiperOrigin-RevId: 196217574

Correct accidental code reversion.

PiperOrigin-RevId: 196216176

[XLA] Roll forward fix to use TF macro.

PiperOrigin-RevId: 196213299

Disable flaky batch_dataset_op_test

PiperOrigin-RevId: 196212027

[XLA] Break out literal comparisons from testonly target.

Moves methods from LiteralTestUtil::* to Literal::* where they have nothing
to do with test infrastructure.

Pares down the "void" variants of the LiteralTestUtil methods and consolidates
to the version that return success/failure such that the values can be
EXPECT_TRUE / ASSERT_TRUE asserted in the caller test cases.

This way the literal comparison functionality can be used from cc_libraries
that are not test only / cc_binary.

PiperOrigin-RevId: 196209410

[XLA:GPU] Remove unused Thunk::ShouldBlockFutureThunks function.

PiperOrigin-RevId: 196206896

Internal change

PiperOrigin-RevId: 196205436

Checkpointable: Have RNN wrappers add their cells as dependencies

Also marks _SlimRNNCell as not checkpointable, and adds a more convenient way to tag such classes.

Ideally adding a wrapper around a cell wouldn't break a checkpoint. This could look like RNN cell wrappers inheriting the dependencies of the cell they're wrapping. Possible to add that later if there's demand, or users can just add a dependency on wrapper._cell in addition to/instead of the wrapper when modifying programs.

Fixes #19208.

PiperOrigin-RevId: 196202366

A test fix on Windows.

PiperOrigin-RevId: 196201610

Partial update of tf.keras to the Keras 2.1.6 API.

This covers the following features and associated unit tests:
- multi-output layer where `compute_output_mask` returns `None`.
- saving to, and loading from, an existing hdf5 file.
- `verbose` argument (1/0) in `evaluate_generator`.
- stateful metrics with generator methods.
- `data_format` argument in `Flatten`.
- `constants` argument in Bidirectional's `__call__`.

PiperOrigin-RevId: 196198134

[TPU]: If the $TPU_NAME env var is set, fallback to that.

PiperOrigin-RevId: 196196939

Pipe through warm_start_from parameter

PiperOrigin-RevId: 196194069

Add a HLO evaluator test case for gather

PiperOrigin-RevId: 196193959

Fix some races detected by the analysis tool.

collective_rma_distributed: Return WorkerInterface to cache
prior to invoking RecvFromPeer callback, instead of after.

broadcaster: put status_ updates inside mutex.
PiperOrigin-RevId: 196192631

[XLA] Redesign: change the docs to describe the new interfaces. This change is simply about replacing keywords and formatting files.
- s/ComputationDataHandle/XlaOp/
- s/ComputationBuilder/XlaBuilder/
- s/\<Computation\>/XlaComputation/
- s/client\/computation\.h/client\/xla_client\/xla_computation\.h/
- s/client\/computation_builder\.h/client\/xla_client\/xla_builder\.h/

PiperOrigin-RevId: 196189890

ring_reducer.cc errata:
1. Block in the current (blockable) thread when pre-copying input to
output rather than continuing in the callback which cannot block.
2. Clear RingField array on exit to more promptly release Refs on
output tensor buffer.
3. Properly set the forward_from_array parameter in SubContext.

PiperOrigin-RevId: 196188047

Enable support for crops in BatchToSpaceNd

PiperOrigin-RevId: 196186750

Export GCS object statting streamz metrics. Fix the wrong #define Guard name in gcs_file_system.h.

PiperOrigin-RevId: 196184962

Do not differentiate integers in the eager backprop API.

(with bugfix)

PiperOrigin-RevId: 196184587

Remove cancelling pairs of transposes that are separated by a non-branching chain of ops that preserve value, order, and shape. Off by default.

PiperOrigin-RevId: 196183111

Update ops-related pbtxt files.

PiperOrigin-RevId: 196179875

Fix bug due to incorrect nesting of return statement in eager iterator evaluation.

PiperOrigin-RevId: 196179837

Add Nearest Neighbor sampling to tf.image.crop_and_resize() op
- Prevent smearing when crop resize integer labels
- Faster than Bilinear sampling

PiperOrigin-RevId: 196177762

Removed duplicate implementation of Select, updated quant support for
select.

PiperOrigin-RevId: 196174442

Automated g4 rollback of changelist 195899829

PiperOrigin-RevId: 196173343

Replace SymbolicGradientEnv with FunctionOptimizerContext.

Do not construct FunctionLibraryDefinition twice.

PiperOrigin-RevId: 196172648

Enable Model training/eval from generator in eager execution. Fixes #18287

PiperOrigin-RevId: 196171525

Started work on a shape optimizer

PiperOrigin-RevId: 196170800

Increase size of test //third_party/tensorflow/contrib/distributions:distribution_test to avoid flaky timeouts

PiperOrigin-RevId: 196166582

Optimizations to DepthwiseConv

PiperOrigin-RevId: 196166118

Add missing FlatSet::insert(Key&&) overload.

PiperOrigin-RevId: 196162544

Fix a bug about getting arguments of partial functions.

PiperOrigin-RevId: 196157095

Make FlatSet and FlatMap movable.

PiperOrigin-RevId: 196156010

BUGFIX: correctly propagate dtype in distributions.special_math.

PiperOrigin-RevId: 196155994

DT_TEXTREL set by -Wl,-z,notext is incompatible with indirect functions (IFUNC).
NVFlex.o in cuda_9_0/lib64/libculibos.a has buggy .eh_frame, which overlaps with .rela.rodata R_X86_64_PC32 relocations and makes it not able to be linked with LLD.

PiperOrigin-RevId: 196155873