Adds support for hoisting out common denominator in arithmetic_optimizer

PiperOrigin-RevId: 192314177

[TF:XLA] fix a segfault in MakeFakeArguments, and add a test case.

PiperOrigin-RevId: 192310749

Simplify test_util.run_in_graph_and_eager_modes

- Get rid of unnecessary options
- Update various resource variable tests so that they correctly exercise the cases where the variables are placed on GPU (these "with tf.device('/cpu:0')" blocks that were added for eager execution are no longer necessary)

PiperOrigin-RevId: 192309109

Place data format op on CPU:0.

PiperOrigin-RevId: 192302833

Fix markdown in a couple of tf.estimator docstrings.

PiperOrigin-RevId: 192299871

Remove manifest_merger from tensorflow_demo. This is an internal-only attribute
that is being removed from bazel.

PiperOrigin-RevId: 192298746

Fix capitalization (on master)

PiperOrigin-RevId: 192298563

[XLA:GPU] Add infrastructure for unrolling kernels to improve bandwidth utilization.

We often have simple kernels that do very little actual work, duplicating that
can increase the used bandwidth.

This change introduces flags and infrastructure for unrolling kernels, it
doesn't include any cost heuristics and is disabled by default. Based on code
written by Bixia Zheng.

PiperOrigin-RevId: 192296781

Added minimum op, better type support in maximum.

PiperOrigin-RevId: 192292693

Update document

PiperOrigin-RevId: 192292160

Suppress -Wself-assign in self-assignment tests, which triggers in newer clang
revisions.

PiperOrigin-RevId: 192284946

[XLA] Redesign: implement and test custom call.

PiperOrigin-RevId: 192241311

[XLA] Redesign: implement XlaBuilder::IsConstant, XlaBuidler::BuildConstantSubGraph, and Client::ComputeConstant(XlaComputation...).
- Since the builder no longer holds a client, we moved the ComputeConstant to the client side so that it can communicate with the service side. Now we add XlaBuilder::BuildConstantSubGraph, which is only responsible for building a subgraph that is compile-time constant.
- Before this change, every XlaBuilder has a unique id. Now since it also builds constant subgraph, we give every XlaComputation being built a global unique id, and uniquify instruction names when actually building the XlaComputation.

PiperOrigin-RevId: 192236997

Implementation of ArgMax

PiperOrigin-RevId: 192236845

Updating three tests in constant_folding_test.cc with PlaceHolders Nodes to check EvaluateNodes returns the same output for the original and optimized graph

PiperOrigin-RevId: 192235310

Fix the GCS Kokoro build badge links.

The original badges I added were redirected/authenticated links (I think). This
resulted in broken images on the README. These new links should not be
redirected and should just link to the badge images.

PiperOrigin-RevId: 192230689

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 192227995

Update ops-related pbtxt files.

PiperOrigin-RevId: 192226063

[XLA] Attach a reference client to the client_library_test_base, and implement ComputeAndCompare for XlaBuilder.
- In ComputeAndCompare(XlaBuilder..), compute the reference result by executing on the interpreter backend.
- Also migrate some tests to use the new ComputeAndCompare(XlaBuilder..).

PiperOrigin-RevId: 192225152

Include standard headers when libc++ requires them.

PiperOrigin-RevId: 192224104

  Add the total device time and total host time to tf_op_stats.

PiperOrigin-RevId: 192223560

[XLA] Redesign: implement fft.

PiperOrigin-RevId: 192220070

[tf.data] Add parameter for select_cols in tf.decode_csv for option to parse only a subset of CSV columns; added same parameter to make_csv_dataset function in tf.contrib.data.

PiperOrigin-RevId: 192219509

boosted_trees: early stop hooks are fixed to stop at the right moment
 by reading tensor values in a separate session after train_op run.
PiperOrigin-RevId: 192217338

Remove extra #define EIGEN_USE_THREADS.

It breaks some builds with
 error: "EIGEN_USE_THREADS" redefined [-Werror]

PiperOrigin-RevId: 192216796

[slim] Allow passing timeout_fn to 'evaluation_loop' so that caller can have more control over what to do if checkpoints_iterator times out.

PiperOrigin-RevId: 192216302

Don't fail when running shape inference on a graph that contains functions.

PiperOrigin-RevId: 192215493

Export recurrent and its RNN implementation in tf.contrib.

PiperOrigin-RevId: 192210794

Internal Change

PiperOrigin-RevId: 192209093

[XLA] Redesign: implement infeed and outfeed.

- XlaBuilder::Infeed is basically ComputationBuilder::Infeed + UserComputation::AddInfeedInstruction + ComputationLowerer::Visit + HloInstruction::CreateInfeed.
- Similar for Outfeed.

PiperOrigin-RevId: 192206502

Hide slide_dataset from the new API.

PiperOrigin-RevId: 192204209

Add bitcast-convert support to the evaluator and as a method on Literal.

PiperOrigin-RevId: 192197163

[XLA] Use ThreadPool in a safer way.

ThreadPool joins its threads when it is destroyed, and there's no way to explicitly join. This means passing a ThreadPool and then scheduling in the callee is risky.

PiperOrigin-RevId: 192193752

Don't run test flaky under TSAN.

PiperOrigin-RevId: 192193350

Acknowledges tape in graph mode doesn't like unknown shapes

PiperOrigin-RevId: 192192757

Tweak the context stack so init_scope works with eager Graphs

Previously breaking out into Graphs created with eager execution enabled would
enter the graph but not re-enable eager execution.

PiperOrigin-RevId: 192192109

Don't initialize global threadpool in GraphRunner.

TF_Graph creates a ShapeRefiner, which in
turn creates a GraphRunner, which prior to this change would eventually create a
LocalDevice that initialized the global eigen threadpool. This prevents
users from specifying a custom number of threads for the pool via a
ConfigProto.

This change introduces a new device class, SingleThreadedCpuDevice, that can
be used for light-weight computations without initializing the threadpool.

Addresses #18300.

PiperOrigin-RevId: 192188031

Fix GPUDebugAllocator and GPUNanResetAllocator:
1. Eliminate the checks when the pointer is nullptr.
2. Fix nan array size. Some application can produce a zero size which would
   cause out-of-range access error.

PiperOrigin-RevId: 192186224

Doccumentation fix for LossSpec.

PiperOrigin-RevId: 192185646

Fix bug in loop optimizer. Reuse existing constant nodes.

PiperOrigin-RevId: 192185091

Automated g4 rollback of changelist 192160407

PiperOrigin-RevId: 192184809

Adds __repr__ method to HParams.

PiperOrigin-RevId: 192184000

Make node and registration getter const.

PiperOrigin-RevId: 192183067

Add opcode for new instruction that broadcasts degenerate dimensions.
Implicit broadcasts can be translated to the new instruction instead of a reshape-and-broadcast.
Follow-up CLs will add support in UserComputation and the various backends.

PiperOrigin-RevId: 192180356

Add a utility that can detect the class that defined a method. This is useful when converting a e.g. a custom Keras model, to avoid recompiling the base model methods.

PiperOrigin-RevId: 192177117

Adds a within_ops_fn parameter to get_forward_walk_ops and get_backward_walk_ops
that allows setting a condition on ops that are within or not within.

Also adds tests for these methods that were missing.

PiperOrigin-RevId: 192176693

Implement DFS using a loop instead of recursion to avoid stack overflow.

PiperOrigin-RevId: 192169242

Renames exported signature names in MultiHead so head_name comes first.

PiperOrigin-RevId: 192168628

Provide a hint about the number of iterations to while_loop in the case of for loops over tensors of known size. This allows using this type of for loops on TPU.

PiperOrigin-RevId: 192166460

Only set session in model_to_estimator if _SESSION has not been set.
Fix #18193.

PiperOrigin-RevId: 192164669

Internal fix.

PiperOrigin-RevId: 192163466

Automated g4 rollback of changelist 186518037

PiperOrigin-RevId: 192161449

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 192160587

Allow creating tensors from numpy arrays, and other various constants.

Allow type-inference from a different input tensor, similar to args_to_matching_eager.

- Update TFE_Py_TensorShapeSlice to take tuples.
- Update int values to allow int/long in py2

PiperOrigin-RevId: 192160407

Update ops-related pbtxt files.

PiperOrigin-RevId: 192155883

Documentation fix.

PiperOrigin-RevId: 192155305

Register tf.concat with uint8 data type.

PiperOrigin-RevId: 192154998

Adds support for tf.HParams to TPUEstimator.

PiperOrigin-RevId: 192154504

Adds complex64/128 Fill kernel registrations for GPU.

PiperOrigin-RevId: 192153935

Rewrite a fast GEMV path for two goals:
1. Avoid cache aliasing issues on CPUs with 4-way set associative L1 cache.
   That includes Cortex-A53.
2. Be a good basis to port to assembly.

PiperOrigin-RevId: 192152277

Collective Ops Part 2

Kernel/Op defs for reduction and broadcast.

Note that kernels just set up CollectiveParams and don't
define detailed algorithms.

This change is part of a series of changes introducing infrastructure
for collective ops and initial implementations of reduction and broadcast.

PiperOrigin-RevId: 192151715

Add `scope` parameter in experimental Quantization API.

This enables quantizing subgraphs of the entire graph. It's useful for networks
like Inception since we don't want to quantize the AuxLogits scope.

PiperOrigin-RevId: 192150416

Replaced calls to deprecated tensorflow::StringPiece methods with their
tensorflow::str_util equivalents.

This will allow the deprecated methods to be removed.

PiperOrigin-RevId: 192150230

Internal Change.

PiperOrigin-RevId: 192149558

Add validation for output_index of Feed.id.
Return error instead of crash if output_index is not less than the output number of the operation.

PiperOrigin-RevId: 192148911

Minimize broadcasts by rewriting a sub-tree of binary associative ops (Add, Mul).

PiperOrigin-RevId: 192145052

Small reorganization of core/BUILD

PiperOrigin-RevId: 192142333

Initial Python API for specifying outside_compilation blocks that call out from a TPU computation.

For now outside_compilation cannot occur inside any compiled control flow (while loop or conditional). If the computation is replicated, the outside_compilation ops are also replicated. Both of these restrictions will be lifted in followup CLs.

PiperOrigin-RevId: 192135901

Adding support for the standalone log operator. Basic import/export only, No run time support.

PiperOrigin-RevId: 192135843

Begin switching to use Kokoro build badges on TF GitHub README.md.

Moving away from Jenkins builds. Would like to switch to use build badges
for the equivalent builds we have set up on Kokoro.

PiperOrigin-RevId: 192130083

Pass allow_custom_ops to toco from the python api.

PiperOrigin-RevId: 192125160

Suppress -Wself-assign in self-assignment tests, which triggers in newer clang revisions.

PiperOrigin-RevId: 192123736

Make grpcio pip dependency conditional on little endian

grpcio doesn't build correctly on big-endian machines due to
lack of BoringSSL support.

Fixes: #17882
PiperOrigin-RevId: 192122728

Enabling fp16 for NCCL 1 and 2.

PiperOrigin-RevId: 192096789

Automated g4 rollback of changelist 191360905

PiperOrigin-RevId: 192065431

[XLA] Parallelize HloEvaluator::HandleConvolution

This adds a parallel version of Literal::Populate, and uses it in the embarrassingly parallel convolution computation.

PiperOrigin-RevId: 192065277

Revamp a few ScratchAllocator classes in cudnn_rnn_ops

Prepare for RNN autotune.
* The scratch allocator classes are renamed s.t. they're named by the duration of memory allocated.
  * CudnnReservespaceAllocator ==> CudnnRnnAllocatorInOutput.
  * CudnnWorkspaceAllocator ==> CudnnRnnAllocatorInTemp

* The old CudnnWorkspaceAllocator (new CudnnRnnAllocatorInTemp) is made a template s.t. it works with different tensor dtypes, which is used later in autotune, during which both workspace (uint8) and reserve space (input_dtype) are temp-allocated.

* Change CudnnModelShapes  ==> CudnnRnnModelShapes

PiperOrigin-RevId: 192018334

Fix batch_norm_benchmark.py to work with the C API.

PiperOrigin-RevId: 192016546

Save some useful TPU estimator's ops into collections for performance measurement.

PiperOrigin-RevId: 192016099

[XLA:GPU] Eliminate the guard around Winograd non-fused convolutions with cudnn7.

Adds DnnSupport::GetVersion() and uses this to unguard Winograd
non-fused convolutions if you're using cudnn7.

PiperOrigin-RevId: 192010450

Automated g4 rollback of changelist 191938267

PiperOrigin-RevId: 192007784

Remove 'Print' in DebugStripper.

PiperOrigin-RevId: 191989327

Add analytical cost model for FusedConv2DBiasActivation.

PiperOrigin-RevId: 191978272

Improvements to ResourceVariable + Variant code.

* Works in graph + eager modes
* Fixed shape inference
* Updated shape inference + refiner + constant eval code to support static shape tensor of `-1` meaning unknown shape.
* Gather and Scatter for Variants now properly supported.
* Variable copy-on-write for Variants now does a more shallow copy (as Variants are not expected to be updated "in-place" inside a variable; instead Variants will be updated via read-update-write inside a CriticalSection)

PiperOrigin-RevId: 191975898

eager: s/tfe.GradientTape/tf.GradientTape/

In the next release (and at HEAD), GradientTape has graduated
out of the tf.contrib.eager namespace.

PiperOrigin-RevId: 191974294

Place data format op on host if input tensor is in host memory.

PiperOrigin-RevId: 191972759

Update ops-related pbtxt files.

PiperOrigin-RevId: 191971265

Automated g4 rollback of changelist 191963758

PiperOrigin-RevId: 191970209

[XLA] Make HloTestBase's hlo verifier to allow mixed precision.

PiperOrigin-RevId: 191968158

We no longer need updates_collections in quant ops since we rely on the data dependency from Assign ops.

PiperOrigin-RevId: 191965466

[XLA] Redesign: implement Collapse and migrate reshape_test.

PiperOrigin-RevId: 191965245

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 191964971

Add remote session support for the MakeCallable API.

PiperOrigin-RevId: 191964391

Initial Python API for specifying outside_compilation blocks that call out from a TPU computation.

For now outside_compilation cannot occur inside any compiled control flow (while loop or conditional). If the computation is replicated, the outside_compilation ops are also replicated. Both of these restrictions will be lifted in followup CLs.

PiperOrigin-RevId: 191963758

Replaced calls to deprecated tensorflow::StringPiece methods with their
tensorflow::str_util equivalents.

This will allow the deprecated methods to be removed.

PiperOrigin-RevId: 191962763

Update ops-related pbtxt files.

PiperOrigin-RevId: 191962652

Open sourcing proto/rpc ops.

PiperOrigin-RevId: 191962572

Remove zipped argument, and use an implicit dispatch mechanism

PiperOrigin-RevId: 191962157

Add CallableOptions.tensor_connection for feeding a tensor to another tensor.

PiperOrigin-RevId: 191960845

Add methods to TestReporter to log extras for benchmarks.

PiperOrigin-RevId: 191960433