[TF:XLA] Create Despecializing Pass Pipeline

When comparing backends, it is useful to take an HLO optimized for one backend and perform transformations in order to match numerics.  This can be thought of as finding a lowest common denominator.

Move this grouping of passes into its own HloPassPipeline that can be reused in a few different places.

PiperOrigin-RevId: 191914799

Added headers only version of tensorflow/core/kernels:cwise_lib, cwise_lib_hdrs. This is for clients that want to use the cwise_ops machinery when making their own custom ops, including cwise_lib directly causes multiple definition linker errors.

PiperOrigin-RevId: 191914445

Minor doc clarification for reduce_sum return type

PiperOrigin-RevId: 191914398

Properly handle callable objects.

PiperOrigin-RevId: 191913834

TPU Cost Estimator has been modified to also account for the memory cost in the execution time. Until more sophisticated methods are added, we resort to the roofline model to calculate such cost.

PiperOrigin-RevId: 191913626

Change GetInstructionCallContext to take an opcode instead of an
HloInstruction.
This enables use of the function without an actual instruction (eg, if you just
have an HloProto).

PiperOrigin-RevId: 191905914

Allow TFE_NewContext to fail more reasonably when SWIG is checking status.

Before:
TFE_Context would check nullptr, and the function would fail straight away.

Now:
TFE_Context is nullptr, so it skips down to checking the status, and an error
is raised.

I'm not able to find in SWIG documentation how to order typemaps in the
generated code - ideally, I'd order it to check the status typemap first. This
code makes it not dependent on this ordering either way.

PiperOrigin-RevId: 191905893

Object-based checkpointing support for unidirectional cuDNN LSTM cells

Once checked in, this will be the only way I know of to save canonical weights
when executing eagerly. Eager's name-based saving support will only do the
opaque parameter buffer.

I'm not going to try converting everything in one go, but it's a start at
least. And everything else should raise a NotImplementedError rather than
silently not saving correctly.

Single-layer cuDNN cells can be swapped for un-wrapped cuDNN compatible cells or
single cells wrapped in MultiRNNCells. Multi-layer cells need MultiRNNCell
wrapping.

PiperOrigin-RevId: 191905703

Materialize tensor array sizes whenever possible

PiperOrigin-RevId: 191900015

[tf.data] Enable using `tf.contrib.data.prefetch_to_device()` in eager mode.

The added functionality is a substitute for the implicit prefetching in
`tfe.Iterator`, and the two paths will converge in a future change.

Fixes #18260.

PiperOrigin-RevId: 191897666

[TPUClusterResolver] Start a TFServer when running in GKE

This change allows advanced input pipelines (e.g. StreamingFilesDataset, or split-pipelines that use py_func's) to run in GKE- and GKE-like enviornments.

PiperOrigin-RevId: 191897639

Tweaked docstrings in LayerCollection.

PiperOrigin-RevId: 191897098

Support override of device filters for gRPC, by overriding the requests with default session config.

PiperOrigin-RevId: 191895856

Fix up the support for the case where a given array name occurs multiple
times in the inputs/outputs list of an op. The (non-essential) computation
of the optimal workspace size had not been updated for that case, causing it
to fail on a simple test case. Moreover, the initial implementation had some
redundant usage of std::find that this CL moves to a shared helper function.

PiperOrigin-RevId: 191894081

The training model need not be built when the kfac optimizer is initialized so the
self._variables will be empty list.  So pass a function which returns list of trainable variables to estimator.

PiperOrigin-RevId: 191893084

Add description to the LPIRC 2018 competition benchmarker.

PiperOrigin-RevId: 191889484

Avoid marking clusters containing only Identity ops for compilation.

This would produce clusters where XLA cannot optimize anything.

PiperOrigin-RevId: 191887414

Define PRNG seeding style for new code in Distributions and TF Probability, with rationales.

Implement lightweight PRNG for seed generation in that style.

Enables incremental refactoring of existing code into this style.

PiperOrigin-RevId: 191884573

Fix typos in XlaCompilationCache

PiperOrigin-RevId: 191881135

internal change

PiperOrigin-RevId: 191869400

Add a test to check graceful handling of out-of-memory conditions.

PiperOrigin-RevId: 191860462

Fix StringPiece use-after-free in MasterSession::ReffedClientGraph.

Use the owned ClientGraph as the source for the node_to_name_ map, rather than the borrowed GraphExecutionState (which can be deleted while the ReffedClientGraph is in use).

PiperOrigin-RevId: 191847023

Upgrade libpng

PiperOrigin-RevId: 191840652

Swap in the new implementation of while and for loops.

PiperOrigin-RevId: 191838806

Expose the adaptive sampling option for SDCA and shuffle the data when adaptive sampling is off.

PiperOrigin-RevId: 191836004

[XLA] Don't call MultidimensionalIndexToLinearIndex in HloEvaluator's convolution routine.

Before: ConvolutionTest/0.StridedFilter (41812 ms)
After:  ConvolutionTest/0.StridedFilter (28054 ms)

Speedup: 42 / 28 = 1.5x
PiperOrigin-RevId: 191835735

Add RunMetadata logging to tf.train.ProfilerHook for Tensorboard Memeory/CPU usage visualization

PiperOrigin-RevId: 191832832

Added `drop_final_batch` argument to make_batched_features_dataset. This allows the batch_and_drop_remainder function to be used instead of the default batch function.

PiperOrigin-RevId: 191831842

[XLA] Don't call Literal::Get in HloEvaluator's convolution loop.

This speeds up the implementation of conv because Literal::Get calls
Literal::Piece::data, which is relatively slow.

Instead, we call Literal::Data() once and cache the result.

Before: ConvolutionTest/0.StridedFilter (59094 ms)
After:  ConvolutionTest/0.StridedFilter (41812 ms)

Speedup: 59/42 = 1.4x
PiperOrigin-RevId: 191830741

Lazily evaluate shapes with the C API enabled.

This change makes it so shapes are computed only when requested with
_USE_C_API = True. Note that the C API will still raise a shape error
if necessary when the op is created.

In addition, it cleans up the logic for _USE_C_SHAPES = True. In this
case, we lazily fetch and cache shapes directly from the C API. We no
longer need set_shapes_for_outputs at all in this case.

PiperOrigin-RevId: 191830565

  refactor and add proto field required by POD support.

PiperOrigin-RevId: 191826636

Add a command line parameter to toco to change the way toco rescales input and output tensors.

PiperOrigin-RevId: 191825756

Automated g4 rollback of changelist 191605505

PiperOrigin-RevId: 191824447

Make concat handler support mixed range input

PiperOrigin-RevId: 191822664

Added an option to inline all functions in aggressive mode.

PiperOrigin-RevId: 191819577

Add link for index file in performance tab.

PiperOrigin-RevId: 191811610

Add functions to extract the basic symbols on which a composite name relies. This in turn allows to statically obtain a block's syntactic closure.

PiperOrigin-RevId: 191809965

[TF:XLA] No need to set return value in the while loop's condition.

PiperOrigin-RevId: 191809110

Add for and while loops to the list of operators. Do not use them yet.

PiperOrigin-RevId: 191807973

Add Raspberry Pi section and link to github build instructions.

PiperOrigin-RevId: 191807862

Make tf.contrib.estimator.add_metrics work with warm-starting.

PiperOrigin-RevId: 191805682

Disable tests that are currently failing with cuda 9

PiperOrigin-RevId: 191805453

[XLA] Better support for mul reductions in MakeFakeArguments()

Mul reductions want a 1 as their init value, not a 0 or a random value.

PiperOrigin-RevId: 191802819

Fix TF_ImportGraphDefResults and TF_Function leaks in Python API.

PiperOrigin-RevId: 191797853

quantized LSTM support improvements

PiperOrigin-RevId: 191794956

Changes loss_reduction default to SUM_OVER_BATCH_SIZE for multi_class_head and binary_classification_head.

PiperOrigin-RevId: 191793392

Enable branch prediction in TensorFlow

PiperOrigin-RevId: 191788253

[XLA] Remove a dead function and a stale todo.

PiperOrigin-RevId: 191786563

Automated g4 rollback of changelist 191753026

PiperOrigin-RevId: 191784709

Save the original from_proto method before calling it to avoid infinite loop.

PiperOrigin-RevId: 191784430

Fix regression caused by cl/191020868: Re-use materialized shapes for other broadcast gradient shape nodes.

PiperOrigin-RevId: 191779263

Fix final eval bottleneck creation to work in cases where it isn't cached already.

Fixes #17423

PiperOrigin-RevId: 191773001

Automated g4 rollback of changelist 191761109

PiperOrigin-RevId: 191771969

Expose odeint_fixed in tf.contrib.integrate

PiperOrigin-RevId: 191769890

Internal change

PiperOrigin-RevId: 191769724

Sync only the convolutional_recurrent file to Keras 2.1.5.

PiperOrigin-RevId: 191763101

Inline more functions

PiperOrigin-RevId: 191761109

Expand activity analysis to the test nodes of if and while statements.

PiperOrigin-RevId: 191756234

Include the operators module in the test framework as well.

PiperOrigin-RevId: 191756100

Refine BatchReshape error messages.

PiperOrigin-RevId: 191754120

Document expected regular structure of the statistical testing library.

PiperOrigin-RevId: 191753693

Added a call in CheckpointSaverHook.after_create_session to always save
checkpoint before the first training step.

PiperOrigin-RevId: 191753026

Fix typos in "Profile Model Float Operations" documentation.

PiperOrigin-RevId: 191751175

Use constants in tf.zeros if the constant won't be too big.

Using fill saves on GraphDef size, but can slow down models since the
total number of ops is greater (fill + shape + constant op). This
change makes us only use fill for large shapes.

PiperOrigin-RevId: 191747456

Fix docstring.

PiperOrigin-RevId: 191747417

Create a separate operators module that is to contain all Python constructs that we override: control flow, builtins, operators, etc.

PiperOrigin-RevId: 191729654

Add support for NCCL2. The configure script asks for what version of NCCL to use. The default is still NCCL 1 from GitHub. If the user chooses NCCL 2, it asks for the install directory.

The nccl_configure.bzl generates two different BUILD files based on the chose NCCL version. For NCCL 1, it aliases to the existing 'nccl_archive' http_repo on GitHub. For NCCL 2, it creates a target containing the NCCL 2 library and headers from the chosen install directory.

PiperOrigin-RevId: 191718007

Upgrade Snappy to latest version

They added big endian preprocessor macros in recent releases. Hopefully
this should do the right thing on IBM mainframes.

PiperOrigin-RevId: 191705207

Upgrade zlib to latest version

PiperOrigin-RevId: 191696213

Support arbitrary permutations for DataFormatDimMap.

PiperOrigin-RevId: 191696203

Add a helper function to re-assign colocation in a graph.

PiperOrigin-RevId: 191679495

Sort control inputs alphabetically in ToGraphDefSubRange.

PiperOrigin-RevId: 191677358

BUGFIX: Detect when broadcasting is required and raise NotImplementedError.

PiperOrigin-RevId: 191673876

Exclude some gcc options in Windows build

PiperOrigin-RevId: 191672761

[XLA]: Enable Memory sanitizer for compilation_passes_test.

Initialize the buffer for a scalar tensor to avoid uninitialized
accesses.

PiperOrigin-RevId: 191672257

Replace trivial backend calls with calls to underlying TensorFlow functions - Part 2

PiperOrigin-RevId: 191669725

Address bug in distributed strategies `Monitor` to allow running for >1 step.

PiperOrigin-RevId: 191667378

Check that n + kBlockTrailerSize does not overflow before reading a block

PiperOrigin-RevId: 191666300

Fixed handling of control dependencies in the arithmethic optimizer

PiperOrigin-RevId: 191665098

Running sparse_ops_test only in opt mode since the test is flaky (times out) in fastbuild mode.

PiperOrigin-RevId: 191665014

Enable constant propagation across Enter nodes, but only if is_constant is true.
Don't propagate constants with control dependencies through Merge nodes.

PiperOrigin-RevId: 191663396

Internal change.

PiperOrigin-RevId: 191660588

Compile TensorFlow with /arch:AVX on Windows

/arch:AVX is the correpsonding option in MSVC for gcc's --march=native

PiperOrigin-RevId: 191660389

Adds commandline option (toco_compatible, bool) that makes the optimize_for_inference script only use TOCO friendly ops. In particular, FusedResizeAndPadConv2D is not supported by TOCO.

This change does not alter existing behavior (the boolean is set to false by default).

PiperOrigin-RevId: 191660378

Adding Operation._control_outputs

PiperOrigin-RevId: 191659944

Remove dependency on absl to fix tf-nightly-gpu windows GPU build

PiperOrigin-RevId: 191659091

Fix typo in `tf.reduce_mean` documentation.

The range of valid values for the `axis` argument should be `[-rank(input), rank(input))`, just like other reduction ops.

PiperOrigin-RevId: 191657767

Iterate over a copy of dictionary keys when closing variable subscopes. Otherwise, we run into a "dictionary changed size during iteration" once in a while, as we are modifying the values in the dictionary during the iteration.

PiperOrigin-RevId: 191655599

Creates a LinearModel (inherits from keras.training.Model) that creates a linear
model.

Had to modify the __call__ method in the base layer class so that it could work with feature style inputs in which case we lazily convert the inputs to tensors instead of providing tensors as inputs upfront.

PiperOrigin-RevId: 191655445

Rename `distribute` to `train_distribute` parameter in `RunConfig` to clarify that its purpose is only for training.

PiperOrigin-RevId: 191654161

Add quantized uint8 L2Normalization Kernel.

PiperOrigin-RevId: 191652174

GraphOptimizerStagePipeline to pass through multiple
optimizer stages, skipping stages that return error.

PiperOrigin-RevId: 191650182

Check that the c_api module is not destroyed

PiperOrigin-RevId: 191649662

Add link to tensorflow.js

PiperOrigin-RevId: 191649295

Inline nested function calls.

PiperOrigin-RevId: 191647899

Adding a _create_state method to FeatureColumn so that we can decouple variable (more generally, state) creation from getting dense tensors etc. This lays the groundwork to create a Layer type interface (which is more eager friendly) on top of feature columns where variable creation is separated from getting the tensors out.

PiperOrigin-RevId: 191647517

run evaluate nodes on parts of arithmetic optimizer tests.

PiperOrigin-RevId: 191647386

Permit use of ArraysExtraInfo/constant_float_value when target model is quantized.

PiperOrigin-RevId: 191639289

Fix up output array min/max post-quantization if the range was overridden.

PiperOrigin-RevId: 191637143

Expose scatter_add for resource variables.

PiperOrigin-RevId: 191634030