Merge pull request #18907 from yongtang/18363-mpi

Fix build error with MPI support

Merge pull request #18896 from KikaTech/fix_lite_topk

Fix some issues in official tf.nn.topk() in lite

Fix cmake build issues with GPU on Linux (#18775)

* Update include file for cmake

While attempting to build tensorflow with cmake for gpu the following
build error happens:
```
/home/ubuntu/tensorflow/tensorflow/core/platform/default/gpu/cupti_wrapper.h:26:45: fatal error: cuda/extras/CUPTI/include/cupti.h: No such file or directory
compilation terminated.
CMakeFiles/tf_core_cpu.dir/build.make:3302: recipe for target 'CMakeFiles/tf_core_cpu.dir/home/ubuntu/tensorflow/tensorflow/core/platform/default/gpu/cupti_wrapper.cc.o' failed
make[2]: *** [CMakeFiles/tf_core_cpu.dir/home/ubuntu/tensorflow/tensorflow/core/platform/default/gpu/cupti_wrapper.cc.o] Error 1
CMakeFiles/Makefile2:2402: recipe for target 'CMakeFiles/tf_core_cpu.dir/all' failed
make[1]: *** [CMakeFiles/tf_core_cpu.dir/all] Error 2
Makefile:127: recipe for target 'all' failed
make: *** [all] Error 2
```
This fix tries to fix the build error above for cmake.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add xla dependency to stream_executor

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Remove nccl files temporarily

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add gomp library to libcusolver.so

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Fix cmake issue

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Merge pull request #17602 from joeyearsley/patch-1

Update fold_old_batch_norms.cc to accommodate 'NCHW' format.

Fix build error with MPI support

This fix tries to fix the issue raised in 18363 where
the bazel build with MPI support fails as a header is missing
in the include.

This fix fixes the issue. The fix is verified locally
with MPI+CUDA on Ubuntu 16.04.

This fix fixes 18363.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Merge pull request #18885 from drpngx/branch_194337205

Branch 194337205

Fix conflict.

Use the exposed Scaffold.default_init_op instead of _default_init_op.

Merge pull request #18883 from av8ramit/fix_master_keras_bin_acc

Fix critical metrics computation bug with Model in Eager mode.

Merge pull request #18842 from aaroey/substr_bug_fix

Fix a bug where string::substr is used with wrong position.

Fix some issues in official tf.nn.topk() in lite

Merge commit for internal changes.

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 194337205

Improve shape invariant error message for tf.while_loop.

PiperOrigin-RevId: 194336902

Reduce number of combinations that are tested

PiperOrigin-RevId: 194335483

Update ops-related pbtxt files.

PiperOrigin-RevId: 194335460

Cudnn RNN v2 kernels with autotune capability

CudnnRNN V2 kernels run all applicable cudnn rnn algorithms and pick the best one for following runs.
* To enable autotune, TF_CUDNN_RNN_USE_AUTOTUNE and TF_CUDNN_RNN_USE_V2 need to be set to {"1" or unset}.
* TF_CUDNN_RNN_USE_AUTOTUNE does not work with existing CudnnRNN kernels.
* V2 kernels work with existing cudnn checkpoints, since it doesn't change persistence format.

This change
* Introduces v2 kernels as templates inheriting the v1 kernels.
* Profiles fwd and bak runs in v2 kernel (forward pass)
* Exposes the chosen algorithm as fwd op output and bak op input.
* Changes rnn descriptor cache key to include AlgorithmDesc (since cudnn rnn descriptor can't be reused across different algorithms)
* Updates unittests s.t. it tests both v1 and v2 kernels. When testing v2 kernels, autotune is turned on.

PiperOrigin-RevId: 194333948

Fix critical metrics computation bug with Model in Eager mode.

Preserve guarantees about const-ness when creating TensorFlow functions.

PiperOrigin-RevId: 194328218

Automated g4 rollback of changelist 194268101

PiperOrigin-RevId: 194318022

[XLA] Redesign: local_client_test_base and tests that depend on it.

PiperOrigin-RevId: 194317245

Various small cleanups and simplifications

PiperOrigin-RevId: 194316037

Checkpointable: better handling of objects which aren't being restored

initialize_or_restore on a tf.train.Checkpoint status object will now initialize
any variables which aren't being restored, which is closer to the behavior when
executing eagerly (and makes it easier to use).

Fixes a bug where assert_consumed() would miss some Python objects which aren't
part of the object graph being restored. It will now (correctly/as documented)
complain about unmatched Python objects in the dependency graph.

PiperOrigin-RevId: 194315742

[XLA] Redesign: migrate tests [m-r].* and vector_ops test.

Deleted a map_test case about versioned handle since such case no longer exists.

PiperOrigin-RevId: 194307861

Docs

PiperOrigin-RevId: 194307738

Automated g4 rollback of changelist 194261487

PiperOrigin-RevId: 194307293

Refactoring: Remove a redundant map from model.h.
PiperOrigin-RevId: 194306629

Disable factorization_ops_test on ASAN due to flaky timeouts.

PiperOrigin-RevId: 194303178

Remove the parallel cpu backend

PiperOrigin-RevId: 194299356

Merge pull request #18647 from junpenglao/ordered_bijector

Ordered bijector

Fixing contrib.boosted_trees in Windows (module not linked)
Trying to fix #14292

PiperOrigin-RevId: 194297723

Automated g4 rollback of changelist 193788768

PiperOrigin-RevId: 194293938

Automated g4 rollback of changelist 193731341

PiperOrigin-RevId: 194293187

Use a built-in function shape_n instead of running many array_ops.shape and
stacking the results.

PiperOrigin-RevId: 194292637

Remove StreamExecutorUtil::ConvertStatus.

This function is a nop; StreamExecutor's Status is the same as
TensorFlow's Status.

PiperOrigin-RevId: 194288432

Adding info to FakeQuant ops in graphviz.

PiperOrigin-RevId: 194283908

Disable tests for the parallel CPU backend

PiperOrigin-RevId: 194281504

[XLA] Make the graph seed to be random when the hlo module seed is 0.

PiperOrigin-RevId: 194281233

Switch tf.keras.Model.save_weights to TensorFlow format for graph networks.

Some tweaks to support loading checkpoints into modified Python programs.

Relaxes the Checkpointable consistency check for object matching: if the same
object in the checkpoint matches two different Python objects, it will just
choose the first one that matches (based on whichever traversal of the Python
dependency graph it's doing). assert_consumed() on the status object will fail,
but this gives users the option of continuing anyway.

Adds a "weight-bearing layer index" dependency to graph networks which skips
Layers without weights, in addition to the regular layer index. This allows
users to add Layers without weights while not breaking checkpoints, as they
could when matching with flattened weights from HDF5 format.

Eventually I'd like to add a dependency structure which matches the topology of
the graph itself (so a Layer would have checkpoint dependencies on other Layers
it outputs to), but there are some subtleties before that's useful (it'd need
something like a secondary check that the Python classes match). I think the
scheme in this CL is robust enough for general use, and adding more dependencies
later can make it more robust now that users won't run into consistency check
errors (previously more dependencies would only make matching more picky).

PiperOrigin-RevId: 194277075

Removing remove_undocumented calls from tensorflow/python.

PiperOrigin-RevId: 194274698

Disable nasnet_test on MSAN due to flaky timeout.

PiperOrigin-RevId: 194274190

Set up a basic README with a pointer to the dev summit colab.

PiperOrigin-RevId: 194273919

Merge pull request #18868 from av8ramit/fix_hp5y

Adding the h5py dependency in devel docker files.

Serialize strings properly when using TOCO for model conversion.

PiperOrigin-RevId: 194270132

[TF:XLA] Fix entry computation layout assignment in the HLO parser

For tuple shapes, the layouts were not correctly attached to the module.

PiperOrigin-RevId: 194269675

Enabled TENSORFLOW_USE_ABSL for mobile. TENSORFLOW_USE_ABSL is now enabled in all cases.

This lets TENSORFLOW_USE_ABSL be removed (as it will always be true), and is necessary to migrate TensorFlow to absl.

PiperOrigin-RevId: 194268101

Delete from_stream_executor_status.h.

It's dead code.

PiperOrigin-RevId: 194265380

Adding install for libhdf5-serial-dev.

Adding the h5py dependency in devel docker files.

Add eager_service.proto

PiperOrigin-RevId: 194262260

Automated g4 rollback of changelist 194186080

PiperOrigin-RevId: 194261487

Improve look of TensorFlow Lite Demo App

- Include logo.
- Fix icon to be tensorflow logo
- Highlight first item as bigger.
- Grey out not very good matches.

PiperOrigin-RevId: 194259027

Test more types in ternary_ops_test.

PiperOrigin-RevId: 194256929

Merge pull request #18843 from av8ramit/fix_devel_docker

Fixing the mock import error for devel docker.

fix Non-ASCII character error

Stop using gpu:: as an alias for stream_executor::.

Also do a few related namespace cleanups.

PiperOrigin-RevId: 194252437

[XLA:GPU] Set default kernel unrolling factor to 4

NVidia GPUs have 4-wide vector stores, so this is the natural unrolling factor
there. After recent fixes LLVM properly vectorizes the stores, giving a decent
performance win across the board and a huge performance win for F16 kernels.

At the moment the unrolling has no cost model and only applies to loop fusions.
All of the loop fusions I looked at were memory bound, unrolling them is a
clear win. When we add a cost model and/or auto tune later it has to be at
least as good as unrolling all the loop fusions.

PiperOrigin-RevId: 194249951

Update use of squeeze_dims to axis in call to squeeze

This was causing a warning every time a user created a MonitoredSession.

PiperOrigin-RevId: 194248478

BUGFIX: Correct a typo in fisher_factors.py.

PiperOrigin-RevId: 194238853

Add a try/finally to context managers.

This way the state is always reset if an error occurs after the context manager yields.

PiperOrigin-RevId: 194228925

Fix reference computation in client_library_test_base for multi device case

The constructor taking an execution option to specify multiple devices
didn't created a reference client resoulting in a SEGV and then later it
tried to execute the reference computation on multiple devices on the
interpreter what isn't supported.

PiperOrigin-RevId: 194217186

Make CriticalSection work inside a Dataset with eager execution enabled.

tf.colocate_with() might be provided with eager tensors when
constructing TensorFlow functions (like the subgraph for map()
inside a tf.data.Dataset).

Prior to this change, the added test would fail with:
"Tensor.op is meaningless when eager execution is enabled."

PiperOrigin-RevId: 194217166

Try to ease the timeout issue in Windows Bazel Build

PiperOrigin-RevId: 194215622

fix pylint error

Make ProcessArgMaxOperator faster by reserving the correct output dims.

PiperOrigin-RevId: 194200078

Automated g4 rollback of changelist 194180248

PiperOrigin-RevId: 194186080

Update ops-related pbtxt files.

PiperOrigin-RevId: 194182374

Enable concat hoisting optimization by default.

PiperOrigin-RevId: 194180248

Fix header guard.

PiperOrigin-RevId: 194178828

Add a fuzzer for DecodeWav.
Fix an OOM error in which a wav file could claim to be
larger than it really is, resulting in a large memory
allocation prior to the size mismatch being detected later.

PiperOrigin-RevId: 194176822

Fix critical bug in metrics computation in Eager with Model.

PiperOrigin-RevId: 194174256

`PartitionedCallOp`: An op for executing multi-device functions.

A `PartitionedCallOp` allows for execution of functions across multiple devices
but within a single process. It proceeds by placing and partitioning the graph
underlying a given function body, instantiating for each partitioned subgraph a
function. The yielded function shards, which together are equivalent to the
original function, are then executed.

`PartitionedCallOp` is not part of the public TensorFlow API.

PiperOrigin-RevId: 194173114

Fixed typo in an error message.

PiperOrigin-RevId: 194169339

Disable UseTowerEstimatorWithoutReplication.test_train_single_tower.

PiperOrigin-RevId: 194168031

Fixing the mock import error for devel docker.

Add support for tensors to numpy array related assertion methods in test_util.TensorflowTestCase.

PiperOrigin-RevId: 194159512

Fix flaky timeouts in metric_ops_test by sharding more.

PiperOrigin-RevId: 194159328

Make TF functions work with _USE_C_SHAPES=True.

It turns out regular functions need to manually copy handle data in
addition to eager GraphModeFunctions, so I moved the C extensions to
python_api.h from eager/c_api.h.

This also cleans up function_test.py to assume the C API is enabled.

PiperOrigin-RevId: 194158700

Merge pull request #18817 from lamberta/fix-install-linux

Docs: Clean up install_linux page

Fix a bug where string::substr is used with wrong position.

Add deprecation notice to replicate_model_fn.

PiperOrigin-RevId: 194150426

docs: install_linux, move GPU section below install procedures.

Invalidate the StatCache as well as the FileBlockCache, as once the file is
overwritten or removed, the stat will become outdated.

PiperOrigin-RevId: 194148397

Run shape inference directly on the graphdef instead of building an intermediate graph.

PiperOrigin-RevId: 194146713

shape_tuple in array_ops.stack

PiperOrigin-RevId: 194145557

Revert #18251 due to the following issue:
- calling convolution with args instead of kwargs from convolutionXd breaks when called within arg_scope.
- intentional use cases trigger the added dimension error.

PiperOrigin-RevId: 194140820

- Add a way to specify custom updater args to updaters in the optimizer.
- Create RegAdagradOptimizer which allows the user to specify whether a gradient update is allowed to update the slot vars.

PiperOrigin-RevId: 194139121

Implement hoisting of common prefix of unary ops to concat.

PiperOrigin-RevId: 194135148

Fixing concurrency issues in RPC factory.

PiperOrigin-RevId: 194133903

embedding_lookup_sparse documentation change.
Remove "(typically from FeatureValueToId)" from args descriptions.
This appears to have been an obsolete reference from an ancestor
implementation.

PiperOrigin-RevId: 194133212

Extract OptimizeGraph function in meta-optimizer.

PiperOrigin-RevId: 194129729

Merge pull request #18836 from tensorflow/av8ramit-patch-3

Update README.md

Clarify error encountered when serializing critical_section_executions is a warning.

PiperOrigin-RevId: 194121508

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 194120868

Updating tests in constant_folding_test.cc so that the tests evaluate the original and optimized graphs and check that the output is the same.

PiperOrigin-RevId: 194120424

Small refactor of tf.keras aiming at centralizing reusable utilities in `utils`.

PiperOrigin-RevId: 194118244

Clarify error message when importing a GraphDef with unknown ops.

This should make the situation from github.com/tensorflow/tensorflow/issues/17014 less confusing.

PiperOrigin-RevId: 194117660

Fix typo in event field name.

PiperOrigin-RevId: 194117352

 show breakdown of execution cost with compute and memory cost for op summarization

PiperOrigin-RevId: 194117030

 Improve handling of scopes in folding unfused batch norms. This change allows folding to work for MobilenetV2 with unfused batch norms

PiperOrigin-RevId: 194116535

Update ops-related pbtxt files.

PiperOrigin-RevId: 194116315