autograph: Update README (#18981)

* Update README.md

fix typo (#18957)

Pass dtype to constructor in LSTMCell (#18178)

* Use float32 in case the dtype is not set in the constructor

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add test case for 16228.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add test case where dype is passed explicitly.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Fix pylint issue

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Replace strings to objects to address review feedback.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Fix functions in CRF when sequence_lengths contains zero (#18487)

* Fix computation of crf_log_norm when sequence length is zero

* fix _single_seq_fn in crf when sequence_lengths contain zero

Emphasis any `Estimator` (#18793)

Add uint32 and uint64 support with tf.train.batch (#18805)

* Add uint32 and uint64 support with tf.train.batch

This fix tries to address the issue raised in 18586
to have uint32 and uint64 support with tf.train.batch.

This fix add uint32 and uint64 to `CopyElementToSlice`
for the support.

This fix fixes 18586.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add test case for uint32 with tf.train.batch

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add uint64 test case

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Fix typo in CMakeLists.txt (#18833)

Fix link to original LSTM paper (#18876)

Merge pull request #18944 from tensorflow/martinwicke-patch-3

Fix docs rendering in placeholder docs page.

Fix docs rendering in placeholder docs page.

Revised roadmap (#18939)

Revised roadmap

Roll forward the custom optimizers change (#18742)

Merge pull request #18937 from lamberta/fix-typo

Docs: fix typo

Merge pull request #18935 from drpngx/branch_194551042

Branch 194551042

Docs: fix typo

Add DeviceSet to Cluster (#18838)

* Add DeviceSet to Cluster so we can access memory allocators during grappler optimizations

* Fix review comments

* Add missing dependency to :virtual_cluster and fix clang format.

Fix merge conflict manual merge error.

Merge commit for internal changes

Merge pull request #18727 from freedomtan/label_image_tflite_profiling_new

[tflite] add profiling to label_image for tflite

Added string conversion operator to tensorflow::StringPiece.
Marked ToString method as deprecated.

This will allow tensorflow::StringPiece to be replaced with absl::string_view (once the deprecated method is removed) as absl::string_view does not contain the ToString method.

PiperOrigin-RevId: 194551042

Fix bug in @custom_gradient in Eager mode with numpy inputs

PiperOrigin-RevId: 194538828

[TF:XLA] Bump open source llvm revision to r330926

PiperOrigin-RevId: 194530610

Automated g4 rollback of changelist 194306629

PiperOrigin-RevId: 194507274

Reenable factorization_ops_test on ASAN after adding shard_count = 4. Tests now
finish with these stats: "max = 150.6s, min = 27.4s, avg = 66.3s, dev = 19.5s" over 1000 runs and this runtime distribution should be fairly safe for deadline of 300s.

PiperOrigin-RevId: 194500204

Implement floor operator

PiperOrigin-RevId: 194490433

Automated g4 rollback of changelist 194442428

PiperOrigin-RevId: 194485227

Free scratch memory in ~BaseGPUDevice.

PiperOrigin-RevId: 194483351

Implements linear no-offset (aka symmetric) quantizer.

PiperOrigin-RevId: 194482547

Split out SaveableObjects into their own file

Pulls a couple build rules out of tensorflow/python:training. I'd like to use a SaveableObject in :checkpointable (for saving some Python state by default), which means the file with SaveableObject has to be essientially dependency-free.

PiperOrigin-RevId: 194473987

More informative error message when loading a graph_def which uses unknown ops.
Fixes #17014

PiperOrigin-RevId: 194472083

Fix some flakiness in test.

PiperOrigin-RevId: 194470125

Internal change.

PiperOrigin-RevId: 194468535

Merge pull request #18846 from yongtang/04252018-FloorDiv-int8

Enable int8 support for FloorDiv

Handle variations in scoping of batch norms for correct unfused batch norm folding.

PiperOrigin-RevId: 194465704

Remove the inter-op thread pool

Forgot about this in cl/194299356.  However, when I checked cl/194299356, I
found that we actually (incorrectly?) used the *intra* op thread pool in the
parallel CPU executable?  Does that mean the inter op thread pool was always
unused?

PiperOrigin-RevId: 194464734

Merge pull request #18881 from ManHyuk/fix_typo

fix typo

Merge pull request #18907 from yongtang/18363-mpi

Fix build error with MPI support

[tf.data] Adds support for adding scalar value to `StatsAggregator`.

PiperOrigin-RevId: 194463407

Merge pull request #18896 from KikaTech/fix_lite_topk

Fix some issues in official tf.nn.topk() in lite

[tf.data] Changes description for `bytes_produced_stats` and `latency_stats` in accordance with the breaking changes in cl/193432590.

PiperOrigin-RevId: 194461964

- Default values of cov and inv variables are now 0.  Zero-debiasing (as in Adam) is used for the cov matrices.  Note this this requires that cov variables, then inv variables, are all updated before the first training update is made.  All examples have been modified to do this. NOTE: you *may* have to increase the damping value you use at the start of optimization after this change (or throughout, if you are using a constant value).
- Changed the initial default approximation used for generic registrations to "diagonal"
- Convenience properties for ops and thunks have all been removed, along with "make_ops_and_vars". User should only interface with "make_vars_and_create_op_thunks" (or maybe "create_ops_and_vars_thunks").

PiperOrigin-RevId: 194461623

Add support for variables in tf.custom_gradient

PiperOrigin-RevId: 194460752

Disable triangular_solve_test on ASAN due to flaky time outs.

PiperOrigin-RevId: 194460641

Edit tensorflow.org/community/swift page.

PiperOrigin-RevId: 194459754

Adds optimization to convert division of sqrt to multiplication of rsqrt

PiperOrigin-RevId: 194459152

Disable densenet_test on MSAN due to flaky time outs.

PiperOrigin-RevId: 194458270

Merge branch 'master' into label_image_tflite_profiling_new

Remove unnecessary TF_NEED_GCP from build scripts.

PiperOrigin-RevId: 194448612

Fix cmake build issues with GPU on Linux (#18775)

* Update include file for cmake

While attempting to build tensorflow with cmake for gpu the following
build error happens:
```
/home/ubuntu/tensorflow/tensorflow/core/platform/default/gpu/cupti_wrapper.h:26:45: fatal error: cuda/extras/CUPTI/include/cupti.h: No such file or directory
compilation terminated.
CMakeFiles/tf_core_cpu.dir/build.make:3302: recipe for target 'CMakeFiles/tf_core_cpu.dir/home/ubuntu/tensorflow/tensorflow/core/platform/default/gpu/cupti_wrapper.cc.o' failed
make[2]: *** [CMakeFiles/tf_core_cpu.dir/home/ubuntu/tensorflow/tensorflow/core/platform/default/gpu/cupti_wrapper.cc.o] Error 1
CMakeFiles/Makefile2:2402: recipe for target 'CMakeFiles/tf_core_cpu.dir/all' failed
make[1]: *** [CMakeFiles/tf_core_cpu.dir/all] Error 2
Makefile:127: recipe for target 'all' failed
make: *** [all] Error 2
```
This fix tries to fix the build error above for cmake.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add xla dependency to stream_executor

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Remove nccl files temporarily

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add gomp library to libcusolver.so

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Fix cmake issue

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Merge pull request #17602 from joeyearsley/patch-1

Update fold_old_batch_norms.cc to accommodate 'NCHW' format.

Adding some slightly more exhaustive strided_slice test parameters.

PiperOrigin-RevId: 194446000

[TF:XLA] Add INTEL MKL_DNN Conv2d method to XLA/CPU backend

The INTEL MKL_DNN provides 32-bit Conv2d method. With INTEL_MKL flag set,
XLA backend emits runtime call to MKL_DNN Conv2d instead of Eigen.

PiperOrigin-RevId: 194445212

Run 2 passes of rewrites by default

PiperOrigin-RevId: 194443770

Fix build error with MPI support

This fix tries to fix the issue raised in 18363 where
the bazel build with MPI support fails as a header is missing
in the include.

This fix fixes the issue. The fix is verified locally
with MPI+CUDA on Ubuntu 16.04.

This fix fixes 18363.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Delay deleting RingReducer until group_size_tensor_ready_ has
been notified.  Otherwise this can result in a bad pointer dereference
under some early abort conditions.

PiperOrigin-RevId: 194443206

Fix build by adding op_lib dependencies to trt_engine_op_loader, and remove
unnecessary dependency from the tf_gen_op_libs.

PiperOrigin-RevId: 194442728

Automated g4 rollback of changelist 194269675

PiperOrigin-RevId: 194442428

gRPC worker cache owns a shared_ptr to the channel cache

PiperOrigin-RevId: 194441794

For tf.gradients(), do not backpropagate through integer tensors.
All integer tensors are now considered constant with respect to all `xs`.
This fixes a bug in gradients through tf.while_loop.

PiperOrigin-RevId: 194438529

Optimize functions in the function library.

PiperOrigin-RevId: 194434546

Move */logging.cc into :platform_base since it already exposes the header loggging.h

This also brings env_time.h and env_time.cc, because on the 'default' platform logging needs env_time.

Add helpers tf_platform_srcs and tf_platform_hdrs to deal with files
that are not necessarily available in all platforms.

PiperOrigin-RevId: 194434322

Simplify, test and document logic in instruction fusion that decides whether we
allow fusion when an operation needs to be duplicated.

PiperOrigin-RevId: 194429279

Removing @@ comments from core TensorFlow. They are no longer needed for exporting symbols to the TensorFlow API.

PiperOrigin-RevId: 194426855

Deprecate tfe.Network and associated utilities in favor of tf.keras.Model.

Also throws an error rather than silently saving incorrectly with tf.train.Checkpoint.

(In response to confusion over tf.train.Checkpoint with tfe.Network)

PiperOrigin-RevId: 194426679

Merge pull request #18885 from drpngx/branch_194337205

Branch 194337205

Automated g4 rollback of changelist 192536085

PiperOrigin-RevId: 194426650

Updates on https://tensorflow.org/community/swift as part of the S4TF OSS launch on 4/26 morning.

PiperOrigin-RevId: 194419822

Add a skeleton dispatch context object, that can be used to control the dispatch rules and pass implementation-specific information down to the specialized operators.

PiperOrigin-RevId: 194416937

Remove "everything matched" assertions from CuDNN object-based checkpointing tests

After cl/194315742 the assertions correctly point out that there are some Python objects which aren't matched (they don't have variables). Another option would be to mark these as special/optional, which we can implement if there's a need.

PiperOrigin-RevId: 194416864

Limit the number of single allocation memory warnings.

PiperOrigin-RevId: 194415953

Disable wrappers_test under ASAN since it sometimes times out.

PiperOrigin-RevId: 194413982

Simplify tfe.defun capture by not using convert_to_tensor

PiperOrigin-RevId: 194413685

Fix conflict.

Use the exposed Scaffold.default_init_op instead of _default_init_op.

Fixing issue #13258. y is the square of Mahalanobis distance actually.

PiperOrigin-RevId: 194411230

Disable vector_diffeomixture_test under ASAN to avoid timeouts.

PiperOrigin-RevId: 194409698

tfdbg: disable grpc_large_data_test on ASAN

PiperOrigin-RevId: 194402869

Merge pull request #18883 from av8ramit/fix_master_keras_bin_acc

Fix critical metrics computation bug with Model in Eager mode.

Merge pull request #18842 from aaroey/substr_bug_fix

Fix a bug where string::substr is used with wrong position.

Format header guards under tensorflow/core/grappler.

PiperOrigin-RevId: 194387041

- Adding support for Cholesky (inverse) factor multiplications.
- Refactored FisherFactor to use LinearOperator classes that know how to multiply themselves, compute their own trace, etc. This addresses the feature request: b/73356352
- Fixed some problems with FisherEstimator construction
- More careful casting of damping constants before they are used

PiperOrigin-RevId: 194379298

Support matching against shape string in HLO testing matchers

After this change a test can use op::Shape("f32[7,11]") instead of the
longer and harder to read op::Shape(ShapeUtil::MakeShape(F32, {7, 11}))
format.

PiperOrigin-RevId: 194373704

Clarify limitation of `deps` in tf_gen_op_wrapper_py

PiperOrigin-RevId: 194372273

Fix some issues in official tf.nn.topk() in lite

Support CuDNN RNN layers in tf.keras.

PiperOrigin-RevId: 194355293

[XLA] Redesign: migrate other xla/tests to use the new buidler.

- The set_return_value_test is not migrated because XlaBuilder does not support SetReturnValue.
- Delete a compute_constant_test case since ComputeConstant no longer accepts parameters.
- Delete CompilationCacheTest.MutatedComputation since the case no longer exists.
- Correct WhileTest.WhileWithMixedTupleElements which used an op from one builder in another builder.
- Disabled all CompilationCacheTest since there is no caching in the new design right now.

PiperOrigin-RevId: 194354250

Added metadata to the TFLite model.

PiperOrigin-RevId: 194341479

Merge commit for internal changes.

Disable gather_test under ASAN since it times out.

PiperOrigin-RevId: 194338928

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 194337205

Improve shape invariant error message for tf.while_loop.

PiperOrigin-RevId: 194336902

Reduce number of combinations that are tested

PiperOrigin-RevId: 194335483

Update ops-related pbtxt files.

PiperOrigin-RevId: 194335460

Cudnn RNN v2 kernels with autotune capability

CudnnRNN V2 kernels run all applicable cudnn rnn algorithms and pick the best one for following runs.
* To enable autotune, TF_CUDNN_RNN_USE_AUTOTUNE and TF_CUDNN_RNN_USE_V2 need to be set to {"1" or unset}.
* TF_CUDNN_RNN_USE_AUTOTUNE does not work with existing CudnnRNN kernels.
* V2 kernels work with existing cudnn checkpoints, since it doesn't change persistence format.

This change
* Introduces v2 kernels as templates inheriting the v1 kernels.
* Profiles fwd and bak runs in v2 kernel (forward pass)
* Exposes the chosen algorithm as fwd op output and bak op input.
* Changes rnn descriptor cache key to include AlgorithmDesc (since cudnn rnn descriptor can't be reused across different algorithms)
* Updates unittests s.t. it tests both v1 and v2 kernels. When testing v2 kernels, autotune is turned on.

PiperOrigin-RevId: 194333948

Fix critical metrics computation bug with Model in Eager mode.

Preserve guarantees about const-ness when creating TensorFlow functions.

PiperOrigin-RevId: 194328218

remove extra whitespace

remove extra whitespace shouldn't be there

fix typo

Automated g4 rollback of changelist 194268101

PiperOrigin-RevId: 194318022

[XLA] Redesign: local_client_test_base and tests that depend on it.

PiperOrigin-RevId: 194317245

Various small cleanups and simplifications

PiperOrigin-RevId: 194316037