Fix bug in @custom_gradient in Eager mode with numpy inputs

PiperOrigin-RevId: 194538828

[TF:XLA] Bump open source llvm revision to r330926

PiperOrigin-RevId: 194530610

Automated g4 rollback of changelist 194306629

PiperOrigin-RevId: 194507274

Reenable factorization_ops_test on ASAN after adding shard_count = 4. Tests now
finish with these stats: "max = 150.6s, min = 27.4s, avg = 66.3s, dev = 19.5s" over 1000 runs and this runtime distribution should be fairly safe for deadline of 300s.

PiperOrigin-RevId: 194500204

Implement floor operator

PiperOrigin-RevId: 194490433

Automated g4 rollback of changelist 194442428

PiperOrigin-RevId: 194485227

Free scratch memory in ~BaseGPUDevice.

PiperOrigin-RevId: 194483351

Implements linear no-offset (aka symmetric) quantizer.

PiperOrigin-RevId: 194482547

Split out SaveableObjects into their own file

Pulls a couple build rules out of tensorflow/python:training. I'd like to use a SaveableObject in :checkpointable (for saving some Python state by default), which means the file with SaveableObject has to be essientially dependency-free.

PiperOrigin-RevId: 194473987

More informative error message when loading a graph_def which uses unknown ops.
Fixes #17014

PiperOrigin-RevId: 194472083

Fix some flakiness in test.

PiperOrigin-RevId: 194470125

Internal change.

PiperOrigin-RevId: 194468535

Handle variations in scoping of batch norms for correct unfused batch norm folding.

PiperOrigin-RevId: 194465704

Remove the inter-op thread pool

Forgot about this in cl/194299356.  However, when I checked cl/194299356, I
found that we actually (incorrectly?) used the *intra* op thread pool in the
parallel CPU executable?  Does that mean the inter op thread pool was always
unused?

PiperOrigin-RevId: 194464734

[tf.data] Adds support for adding scalar value to `StatsAggregator`.

PiperOrigin-RevId: 194463407

[tf.data] Changes description for `bytes_produced_stats` and `latency_stats` in accordance with the breaking changes in cl/193432590.

PiperOrigin-RevId: 194461964

- Default values of cov and inv variables are now 0.  Zero-debiasing (as in Adam) is used for the cov matrices.  Note this this requires that cov variables, then inv variables, are all updated before the first training update is made.  All examples have been modified to do this. NOTE: you *may* have to increase the damping value you use at the start of optimization after this change (or throughout, if you are using a constant value).
- Changed the initial default approximation used for generic registrations to "diagonal"
- Convenience properties for ops and thunks have all been removed, along with "make_ops_and_vars". User should only interface with "make_vars_and_create_op_thunks" (or maybe "create_ops_and_vars_thunks").

PiperOrigin-RevId: 194461623

Add support for variables in tf.custom_gradient

PiperOrigin-RevId: 194460752

Disable triangular_solve_test on ASAN due to flaky time outs.

PiperOrigin-RevId: 194460641

Edit tensorflow.org/community/swift page.

PiperOrigin-RevId: 194459754

Adds optimization to convert division of sqrt to multiplication of rsqrt

PiperOrigin-RevId: 194459152

Disable densenet_test on MSAN due to flaky time outs.

PiperOrigin-RevId: 194458270

Remove unnecessary TF_NEED_GCP from build scripts.

PiperOrigin-RevId: 194448612

Adding some slightly more exhaustive strided_slice test parameters.

PiperOrigin-RevId: 194446000

[TF:XLA] Add INTEL MKL_DNN Conv2d method to XLA/CPU backend

The INTEL MKL_DNN provides 32-bit Conv2d method. With INTEL_MKL flag set,
XLA backend emits runtime call to MKL_DNN Conv2d instead of Eigen.

PiperOrigin-RevId: 194445212

Run 2 passes of rewrites by default

PiperOrigin-RevId: 194443770

Delay deleting RingReducer until group_size_tensor_ready_ has
been notified.  Otherwise this can result in a bad pointer dereference
under some early abort conditions.

PiperOrigin-RevId: 194443206

Fix build by adding op_lib dependencies to trt_engine_op_loader, and remove
unnecessary dependency from the tf_gen_op_libs.

PiperOrigin-RevId: 194442728

Automated g4 rollback of changelist 194269675

PiperOrigin-RevId: 194442428

gRPC worker cache owns a shared_ptr to the channel cache

PiperOrigin-RevId: 194441794

For tf.gradients(), do not backpropagate through integer tensors.
All integer tensors are now considered constant with respect to all `xs`.
This fixes a bug in gradients through tf.while_loop.

PiperOrigin-RevId: 194438529

Optimize functions in the function library.

PiperOrigin-RevId: 194434546

Move */logging.cc into :platform_base since it already exposes the header loggging.h

This also brings env_time.h and env_time.cc, because on the 'default' platform logging needs env_time.

Add helpers tf_platform_srcs and tf_platform_hdrs to deal with files
that are not necessarily available in all platforms.

PiperOrigin-RevId: 194434322

Simplify, test and document logic in instruction fusion that decides whether we
allow fusion when an operation needs to be duplicated.

PiperOrigin-RevId: 194429279

Removing @@ comments from core TensorFlow. They are no longer needed for exporting symbols to the TensorFlow API.

PiperOrigin-RevId: 194426855

Deprecate tfe.Network and associated utilities in favor of tf.keras.Model.

Also throws an error rather than silently saving incorrectly with tf.train.Checkpoint.

(In response to confusion over tf.train.Checkpoint with tfe.Network)

PiperOrigin-RevId: 194426679

Automated g4 rollback of changelist 192536085

PiperOrigin-RevId: 194426650

Updates on https://tensorflow.org/community/swift as part of the S4TF OSS launch on 4/26 morning.

PiperOrigin-RevId: 194419822

Add a skeleton dispatch context object, that can be used to control the dispatch rules and pass implementation-specific information down to the specialized operators.

PiperOrigin-RevId: 194416937

Remove "everything matched" assertions from CuDNN object-based checkpointing tests

After cl/194315742 the assertions correctly point out that there are some Python objects which aren't matched (they don't have variables). Another option would be to mark these as special/optional, which we can implement if there's a need.

PiperOrigin-RevId: 194416864

Limit the number of single allocation memory warnings.

PiperOrigin-RevId: 194415953

Disable wrappers_test under ASAN since it sometimes times out.

PiperOrigin-RevId: 194413982

Simplify tfe.defun capture by not using convert_to_tensor

PiperOrigin-RevId: 194413685

Fixing issue #13258. y is the square of Mahalanobis distance actually.

PiperOrigin-RevId: 194411230

Disable vector_diffeomixture_test under ASAN to avoid timeouts.

PiperOrigin-RevId: 194409698

tfdbg: disable grpc_large_data_test on ASAN

PiperOrigin-RevId: 194402869

Format header guards under tensorflow/core/grappler.

PiperOrigin-RevId: 194387041

- Adding support for Cholesky (inverse) factor multiplications.
- Refactored FisherFactor to use LinearOperator classes that know how to multiply themselves, compute their own trace, etc. This addresses the feature request: b/73356352
- Fixed some problems with FisherEstimator construction
- More careful casting of damping constants before they are used

PiperOrigin-RevId: 194379298

Support matching against shape string in HLO testing matchers

After this change a test can use op::Shape("f32[7,11]") instead of the
longer and harder to read op::Shape(ShapeUtil::MakeShape(F32, {7, 11}))
format.

PiperOrigin-RevId: 194373704

Clarify limitation of `deps` in tf_gen_op_wrapper_py

PiperOrigin-RevId: 194372273

Support CuDNN RNN layers in tf.keras.

PiperOrigin-RevId: 194355293

[XLA] Redesign: migrate other xla/tests to use the new buidler.

- The set_return_value_test is not migrated because XlaBuilder does not support SetReturnValue.
- Delete a compute_constant_test case since ComputeConstant no longer accepts parameters.
- Delete CompilationCacheTest.MutatedComputation since the case no longer exists.
- Correct WhileTest.WhileWithMixedTupleElements which used an op from one builder in another builder.
- Disabled all CompilationCacheTest since there is no caching in the new design right now.

PiperOrigin-RevId: 194354250

Added metadata to the TFLite model.

PiperOrigin-RevId: 194341479

Disable gather_test under ASAN since it times out.

PiperOrigin-RevId: 194338928

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 194337205

Improve shape invariant error message for tf.while_loop.

PiperOrigin-RevId: 194336902

Reduce number of combinations that are tested

PiperOrigin-RevId: 194335483

Update ops-related pbtxt files.

PiperOrigin-RevId: 194335460

Cudnn RNN v2 kernels with autotune capability

CudnnRNN V2 kernels run all applicable cudnn rnn algorithms and pick the best one for following runs.
* To enable autotune, TF_CUDNN_RNN_USE_AUTOTUNE and TF_CUDNN_RNN_USE_V2 need to be set to {"1" or unset}.
* TF_CUDNN_RNN_USE_AUTOTUNE does not work with existing CudnnRNN kernels.
* V2 kernels work with existing cudnn checkpoints, since it doesn't change persistence format.

This change
* Introduces v2 kernels as templates inheriting the v1 kernels.
* Profiles fwd and bak runs in v2 kernel (forward pass)
* Exposes the chosen algorithm as fwd op output and bak op input.
* Changes rnn descriptor cache key to include AlgorithmDesc (since cudnn rnn descriptor can't be reused across different algorithms)
* Updates unittests s.t. it tests both v1 and v2 kernels. When testing v2 kernels, autotune is turned on.

PiperOrigin-RevId: 194333948

Preserve guarantees about const-ness when creating TensorFlow functions.

PiperOrigin-RevId: 194328218

Automated g4 rollback of changelist 194268101

PiperOrigin-RevId: 194318022

[XLA] Redesign: local_client_test_base and tests that depend on it.

PiperOrigin-RevId: 194317245

Various small cleanups and simplifications

PiperOrigin-RevId: 194316037

Checkpointable: better handling of objects which aren't being restored

initialize_or_restore on a tf.train.Checkpoint status object will now initialize
any variables which aren't being restored, which is closer to the behavior when
executing eagerly (and makes it easier to use).

Fixes a bug where assert_consumed() would miss some Python objects which aren't
part of the object graph being restored. It will now (correctly/as documented)
complain about unmatched Python objects in the dependency graph.

PiperOrigin-RevId: 194315742

[XLA] Redesign: migrate tests [m-r].* and vector_ops test.

Deleted a map_test case about versioned handle since such case no longer exists.

PiperOrigin-RevId: 194307861

Docs

PiperOrigin-RevId: 194307738

Automated g4 rollback of changelist 194261487

PiperOrigin-RevId: 194307293

Refactoring: Remove a redundant map from model.h.
PiperOrigin-RevId: 194306629

Disable factorization_ops_test on ASAN due to flaky timeouts.

PiperOrigin-RevId: 194303178

Remove the parallel cpu backend

PiperOrigin-RevId: 194299356

Fixing contrib.boosted_trees in Windows (module not linked)
Trying to fix #14292

PiperOrigin-RevId: 194297723

Automated g4 rollback of changelist 193788768

PiperOrigin-RevId: 194293938

Automated g4 rollback of changelist 193731341

PiperOrigin-RevId: 194293187

Use a built-in function shape_n instead of running many array_ops.shape and
stacking the results.

PiperOrigin-RevId: 194292637

Remove StreamExecutorUtil::ConvertStatus.

This function is a nop; StreamExecutor's Status is the same as
TensorFlow's Status.

PiperOrigin-RevId: 194288432

Adding info to FakeQuant ops in graphviz.

PiperOrigin-RevId: 194283908

Disable tests for the parallel CPU backend

PiperOrigin-RevId: 194281504

[XLA] Make the graph seed to be random when the hlo module seed is 0.

PiperOrigin-RevId: 194281233

Switch tf.keras.Model.save_weights to TensorFlow format for graph networks.

Some tweaks to support loading checkpoints into modified Python programs.

Relaxes the Checkpointable consistency check for object matching: if the same
object in the checkpoint matches two different Python objects, it will just
choose the first one that matches (based on whichever traversal of the Python
dependency graph it's doing). assert_consumed() on the status object will fail,
but this gives users the option of continuing anyway.

Adds a "weight-bearing layer index" dependency to graph networks which skips
Layers without weights, in addition to the regular layer index. This allows
users to add Layers without weights while not breaking checkpoints, as they
could when matching with flattened weights from HDF5 format.

Eventually I'd like to add a dependency structure which matches the topology of
the graph itself (so a Layer would have checkpoint dependencies on other Layers
it outputs to), but there are some subtleties before that's useful (it'd need
something like a secondary check that the Python classes match). I think the
scheme in this CL is robust enough for general use, and adding more dependencies
later can make it more robust now that users won't run into consistency check
errors (previously more dependencies would only make matching more picky).

PiperOrigin-RevId: 194277075

Removing remove_undocumented calls from tensorflow/python.

PiperOrigin-RevId: 194274698

Disable nasnet_test on MSAN due to flaky timeout.

PiperOrigin-RevId: 194274190

Set up a basic README with a pointer to the dev summit colab.

PiperOrigin-RevId: 194273919

Serialize strings properly when using TOCO for model conversion.

PiperOrigin-RevId: 194270132

[TF:XLA] Fix entry computation layout assignment in the HLO parser

For tuple shapes, the layouts were not correctly attached to the module.

PiperOrigin-RevId: 194269675

Enabled TENSORFLOW_USE_ABSL for mobile. TENSORFLOW_USE_ABSL is now enabled in all cases.

This lets TENSORFLOW_USE_ABSL be removed (as it will always be true), and is necessary to migrate TensorFlow to absl.

PiperOrigin-RevId: 194268101

Delete from_stream_executor_status.h.

It's dead code.

PiperOrigin-RevId: 194265380

Add eager_service.proto

PiperOrigin-RevId: 194262260

Automated g4 rollback of changelist 194186080

PiperOrigin-RevId: 194261487

Improve look of TensorFlow Lite Demo App

- Include logo.
- Fix icon to be tensorflow logo
- Highlight first item as bigger.
- Grey out not very good matches.

PiperOrigin-RevId: 194259027

Test more types in ternary_ops_test.

PiperOrigin-RevId: 194256929

Stop using gpu:: as an alias for stream_executor::.

Also do a few related namespace cleanups.

PiperOrigin-RevId: 194252437

[XLA:GPU] Set default kernel unrolling factor to 4

NVidia GPUs have 4-wide vector stores, so this is the natural unrolling factor
there. After recent fixes LLVM properly vectorizes the stores, giving a decent
performance win across the board and a huge performance win for F16 kernels.

At the moment the unrolling has no cost model and only applies to loop fusions.
All of the loop fusions I looked at were memory bound, unrolling them is a
clear win. When we add a cost model and/or auto tune later it has to be at
least as good as unrolling all the loop fusions.

PiperOrigin-RevId: 194249951

Update use of squeeze_dims to axis in call to squeeze

This was causing a warning every time a user created a MonitoredSession.

PiperOrigin-RevId: 194248478

BUGFIX: Correct a typo in fisher_factors.py.

PiperOrigin-RevId: 194238853

Add a try/finally to context managers.

This way the state is always reset if an error occurs after the context manager yields.

PiperOrigin-RevId: 194228925

Fix reference computation in client_library_test_base for multi device case

The constructor taking an execution option to specify multiple devices
didn't created a reference client resoulting in a SEGV and then later it
tried to execute the reference computation on multiple devices on the
interpreter what isn't supported.

PiperOrigin-RevId: 194217186

Make CriticalSection work inside a Dataset with eager execution enabled.

tf.colocate_with() might be provided with eager tensors when
constructing TensorFlow functions (like the subgraph for map()
inside a tf.data.Dataset).

Prior to this change, the added test would fail with:
"Tensor.op is meaningless when eager execution is enabled."

PiperOrigin-RevId: 194217166

Try to ease the timeout issue in Windows Bazel Build

PiperOrigin-RevId: 194215622

Make ProcessArgMaxOperator faster by reserving the correct output dims.

PiperOrigin-RevId: 194200078

Automated g4 rollback of changelist 194180248

PiperOrigin-RevId: 194186080