[XLA] Fix forward for HLO profiling test, explicitly set profiling preference.

PiperOrigin-RevId: 189400869

Don't inline functions in the grappler item builder since this part of the code doesn't
support custom ops. Instead we will rely on the function optimizer.

PiperOrigin-RevId: 189400462

Downgrade run-after-mutation error to a log warning.

This is to ease the transition to the C API. Some tests currently mutate the
graph after running it but currently pass. This error was meant to guard
against existing behavior, so it's not a regression to make it a warning
instead for now.

PiperOrigin-RevId: 189395472

Fixed a typo.

PiperOrigin-RevId: 189386932

Estimate prediction size and error out if it is larger than protobuf limit.

PiperOrigin-RevId: 189382429

Move if_op kernel to //third_party/tensorflow/compiler/tf2xla/kernels

PiperOrigin-RevId: 189381067

[XLA] BF16 conversion folding for CRS; remove no-op conversions in propagation.

If CRS has tuple output, it needs special handling in conversion folding.
BF16 propagation could result in BF16->BF16 conversions, which can be removed.

PiperOrigin-RevId: 189380578

BREAKING_CHANGE: Remove SigmoidCentered bijector.
 - SoftmaxCentered solely works on vector events, and supports broadcasting.
 - Sigmoid exists for event_ndims=0 cases.

PiperOrigin-RevId: 189380445

[XLA:python] Plumb hlo_profile flag.

PiperOrigin-RevId: 189377860

Remove empty buckets in latency_stats as it makes the report unreadable. This is also consistent with how SummaryHistoOp in summary_op.cc works.

PiperOrigin-RevId: 189375113

[tf.data] Fix typo in `Dataset.prefetch()` docstring.

PiperOrigin-RevId: 189374898

[TF:XLA] Bump open source llvm revision to r327616

PiperOrigin-RevId: 189372065

Allow variable lists to change when saving repeatedly using tfe.Checkpoint

For example allows saving a checkpoint before slot variables have been created

When graph building, restore() is still bound to a frozen set of variables.

PiperOrigin-RevId: 189371256

Set number of threads at Java interpreter constructor so that Conv Kernels can be selected properly.
Remove setNumThreads in the Java API as its behavior is ambiguous.

PiperOrigin-RevId: 189370770

Fixing constant output arrays by inserting synthetic reshapes.

PiperOrigin-RevId: 189368237

Automated g4 rollback of changelist 189346024

PiperOrigin-RevId: 189361083

Fix naming BatchNorm_Fold//batch_norm_correction -> BatchNorm_Fold/batch_norm_correction.

PiperOrigin-RevId: 189358090

Fix sed invocation in copy_binary.py script for Mac.

Script was explicitly calling /bin/sed which was not being found on MacOS Kokoro builds.
Removing calling "sed" in script.

PiperOrigin-RevId: 189357296

Added StrContains, StartsWith, and EndsWith functions to str_util.h.
Marked contains, starts_with, ends_with, and consume StringPiece methods as deprecated.

This will allow tensorflow::StringPiece to be more easily replaced with absl::string_view (once the deprecated methods are removed) as absl::string_view does not contain those methods.

PiperOrigin-RevId: 189355316

Move CreateSubProcess from test.h to subprocess.h

PiperOrigin-RevId: 189353033

Eliminate use of grpc::CoreCodegenInterface, which is marked as an internal interface

PiperOrigin-RevId: 189352860

Doc grammar and style fixes for macOS installation.

PiperOrigin-RevId: 189351224

Upgrade gRPC version used in OSS Tensorflow

PiperOrigin-RevId: 189349737

Make the graph_editor C-API friendly: always construct ops with their inputs.

PiperOrigin-RevId: 189346024

Fix a typo in docstring for index_table_from_tensor.

PiperOrigin-RevId: 189345585

- Adds support for shared embedding layers (e.g. in RNNs), and shared Conv2D layers.
- Some minor refactoring of internal structure in fisher_blocks and layer_collection

PiperOrigin-RevId: 189338874

[XLA:python] Fix a bug where returning an status would not incref Py_None.

PiperOrigin-RevId: 189337748

Clean up and clarify the 'install from source' page.

Remove reference to CUDA and cuDNN versions for 'install from source' from the 'install Linux' documentation. The 'install from source' should be the authoritative page for this.

PiperOrigin-RevId: 189328669

[tf2xla] Introduce XlaTensorInfo

XlaTensorInfo is side-band data for Tensors. It can be used to store
information about Tensors that is not possible to store in the Tensor
itself.  The XlaTensorInfos are managed by XlaTensorInfoManager, which
is an Allocator, which allows it to release the TensorInfos when the
underlying Tensor is released.  Looking up an XlaTensorInfo for a
Tensor requires a hash table lookup. This implementation keeps this
off the fast path and only looks the tensorinfos up when they are
required.

PiperOrigin-RevId: 189319553

Don't put quantization variables in EMA collection by default.

PiperOrigin-RevId: 189302082

Propagate min-max when resolving constant Reshape op.

PiperOrigin-RevId: 189296593

Automated g4 rollback of changelist 189234789

PiperOrigin-RevId: 189293458

Implement out of bounds behavior for gather in the HLO evaluator

This makes the OOB behavior of gather in the HLO evaluator consistent with
DynamicSlice while we figure out the semantics we want long term.

The HLO->HLO gather expander inherits the wrapping behavior of dynamic-slice
because it lowers the gather ops to loops of dynamic slices.

PiperOrigin-RevId: 189293175

Internal cleanup.

PiperOrigin-RevId: 189278596

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 189274859

Symbolic gradient optimization

PiperOrigin-RevId: 189268327

Add initial host transfer ops for XLA support for computation on the host during a compiled computation.

PiperOrigin-RevId: 189265297

Clarifying when is it possible to use a tape while it is still active.

PiperOrigin-RevId: 189260773

Rename CreateXyzHlo utilities to MakeXyzHlo as discussed on cr/188968478; NFC

The rationale here is that MakeXyzHlo is less likely to be confused with
HloInstruction::CreateXyz and we already have a convention of using a "Make"
prefix for ergonomic factory functions.
PiperOrigin-RevId: 189259036

Automated g4 rollback of changelist 189231636

PiperOrigin-RevId: 189258641

Pass error reporter to file copy allocation,
and avoid loading model from file twice

PiperOrigin-RevId: 189256489

PIE binaries that depends on static libraries usually have text relocations in the final executable, which causes link warnings/errors (different linker behaves differently). The optimal way to fix this is to link the binary with shared library, however, the libraries are NVIDIA-proprietary, not all of them have shared version (for example: cuda_9_0/lib64/libculibos.a)

PiperOrigin-RevId: 189254317

Change ParseAndVerifyModule to take a StringPiece; NFC

PiperOrigin-RevId: 189250126

Check for very large chunk sizes in WAV decoding
Change how chunk sizes larger than 2GB are handled, since they're stored as
unsigned int32s, so there are lots of ways for conversions to confuse the
decoding logic. The new behavior is to fail with an error, since such
large WAV files are not common, and are unsupported by many readers.

PiperOrigin-RevId: 189248857

Adds a GPU kernel registration for PlaceholderWithDefault, so we can avoid the issue
of using it with a registered GPU device without soft placement.

PiperOrigin-RevId: 189248024

[Checkpointable] Make EagerIterator checkpointable.

Use object-based save/restore to make dataset/iterator checkpointable in eager mode, this could potentially be extended to graph mode as well.

PiperOrigin-RevId: 189247720

Internal cleanup.

PiperOrigin-RevId: 189247461

Fix the HLO alias analysis and copy insertion to cope with the new kConditional instruction.

PiperOrigin-RevId: 189245979

Fix a bug which caused slot variables to be shared when executing eagerly

Threads the uid() name of a ResourceVariable through to the Optimizer. Tests
that slot variables are unique in several ways.

Previously ResourceVariable._shared_name was the Optimizer's slot key for a
variable, which for tfe.Variable() is just the non-uniquified name.

PiperOrigin-RevId: 189240115

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 189239161

Update ops-related pbtxt files.

PiperOrigin-RevId: 189234789

Add mean-only FID and diagonal-covariance-only FID variants to TFGAN.

PiperOrigin-RevId: 189232299

TFLite iOS Makefile: Disable SSE4.1 for x86_64 build.

PiperOrigin-RevId: 189232136

Merge changes from github.

PiperOrigin-RevId: 189231636

Small code readability improvement.

PiperOrigin-RevId: 189231130

Remove underscore prefix from broadcast_gradient_args op.

PiperOrigin-RevId: 189229472

Warn when creating a `tf.InteractiveSession` if another is active.

Fixes #13202 (as far as possible without breaking backwards compatibility).

PiperOrigin-RevId: 189228094

Clarify that in_nodes and in_edges includes control edges.

PiperOrigin-RevId: 189225717

Automated g4 rollback of changelist 189110935

PiperOrigin-RevId: 189224522

[TF:XLA] Don't follow control dependencies for const analysis.

Those inputs are not actually required to be constants.

PiperOrigin-RevId: 189222308

Prevent fusing activation functions that would remove non-discardable arrays.

PiperOrigin-RevId: 189217360

[XLA:CPU] Fix the parallel task assignment to not parallelize dot operations.

The IR emitter currently generates incorrect code for parallelized dot
operations.

Add test cases to check for dot operation parallelization.

PiperOrigin-RevId: 189216963

Broadcast Sub and Div from #17123 except for quantization.

PiperOrigin-RevId: 189216312

Refactor and enable loop optimizer tests.

PiperOrigin-RevId: 189215781

Internal change.

PiperOrigin-RevId: 189213372

Really delete old checkpoints this time.

Follows up on cl/188187349, which fixed checkpoint management for tf.train.Saver
when executing eagerly. Except I was recreating the tf.train.Saver objects each
save, so tfe.Checkpoint and friends did not benefit from that change.

Keeps the same tf.train.Saver around when executing eagerly. This limits object
graph mutations just like when graph building; if there are complaints I can
assign to Saver._var_list instead, since eager tf.train.Saver is not specialized
to its var_list argument.

PiperOrigin-RevId: 189211552

[XLA] Add --xla_hlo_profile_last_run flag to replay_computation.

When using replay_computation for profiling, you usually only want to
do one or two warmup runs and then profile the last run of your model.
This flag makes that possible.

PiperOrigin-RevId: 189208924

TFE: Modify initialization of `ContextStack` to ensure eager context is kept.

When eager execution is enabled in the main thread, the fact that it was
enabled is propagated to subsequently created threads. This
change ...

(1) ensures that the fact that eager was enabled is also propagated to the `ContextStack`, which is renamed to `_ContextSwitchStack`, for clarity;
(2) adds a `_ContextSwitchStack` object to `Context` as a member, removing the global `context_stack`.

PiperOrigin-RevId: 189206207

  add grpc service stub for TPUProfilerAnalysis

PiperOrigin-RevId: 189198495

Enable constant folding optimizations in loop bodies by copying constants across Enter nodes.

PiperOrigin-RevId: 189197514

Expose setNumThreads in the Java API.

PiperOrigin-RevId: 189193847

Disable Add/AddN rewrite (temp).

PiperOrigin-RevId: 189189997

Removed the pointer to model from interpreter.

PiperOrigin-RevId: 189186901

Add ability to use feature_columns in KMeans Estimator.

PiperOrigin-RevId: 189179304

[SE] [XLA:GPU] Inform --xla_hlo_profile of the GPU's memory bandwidth.

Add a memory_bandwidth() property to StreamExecutor's DeviceDescription,
and use this in the GPU's --xla_hlo_profile.

PiperOrigin-RevId: 189157407

Enable Add/AddN tree rewrite for symbolically equal shapes.

1) Rewrite a tree of Add/AddN ops with a single AddN,
   if all shapes are symbolically equal
2) Lookup shape properties using GraphProperties instead
   of direct access to Node attributes

PiperOrigin-RevId: 189131726

Internal change.

PiperOrigin-RevId: 189131526

Make hash.h a public header.

PiperOrigin-RevId: 189130768

Add int64 to randomized tests.

PiperOrigin-RevId: 189129641

Checkpointable: Add logic for late-naming of SaveableObjects

Previously SaveableObjects returned by _gather_saveables_for_checkpoint ran into a sanity check for naming, and would otherwise have been saved under the wrong key. This change has _gather_saveables_for_checkpoint returning factories for SaveableObjects instead, which are either passed the object-based saving key or are called with no arguments when using the global name.

Variables didn't run into this, since the Saver was generating their names.

PiperOrigin-RevId: 189124512

[XLA] Add a test for F32 -> U32 conversion

PiperOrigin-RevId: 189124355

[tf.data] Fix Python shape inference for `tf.contrib.data.map_and_batch()`.

Previously, it would incorrectly report that all batches have the same size, not accounting for the possibility of the last batch being partial.

Fixes #17720.

PiperOrigin-RevId: 189121488

Turn on strip_default_attrs in custom export strategy. Validated that the change WAI on a local pipeline.

PiperOrigin-RevId: 189118106

Automated g4 rollback of changelist 189060958

PiperOrigin-RevId: 189110935

Check for the value of the _XlaCompile boolean since xla often creates it with
the default value of false.

PiperOrigin-RevId: 189110514

Automated g4 rollback of changelist 189089672

PiperOrigin-RevId: 189104013

Enable async eager mode in python. Add some benchmarks.

PiperOrigin-RevId: 189101670

Automated g4 rollback of changelist 188525171

PiperOrigin-RevId: 189100846

Automated g4 rollback of changelist 189071037

PiperOrigin-RevId: 189097692

Re-phrase some tests in replicate_model_fn using parameterized tests.

PiperOrigin-RevId: 189096779

Remove underscore prefix from ref_identity op.

PiperOrigin-RevId: 189096108

Ensure zeros constant created is dominated by Switch node of cond context.

All values entering control flow context either has to be via a switch or dominated by one.

PiperOrigin-RevId: 189092017

Adding non-linear image warping ops to tf.contrib.image

New ops are:
tf.contrib.image.sparse_image_warp, tf.contrib.image.dense_image_warp, and tf.contrib.image.interpolate_spline.

PiperOrigin-RevId: 189089672

Rename KMeans _parse_tensor_or_dict to _parse_features_if_necessary and add a unit test.

PiperOrigin-RevId: 189087384

Removing underscore prefix from _enter and _ref_enter.

PiperOrigin-RevId: 189082871

Remove nsync header files from tensorflow/core/platform/default/mutex.h

The implementation of tensorflow/core/platform/default/mutex.h uses the nsync
library, so mutex.h has included nsync header files.

This has been awkward, because each TensorFlow build (bazel, cmake, make, plus
the instructions for compiling individual custom ops, on all the various
platforms) has needed to handle the include paths correctly, reaching into a
package that is downloaded separately from TensorFlow itself.

This change avoids that awkwardness, instead taking on two different
irritations:
- mutex.h now defines two structs that are large enough and aligned enough to
  contain an nsync_mu and an nsync_cv.  This is an abstraction violation,
  because TensorFlow's source should not need to know how big these data
  structures are.  However, this is unlikely to cause problems because:
  1) this is checked by a static assertion in mutex.cc, so we will notice
     immediately should a change be needed, and
  2) this will likely never fail because we have no intent of allowing nsync's
     data strcutures to get bigger.

- The methods of mutex and condition_variable can no longer be inlined, because
  that too would require mutex.h to include the nsync header files.  (Or we'd
  need to declare the nsync functions directly in mutex.h, which would be
  another abstraction violation.)   However, this is a small imposition
  because the overhead of a procedure call is typically small.

The assumption behind this CL is that these irritations are less important than
the ongoing frustration of maintaining the complex include path in multiple build
systems.

PiperOrigin-RevId: 189079523

Set shard count to 4 for tensorflow/contrib/linalg:linear_operator_block_diag_test to avoid timeouts

This was getting flaky timeouts because it was taking over 300s about 25% of the time.
This change increases the shard count to 4 to reduce the total elapsed time.
With 4 shards, the maximum time per shard is about 180s.

PiperOrigin-RevId: 189079453

Removing underscore prefix from _scalar_summary and _histogram_summary.

PiperOrigin-RevId: 189073787

Fix tensorflow/python/eager:benchmarks_test.

PiperOrigin-RevId: 189073615

Check for very large chunk sizes in WAV decoding
Change how chunk sizes larger than 2GB are handled, since they're stored as
unsigned int32s, so there are lots of ways for conversions to confuse the
decoding logic. The new behavior is to fail with an error, since such
large WAV files are not common, and are unsupported by many readers.

PiperOrigin-RevId: 189071037