Add checkpoint conversion for very old models that use the attention mechanism implemented in
tensorflow/contrib/legacy_seq2seq/python/ops/seq2seq.py

PiperOrigin-RevId: 181867510

Clean up the allocation logic in the interpreter.

PiperOrigin-RevId: 181865795

Rename RELU1 to RELU_N1_TO_1 to indicate that the image of the Op is in between -1 and 1.

PiperOrigin-RevId: 181864303

Cosmetic BFCAllocator improvements.

- Dump a log of the allocator's internal state on allocation failure at
  vlog level 2 and above.

- When printing the allocator's chunks, print free chunks inline with
  occupied chunks.  This way fragmentation is easier to see.

- Add some GUARDED_BY annotations.

- Use a proper atomic for the "non-fatal OOM" log counter.

PiperOrigin-RevId: 181851550

Add support for continue / break statements. Slightly change the static analyzer to better match Python semantics.

PiperOrigin-RevId: 181847178

Update ops-related pbtxt files.

PiperOrigin-RevId: 181831552

[Java]: Publish 1.5.0-rc1

PiperOrigin-RevId: 181831249

[TF] Additional CriticalSection python wrappers.

PiperOrigin-RevId: 181827605

[XLA] Add some scalar tests.

PiperOrigin-RevId: 181819491

Fix dropout description of CudnnLSTM.

PiperOrigin-RevId: 181814918

[XLA:TPU] Initial HLO parser/stringifier support for sparse formats

- Add methods for manipulating sparse literals to xla::Literal

- Make LayoutUtil::HumanString handle sparse layouts

- Make ShapeUtil::ParseShape handle sparse shapes

- Syntax for shapes has changed:

  - Old way of expressing layouts still works, e.g. f32[1,2,3]{2,1,0}

  - Can now make dense format explicit: f32[1,2,3]dense{2,1,0}

  - Can express sparse layouts; the max_sparse_elements value is in the
    braces, e.g.: f32[1,2,3]sparse{10}

  - The shape should not include braces for the layout if the shape is scalar;
    e.g. f32[]{} is not valid shape syntax.

  - The shape should not include braces for the layout if the shape is a dense
    rank-1 array; e.g. f32[10]{0} is not valid shape syntax

  - Sparse literals use a dictionary-liky syntax, e.g.:
    f32[2,3,4]sparse{10} {[0,1,2]: 10, [1,2,3]: 11}

  - For rank-1 sparse arrays, the square brackets around indices may be omitted, e.g.:
    f32[100]sparse{10} {5: 10, 20: 30}

PiperOrigin-RevId: 181813837

Go: Update generated wrapper functions for TensorFlow ops.

PiperOrigin-RevId: 181810382

Update ops-related pbtxt files.

PiperOrigin-RevId: 181809677

Immutable differentiable tf lists.

This implements just the basic operations for pushing, popping, stacking, and unstacking. Operations to create an empty list of a known size and to set / get individual elements by index forthcoming.

PiperOrigin-RevId: 181803880

Move TPU configuration ops to run on the TPU_SYSTEM device.

PiperOrigin-RevId: 181802067

TFTS: Stop abusing _shape in unit tests

PiperOrigin-RevId: 181800015

Detect if the issue is from underlying tracing or tfprof.

PiperOrigin-RevId: 181798974

* Fix bug introduced in cl/181043095: We need to update the nodemap when adding control dependencies.
* Fix a bug in ConstantFolding::AddControlDependency: Don't create the same Identity node after Switch multiple times. Just re-use if it already exists.
* Make sure that nodes added in rewrites have unique names.
* A few minor cleanups.

PiperOrigin-RevId: 181798973

Raise the same error for uninitialized ResourceVariables as we do for Variables.

PiperOrigin-RevId: 181797089

Reorganize the shared batching scheduler headers, leaving forwarding shims.

PiperOrigin-RevId: 181795909

Clarify the _slice_helper (Tensor.__getitem__) docs.

Scalar tensors are allowed.

PiperOrigin-RevId: 181787643

 * Enable bfloat16 testing for DynamiscSlice and DynamicUpdateSlice.
 * Make bfloat16's conversion constructors non-explicit, so that bfloat16 is consistent
     with a built-in type. This was useful in some of the templated tests.
 * Give bfloat16 prefix and suffix operator++ and operator--, making it more like float,
     which has these. This also came up in a templated test.

PiperOrigin-RevId: 181784644

tfprof support for eager.

PiperOrigin-RevId: 181784078

[TF:XLA] Bump open source llvm revision to r322231

PiperOrigin-RevId: 181777970

Fix integer learning phase setting in Keras.

PiperOrigin-RevId: 181777677

Add _HostSend and _HostRecv to grappler

PiperOrigin-RevId: 181774069

Make it clear that the DeviceAssignment passed to an execution is immutable.

PiperOrigin-RevId: 181774067

fixes _softmax function so that nn.softmax(...) and nn.log_softmax(...) can accept negative axes that aren't -1 as the documentation claims. _swap() was accepting negative indices when math_ops.range() does not accept negative indices

PiperOrigin-RevId: 181771157

Initialize context handle before enable_run_metadata.

PiperOrigin-RevId: 181770918

Updating the docker login command. The email flag is deprecated.

PiperOrigin-RevId: 181769938

Adds some logging around model creation.

When debugging slow startups, it is useful to be able to determine the following, and I which I was not able to get from the current logging:
  - When, and how long, model construction happens with Estimator
  - When, and how long, the init op takes

PiperOrigin-RevId: 181768945

Small bug fix visualize.

PiperOrigin-RevId: 181765083

[tf.data] Update docstrings to point to `tf.data.Dataset.apply()`.

PiperOrigin-RevId: 181761270

Add python script that can visualize models by producing an HTML page.

PiperOrigin-RevId: 181756421

Enable passing CSE consider_fn through GraphOptimizer::Optimize call.

PiperOrigin-RevId: 181756325

Made Dataset as a main reference for input_fn preparation.

PiperOrigin-RevId: 181755864

[TFXLA] Don't rely on CSE to dedup args.

Handle the case where a value is fed in via multiple switch nodes without relying on CSE to dedup the nodes as we'd only want/need to feed in the same value once per function.

PiperOrigin-RevId: 181752351

Formatting fixes

PiperOrigin-RevId: 181748699

Update Eigen to 14e1418fcf12985861f17131e6de94adb4c7b630.

Fixes Eigen TensorFFT precision issues due to twiddle factor calculation via recurrence:
https://bitbucket.org/eigen/eigen/commits/6c74460b39d4c3e2e570dbe9e82497cac3800e57

PiperOrigin-RevId: 181748118

Generate more numerically stable random inputs.

PiperOrigin-RevId: 181746741

Moves CUDA-only condition of NCCL further up to dependent targets.
Removes NCCL kernel registration in non-CUDA builds (but retains NCCL ops).
Removes unused python/ops/_nccl_ops.so target.

PiperOrigin-RevId: 181736230

Adjust feature name in `features` field of generic tree proto for Sparse Float Features

PiperOrigin-RevId: 181712201

Update ops-related pbtxt files.

PiperOrigin-RevId: 181698744

Avoid creating swap nodes multiple times if the memory optimizer is run more
than once.

PiperOrigin-RevId: 181695508

Improve performance of several utility functions in TensorFlow

framework/types.h defines a variety of functions on DataType enums. Some of these functions are implemented by allocating arrays in the heap.  Even though DataTypeVector is a typedef for InlinedVector, it only stores 4 elements inline. Many of the vectors used in types.h/types.cc contain more than 4 elements.

To make matters worse, some of these functions are called quite frequently under load, so we're wasting time allocating and copying arrays.

The set of distinct DataType values is so small, however, that we can represent a set of DataType values as a bitmask, and use bit-shifts and tests instead of sequential scans of arrays.

Even the functions that do not allocate, such as DataTypeCanUseMemcpy(), are needlessly inefficient (read: they use control-flow and indirect jumps when a simple table-based load would do; they are also not inlined).  These costs were significant enough that they consumed about 1.2% of CPU cycles under heavy load.

The surprising cost of DataTypeCanUseMemcpy() inspired this change. I went ahead and made the change fully general, by adding a DataTypeSet type and changing all of the utility functions in framework/types.h to use it (with the exception of DataTypeAlwaysOnHost because it uses a _REF type), for the sake of generality and performance.

PiperOrigin-RevId: 181695458

Create loader and vacuum tools for TensorBoard DB

PiperOrigin-RevId: 181695156

Reduce memory allocations in GCS client

This removes some unnecessary transient allocations from the GCS client code, by passing pointers to data directly to the JSON parsing library, rather than copying all of the JSON data to a temporary 'string' object.

Also converted some unnecessarily-general comparisons against Json::Value::null to calls to Value::isNull().

Also changes several parameters from "const string&" to "const char*", in order to avoid unnecessary intermediate allocations.  Json::Value::get() has an overload which takes "const char*".  Ideally, the JSON library would use string_view or StringPiece, but that's an open source project and so modifying that dependency is out of scope for this change.

PiperOrigin-RevId: 181693172

Don't optimize AddN nodes with 2 or fewer inputs

PiperOrigin-RevId: 181692968

K-FAC: Utility function for scheduling N ops per global_step.

PiperOrigin-RevId: 181689879

Implement legacy tensor->summary methods on DB writer

In the future these methods should be removed in favor of the Python
graph-based implementations in tensorboard.summary. But the methods
should be supported until they're deleted.

PiperOrigin-RevId: 181689100

Add support for if conditionals. Fix a bug in the activity analysis.

PiperOrigin-RevId: 181686453

Move SummaryFileWriter alongside SummaryDbWriter

These impls are two peas in the same pod. This will make it easier to
write a follow-up change that refactors out common code.

PiperOrigin-RevId: 181684341

[XLA:GPU] Add an @llvm.assume(linear_index < threads_per_block * num_blocks).

PiperOrigin-RevId: 181679271

Add missing AndroidManifest to TensorFlow Lite Java android library target.

This is a fix to the below issue:
#15956

PiperOrigin-RevId: 181679121

Switch `tf.parse_single_example()` to use the fused implementation in most cases.

Remove the unused `tf.contrib.data.parse_single_example()` function, which was
a temporary bridge to the fused implementation.

Note that the fused implementation is only used if the (seldom used) `example_names` argument is None. Otherwise, it falls back to the existing unfused implementation.

PiperOrigin-RevId: 181676746

Add reservoir sampling to DB summary writer

This thing is kind of cool. It's able to turn a 350mB event log into a
35mB SQLite file at 80mBps with one Macbook core. Best of all, this was
accomplished using a normalized schema without the embedded protos.

PiperOrigin-RevId: 181676380

Don't log to ERROR if an unsupported type is encountered in neutral/absorbing element optimizer. This is not an error, at worst a missed optimization oppportunity. See #15521.

PiperOrigin-RevId: 181673939

This change is to add more control over when multiprocessing is used.

PiperOrigin-RevId: 181673354

K-FAC: Add (cov|inv)_update_(ops|thunks) to FisherEstimator.

PiperOrigin-RevId: 181672525

Sundry small changes to enable the C API in more tests.

PiperOrigin-RevId: 181668268

Open-source TPU Embedding Op definitions.

PiperOrigin-RevId: 181667044

Fixes flaky step counting test in dnn_linear_combined_test

PiperOrigin-RevId: 181666917

* Added code to delegate LSTM operation to NN API. Off by default.
* Added code to turn on NN API delegation for speaker id test. Off by default.

PiperOrigin-RevId: 181666821

Make Exporters export stripped SavedModels. This improves the forward compatibility of the SavedModel. While the underlying infrastructure still can export non-stripped versions, this is not recommended, and the flag to turn off stripping is not exposed (although it is easy to access by subclassing or using _SavedModelExporter directly).

PiperOrigin-RevId: 181664387

[tf.data] Change the IteratorBase::RestoreInternal() method to take IteratorContext*.

The IteratorContext type contains all of the state needed to restore
an iterator and it is easier to construct, so this change will make it
possible to control the environment of the restoration more easily
(e.g. when using function overlays on a shared runtime).

PiperOrigin-RevId: 181662977

Adds Mean op to Tensorflow Lite.

PiperOrigin-RevId: 181658399

[XLA:GPU] Get rid of unnecessary urem in IrArray with linear index.

PiperOrigin-RevId: 181657090

Make best model export strategy preemption-safe.

PiperOrigin-RevId: 181654743

Fixes a tiny typo in the usage message.

PiperOrigin-RevId: 181650869

Set SQLite page_size to 4096 by default

This ensures we don't get accidentally locked into a 1024 byte page_size when
linked against older versions of SQLite.

See https://www.sqlite.org/pgszchng2016.html

PiperOrigin-RevId: 181649143

Add option to specify output alignment for BundleWriter.

PiperOrigin-RevId: 181647536

backward compat: Prevent changes to attr's default value only for last historical version.

PiperOrigin-RevId: 181646665

Implemented heuristic to decrease memory utilization of AddN nodes

PiperOrigin-RevId: 181644649

Add speech endpointer model test for TF-lite.

PiperOrigin-RevId: 181644178

Add missing tf.contrib.receptive_field dependencies.

PiperOrigin-RevId: 181643790

Increase number of inlined elements in EdgeSet from 2 to 4 to speed up graph construction and reduce startup time in TensorFlow.

In the motivating case, this change decreases the time for a RegisterGraph RPC with a large graph from 10 minutes to 40s. Without this change, a large portion of the time is spent walking the red-black tree.

PiperOrigin-RevId: 181643594

Enable stacktrace printing ont test failures for python tests.

PiperOrigin-RevId: 181642475

Remove debugging print statement from tf.image.random_flip_left_right.

PiperOrigin-RevId: 181641673

[XLA:GPU] Add reduction-to-scalar code.

Adds special code for reducing a tensor of arbitrary rank to a scalar.

This is similar to the column reduction code that we used to run, but it
has a shfl loop at the end like the row reduction code.  The result is
much faster for the reduction-to-scalar case.  (A shfl loop doesn't make
sense for the column reduction case.)

PiperOrigin-RevId: 181640117

Change ios_tensorflow_lib to depend on ios_tensorflow_lib_lite.

PiperOrigin-RevId: 181636626

Comments for the functors in concat_lib

PiperOrigin-RevId: 181635835

Add support for for loops.
Generalize the static analysis across while and for loops.
Convert len builtin to tf.shape()[0].
Add for loop canonicalization and companion tests.
Modify the template behavior for Name nodes to let the template control the target, which allows simplifying the caller.

PiperOrigin-RevId: 181633983

[tf.data] Improve documentation for `Dataset.batch()` wrt. small final batches.

This partially addresses the concerns in issue #13161.

PiperOrigin-RevId: 181629980

Adds loss_reduction argument in head.

PiperOrigin-RevId: 181629745

Enable identity reshape and common factor hoisting optimizations.

PiperOrigin-RevId: 181625889

[XLA] Make HLO CSE faster.

Passing around copies of std::functions incurs heap allocations and deallocations, which, unfortunately, matters in this case. Minimize the amount of copies.

PiperOrigin-RevId: 181625079

Changing the default value of the momentum constant to 0.9.
Changing the default value of colocate_gradients_with_ops to True.

PiperOrigin-RevId: 181624864

Appropriately handle building of CudnnRNN if variable scope has tf.AUTO_REUSE type.

PiperOrigin-RevId: 181620379

Reduce WARNING to INFO on reloading table.

PiperOrigin-RevId: 181619109

[XLA:GPU] Specify an explicit alignment on args to kernels.

This allows LLVM to vectorize loads/stores in these kernels, among other
things.

PiperOrigin-RevId: 181618991

Set the type of the placeholder nodes creating when importing a function
definition

PiperOrigin-RevId: 181617501

Switch GradientsDebugger to use C API-friendly Python APIs

PiperOrigin-RevId: 181610422

Allow backends to specify a custom ShapeVerifier to HloVerifier.

Remove obsolete shape_size_fn_ from HloVerifier/ShapeVerifier.

Adds a rank check to FFT shape inference.

PiperOrigin-RevId: 181601294

[TF/XLA] Add stricter checks of buffer sizes within colocated buffer sets.

Note that there are already existing checks in BufferAllocation::AddAssignment
to ensure all buffers are no larger than the allocation. But colocated buffer
sets are used to handle forced aliasing, e.g. kWhile, kCall and kConditional,
which require all buffers to be identically sized.

PiperOrigin-RevId: 181565074

Fix a deadlock condition when session are run in multiple thread and depend on
each other.

PiperOrigin-RevId: 181563474

Automated g4 rollback of changelist 181548597

PiperOrigin-RevId: 181553949

Added the "Getting Started with TensorFlow for ML Beginners" chapter to Get
Started home page.

PiperOrigin-RevId: 181548668

Automated g4 rollback of changelist 181260801

PiperOrigin-RevId: 181548597

Throws exceptions in Java API of TF Lite if it fails to create interpreters.

PiperOrigin-RevId: 181548023

[XLA] More SWIG error propagation and transfers from outfeed.

PiperOrigin-RevId: 181547286