K-FAC: Expose protected functions from fisher_blocks and fisher_factors and constant strings from layer_collection in their respective library modules. This allows consistent development of blocks and factors outside tensorflow.contrib.kfac.

PiperOrigin-RevId: 182197356

[XLA] Make the hlo_evaluator handle reduce window in the same ways as the cpu backend. Also,
- Added a test that would fail without this change.
- Enabled reduce_window_test_interpreter.
- Added the DISALBED_ON_INTERPRETER macro and disalbed large tests on the interpreter.

The evaluator assumed the input value to be 0 when out of bound, which is likely to produce wrong output when the reduction function is not Add.

PiperOrigin-RevId: 182164740

Bump the size of keras:core_test as it is flakily timing out.

PiperOrigin-RevId: 182159937

Automated g4 rollback of changelist 182127737

PiperOrigin-RevId: 182155292

[TF:XLA] Remove workaround for b/37575001.

The lowering bug has been long fixed, so the workaround of constructing R3s is no longer required.

PiperOrigin-RevId: 182150664

Introduce a new C API entrypoint to set a 'func' attribute on an op
description.

PiperOrigin-RevId: 182146876

Disable exceptions in TensorFlow jsoncpp build

This is necessary to compile with Clang. Since the TF GCP code doesn't have any
try/catch statements, this could be a bug fix.

PiperOrigin-RevId: 182143536

Make SQLite binary smaller in TensorFlow

This makes it 400kB smaller. This is worth it because even
-O6 would only make SQLite 3% faster.

https://www.sqlite.org/footprint.html

PiperOrigin-RevId: 182143488

Add decay/epsilon/updates_collections parameters to Inception v3 arg_scope

PiperOrigin-RevId: 182143473

Remove a duplicate bfloat16 registration.

PiperOrigin-RevId: 182143007

K-FAC: Example using tf.estimator and K-FAC.
- Removes FisherEstimator.inv_updates_dict. Users should create directly from
  FisherEstimator.inv_update_ops.
- Adds (cov|inv)_update_(thunks|ops) to KfacOptimizer.

PiperOrigin-RevId: 182135826

Allow ReorderAxes to work on QUINT8 arrays. This will be necessary in order to support models that include tensorflow's DequantizeOp (such models were "quantized" using tensorflow's transform_graph tool).

PiperOrigin-RevId: 182131833

Fix flakiness of dataset_constructor_op_test and flat_map_dataset_op_test due to
timeouts.

PiperOrigin-RevId: 182131168

[TF] Fix XLA Control Flow gradient stacks max_size creation.

Stack creation uses tf.while_loop's maximum_iterations iff the while_loop
was created inside an XLA/TPU context.  Added several error checks to ensure
this provides useful error messages if the limited use case is not supported.

PiperOrigin-RevId: 182128135

Internal Change.

PiperOrigin-RevId: 182127737

Introducing RF computation considering models with specific input resolution. Previously, the input resolution was not taken into account, which led to undefined padding for many well-known models (since those rely on SAME padding, and in some cases SAME padding depends on input resolution).

This change also redesigns many aspects of the topological sorting and layer parsing functions, introducing new modules and tests.

PiperOrigin-RevId: 182124694

Enable bfloat16 for CPU kernels

PiperOrigin-RevId: 182124532

Switch default `replicate_model_fn.loss_reduction` to SUM_BY_NONZERO_WEIGHTS.

Users of weighted losses need loss_reduction=SUM, otherwise the most common choice is SUM_BY_NONZERO_WEIGHTS.  Estimator class doesn't have visibility into whether weighted losses are used, so the default was assumed to be SUM, because it's correct-ish in either case.  This change sets the default to SUM_BY_NONZERO_WEIGHTS to accomodate the most common case.

PiperOrigin-RevId: 182122737

Don't assign Tensor._shape in control_flow_ops.py

I'm not totally sure why this was done to begin with. However, nothing
seems to break with it removed. I'd like to remove this since setting
_shape won't work with the C API enabled.

PiperOrigin-RevId: 182122350

Log all valid visible cuda gpu id in one line.

PiperOrigin-RevId: 182121746

Exit previously entered sub-context-managers whenever any __enter__() call
throws an exception in tf.name_scope() and tf.variable_scope().

The previous conversion from generator style context managers translated a
nested with block like

    with context_a, context_b:
      yield

into the following pair of __enter__()/__exit__() methods:

    def __enter__(self):
      self.context_a.__enter__()
      self.context_b.__enter__()

    def __exit__(self, *args):
      self.context_b.__exit__(*args)
      self.context_a.__exit__(*args)
      return False

This translation is only correct when self.context_b.__enter__() does not throw
an exception. In the context of tf.name_scope() and tf.variable_scope(),
context_a is the default graph stack, and context_b is the actual scope to
enter. Entering an actual scope throws a ValueError when the scope name is
invalid. In that case, the above implementation leaves __enter__() without
popping the default graph stack. Sub-sequent calls to pop the stack will thus
fail, obscuring the actual exception that was raised in entering the scope.

PiperOrigin-RevId: 182119816

Adjust setup to fix Tensorboard entrypoint (run_main -> main).

PiperOrigin-RevId: 182119760

Check for existence of attrs when making a `TFDecorator`.

Fixes a bug that arose when the supplied target to `make_decorator` was
a callable that did not have a `__name__` member.

PiperOrigin-RevId: 182119694

Enable saving/restoring state of ParallelMapDataset.
Also actively reset input_impl_ when it is exhausted.

PiperOrigin-RevId: 182118637

Internal Change

PiperOrigin-RevId: 182112914

Expose _log_and_record method to allow easier subclassing of StepCounter

PiperOrigin-RevId: 182112167

Make toco_convert work with int8 output.

PiperOrigin-RevId: 182111798

Add experimental `FunctionLibraryRuntime::InstantiateOptions::state_handle`.

This new argument allows function instantiators to provide a unique
string that identifies the state that is associated with the
instantiated function (i.e. typically in stateful kernels).

PiperOrigin-RevId: 182110020

DNN and Tree estimator doesn't work on GPUs. Tag the test for it to avoid running it with GPU config.

PiperOrigin-RevId: 182102413

Fully qualify string methods to avoid future conflicts with Abseil.

PiperOrigin-RevId: 182100616

Improves the eager compatibility with tf.contrib.lookup.

Fixes #16160

PiperOrigin-RevId: 182098964

Make generated_examples_zip_test runnable on Android

PiperOrigin-RevId: 182098537

Automated g4 rollback of changelist 181553949

PiperOrigin-RevId: 182098104

[XLA] add ReduceWindow and SelectAndScatter to the local Python XLA client.

PiperOrigin-RevId: 182094260

Enable the removal of redundant reshapes on fed models. Previously this was only turned on by default for models without feed nodes.

PiperOrigin-RevId: 182090076

Remove private Operation._input_dtypes alias.

This isn't necessary for anything, but it limits the surface area of
private API abuse.

PiperOrigin-RevId: 182086883

Have _check_bazel_version_at_least compare versions as ints, not strings.

This prevents issues like https://github.com/bazelbuild/bazel/issues/4425

PiperOrigin-RevId: 182085505

Use multiple passes to improve memory since a single pass is often not enough.

PiperOrigin-RevId: 182084336

Internal API to optionally compile a template's function into a graph function.

(1) Adds a function `make_template_internal` that takes an optional keyword
argument `create_graph_function_` that controls whether or not `func_` is
compiled into and executed as a graph function.

(2) Exposes `make_template_internal` as `tfe.make_template`, so users may
write something like
`
compiled = tfe.make_template("my_op", func, create_graph_function_=True)
`
to obtain a templatized version of func that is executed as a graph
function.

(3) Simplifies the implementation of (Eager)Template's _call_func and __call__
methods in a minor way.

PiperOrigin-RevId: 182082866

Make TFLite iOS build scripts executable from anywhere.

PiperOrigin-RevId: 182080904

Restrict the type info analysis to avoid inference on objects created inside a control structure. The type of such object cannot be reliably inferred.

PiperOrigin-RevId: 182072568

Switch testing/... to use new test specification format

PiperOrigin-RevId: 182072485

Add one single target to bundle jar & so for TensorFlow Lite

PiperOrigin-RevId: 182071549

Removing unused ops before applying other transformations to prevent cross input/output array optimizations.

PiperOrigin-RevId: 182063294

Batchnorm returns a tuple, but when batchnorm partitioning was implemented tuple shardings were not.

PiperOrigin-RevId: 182043879

Fixes nccl_ops_test error introduced in CL 181736230.

PiperOrigin-RevId: 182039394

Delete InputTypesTest in framework/ops_test.py

_set_device now works with the C API enabled, so we no longer need
this explicit test coverage.

PiperOrigin-RevId: 182014804

Raise error when unable to parse VariantTensorDataProto in BundleReader.

PiperOrigin-RevId: 182007077

[XLA] Remove RngBernoulli from the local Python XLA client.

PiperOrigin-RevId: 182005780

Avoid unloading kernels that haven't been loaded and fix replay_computation to
destroy the local client instance.

Add a user defined move constructor for KernelBase to nullify the parent stream
pointer. This is needed to avoid unloading kernels that haven't been loaded
when the moved-from KernelBase objects are destructed.

Add a call to ClientLibrary::DestroyLocalInstances to destroy the local client
instance used by replay_computation.

PiperOrigin-RevId: 181995818

Migrate `tf.contrib.data` users to the stable `tf.data` API.

PiperOrigin-RevId: 181993953

FIxes non-gpu build of gpu target.

PiperOrigin-RevId: 181976155

Fix potential use-after-free bugs in the worker with DeleteWorkerSession.

Previously, DeleteWorkerSession was responsible for freeing the
WorkerSession owned by the SessionMgr. However, it is possible for
other requests to be in-flight on the same session, and requests from
the master to be delivered out of order, which leads to the potential
for a request to use a WorkerSession after it has been freed. Revise
the SessionMgr interface to handle std::shared_ptr<WorkerSession>
instead of raw pointers to avoid this risk.

PiperOrigin-RevId: 181975078

Remove lenient naming in tf.Saver.

PiperOrigin-RevId: 181943238

Support ref types as arguments to all instances of tf.contrib.lookup.LookupInterface.lookup.

PiperOrigin-RevId: 181928781

FreezeSavedModel function: Get a frozen GraphDef, inputs, and outputs from a loaded SaveModelBundle.

#14567

PiperOrigin-RevId: 181887870

Add checkpoint conversion for very old models that use the attention mechanism implemented in
tensorflow/contrib/legacy_seq2seq/python/ops/seq2seq.py

PiperOrigin-RevId: 181867510

Clean up the allocation logic in the interpreter.

PiperOrigin-RevId: 181865795

Rename RELU1 to RELU_N1_TO_1 to indicate that the image of the Op is in between -1 and 1.

PiperOrigin-RevId: 181864303

Cosmetic BFCAllocator improvements.

- Dump a log of the allocator's internal state on allocation failure at
  vlog level 2 and above.

- When printing the allocator's chunks, print free chunks inline with
  occupied chunks.  This way fragmentation is easier to see.

- Add some GUARDED_BY annotations.

- Use a proper atomic for the "non-fatal OOM" log counter.

PiperOrigin-RevId: 181851550

Add support for continue / break statements. Slightly change the static analyzer to better match Python semantics.

PiperOrigin-RevId: 181847178

Update ops-related pbtxt files.

PiperOrigin-RevId: 181831552

[Java]: Publish 1.5.0-rc1

PiperOrigin-RevId: 181831249

[TF] Additional CriticalSection python wrappers.

PiperOrigin-RevId: 181827605

[XLA] Add some scalar tests.

PiperOrigin-RevId: 181819491

Fix dropout description of CudnnLSTM.

PiperOrigin-RevId: 181814918

[XLA:TPU] Initial HLO parser/stringifier support for sparse formats

- Add methods for manipulating sparse literals to xla::Literal

- Make LayoutUtil::HumanString handle sparse layouts

- Make ShapeUtil::ParseShape handle sparse shapes

- Syntax for shapes has changed:

  - Old way of expressing layouts still works, e.g. f32[1,2,3]{2,1,0}

  - Can now make dense format explicit: f32[1,2,3]dense{2,1,0}

  - Can express sparse layouts; the max_sparse_elements value is in the
    braces, e.g.: f32[1,2,3]sparse{10}

  - The shape should not include braces for the layout if the shape is scalar;
    e.g. f32[]{} is not valid shape syntax.

  - The shape should not include braces for the layout if the shape is a dense
    rank-1 array; e.g. f32[10]{0} is not valid shape syntax

  - Sparse literals use a dictionary-liky syntax, e.g.:
    f32[2,3,4]sparse{10} {[0,1,2]: 10, [1,2,3]: 11}

  - For rank-1 sparse arrays, the square brackets around indices may be omitted, e.g.:
    f32[100]sparse{10} {5: 10, 20: 30}

PiperOrigin-RevId: 181813837

Go: Update generated wrapper functions for TensorFlow ops.

PiperOrigin-RevId: 181810382

Update ops-related pbtxt files.

PiperOrigin-RevId: 181809677

Immutable differentiable tf lists.

This implements just the basic operations for pushing, popping, stacking, and unstacking. Operations to create an empty list of a known size and to set / get individual elements by index forthcoming.

PiperOrigin-RevId: 181803880

Move TPU configuration ops to run on the TPU_SYSTEM device.

PiperOrigin-RevId: 181802067

TFTS: Stop abusing _shape in unit tests

PiperOrigin-RevId: 181800015

Detect if the issue is from underlying tracing or tfprof.

PiperOrigin-RevId: 181798974

* Fix bug introduced in cl/181043095: We need to update the nodemap when adding control dependencies.
* Fix a bug in ConstantFolding::AddControlDependency: Don't create the same Identity node after Switch multiple times. Just re-use if it already exists.
* Make sure that nodes added in rewrites have unique names.
* A few minor cleanups.

PiperOrigin-RevId: 181798973

Raise the same error for uninitialized ResourceVariables as we do for Variables.

PiperOrigin-RevId: 181797089

Reorganize the shared batching scheduler headers, leaving forwarding shims.

PiperOrigin-RevId: 181795909

Clarify the _slice_helper (Tensor.__getitem__) docs.

Scalar tensors are allowed.

PiperOrigin-RevId: 181787643

 * Enable bfloat16 testing for DynamiscSlice and DynamicUpdateSlice.
 * Make bfloat16's conversion constructors non-explicit, so that bfloat16 is consistent
     with a built-in type. This was useful in some of the templated tests.
 * Give bfloat16 prefix and suffix operator++ and operator--, making it more like float,
     which has these. This also came up in a templated test.

PiperOrigin-RevId: 181784644

tfprof support for eager.

PiperOrigin-RevId: 181784078

[TF:XLA] Bump open source llvm revision to r322231

PiperOrigin-RevId: 181777970

Fix integer learning phase setting in Keras.

PiperOrigin-RevId: 181777677

Add _HostSend and _HostRecv to grappler

PiperOrigin-RevId: 181774069

Make it clear that the DeviceAssignment passed to an execution is immutable.

PiperOrigin-RevId: 181774067

fixes _softmax function so that nn.softmax(...) and nn.log_softmax(...) can accept negative axes that aren't -1 as the documentation claims. _swap() was accepting negative indices when math_ops.range() does not accept negative indices

PiperOrigin-RevId: 181771157

Initialize context handle before enable_run_metadata.

PiperOrigin-RevId: 181770918

Updating the docker login command. The email flag is deprecated.

PiperOrigin-RevId: 181769938

Adds some logging around model creation.

When debugging slow startups, it is useful to be able to determine the following, and I which I was not able to get from the current logging:
  - When, and how long, model construction happens with Estimator
  - When, and how long, the init op takes

PiperOrigin-RevId: 181768945

Small bug fix visualize.

PiperOrigin-RevId: 181765083

[tf.data] Update docstrings to point to `tf.data.Dataset.apply()`.

PiperOrigin-RevId: 181761270

Add python script that can visualize models by producing an HTML page.

PiperOrigin-RevId: 181756421

Enable passing CSE consider_fn through GraphOptimizer::Optimize call.

PiperOrigin-RevId: 181756325

Made Dataset as a main reference for input_fn preparation.

PiperOrigin-RevId: 181755864

[TFXLA] Don't rely on CSE to dedup args.

Handle the case where a value is fed in via multiple switch nodes without relying on CSE to dedup the nodes as we'd only want/need to feed in the same value once per function.

PiperOrigin-RevId: 181752351

Formatting fixes

PiperOrigin-RevId: 181748699

Update Eigen to 14e1418fcf12985861f17131e6de94adb4c7b630.

Fixes Eigen TensorFFT precision issues due to twiddle factor calculation via recurrence:
https://bitbucket.org/eigen/eigen/commits/6c74460b39d4c3e2e570dbe9e82497cac3800e57

PiperOrigin-RevId: 181748118

Generate more numerically stable random inputs.

PiperOrigin-RevId: 181746741

Moves CUDA-only condition of NCCL further up to dependent targets.
Removes NCCL kernel registration in non-CUDA builds (but retains NCCL ops).
Removes unused python/ops/_nccl_ops.so target.

PiperOrigin-RevId: 181736230

Adjust feature name in `features` field of generic tree proto for Sparse Float Features

PiperOrigin-RevId: 181712201

Update ops-related pbtxt files.

PiperOrigin-RevId: 181698744

Avoid creating swap nodes multiple times if the memory optimizer is run more
than once.

PiperOrigin-RevId: 181695508