[TF:JIT] Make :xla_device visible to public, which is necessary for 3rd party
to use XLA. Also add a build target to tf/compiler/plugin/BUILD that depends on
:xla_device to help ensure it stays visible to public.

PiperOrigin-RevId: 182410844

Disable flaky test

Due to a known input function issue.

PiperOrigin-RevId: 182407471

[TF:XLA] Add support for atrous (RHS dilated) convolutions via the "dilations" attribute on convolution operators.

PiperOrigin-RevId: 182404352

Warn against using the name RELU1 again as an op.

PiperOrigin-RevId: 182403185

[XLA:AOT] Emit a .o file to hold the ProgramShape protobuf

This changes tfcompile to emit two .o files, one containing the TF model, and
one containing "helpers" which for now only contains the relevant
xla::ProgramShape protobuf in serialized form.
PiperOrigin-RevId: 182400539

Adds SUM_OVER_BATCH_SIZE in losses.Reduction.

PiperOrigin-RevId: 182399706

Allow numpy_input_fn to take an ndarray representing a single input feature.

PiperOrigin-RevId: 182397583

Go: Update generated wrapper functions for TensorFlow ops.

PiperOrigin-RevId: 182384458

Update ops-related pbtxt files.

PiperOrigin-RevId: 182378232

Added matrix logarithm op to linear algebra ops.

PiperOrigin-RevId: 182376730

Fix Markdown for examples in WarmStartSettings docstring.

PiperOrigin-RevId: 182368459

Expose Sequential as tfe.Sequential to go with the already exposed tfe.Network.

PiperOrigin-RevId: 182365046

Basic feature selection for boosted trees.

The idea is that we grow the trees normally until we reach the requested number of unique features, and once we reach that limit, we avoid using any new features.

PiperOrigin-RevId: 182336278

[XLA] Add Pad to the local Python XLA client.

PiperOrigin-RevId: 182320104

[XLA:python] Simplify frame data extraction, fix Py3 compatibility bugs.

PiperOrigin-RevId: 182315965

Add WarmStartSettings configuration for canned Estimators.

PiperOrigin-RevId: 182315322

Say SQLite BLOB protos are ideally temporary

We ideally want a schema that's pure SQL and doesn't embed
protos. However some protos we don't have time to translate
quite yet. So we put a BLOB as the last field so it can be
migrated later.

Please note there might end up being some things highly
specific to TensorFlow and/or Google that end up here. In
those cases we might consider keeping the proto blobs
permanently, if they're difficult to express in SQL.

PiperOrigin-RevId: 182313847

Slightly tune the usage of ctx to be consistent with other places.

PiperOrigin-RevId: 182305106

Dynamically print helper message based on user queries.

PiperOrigin-RevId: 182298241

internal change

PiperOrigin-RevId: 182294233

Nicer error messages when missing filesystem.

PiperOrigin-RevId: 182293612

Add range encode and decode to new tensorflow contrib.

PiperOrigin-RevId: 182293433

Changes the CapturedFunction implementation to not create a new FunctionLibraryRuntime etc. and just re-use the existing one provided. This allows for Dataset ops to run cross device and cross process.

PiperOrigin-RevId: 182292325

[XLA] Add source mapping support to SWIG API.

PiperOrigin-RevId: 182292142

Use explicit broadcasts in ResizeBilinear Kernel creation to make fusion easier.

PiperOrigin-RevId: 182291519

Update contrib/all_reduce/python/all_reduce.py in consequence of
earlier change to nccl.broadcast function signature.

PiperOrigin-RevId: 182288943

Combine host and device memory proto fields.

PiperOrigin-RevId: 182284426

Make _check_bazel_version_at_least in workspace.bzl public.

PiperOrigin-RevId: 182280342

Prune away Identity nodes without regular outputs. (Addresses TODO from cl/175780178).

PiperOrigin-RevId: 182277131

Disabling flaky replicate_model_fn_test.py for cmake.

PiperOrigin-RevId: 182273024

Add functionality to auto-discover project and zone when they are not supplied to the TPUClusterResolver

PiperOrigin-RevId: 182270565

Update ops-related pbtxt files.

PiperOrigin-RevId: 182269654

K-FAC: Fixes problem where initial eigendecomposition used by RNN classes would be computed during the call to instantiate_factors (via the "registration"  functions) instead of the call to make_inverse_update_ops.  This messed up the device placement of these ops and interacted badly with other parts of the code.

Also changed how covariance op creation is done in ConvDiagonalFactor in anticipation of similar problems in the future.

As of this CL, none of the op creation methods will modify the state of the class, and no ops will be created outside of the op creation methods.  We should try to follow this convention going forward.

PiperOrigin-RevId: 182265266

Add TF_GraphNumFunctions and TF_GraphGetFunctions

PiperOrigin-RevId: 182263576

[TF:XLA] Bump open source llvm revision to r322618

PiperOrigin-RevId: 182262817

Adding support for to resolve constant FloorDiv, FloorMod, StridedSlice, Stack, Rank and Range.

PiperOrigin-RevId: 182261052

Merge changes from github.

PiperOrigin-RevId: 182258809

  * Adds rank-3 ReduceWindow computation to the reference util test suite.
  * Adds rank-3 test harness for ReduceWindow, along with some test cases.
  * Minor style correction.

PiperOrigin-RevId: 182256143

Make int64 inputs workable, and testable in generate_examples_test.

PiperOrigin-RevId: 182252829

[XLA:GPU] Fix a problem in calculating the address of the memory used to
implement small data type atomic operations.

To calculate the address of the enclosing 4 byte memory,
output_address&(-2) was used while it should be output_address&(-4).

Add a test case.

PiperOrigin-RevId: 182251760

TFE: Improve spinn/README.md

PiperOrigin-RevId: 182247687

Make `replicate_model_fn` friendlier to distributed training.

I verified that async distributed training works as is.  One quirk is that when replicating over a single GPU, variables end up being placed on /gpu:0 on PSs, which works correctly only thanks to allow_soft_placement=True.
For sync distributed training using SyncReplicasOptimizer the only quirk is that SyncReplicasOptimizerHook insists on SyncReplicasOptimizer.apply_gradients to be called.  That happens only in the last tower, yet any tower could create the hook.  To accommodate that requirement hooks from the last tower are taken as part of this CL. Before this, hooks from the first tower were taken.

SyncReplicasOptimizer doesn't behave perfectly in tests.  The queue keeps hanging waiting for new token to arrive until `stop_grace_period_seconds` which is set for 120 seconds.  The latter isn't exposed through the Estimator interface, which means the test is slower.

PiperOrigin-RevId: 182245657

Add tf.contrib.image.connected_components.

Comparable to scipy.ndimage.measurements.label.

PiperOrigin-RevId: 182244926

Allow specifying the device in CreateParameterAndTransferLiteral.

PiperOrigin-RevId: 182244708

Internal change.

PiperOrigin-RevId: 182240175

Make logging more accurate

PiperOrigin-RevId: 182229043

Adds regularization_losses in canned heads.

PiperOrigin-RevId: 182228149

Add instruction count method to HloModule.

PiperOrigin-RevId: 182227249

Create support for div and sub in tensorflow lite.

PiperOrigin-RevId: 182226574

export_strategy: Add strip_default_attrs to ExportStrategy and it's export_fn signature.

This allows for a single place (ExportStrategy) where the config for strip_default_attrs is stored. If the export_fn callback accepts the `strip_default_attrs` argument, it can
then propagate the `strip_default_attrs` arg to estimator.export_savedmodel().

Also changed the default for `strip_default_attrs` in the ExportStrategy factory methods (saved_model_export_utils.py) to None. This allows clients that process a given ExportStrategy object to determine if a value has been provided for ExportStrategy.strip_default_attrs field (i.e., `is not None`).
If no value has been provided, those clients can then use whatever default they wish to use.

PiperOrigin-RevId: 182217376

Rename the newly introduced TF_SetAttrFunc function to make it clear that it is
setting the attribute to a function name.  This permits future patches to add
things like TF_SetAttrFuncAttrList if necessary later.

PiperOrigin-RevId: 182216098

K-FAC: Expose protected functions from fisher_blocks and fisher_factors and constant strings from layer_collection in their respective library modules. This allows consistent development of blocks and factors outside tensorflow.contrib.kfac.

PiperOrigin-RevId: 182197356

[XLA] Make the hlo_evaluator handle reduce window in the same ways as the cpu backend. Also,
- Added a test that would fail without this change.
- Enabled reduce_window_test_interpreter.
- Added the DISALBED_ON_INTERPRETER macro and disalbed large tests on the interpreter.

The evaluator assumed the input value to be 0 when out of bound, which is likely to produce wrong output when the reduction function is not Add.

PiperOrigin-RevId: 182164740

Bump the size of keras:core_test as it is flakily timing out.

PiperOrigin-RevId: 182159937

Automated g4 rollback of changelist 182127737

PiperOrigin-RevId: 182155292

[TF:XLA] Remove workaround for b/37575001.

The lowering bug has been long fixed, so the workaround of constructing R3s is no longer required.

PiperOrigin-RevId: 182150664

Introduce a new C API entrypoint to set a 'func' attribute on an op
description.

PiperOrigin-RevId: 182146876

Disable exceptions in TensorFlow jsoncpp build

This is necessary to compile with Clang. Since the TF GCP code doesn't have any
try/catch statements, this could be a bug fix.

PiperOrigin-RevId: 182143536

Make SQLite binary smaller in TensorFlow

This makes it 400kB smaller. This is worth it because even
-O6 would only make SQLite 3% faster.

https://www.sqlite.org/footprint.html

PiperOrigin-RevId: 182143488

Add decay/epsilon/updates_collections parameters to Inception v3 arg_scope

PiperOrigin-RevId: 182143473

Remove a duplicate bfloat16 registration.

PiperOrigin-RevId: 182143007

K-FAC: Example using tf.estimator and K-FAC.
- Removes FisherEstimator.inv_updates_dict. Users should create directly from
  FisherEstimator.inv_update_ops.
- Adds (cov|inv)_update_(thunks|ops) to KfacOptimizer.

PiperOrigin-RevId: 182135826

Allow ReorderAxes to work on QUINT8 arrays. This will be necessary in order to support models that include tensorflow's DequantizeOp (such models were "quantized" using tensorflow's transform_graph tool).

PiperOrigin-RevId: 182131833

Fix flakiness of dataset_constructor_op_test and flat_map_dataset_op_test due to
timeouts.

PiperOrigin-RevId: 182131168

[TF] Fix XLA Control Flow gradient stacks max_size creation.

Stack creation uses tf.while_loop's maximum_iterations iff the while_loop
was created inside an XLA/TPU context.  Added several error checks to ensure
this provides useful error messages if the limited use case is not supported.

PiperOrigin-RevId: 182128135

Internal Change.

PiperOrigin-RevId: 182127737

Introducing RF computation considering models with specific input resolution. Previously, the input resolution was not taken into account, which led to undefined padding for many well-known models (since those rely on SAME padding, and in some cases SAME padding depends on input resolution).

This change also redesigns many aspects of the topological sorting and layer parsing functions, introducing new modules and tests.

PiperOrigin-RevId: 182124694

Enable bfloat16 for CPU kernels

PiperOrigin-RevId: 182124532

Switch default `replicate_model_fn.loss_reduction` to SUM_BY_NONZERO_WEIGHTS.

Users of weighted losses need loss_reduction=SUM, otherwise the most common choice is SUM_BY_NONZERO_WEIGHTS.  Estimator class doesn't have visibility into whether weighted losses are used, so the default was assumed to be SUM, because it's correct-ish in either case.  This change sets the default to SUM_BY_NONZERO_WEIGHTS to accomodate the most common case.

PiperOrigin-RevId: 182122737

Don't assign Tensor._shape in control_flow_ops.py

I'm not totally sure why this was done to begin with. However, nothing
seems to break with it removed. I'd like to remove this since setting
_shape won't work with the C API enabled.

PiperOrigin-RevId: 182122350

Log all valid visible cuda gpu id in one line.

PiperOrigin-RevId: 182121746

Exit previously entered sub-context-managers whenever any __enter__() call
throws an exception in tf.name_scope() and tf.variable_scope().

The previous conversion from generator style context managers translated a
nested with block like

    with context_a, context_b:
      yield

into the following pair of __enter__()/__exit__() methods:

    def __enter__(self):
      self.context_a.__enter__()
      self.context_b.__enter__()

    def __exit__(self, *args):
      self.context_b.__exit__(*args)
      self.context_a.__exit__(*args)
      return False

This translation is only correct when self.context_b.__enter__() does not throw
an exception. In the context of tf.name_scope() and tf.variable_scope(),
context_a is the default graph stack, and context_b is the actual scope to
enter. Entering an actual scope throws a ValueError when the scope name is
invalid. In that case, the above implementation leaves __enter__() without
popping the default graph stack. Sub-sequent calls to pop the stack will thus
fail, obscuring the actual exception that was raised in entering the scope.

PiperOrigin-RevId: 182119816

Adjust setup to fix Tensorboard entrypoint (run_main -> main).

PiperOrigin-RevId: 182119760

Check for existence of attrs when making a `TFDecorator`.

Fixes a bug that arose when the supplied target to `make_decorator` was
a callable that did not have a `__name__` member.

PiperOrigin-RevId: 182119694

Enable saving/restoring state of ParallelMapDataset.
Also actively reset input_impl_ when it is exhausted.

PiperOrigin-RevId: 182118637

Internal Change

PiperOrigin-RevId: 182112914

Expose _log_and_record method to allow easier subclassing of StepCounter

PiperOrigin-RevId: 182112167

Make toco_convert work with int8 output.

PiperOrigin-RevId: 182111798

Add experimental `FunctionLibraryRuntime::InstantiateOptions::state_handle`.

This new argument allows function instantiators to provide a unique
string that identifies the state that is associated with the
instantiated function (i.e. typically in stateful kernels).

PiperOrigin-RevId: 182110020

DNN and Tree estimator doesn't work on GPUs. Tag the test for it to avoid running it with GPU config.

PiperOrigin-RevId: 182102413

Fully qualify string methods to avoid future conflicts with Abseil.

PiperOrigin-RevId: 182100616

Improves the eager compatibility with tf.contrib.lookup.

Fixes #16160

PiperOrigin-RevId: 182098964

Make generated_examples_zip_test runnable on Android

PiperOrigin-RevId: 182098537

Automated g4 rollback of changelist 181553949

PiperOrigin-RevId: 182098104

[XLA] add ReduceWindow and SelectAndScatter to the local Python XLA client.

PiperOrigin-RevId: 182094260

Enable the removal of redundant reshapes on fed models. Previously this was only turned on by default for models without feed nodes.

PiperOrigin-RevId: 182090076

Remove private Operation._input_dtypes alias.

This isn't necessary for anything, but it limits the surface area of
private API abuse.

PiperOrigin-RevId: 182086883

Have _check_bazel_version_at_least compare versions as ints, not strings.

This prevents issues like https://github.com/bazelbuild/bazel/issues/4425

PiperOrigin-RevId: 182085505

Use multiple passes to improve memory since a single pass is often not enough.

PiperOrigin-RevId: 182084336

Internal API to optionally compile a template's function into a graph function.

(1) Adds a function `make_template_internal` that takes an optional keyword
argument `create_graph_function_` that controls whether or not `func_` is
compiled into and executed as a graph function.

(2) Exposes `make_template_internal` as `tfe.make_template`, so users may
write something like
`
compiled = tfe.make_template("my_op", func, create_graph_function_=True)
`
to obtain a templatized version of func that is executed as a graph
function.

(3) Simplifies the implementation of (Eager)Template's _call_func and __call__
methods in a minor way.

PiperOrigin-RevId: 182082866

Make TFLite iOS build scripts executable from anywhere.

PiperOrigin-RevId: 182080904

Restrict the type info analysis to avoid inference on objects created inside a control structure. The type of such object cannot be reliably inferred.

PiperOrigin-RevId: 182072568

Switch testing/... to use new test specification format

PiperOrigin-RevId: 182072485

Add one single target to bundle jar & so for TensorFlow Lite

PiperOrigin-RevId: 182071549

Removing unused ops before applying other transformations to prevent cross input/output array optimizations.

PiperOrigin-RevId: 182063294

Batchnorm returns a tuple, but when batchnorm partitioning was implemented tuple shardings were not.

PiperOrigin-RevId: 182043879

Fixes nccl_ops_test error introduced in CL 181736230.

PiperOrigin-RevId: 182039394

Delete InputTypesTest in framework/ops_test.py

_set_device now works with the C API enabled, so we no longer need
this explicit test coverage.

PiperOrigin-RevId: 182014804

Raise error when unable to parse VariantTensorDataProto in BundleReader.

PiperOrigin-RevId: 182007077

[XLA] Remove RngBernoulli from the local Python XLA client.

PiperOrigin-RevId: 182005780