Make bfloat16 works with complex

PiperOrigin-RevId: 178917043

Fix 'tags' parameter in predictor_factories.load_from_model.

tags was incorrectly being mapped to inputs.
Added basic unit tests.

PiperOrigin-RevId: 178916192

Automated g4 rollback of changelist 178759398

PiperOrigin-RevId: 178909147

Check that all the inputs to a Concat op are of the same rank.

PiperOrigin-RevId: 178908773

Stream::BlockHostUntilDone now returns Status rather than bool.

The now-deprecated Stream::BlockHostUntilDoneWithStatus remains, to facilitate a
multi-CL renaming transition.  Once all callers have been renamed to
BlockHostUntilDone, *WithStatus will be removed.

The StreamExecutor (private) method has also been renamed to BlockHostUntilDone.
It's only used by Stream.

The StreamExecutorInterface method will be renamed in a separate atomic CL.
It's harder to perform that transition gradually, and we've already performed an
atomic change previously, so we might as well fix it up in one shot.

PiperOrigin-RevId: 178907807

Standardize attribute naming for operators specifying a dimension to "axis". This mirrors TensorFlow's attribute naming.

PiperOrigin-RevId: 178903728

Create global_step when recording summaries if needed

User might have not created global_step prior to using
some summary method.

PiperOrigin-RevId: 178857144

Disable a test case in params_test for CPU.

This test has thousands of parameters, and the resulting graph takes take too long
to compile on the CPU backend.

PiperOrigin-RevId: 178853687

Simplify tf.case implementation.

PiperOrigin-RevId: 178853258

Correctly pass name in layers.util.smart_cond

Before this change arguments were passed positionally and "name"
argument was wrongly mapped to "strict" argument of tf.cond instead
of the itended "name". Such a fix could potentially change operation
names and cause an error when restoring a graph, but it seems like
this particular change is safe for the following reasons.

 - smart_cond is not a public API. So users should not be calling it
 directly.

 - smart_cond is used in 38 places internally. All of them, except for
 in tf.contrib.summary don't use the "name" parameter. Such usage leads
 to the same names before and after this change. The names will change
 for users of tf.contrib.summary. Luckily, this is a very recent
 addition and has utility only in context of eager execution, which is
 in pre-alpha stage yet.

Because this change reroutes the wrong "name" -> "strict" mapping to
"name" -> "name", the value of "strict" is changing from "None" to
"False". Luckily, this has no effect on the function's behavior.

PiperOrigin-RevId: 178850766

Fully-qualify function call in TF_CHECK_OK macro implementation, so that it can
be safely used outside of the tensorflow namespace.

Note that the StreamExecutor SE_CHECK_OK simply uses TF_CHECK_OK, so this helps
those cases.

PiperOrigin-RevId: 178847904

Allow Tensor::bit_casted_shaped() to take type parameter T with different size
from the buffer data type size.

PiperOrigin-RevId: 178845870

Move more contrib RNN objects to be Layers.

PiperOrigin-RevId: 178842373

[TF] Mark DT_STRING and DT_RESOURCE types as always sitting on host memory.

This is important when these arguments may appear in op input lists or output lists,
where the signature may not be able to declare them as sitting on host.

For DT_RESOURCE types, just the handles are marked as sitting on host memory;
the actual data may reside on GPU.

PiperOrigin-RevId: 178837213

BUGFIX: MVN Full Covariance:  Use dtype dependent tolerance to verify symmetric.

PiperOrigin-RevId: 178833453

Return unimplemented error when trying to use dilated rate > 1 combined with NHWC format on the CPU.
Add test for unimplemented errors in Conv2D op.

PiperOrigin-RevId: 178832407

[XLA] Remove a source of nondeterminism in HLO clustering.

Record the HLO clusters with std::set instead of std::unordered_set to ensure
that the algorithm to assign each cluster a sequence number during a set
traversal is deterministic.

PiperOrigin-RevId: 178830794

For many requests, the GCS filesystem client did not provide DNS lookup hints.  This change allows all GCS HTTP requests to use the GCS DNS cache.  It also simplifies the code, and eliminates a lot of redundant code.

The GCS DNS cache has been simplified and made more general. It is now easy to add more DNS names, simply by adding an entry to the GcsDnsCache::names_ list.

PiperOrigin-RevId: 178830317

Only require validation that a fetch is requested for tf2xla::Config.
It is legitimate to convert a graph with only fetches, eg in that case where
the inputs to the graph are supplied by the infeed rather than by a feed node.

PiperOrigin-RevId: 178828952

Refactor helper functions a bit for virtual gpu changes later.

PiperOrigin-RevId: 178826426

Support permutation from NCHW to NHWC.

PiperOrigin-RevId: 178824999

Fix bug in kernel creation with functions marked "stateful".

The CallOp kernel caches a handle for invoking the function. This
handle is only valid in a single subgraph (it is scoped to the
FunctionLibraryRuntime). Marking a function as stateful causes its
CallOp kernel to be shared between multiple subgraphs. Therefore, this
change overrides the kernel creation logic to ensure that each
subgraph gets its own CallOp.

PiperOrigin-RevId: 178820064

Add test case for record_summaries_every_n_global_steps

This test case illustrates how to use
record_summaries_every_n_global_steps and tf.all_summaries()
in graph mode. There are no tests using
record_summaries_every_n_global_steps. All existing graph
based tests don't use tf.all_summaries() creating the impression
that summary ops will somehow always run, which is not the case.

PiperOrigin-RevId: 178816316

Added a debug mode to the model analyzer to make it easier to figure out why shapes are missing.

PiperOrigin-RevId: 178813305

Adds XLA support for tf.nn.dynamic_rnn

Changes tf.nn.dynamic_rnn to specify `maximum_iterations` argument for the while_loop.

When `maximum_iterations` argument is supplied to tf.while_loop, use this to provide an upper bound on the size of Stacks used for gradient computation.
By specifying the stack limit we can generate gradient code for while loops that uses fixed shape TensorArrays and hence can be compiled with XLA.

PiperOrigin-RevId: 178802710

Automated g4 rollback of changelist 177619402

PiperOrigin-RevId: 178800980

[XLA] Always fold transposes into convs or dots regardless of use count

PiperOrigin-RevId: 178790193

Sliced Wasserstein Distance metric for GANs evaluation.

PiperOrigin-RevId: 178788810

Add CompositeNodeManager for Grappler VirtualScheduler.

CompositeNodeManager has per-device LIFO manager, FirstReadyManagers for _Send
and _Recv ops, and chooses FirstReady among the ops from per-device LIFOManager
and _Send and _Recv FirstReadyManagers.

This one can maximizes producer-consumer locality within a device (with LIFO),
but does not introduce previously reported scheduling inefficiency w.r.t.
multi-device execution with separately managing _Send and _Recv ops and global
FirstReady policy across devices.

It's implemented, but not enabled; VirtualScheduler still uses
FirstReadyManager.

PiperOrigin-RevId: 178787352

disabling flaky test

PiperOrigin-RevId: 178787158

Associative operator optimization:

Push constants down add/mul to canonicalize chains and possibly create constant nodes at the bottom. Example:

      +                +             +
     / \              / \           / \
    c1   +     -->   x   +    -->  x c1+c2
        / \             / \
       c2  x           c2 c1

Small cleanup: Consolidate code for manipulating names of nodes added or modified during constant folding.

PiperOrigin-RevId: 178785218

Raise exception on missing unused input_map keys with C API enabled.

Without this change, the C++ ImportGraphDef API returns unused
input_map keys (which are plumbed through to the C API as
well). However, the Python import_graph_def API requires slightly
different semantics: it throws an error for unused input_map keys that
are missing from the GraphDef.

This change modifies the C and C++ APIs to limit the returned keys to
those missing from the GraphDef, and plumbs this through to the C
API-enabled import_graph_def implementation.

Note that this is a change to the existing C API. Luckily the modified
method hasn't been released yet, so it's ok to change it.

PiperOrigin-RevId: 178783957

Integrate tensor pool feature to `gan_loss` function.

PiperOrigin-RevId: 178769850

Disable neutral element and reciprocal optimizations again.

PiperOrigin-RevId: 178767676

This CL makes two improvements to the `map_and_batch` transformation:

1) It fixes a bug that manifested as `OutOfRange` being returned prematurely.

2) It changes the behavior on sequences of elements whose size is not a multiple of `batch_size`. Previously, the implementation would drop the last small batch (similar to `batch_and_drop_remainder). Newly, the implementation returns the last small batch (similar to `batch`).

PiperOrigin-RevId: 178764508

Automated g4 rollback of changelist 178675527

PiperOrigin-RevId: 178759398

Add get started `Datasets` doc

PiperOrigin-RevId: 178751067

Simplifying tfe function.py

PiperOrigin-RevId: 178740804

Remove real-data shape check in GANEstimator. Fixes github issue #14257.

PiperOrigin-RevId: 178737278

Disable flaky //tensorflow/contrib/learn:dnn_linear_combined_test

PiperOrigin-RevId: 178734940

[XLA] Properly set layout requirements in Hlo parser.

PiperOrigin-RevId: 178724659

Use BlockHostUntilDoneWithStatus in various places.

PiperOrigin-RevId: 178723711

Disable flaky random ops test.

PiperOrigin-RevId: 178723108

 * HloTestBase now prints out the HLO parser error message when there is one.
 * TestUtils now supports generating random literals with more than one constraint.
     There is still an error if the constraints conflict.

PiperOrigin-RevId: 178720092

[XLA] Add stringification to BatchNormTestParam.

This way when a test fails, it prints out useful information about the
failure, instead of

  "<48-byte object with these bytes: de ad be ef ...>"

PiperOrigin-RevId: 178719733

[XLA] Don't call timer->Nanoseconds() on a not-ok stream.

If the stream is not OK, the timer might not have been initialized and
finalized, in which case calling timer->Nanoseconds() is illegal and
will crash.

PiperOrigin-RevId: 178717089

Update ops-related pbtxt files.

PiperOrigin-RevId: 178715353

[XLA:CPU] Teach the CPU layout assignment about dot dimension numbers

There is no great need for this yet, but I noticed that the test cases were
broken (they were constructing dots with unset dimension numbers), and one thing
led to another.

PiperOrigin-RevId: 178713597

prefer_static_* functions added to CORE/distributions/util.py

PiperOrigin-RevId: 178710439

Fix the handling of unknown rank. Previous code would wrongly treat a tensor of unknown
rank as a scalar.

PiperOrigin-RevId: 178710185

Includes <cstdio> in the TF Lite kernels/op_macros.h to fix a compile errors
when building externally using either the Makefile or Bazel.  The macros use
stderr and fprintf which may not be defined depending on the order of
headers included by the .cc files.

PiperOrigin-RevId: 178708839

Don't materialize BroadcastGradientArgs by default.

PiperOrigin-RevId: 178703180

closes #15281

PiperOrigin-RevId: 178701096

Automated g4 rollback of changelist 178634559

PiperOrigin-RevId: 178695724

Initialize local_resources during session initialization.

PiperOrigin-RevId: 178694869

[XLA] Optimize dot(concat(..), constant)

dot(concat(..), constant) and dot(constant, concat(..)) can be rewritten to
avoid the concatenate.  This can itself be a win, but can also help unlock other
optimization opportunities.

PiperOrigin-RevId: 178691585

Strength reduce division by a constant to multiplication by the reciprocal constant.

PiperOrigin-RevId: 178689056

Fix the remote call graph construction so that the created _Send ops for returning the results point to the correct return value.

List available workers when the remote call target is not available.

PiperOrigin-RevId: 178687525

[XLA:CPU] Minor refactor to the CPU layout assignment code

Lifts unnecessary lambdas to reduce clutter.  This will make a later change
more readable.

PiperOrigin-RevId: 178686976

[tf.data] Use a more efficient dispatch mechanism for functions in datasets.

This change adds an overload of the `FunctionLibraryRuntime::Run()` method
that allows users to pass argument and return value containers in a
`CallFrameInterface` object, rather than using the current (and expensive for
large arities) default `FunctionCallFrame` implementation. It also specializes
`CapturedFunction` to use this interface.

Note that the new overload currently only supports local function execution,
and more restructuring will be required to take advantage of it in the remote
function execution case.

This change should especially benefit datasets where each element has a large
number of components (typically when training data have many features).

PiperOrigin-RevId: 178684431

Fix for variable naming when executing eagerly

name_scope bypassed the Graph.name_scope slash-stripping logic (strip a trailing
slash if it exists, then add one back unconditionally) when executing eagerly,
leading to extra slashes at the end of some variable names and a failure to break
out of nested name scopes.

PiperOrigin-RevId: 178676873

Fix definition of tflite_smartreply

PiperOrigin-RevId: 178675580

Mark a FunctionDef's signature as stateful when it contains a stateful node.

This fixes a bug where two calls to the same stateful function will erroneously be eliminated as common subexpressions. It is also a step towards pruning nodes from function bodies, which is necessary for a variety of `Dataset` optimizations.

PiperOrigin-RevId: 178675527

[XLA] Move BatchDot unrolling from TF2XLA bridge to AlgebraicSimplifier so that unrolling can be selectively enabled/disabled per backend (should be no performance change).

PiperOrigin-RevId: 178666990

Tune SQLite

This change makes sure the b-tree page size isn't 1024 bytes. It also enables
WAL mode. This means TensorBoard can perform reads at the same time as
TensorFlow is performing writes.

We now also fsync() less often. This shouldn't carry any risk of database
corruption in WAL mode. Since WAL mode uses shared memory, writes become
immediately available to other processes, but they won't become durable until
after the OS decides to flush the FS cache.

This makes the DB writer faster than the file writer, at least in cases where
the DB is tiny. We probably make it go faster still, once we find a way to use
transactions.

Name                      Cold ?s   Average ?s  Flushing ?s       Size B
?i.i                        1,920           69            0            0
Scalar 1.0 FS               1,623          337        4,258       11,348
Scalar 1.0 TB FS            3,137          527        4,213       17,023
Scalar 2.0 FS               3,319          681        3,917       11,348
Scalar 2.0 DB               2,601          578          217      118,784
Tensor 1.0 FS 4             6,397          558        4,276       14,215
Tensor 2.0 FS 4             1,678          613        3,971       24,455
Tensor 2.0 DB 4             3,605          278          313      118,784
Tensor 1.0 FS 128           1,857          289        4,397       47,111
Tensor 2.0 FS 128           3,558          721       10,894       57,351
Tensor 2.0 DB 128           3,508          585          203      118,784
Tensor 1.0 FS 8192          2,677          525        4,400    2,119,816
Tensor 2.0 FS 8192          2,248          822        4,006    2,130,056
Tensor 2.0 DB 8192          4,346          370          449      126,976

PiperOrigin-RevId: 178666363

[XLA:CPU] Error on unsupported dot instructions

This is a stopgap measure to avoid silently miscompiling dot operations.

PiperOrigin-RevId: 178666218

Enable optimizations of operations with neutral/absorbing elements by default. We leave removal of addition and subtraction with zero out for now, since it is used as a "hack" to force a copy of a tensor in a few places. Once we have fixed this code, we can enable it.

PiperOrigin-RevId: 178665567

Support different threading modes in GPU device.
All modes are experimental for now. The goal is to find the best setting, and
change the default to pick that.

PiperOrigin-RevId: 178662212

Support all unary ops.

PiperOrigin-RevId: 178662178

Always inline functions when creating an item.

PiperOrigin-RevId: 178661624

Add ReverseDFSFrom variant that works with const Node*.

PiperOrigin-RevId: 178658907

Rename ABSL Macros

This LSC will rename ABSL macros. Most macro will be renamed with ABSL_ prefix.
Some might have completely new names. Please see the list of the macros
affected. For example, MUST_USE_RESULT will be renamed ABSL_MUST_USE_RESULT

The purpose of this LSC is to avoid name conflicts for the ABSL release. To see
the details go/absl-macros.

PiperOrigin-RevId: 178655181

Be more conservative when optimizing full reductions

PiperOrigin-RevId: 178652323

Optimized specializations for 3-channel depthwise with multiplier 2 and 4.

PiperOrigin-RevId: 178647824

Adds remaining tests to _shared_embedding_column.

PiperOrigin-RevId: 178644910

Add hvx/nnapi supports for Tensorflow Lite benchmark

PiperOrigin-RevId: 178643959

Fix incorrect parameter order in recall_at_precision.

PiperOrigin-RevId: 178642393

Use DataFormatVecPermute instead Gather, which is very slow.

PiperOrigin-RevId: 178641878

Make sure we serialize the creation and deletion of clusters from python to avoid race conditions.
Added a cluster context manager.
Only check that we have a unique SingleMachine running during the provisioning phase.

PiperOrigin-RevId: 178638954

Fix-ups for XLA docs.

- Fix wording/grammar
- Remove obsolete "not implemented" notes on some ops

PiperOrigin-RevId: 178638405

[XLA] And window reversal to the parser.

PiperOrigin-RevId: 178636821

Use the Snapshot kernel to force a copy of global step instead of the ugly "x + 0" hack.

PiperOrigin-RevId: 178634559

Remove using-directives

PiperOrigin-RevId: 178632103

Enriching some C64 test coverage.

PiperOrigin-RevId: 178624364

[XLA] Improve dot strength reductions to support transposes of the right and
left hand side of a dot.

PiperOrigin-RevId: 178619673

Add `grpc_enabled` optional argument to various Python test rules.

PiperOrigin-RevId: 178618409

Cleanup: Remove unused declarations and unnecessary conversions

PiperOrigin-RevId: 178617606

Fix mismatched argument comments to match parameter names

PiperOrigin-RevId: 178617543

Make control_flow_op_py_test "medium" to avoid ASAN timeouts.

It takes longer to run now that it runs with and without the C API
enabled.

PiperOrigin-RevId: 178561206

Add a library for the cwise ops headers and common source.

PiperOrigin-RevId: 178554846

Add IsDataTypeComplex helper function. In numerous places, we needlessly depend on Eigen templates to determine if a datatype is complex. Cleaning up these instances will be done in a separate CL.

PiperOrigin-RevId: 178544917

Replace StreamExecutorInterface::BlockHostUntilDone with BlockHostUntilDoneWithStatus

All known overrides of StreamExecutorInterface::BlockHostUntilDone are changed
by this CL.

PiperOrigin-RevId: 178492517

Set Operation._id_value before adding to control flow context.

There is a comment indicating that Operation IDs should be in
topological order, and thus the ID should be set after calling
ControlFlowContext.AddOp since it may add input ops. I believe the
comment is stale and this invariant on the IDs isn't necessary
(testing corroborates this, and also while loops cannot maintain this
since there's a cycle).

Changing this will make it easier to refactor control flow processing
in the future, since we don't have to worry about the ID not being
set.

PiperOrigin-RevId: 178457622

[XLA] Hlo parser: support reporting error messages with locations pointed out. And fix the bug that some errors were reported at the token after the actual errors.

PiperOrigin-RevId: 178455738

Support non-const input sizes for Conv2DBackpropInput.

PiperOrigin-RevId: 178454629

Clear existing layouts before running the layout assignment.

PiperOrigin-RevId: 178449701

Always create a Rendezvous in RemoteCallOp.

This change does not affect existing functionality, and enables RemoteCallOp to work in environments where a Rendezvous is not necessarily available (e.g. in a function called from an IteratorContext).

PiperOrigin-RevId: 178449551

Check that Rendezvous is not null.

PiperOrigin-RevId: 178449247

Preserve symbolic shape information as much as possible during shape creation

PiperOrigin-RevId: 178448208

In MovingAverageOptimizer, delegate compute_gradients() to the wrapped optimizer,
which is a bug fix in case the wrapper optimizer (or any other optimizer in the stack)
does something non-standard in its compute_gradients() method.

PiperOrigin-RevId: 178447959