Remove unnecessary dependency from xla:types

PiperOrigin-RevId: 183888495

Add and Mul support broadcasting.

PiperOrigin-RevId: 183886920

[tf.data] Add `IteratorContext::allocator()`.

This enables the various iterator implementations to use the actual allocator for the device on which they are running, rather than defaulting to `cpu_allocator()` (which is typically a plain malloc). In future, this will enable allocating iterator outputs in CUDA-pinned memory (and GPU memory).

PERFORMANCE NOTE: In sessions where `ConfigProto.force_gpu_compatible == True`, this change has the effect of allocating all input pipeline tensors in CUDA-pinned memory. Previous if this flag was set, only the tensors allocated during function execution would be allocated in this space, and other tensors (e.g. the result of a `Dataset.batch()` would be allocated using `cpu_allocator()` (i.e. `malloc()`). This change should lead to more efficient communication between a host-side input pipeline and GPUs, but it may also create more pressure on the CUDA host allocator (whose default maximum size is 64GB). The "TF_CUDA_HOST_MEM_LIMIT_IN_MB" environment variable can be used to override this value.

This change is a starting point for working on issue #13610.

PiperOrigin-RevId: 183881907

Eager: Update documentation to reflect that you can use TensorFlow 1.5

PiperOrigin-RevId: 183880991

Add missing dependency.

PiperOrigin-RevId: 183879566

Enable bulk restoration by default.

This enables loading multiple tensors in single call, allowing for better buffering and reduced load on distributed filesystems.

PiperOrigin-RevId: 183878169

Support outfeed host calls in TPUEstimator. That implicitly allows us to support tf.contrib.summary (see the unit test).

We may change the recommended way to use summaries later.

PiperOrigin-RevId: 183876356

Automated g4 rollback of changelist 183846994

PiperOrigin-RevId: 183874527

Fix bad logging call in warmstarting_utils.py.

PiperOrigin-RevId: 183873925

Add check macro for not-equal.

PiperOrigin-RevId: 183871336

Eliminate crash on a 'no error' return from DecodeGif when parsing an invalid
gif.  (Previous code tried to strcat a null).

PiperOrigin-RevId: 183870288

RetryingFileSystem::FlushCaches() calls the base FileSystem's FlushCaches().

PiperOrigin-RevId: 183869325

Add static_sample flag to Mixture, permitting calls to `sample` to not rely on dynamic tensor indexing. This allows for some static graph compilation optimizations, but at the expense of sampling all underlying distributions in the mixture.

PiperOrigin-RevId: 183869189

[TF:XLA] Bump open source llvm revision to r323761

PiperOrigin-RevId: 183868087

K-FAC: expose set_global_constants() for tf.contrib.kfac.utils
PiperOrigin-RevId: 183867014

Delete dead code in Layer.

PiperOrigin-RevId: 183866106

[XLA] Fix tools broken by cl/183837856

PiperOrigin-RevId: 183862522

Make loss_ops_test.py work with C API enabled.

PiperOrigin-RevId: 183861779

Add py2tf to contrib_py.

PiperOrigin-RevId: 183860192

[XLA] Fix tools broken by cl/183837856

PiperOrigin-RevId: 183862522

Make loss_ops_test.py work with C API enabled.

PiperOrigin-RevId: 183861779

Add py2tf to contrib_py.

PiperOrigin-RevId: 183860192

Cleanup: Ran clang-format on all *.{cc,h} files in tensorflow/contrib/.../*.{hh,c}.

PiperOrigin-RevId: 183855242

Prepare variance to be exported for serving with the servo library.

PiperOrigin-RevId: 183851026

Cleanup: Ran clang-format on files in tensorflow/core/.../*.{cc,h}.

PiperOrigin-RevId: 183848459

TensorFlow SavedModel loader: avoid segmentation fault when NewSession returns null

PiperOrigin-RevId: 183846994

Create an interface to create hints for future toco conversions.

Specifically, tf.contrib.lite.OpHint can create "breadcrumb"
hints that describe encapsulation of multiple TensorFlow ops
that make up a TensorFlow lite builtin or custom op. These
can later be replaced with stub versions in a GraphDef or
SavedModel.

PiperOrigin-RevId: 183846742

Add BF16 test cases for pad.

PiperOrigin-RevId: 183846616

Reenable 'constant' test.

PiperOrigin-RevId: 183845007

Fixes broken link in documentation.

PiperOrigin-RevId: 183842485

[XLA] Plumb build options via local API.

* Break build options into their own translation unit for use from local client
  and to mirror ExecutableRunOptions.
* Add some ToString()s to aid debugging.
* Add HLO graph generation regex to build options.
* Add SWIG type map for ExecutableBuildOptions.

Also fix a build issue occurring on some platforms with triangular_solve.

PiperOrigin-RevId: 183837856

Changed the heap simulator to allow it to be configured about whether to issue Alloc/Free for constants, and enable buffer sharing.

PiperOrigin-RevId: 183836922

Support `mode` option to discriminator function in GANEstimator.

This supports operations like batch normalization, which have different train and eval behavior.

PiperOrigin-RevId: 183833519

Adds loss_reduction argument to baseline estimators.

PiperOrigin-RevId: 183783628

TFE: Register a GPU kernel for tfe.py_func.

PiperOrigin-RevId: 183765122

Remove Identity nodes if num_inputs * num_outputs <= num_inputs + num_outputs. Exceptions are Identity nodes after Variable nodes, and Identity nodes after Switch nodes when removing the node would require anchoring a control dependency on the Switch.
Another exception is Identity nodes where inputs or outputs cross a device boundary, since we are not allowed to remove Identity nodes after _Recv that might be inserted in the graph later.

PiperOrigin-RevId: 183759826

Use new Operation._set_attr method instead of modifying node_def directly.

Once calling the C API from TF's Python code is enabled, the NodeDef
returned by Operation.node_def will no longer be the NodeDef sent to
TF's runtime, meaning any changes to it will have no effect. Use
_set_attr instead, which works with and without the C API enabled.

PiperOrigin-RevId: 183759464

[TF:XLA] Complete the TriangularSolve implementation.

The previous version only handled the case of left_side=false, lower=true, transpose_a=true, conjugate_a=false. This updated implementation handles all 16 combinations of those boolean options, and also instantiates the corresponding MatrixTriangularSolve TF op.

To improve compile times and potentially FLOP performance, when lower=true the within-block subroutine used on the diagonal blocks is now a left-looking variant implemented with an XLA HLO While loop.

This update also slightly generalizes BatchDot in tf2xla/lib to accept separate conjugation arguments (in addition to transpose arguments).

PiperOrigin-RevId: 183756639

Remove HloRunner::ReadModule.
Replace with methods which explicitly specify the HLO file format.
ReadModule would automatically determine the format of the file (HLO text,
text proto, or binary proto). However, automatic determination did not work
well because the underlying TF code which read protos from files
unconditionally emitted error messages to stderr in case of parsing error
resulting in confusing and irrelevant error messages to the user.

PiperOrigin-RevId: 183754369

Add support for the assert statement.

PiperOrigin-RevId: 183753774

Making a bunch of edits to the Getting Started with Premade Estimators doc for consistency and correctness.

PiperOrigin-RevId: 183751330

Adds prediction_hooks into EstimatorSpec.

PiperOrigin-RevId: 183747105

GCS: Add client-side throttle.

This throttle is loosely based on a leaky bucket configuration that captures
both the cost of the requests as well as the bandwidth consumed into a single
token value.

PiperOrigin-RevId: 183740223

Make with_c_api more robust and enable C API in most of saved_model_test.py.

This change makes the test_util.with_c_api decorator call
reset_default_graph() after enabling or disabling the C API instead of
creating a new Graph. This makes it more robust to tests that call
reset_default_graph(), which requires that the current default graph
isn't nested (which the C API-enabled Graph previously was).

In addition, enables the C API with saved_model_test.py (which
required the above change). A few tests still need further changes,
which I'll post in subsequent patches.

PiperOrigin-RevId: 183739148

Add new StrCat utility functions for creating failed Status'es.

PiperOrigin-RevId: 183737063

Add transformation that exchanges a Reshape followed by an activation function.

PiperOrigin-RevId: 183735457

Make TFLite SpaceToBatchND op have parity with TF SpaceToBatchND op.

PiperOrigin-RevId: 183734695

Use Popen.communicate() instead of read() in stacktrace_handler_test.py.

This avoids potential deadlock, see the warnings in
https://docs.python.org/2/library/subprocess.html#popen-objects. I
found that enabling the C API caused us to deadlock without this
change.

PiperOrigin-RevId: 183730170

Set default signal handler for SIGINT (keyboard interrupt).

The default signal handling for Python delivers the signal to the thread for
processing; if broad exceptions are being caught, this can often result in the
interrupt being swallowed.

PiperOrigin-RevId: 183729637

[TF:XLA] Bump open source llvm revision to r323630

PiperOrigin-RevId: 183728562

Switch over to max_pool_v2 in Python

This fix is a follow up to 11875 so that MaxPool in Python
use v2 version. As 11875 has been merged some time ago,
this fix conforms to the deprecation policy.

This fix is realted to 11875 and 4746.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
PiperOrigin-RevId: 183727668

Revise the decorator transformer and add tests that clarify when can decorator information appear in the AST.

PiperOrigin-RevId: 183723446

Java: Update to 1.5.0

PiperOrigin-RevId: 183718481

Support shrink_axis_mask argument of StridedSlice Op for TfLite.

PiperOrigin-RevId: 183709796

Remove the trailing '/' in the tensor name when loading checkpoints

PiperOrigin-RevId: 183709590

A few tweaks to add const to functions and member fields.

PiperOrigin-RevId: 183705898

Pass maximum_iterations hint to tf.while_loop if possible.

PiperOrigin-RevId: 183705773

Ensure that non-recursive conversion is identity transformation wrt all types of function calls by only failing on unresolved symbols if they're needed.
Simplify code structure all around. Remove the awkward activity analysis that deemed a function parameter as "modified". Consolidate activity analysis by tracking function parameters and returned symbols separately. Strengthen the type inference a little by using more interpret-like constructs.

PiperOrigin-RevId: 183705547

[tf.data] Handle `tf.SparseTensor` elements in the stats ops.

PiperOrigin-RevId: 183705008

Add input and sequence_length accessor to TrainingHelper.

PiperOrigin-RevId: 183701716

Make TFLite Mean op have parity with TF Reduce Mean op by changing the
representation of axis from an attribute to a tensor.

PiperOrigin-RevId: 183701017

[TF:XLA] Add xla_dump_per_pass_hlo_proto_to flag and rename xla_dump_hlo_proto_to and xla_dump_prepass_hlo_proto_to.

Renamed:
xla_dump_hlo_proto_to -> xla_dump_optimized_hlo_proto_to
xla_dump_prepass_hlo_proto_to -> xla_dump_unoptimized_hlo_proto_to

xla_dump_per_pass_hlo_proto_to takes a directory from which to dump the serialized HLO
module protos after each HLO pass. This will help us compare HLO modules as
they change during HLO passes, such as what they evaluate to, or how fast they
perform.

The directory passed will contain multiple protos with the filename format:
module_<module id>.<pass number>.<pipeline_name>.after_<pass name>.pb
example:
module_0000.0009.simplification.after_dce.pb
such that pass number 0000_* is the first pass run, followed immediately by
pass number 0001_*.
PiperOrigin-RevId: 183700119

[TF:XLA] Implement ReverseSequence operator.

PiperOrigin-RevId: 183698184

Make optimize_for_inference_test.py work the C API enabled.

PiperOrigin-RevId: 183696425

Add C0326 bad-whitespace error to pylint sanity check.

PiperOrigin-RevId: 183689499

Make TFLite BatchToSpaceND op have parity with TF BatchToSpaceND op.

PiperOrigin-RevId: 183687487

tfdbg: let session wrappers handle empty fetches correctly

Fixes: #15882
PiperOrigin-RevId: 183685645

Fix a comment

PiperOrigin-RevId: 183685209

Reduce memory wasted by GCS cache by shrinking buffer capacity, after a cache fill completes.

PiperOrigin-RevId: 183683856

Internal change

PiperOrigin-RevId: 183681594

Make `init_scope` preserve the active name scope.

This ensures that operations nested under an `init_scope` do not ignore name scopes that were opened in a function-building graph. In light of cl/183320576, which causes `tfe.defun` to automatically hoist variables out of its function-building graph, this change also eliminates logic in make_template that special-cased the first call when `create_graph_function` was True.

PiperOrigin-RevId: 183680794

[tf.data] Robust `output_types` and `output_shapes` if `output_classes` contains SparseTensor.

PiperOrigin-RevId: 183679584

TFTS: Remove a race condition in lstm_test (switch to resource variables)

PiperOrigin-RevId: 183679060

Make TFLite Transpose op have parity with TF Transpose op.

PiperOrigin-RevId: 183676663

Remove unused class members

PiperOrigin-RevId: 183662473

tfdbg: add tensorboard debugger plugin option to three existing examples

PiperOrigin-RevId: 183661140

[XLA] Set layout of GTE instructions inside fusion nodes.

Other than the root and parameters of a fusion computation, most other
instructions in a fusion computation don't have a layout.  GTEs are an
exception; they should inherit their layout from their operand, which
must be another GTE or a parameter.

Previously LayoutAssignment left GTEs alone, assuming they came in with
the right layout.  But this isn't correct, and in fact LayoutAssignment
cleared the layouts of every non-fused instruction before assigning them
for exactly this reason.  If we'd done the same to fused instructions,
it would have caught this bug, so we make that change here as well.  (We
simplify this loop by removing the check for kOutfeed -- outfeeds do not
produce a result, so there's no shape to keep.)

PiperOrigin-RevId: 183595627

[XLA] Show layouts of tuple-shaped instructions (other than kTuple) in graphs.

For example the batch-norm ops return a tuple, and those values' layouts
are significant.  We still hide the layout on tuples, since this can be
noisy.

PiperOrigin-RevId: 183594622

[XLA] Reset ShapeVisitor's state between runs of the verifier.

We create the ShapeVisitor once per pass pipeline.  Without this change,
after our ShapeVisitor has checked an instruction, it will never again
check that instruction *or any of its transitive inputs*.  Yikes.

PiperOrigin-RevId: 183593437

Fix use of uninitialied value.

PiperOrigin-RevId: 183558128

Internal Change

PiperOrigin-RevId: 183551521

Remove unused BUILD dependencies

PiperOrigin-RevId: 183514731

Adds a deprecated_alias utility function with which to deprecate unmodified aliases.

PiperOrigin-RevId: 183495796

[XLA] Make DeviceMemoryAllocator::platform() a const pointer.

PiperOrigin-RevId: 183493603

[TF:XLA] Update stale comments to match function names.

PiperOrigin-RevId: 183491729

Fix build: add std:: to max() in tensorflow/contrib/tpu/profiler/capture_tpu_profile.cc.

PiperOrigin-RevId: 183486778

Internal change.

PiperOrigin-RevId: 183479688

Add a feature to automatically recapture the traces when no trace event is collected.

PiperOrigin-RevId: 183474367

Remove protobuf patch that was installed to resolve #8394. It appears to not be necessary any longer.

PiperOrigin-RevId: 183474194

Create different data for each Literal when creating fake data.
Thread a generator through the functions for creating fake arguments so the same
generator can be reused which avoids repeating the same data patterns for each
argument generated.

Also tweak the position-dependent biasing heuristic to create both positive and
negative numbers for small literals.

PiperOrigin-RevId: 183473588

Fixed bug: inconsistency with how damping normalization was applied to ConvDiagonalFB blocks.

PiperOrigin-RevId: 183472440

Raise to 4 the shard counts of //third_party/tensorflow/contrib/{factorization:kmeans_test,linear_optimizer:sdca_estimator_test}

These tests were getting flaky timeouts when run under asan, sometimes taking
longer than the 5 minute timeout.  Increasing the shard count to 4 seems to be
sufficient to cause them not to time out.

PiperOrigin-RevId: 183470183

[XLA] Add a DeviceAllocator* argument to compilation.

In a later change, the GPU backend will use this allocator to reserve
scratch memory when trying out different convolution algorithms during
compilation.

PiperOrigin-RevId: 183469579

Add reduce-precision to evaluator and add implicit broadcast remover pass.
The reduce precision support is cribbed from the CPU/GPU LLVM-emitted
implementation. The implicit broadcast pass removes any implicit broadcasts in
the module replacing them with the equivalent explicit broadcast and reshape
instructions.

PiperOrigin-RevId: 183467648

Add C0301 line-too-long error to pylint sanity check.

PiperOrigin-RevId: 183467186

[tf.data] Support for initializing all the tables of the given graph.

PiperOrigin-RevId: 183466905

Add bidirectional sequence RNN to TFLite Ops.

PiperOrigin-RevId: 183465032

[XLA] Don't print "{no layout}" if there is no layout.

PiperOrigin-RevId: 183463264

[XLA] (Re-land) Add HLO matcher for CustomCall that accepts a call target.

Now with less build breakage!

PiperOrigin-RevId: 183458987

[XLA] optimize NearComparator#ExpectLiteralsNear()

While tracking down the issue of timeouts when running THE ISOLATOR, it was
observed that NearComparator#ExpectLiteralsNear() could be optimized in the
case of matching layouts to not compute multi indexes.

In the process of tracking down timeouts in THE ISOLATOR, I had assumed that
time spent was dominated by either generating input data, executing the input
data on various backends, or comparing the data. Never assume you know where
the time is spent in a program; the profiler may surprise you.

After making that optimization and then profiling the code before and after, I
was surprised by the profile. Image the shock, horror, and disgust I
experienced when discovering that runs of THE ISOLATOR were dominated (45%) by
calls to Literal#ToString() in NearComparator#ExpectLiteralsNear() for huge
(>120 million elements) literals that failed comparisons.  No wonder passing
shards of THE ISOLATOR were fast, and failing shards were slow.

Further, computing multi indexes many times is expensive enough (18%) to show
up in profiles, so avoid calculating it until it is necessary.

The optimizations in this patch:
* Don't call Literal#ToString() on huge literals that are going to get written
  to disk anyways. The utility of printing said literal to stdout is suspect.
* Initialize NearComparator#miscompares_ to false, only update miscompares_ and
  other stats when miscompare occurs.
* Split NearComparator#ExpectLiteralsNear() into two, since we only need to log
  and update stats if an actual miscompare occurs.
* Add fast path in NearComparator#ExpectLiteralsNear() for case of matching
  layouts, being careful not to compute multi index unless mismatch actually
  occurs.

This optimized NearComparator#ExpectLiteralsNear() for the case of many element
literals, with few miscompares. For many miscompares, we cannot avoid
calculating multi indexes, but can fast path for equal layouts. For zero
miscompares, we can at least fast path in the case of matching layouts.

Before this CL, a run of THE ISOLATOR for a single literal with >120 million
elements and a few miscompares took 379s (6.3m). With this CL, the same test
case now takes 44s.

Beautiful flame graphs omitted from public commit message, regrettably.

PiperOrigin-RevId: 183451138