fixed  DirectSessionWithTrackingAllocTest keyboard_arrow_right CostModelTest

Merge commit for internal changes

Make init_scope preserve the inner device stack when lifting into a graph.

Eager execution doesn't implement device stacks and in particular it doesn't support device functions (which determine the device on a per-op basis), so in general it's not possible to do the same when lifting into the eager context.

PiperOrigin-RevId: 197583446

Merge pull request #17025 from kr-ish/numpy_input_fn_none_check

Adds a check for shuffle=None in numpy_input_fn

Merge pull request #19445 from yongtang/05122018-link

Fix incorrect link for nvidia drivers

Merge pull request #19462 from yongtang/05212018-docs-math_ops

Fix discrepancies between doc and implementation for math_ops

Special case the 'dict' call, which trips other mechanisms for built-ins.

PiperOrigin-RevId: 197576297

[TF:XLA] Fix xla_interpreter_device build

PiperOrigin-RevId: 197571618

Contributing guidelines, style guide and README updates

PiperOrigin-RevId: 197564905

Update calls to addPassesToEmitFile

PiperOrigin-RevId: 197564506

Fix a couple of broken links in the Swift For TensorFlow page.

PiperOrigin-RevId: 197564254

Automated g4 rollback of changelist 197527651

PiperOrigin-RevId: 197562826

[XLA:TF] Run buildifier on llvm.BUILD

Buildifier recently started sorting load args
https://github.com/bazelbuild/buildtools/commit/3ac5f85b22bc44820c041d0cacd3bc2ed54e7742 which causes diffs in the output.

PiperOrigin-RevId: 197556554

Fix typo (#19450)

[XLA] Optimize ShapeTree<T>
This optimizes ShapeTree quite significantly. In particular this optimizes for the common case of querying/iterating, copying and moving ShapeTrees.

  * Allocate all ShapeTreeNodes inside a single, owned, vector. This reduces the number of memory allocations and improves cache performance.
  * Instead of storing children nodes as unique_ptrs, store them as indices into the owning container's vector. This allows cheap copy-construction (a std::vector POD copy) and doesn't change the fast path (dereferencing a pointer is just as fast as dereferencing a base + offset).
  * Instead of a unique_ptr<Shape>, use a shared_ptr<Shape>. This removes a load of copy-construction overhead at the cost of a shared_ptr over a unique_ptr (one extra allocation).
  * Instead of computing ShapeIndexes on-demand in the iterators/ForEach*, precompute them during construction time. This adds a few more bytes per ShapeTree, but now we can...
  * ... store a std::pair<ShapeIndex, T> as the ShapeTreeNode's data element. This allows us to provide a std::pair<K,V>&, STL-like interface from iterators without going through any of the previous unique_ptr hacks around storage lifetimes.
  * Because we no longer need to iterate from the beginning to build up the ShapeIndex, we can now offer a ::find() function to return an iterator for a ShapeIndex in O(K) time. As the iteration order is guaranteed to be pre-order, this can be used (and will be, later) to speed up the fast-path of mutating a subtree of a ShapeTree from tf2xla::ExtractSubBuffers.
  * Similarly because we now have a very standard, cheap STL interface with no performance cliffs, we can hopefully improve ShapedBuffer's copy and move constructors to be cheaper.

PiperOrigin-RevId: 197548717

internal change

PiperOrigin-RevId: 197533162

batch_util.h is generally useful so moved to util/ from kernels/ where it will be included in the pip package.

PiperOrigin-RevId: 197532524

convert Pow op into something that is more recognizable, so we can have further
optimizations.

PiperOrigin-RevId: 197527651

Automated g4 rollback of changelist 197487461

PiperOrigin-RevId: 197523867

Unifiy the cuda toolchain definition of gcc/nvcc and cuda-clang.

gcc >= 7 will change how it treats -pie [1]; passing -pie after -shared
on the command line is not possible any more; given that the legacy way to
configure flags in the gcc/nvcc toolchain does not allow control over where
the flags go or how to provide -pie only for linking of binaries, we can
prevent this from breaking in the future by also using the new feature
mechanism for gcc/nvcc.

In addition to moving the gcc-specific workarounds in the toolchain to
cuda_configure.bzl, document them, so we don't need to rediscover them in the
future.

[1] https://gcc.gnu.org/bugzilla/show_bug.cgi?id=77464

PiperOrigin-RevId: 197522719

Enable tpu.rewrite to work on XLA CPU/GPU backends.

PiperOrigin-RevId: 197517946

[XLA:GPU] Implement trivial (one-replica) cross-replica-sum on XLA:GPU.

Also fix the CPU implementation to work in the case when there are
multiple operands to the cross-replica-sum op.

PiperOrigin-RevId: 197506311

Update scan benchmarks to have a range of 16K-128K iterations. As of https://github.com/tensorflow/tensorflow/commit/5802096c267c805f6a69798aac10aefef759bb9f, TensorFlow Eager no longer exhibits quadratic behavior. The benchmark is still ~5x slower in eager mode vs. graph mode, and maybe slightly worse than linear:

n     Graph Time (s)  Eager Time (s)      Ratio
-----------------------------------------------
 16K            0.35             1.8        5.1
 32K            0.64             3.6        5.6
 64K            1.1              7.2        6.5
128K            2.4             14.8        6.2

PiperOrigin-RevId: 197505257

Internal Change

PiperOrigin-RevId: 197503560

Internal Change

PiperOrigin-RevId: 197501805

s/tfe.GradientTape/tf.GradientTape/
s/tfe.enable_eager_execution/tf.enable_eager_execution/

PiperOrigin-RevId: 197500751

Improvements to util/nest.py and data/util/nest.py

Changes:
- Add a cache for type -> is_sequence to speed up Flatten/IsSequence
- Update data/util/nest.py flatten to use C Flatten

Before:
entry {
  name: "EagerLinearRegressionBenchmark.eager_train_cpu"
  iters: 2000
  wall_time: 1.91852378845
  extras {
    key: "examples_per_sec"
    value {
      double_value: 66717.9634521
    }
  }
}

After:
entry {
  name: "EagerLinearRegressionBenchmark.eager_train_cpu"
  iters: 2000
  wall_time: 1.74479198456
  extras {
    key: "examples_per_sec"
    value {
      double_value: 73361.1806638
    }
  }
}
PiperOrigin-RevId: 197497854

Adds support for specifying a discovery_service_url (via either a parameter or an environment variable) within TPUClusterResolver

PiperOrigin-RevId: 197494335

Split generated_examples test into multiple test targets

PiperOrigin-RevId: 197490872

Introduce an option to allocate CUDA unified memory

PiperOrigin-RevId: 197490523

[XLA] Two minor style-guide fixups.

- Fix TODO(b/123) style.
- Use a value type rather than an rvalue reference for a "sink" param.

PiperOrigin-RevId: 197489597

Make the quantize_and_dequantize op use the full quantized range when possible.

PiperOrigin-RevId: 197487461

Improves documentation of labels and logits arguments in hinge loss methods .

PiperOrigin-RevId: 197487120

Supports initializing an Interpreter with a direct ByteBuffer of nativeOrder()
that contains bytes content of a valid tflite model.

PiperOrigin-RevId: 197485253

Update docstring for tf.round as it support all real types.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Update docstring as pow supports `float16` now

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Fix discrepancies between doc and implementation for math_ops

In the docstring of math_ops, there are some discrepancies
between the supported data types and the actual implementation:
`abs` supports `float16`.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Ensure that saving/restoring iterator in CheckpointInputPipelineHook is performed *after* the _DatasetInitializerHook has been run.
In the TPUEstimator the _DatasetInitializerHook is present in the
EstimatorSpec.training_hooks. Since these are executed after the `hooks`
passed to Estimator.train the input pipeline checkpointing hook fails
since it finds an uninitialized iterator.

PiperOrigin-RevId: 197482609

Fixes issue with gradient tape when asking for the gradient of an intermediate tensor.

PiperOrigin-RevId: 197481473

Improve error message in tensor.cc when IsAligned() test fails
by logging offending ptr value.

PiperOrigin-RevId: 197480534

Support a better interface for the single option case in combinations.py.

If there's only one combination for combination-based tests, it doesn't have to
be a list.

PiperOrigin-RevId: 197479773

Add arithmetic optimizer stage that removes LogicalNot that takes a comparison as input, i.e.

!(a == b)  =>  a != b
!(a != b)  =>  a == b
!(a < b)   =>  a >= b
!(a <= b)  =>  a > b
!(a > b)   =>  a <= b
!(a >= b)  =>  a < b

PiperOrigin-RevId: 197477959

Expose partition_strategy option in embedding_lookup_unique

PiperOrigin-RevId: 197477853

Optimize more reductions

PiperOrigin-RevId: 197476067

Internal Change.

PiperOrigin-RevId: 197475076

Extract out a MatrixMatrixBlockPanelEmitter::Dimensions struct; NFC

This gives me a convenient place to note that the m/k/n here are not the m/k/n
for the entire GEMM.  I didn't rename m/k/n to mc/kc/nr since the latter seems
somewhat redundant to me -- we could read 'c as 'column' and 'r' as 'row', but
that's the only possibility?

This refactoring will also be useful when implementing GEPP on top of GEBP.

PiperOrigin-RevId: 197474137

Merge pull request #19254 from yongtang/05122018-compute_accidental_hits

Add additional shape validation to `compute_accidental_hits`

Remove object-based checkpointing probes from Python 3 tf.train.Saver "name not found" stack traces

PiperOrigin-RevId: 197473101

Disable flaky batch_dataset_op_test

PiperOrigin-RevId: 197471172

Allow using DNN to only train the embeddings and using the tree model for the final prediction.

PiperOrigin-RevId: 197462585

Merge pull request #19257 from yongtang/05122018-QuantizedReluX

Shape validation of `max_features` in `QuantizedReluX`

[TF:XLA] Delete cumulative_total_size to simplify the DFS scheduler.
It's unclear why we would assign cumulative_total_size as the total size of a single HLO, and deleting it doesn't make a difference in practice.

PiperOrigin-RevId: 197458260

Always enter the handle graph before calling convert_to_tensor in resource variables.

This mimics the behavior of ref variable's assign which converts to tensor in the
right graph inside op_def_lib.apply_op.

PiperOrigin-RevId: 197441989

Turn on dead branch elimination, shape optimization, and remapping by default

PiperOrigin-RevId: 197439191

Merge pull request #19326 from yongtang/05162018-mpi_utils.h

Remove redundant header includes in mpi_utils.h

Optimize multiplications by constants in more cases.

PiperOrigin-RevId: 197422256

Add a kernel usable as a GEBP inner loop for an LLVM IR GEMM

This is not used in any real code path, but I've added an escape hatch that runs
regular matrix multiplies through this kernel for testing purposes.

As far as I can tell this is functionally correct, but I don't yet have a proper
apples-to-apples performance comparison -- that'll have to wait till the
implementation is complete.

PiperOrigin-RevId: 197422075

Automated g4 rollback of changelist 197226707

PiperOrigin-RevId: 197415745

Merge pull request #19258 from Androbin/patch-2

Update TFLite Docs on tf.gather

Merge pull request #19394 from miaout17/fix-demop

Fix the TFLite iOS demo apps.

Merge pull request #19396 from yongtang/19338-clip

Add test case for empty tensor with clip ops

Merge pull request #19432 from soonson/patch-1

Update groups.md

DOC: Fix python code in for invalid code (#19218)

There is an error in python code in the documentation. There is no class called `tf.estimator.Estimator.LinearClassifier` I think it was a typo and the author meant `tf.estimator.LinearClassifier`.

Enhance error reporting.

PiperOrigin-RevId: 197390052

Update groups.md

Add more user groups collected

Extend optimization of Slice operator to StridedSlice.

PiperOrigin-RevId: 197376217

Merge pull request #19357 from yongtang/03122018-_any_variable_initialized

Fix the naming of _any_variable_initialized

Merge pull request #19273 from ageron/fix_estimator_doc

Fix errors and typos in the Estimators programmer's guide

StreamingFilesDataset fixes (#19413)

* use source_dataset.output_dtypes to yield correctly typed output dataset

* add test and fix issue introduced by 2a6c5998a239f41926ca295ac20bb595862fd5ff

[XLA] Fix memory leak in ScopedShapedBuffer's move-assignment operator.

PiperOrigin-RevId: 197331197

Fixed Pi cross compilation

PiperOrigin-RevId: 197331034

Rollforward of CL 197167501, without enabling CUDNN_FFT_TILING_FORWARD because that breaks XLA tests.

PiperOrigin-RevId: 197328103

Fix typo (#19411)

Merge pull request #18685 from nuchi/fft_no_core_framework_and_single_thread

XLA CPU Fft no core framework and single thread

comment typo (#19381)

[XLA] Consistently apply gpu-max-kernel-unroll-factor = 1 in HloTestBase.

Previously we set it in CreateNewModule but not in
GetDebugOptionsFromFlags(), which seems wrong.

PiperOrigin-RevId: 197247863

Fix compile error due to missing default case in switch statement.

PiperOrigin-RevId: 197240781

Merge pull request #19409 from zheng-xq/branch_197218170

Branch 197218170

Add a method to list op names in an ApiDefMap.

PiperOrigin-RevId: 197234301

Merge pull request #19408 from annarev/add_more_missing_deps

Add missing dependencies to test_lite_main

Add 'src_graph' argument to gradients_impl._GradientsHelper.

This allows the gradient graph to be built in a _FuncGraph separate
from the forward graph (a _FuncGraph is necessary to capture needed
tensors from the forward graph. It's up to the capturing logic what
how to feed the forward tensors to the gradient graph).

PiperOrigin-RevId: 197230736

Delete unused and buggy code.

(Note the mistaken argument order of the string constructors.)

PiperOrigin-RevId: 197229855

[XLA] Regression test for missing virtual destructor.

PiperOrigin-RevId: 197227263

Make the quantize_and_dequantize op use the full quantized range when possible.

PiperOrigin-RevId: 197226707

Merge commit for internal changes

Merge pull request #19338 from girving/clip

Make tf.clip_by_value not crash on empty tensors

Automated g4 rollback of changelist 197070234

PiperOrigin-RevId: 197218170

Improve import error messages.

PiperOrigin-RevId: 197217638

Add missing dependencies to test_lite_main

Skip tests that require unavailable hardware when not using DistributionStrategy

Right now combinations.py skips tests that do not have the hardware that's
requried by the DistributionStrategy instance that is used in that test.  After
this change, the user can trigger such a behavior even when they are not using
DistributionStrategy.

Two new special arguments are added: "required_tpu" and "required_gpus".

PiperOrigin-RevId: 197212466

Merge pull request #19404 from yifeif/distributed

Make distributed_test use tf-nightly by default.

Correct dtype in resource_strided_slice_assign

PiperOrigin-RevId: 197210273

Remove unused BUILD dependencies

PiperOrigin-RevId: 197207799

Fixed an issue when add context into params.

PiperOrigin-RevId: 197205327

Make distributed_test use tf-nightly by default.

Adding back abi and stacktrace dependencies to stacktrace_handler (#19401)

Revert a change to fix TFLite iOS demo app.
It depends on released CocoaPod.

PiperOrigin-RevId: 197189734

The quantizer should match the patterns for partition variables.

PiperOrigin-RevId: 197189118

[dataset]: Remove extra `repeat` in the docstring for `shard`.

PiperOrigin-RevId: 197185877

[TF:XLA] Delete the reverseDFS scheduler. With recent improvements to the List scheduler, reverseDFS is no longer needed.

PiperOrigin-RevId: 197183727