Use the new gather HLO in the bridge when lowering TF gather ops; NFC

After gather expansion this should boil down to a while loop very similar to
what we emit from the bridge today.

PiperOrigin-RevId: 193410095

Internal-only change.

PiperOrigin-RevId: 193409980

Catch OSError in gen_git_source.py subprocess call.

OSError occurs if git cannot be found. This is a initial fix for some
Windows build errors.

PiperOrigin-RevId: 193407250

Prevent access to deallocated hash map upon exit().

PiperOrigin-RevId: 193404950

Improves error messaging for bad (empty) CSV files.

PiperOrigin-RevId: 193404804

Moving all state (variables) required for _EmbeddingColumn and _SharedEmbeddingColumn into a base.Layer

PiperOrigin-RevId: 193401873

Create specialized functions in optimized graph for each function instantiation context.

PiperOrigin-RevId: 193399263

Minor test improvement

PiperOrigin-RevId: 193398068

Automated g4 rollback of changelist 193369280

PiperOrigin-RevId: 193396206

Make toco generate uint8 weights that are safe for fast int8 kernels.

PiperOrigin-RevId: 193395910

Add support for initializable iterator in distribution strategies. Use that in estimator.

PiperOrigin-RevId: 193394603

Expose an API for invoking sized delete.

Sized delete avoids a costly lookup to map the pointer to the allocated size
when this information is commonly available (Allocator::Deallocate).  As this
code also provides an alignment, we only use these paths when aligned new is
available.

PiperOrigin-RevId: 193392688

Change operands of subtraction expression to have well-defined behaviour.

At present, signed arithmetic overflows (i.e. has undefined behaviour) in general, e.g. when computing 0 - INT_MIN or INT_MAX - INT_MIN. The fact that we want the result in the unsigned type does not help us here.

The fix is to convert the operands to the corresponding unsigned type first and then perform the operation in unsigned arithmetic, which is well-defined and has the correct subtraction behaviour.

PiperOrigin-RevId: 193391813

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 193378249

Update ops-related pbtxt files.

PiperOrigin-RevId: 193378087

Simplify the break canonicalization transformer to use more of the base transformer helpers. Add support for the loop's else block.

PiperOrigin-RevId: 193370640

Updating some more tests in constant_folding_test.cc so that the tests evaluate the original and optimized graphs and check if their outputs are the same.

PiperOrigin-RevId: 193369280

Avoid generating degenerate dimensions during gather expansions

This gets rid of two cases that used to introduce degenerate dimensions
(dimensions with bound = 1) into the while loop state:

 - Previously we'd explicitly reshape gathers using scalar indices to have a
   minor degenerate dimension.  With this CL we no longer do that - instead we
   push this into the code that looks up the index vector from the gather
   indices tensor.
 - Previously we'd have the accumulator (the tensor we're
   dynamic-update-slice-ing into) contain all of the degenerate window dims that
   the gather op would later elide (after the while loop).  With this CL we
   eagerly elide these dimensions as we slice out individual windows from the
   operand.

PiperOrigin-RevId: 193365863

Allow default min/max ranges for int16 data types.

PiperOrigin-RevId: 193362891

Fix bug in importing while loops within a while loop.

PiperOrigin-RevId: 193358699

Enable the n=1 special case in the DeserializeSparse op.

The optimized case was previously dead because of two off-by-one errors (mea culpa).

PiperOrigin-RevId: 193314065

No public changes.

PiperOrigin-RevId: 193309262

[XLA] Convert XLA to use xla::se as a namespace alias for ::stream_executor.

PiperOrigin-RevId: 193301997

Disable CheckpointSaverHook when both save_checkpoints_secs and
save_checkpoints_steps are None

PiperOrigin-RevId: 193299688

Comment out part of ring_reducer_test suspected to have a race.

PiperOrigin-RevId: 193292788

Minor cleanups to the gather expander; NFC

This change is NFC now, but it makes the code more general and this generality
will be used later on.  For instance

  ExpandFirstDimIntoNDims(transposed_gather_indices, {1, shape.dimensions(0)})

does not work if shape is a scalar shape (and this fine because today shape is
never scalar) but

  PrependDegenerateDims(transposed_gather_indices, 1)

works fine if transposed_gather_indices is scalar (and it will be, in a future
change).

PiperOrigin-RevId: 193283404

TpuStrategy -> TPUStrategy

PiperOrigin-RevId: 193275991

Fix CheckpointSaverHook to properly save every save_checkpoints_steps for TPU workloads.

PiperOrigin-RevId: 193266515

Internal Change.

PiperOrigin-RevId: 193262066

Don't consider control flow edges when computing switch depth of switch.

PiperOrigin-RevId: 193259710

Use easy_install to update pip only on Ubuntu14.04

* We only depends on easy_install/easy_install3 to update pip on Ubuntu14.04
* They are not always available for later system e.g. debian9
* We can use pip/pip3 to update themselves

PiperOrigin-RevId: 193257326

[StreamExecutor] Rename ::perftools::gputools -> ::stream_executor, part 1.

Step 1 of re-namespace'ing StreamExecutor into ::stream_executor.

This moves everything inside of stream_executor/..., and leaves a
namespace alias into ::perftools::gputools.  The next steps will clean
up users to use the new namespace.

This is mostly a mechanical change, but it also includes a bunch of
non-mechanical changes that ideally would be split out into separate
patches.  Unfortunately they all sort of need to be shoved in here for
various reasons:

 - forward declarations need to be in the same namespace as the actual
   types, so we need to change all forward declarations of
   StreamExecutor types in this one patch.

 - Uses of these forward declarations need to be changed to the new
   namespace (or otherwise we need to add a namespace alias to the
   relevant header, but this is pretty ugly).

 - Various initialization code needs to live in StreamExecutor's "real"
   namespace, so all this needs to be changed.

PiperOrigin-RevId: 193256128

[XLA] Redesign: support xla::XlaComputation in compile-only client and service.

PiperOrigin-RevId: 193247845

Make GroupRec* const in GroupRecCallback by marking mu mutable in
CollectiveParamResolverLocal::GroupRec.

PiperOrigin-RevId: 193247799

Use is_constructible instead of is_convertible.

Before this, all objects would follow the slow path (since nothing is
convertible to AlphaNum since it has a private copy constructor).

Before:
entry {
  name: "MicroBenchmarks.benchmark_defun_matmul_2_by_2_CPU"
  iters: 30000
  wall_time: 67.5895690918
  extras {
    key: "examples_per_sec"
    value {
      double_value: 14795.1823549
    }
  }
}

After:
entry {
  name: "MicroBenchmarks.benchmark_defun_matmul_2_by_2_CPU"
  iters: 30000
  wall_time: 61.0044002533
  extras {
    key: "examples_per_sec"
    value {
      double_value: 16392.2601623
    }
  }
}
PiperOrigin-RevId: 193247183

Unpack multiple assignments when processing lists. This supports the cases "a, b = [], []" and "[a, b] = [], []". Also expand the static analysis to support list unpacking constructs.

PiperOrigin-RevId: 193247024

Internal change.

PiperOrigin-RevId: 193246563

Fixing a bug in strided slice. The op was not handling negative indices correctly.

PiperOrigin-RevId: 193245539

Cache the ag_internal module, to avoid falsely rejecting it when in the namespace of a previously converted function. Explicitly reject lambda functions, for now, becasue they require special treatment.

PiperOrigin-RevId: 193241279

[XLA] Fix arguments to IsSparseArray and IsDenseArray

PiperOrigin-RevId: 193238920

Fix the test gensym to prevent creating duplicate names in the same test.

PiperOrigin-RevId: 193238314

Relaxes the type constraints for the features in ServingInputReceiver, so it will accept anything convertible to a Tensor or SparseTensor.

This makes it possible to use with tf.contrib.labeled_tensor.

PiperOrigin-RevId: 193238295

Removes another custom implementation of ZeroCopyInputStream, instead uses the now public gRPC implementation.

Also, moves GrpcByteSource to grpc_util, to keep it near the other serialization code.

Lastly, gives a more verbose error if serialization (unparsing) fails (which should not ever happen).

PiperOrigin-RevId: 193236893

Automated g4 rollback of changelist 193168327

PiperOrigin-RevId: 193234819

Moving gradient registration for CudnnRNN op from contrib to core.

PiperOrigin-RevId: 193234663

Fixes and cleanup to support more complex quantized models and adds PropagateFakeQuantNumBits.

PiperOrigin-RevId: 193232630

Replace decode_image with decode_jpeg to avoid ValueError in datasets programmers guide.

PiperOrigin-RevId: 193231717

Fixes a comment in tf.contrib.seq2seq.monotonic_attention().

PiperOrigin-RevId: 193224285

Avoid ToString() in Eager's TFE_Execute.

Also use InlinedVector instead of std::vector for non-async path

Before:
Benchmark              Time(ns)        CPU(ns)     Iterations
-------------------------------------------------------------
BM_Execute/0               1895           1898         360200  Execute
BM_Execute/1               1193           1942         358322  ExecuteAsync
BM_ExecuteFunction/0       5812           5825         100000  ExecuteFunction
BM_ExecuteFunction/1       5015           5374         100000  ExecuteFunctionAsync

After:
Benchmark              Time(ns)        CPU(ns)     Iterations
-------------------------------------------------------------
BM_Execute/0               1604           1607         428262  Execute
BM_Execute/1               1150           1765         404821  ExecuteAsync
BM_ExecuteFunction/0       5615           5626         100000  ExecuteFunction
BM_ExecuteFunction/1       5111           5476         100000  ExecuteFunctionAsync
PiperOrigin-RevId: 193218331

Change the contract of dynamic_builtin to reject all functions it can't process.

PiperOrigin-RevId: 193215246

Estimate IdentityN as Identity.

PiperOrigin-RevId: 193207469

Fix incorrect rejection of xrange.

PiperOrigin-RevId: 193205016

Add uint32/uint64 support to Gather op.

PiperOrigin-RevId: 193195939

Fix the type info analysis to correctly process loops. Simplify the implementation by reusing some of the transformer base functions. Allow set_element_type to use literals. Add additional tests.

PiperOrigin-RevId: 193192409

Automated g4 rollback of changelist 192842670

PiperOrigin-RevId: 193168327

[tf.data] Add an API for randomly sampling from multiple datasets.

Fixes #15999.

PiperOrigin-RevId: 193152683

Make ParallelInterleaveDataset saveable.

PiperOrigin-RevId: 193142302

Supply a dtype to super constructor, without which build() seems to crash.

PiperOrigin-RevId: 193139585

BoostedTreesEstimator in contrib: train_in_memory works with input_fns returning data.Dataset.
Only one batch of data is expected, so dataset.batch() is disallowed,
and dataset.repeat() will be ignored (only the first one would be used)

PiperOrigin-RevId: 193137094

Remove proto imports in header files for core/kernels/hexagon.

The goal is to make kernels mostly independent of proto headers, which will let us lock down our .so imports.

PiperOrigin-RevId: 193134710

Add a simple Profiler and instrument operator invocations in Interpreter.

PiperOrigin-RevId: 193133955

Adding min node weight regularization

PiperOrigin-RevId: 193131300

Remove deprecated/unused python related Bazel options.

Since py_runtime was introduced, Bazel ignores options such as
--force_python2 and --python2_path. Deleting to clean stuff up and
make sure people are not misled.

PiperOrigin-RevId: 193127681

[tf.data] Sort the results of `tf.matching_files()` to enable `Dataset.list_files()` to be determinstic.

PiperOrigin-RevId: 193126572

Don't rely on graph contruction for an initial shape inference.

PiperOrigin-RevId: 193124836

Add LinearOperatorKronecker, representing the Kronecker product.

PiperOrigin-RevId: 193123894

Internal change.

PiperOrigin-RevId: 193119953

Port the list append into the operators module. Not enabled yet.

PiperOrigin-RevId: 193118940

disabling flaky asan test

PiperOrigin-RevId: 193117611

Internal change

PiperOrigin-RevId: 193117142

Create copy of locals() before copying, since modifying locals does not always affect the values. https://docs.python.org/2/library/functions.html#locals.

PiperOrigin-RevId: 193116254

Replacing the current inner Cholesky decomposition loop with a While loop rolled version.

This will allow for much larger Cholesky decompositions (and thus matrix inversions) than previously possible on TPU because of the use of rolled While loops so XLA compilation will no longer timeout.

While there is a minor runtime performance decrease (now 25ms vs 15ms for a 500x500 matrix) the compilation time is significantly faster (12.8s vs 55.2s for a 500x500 matrix.)

PiperOrigin-RevId: 193114816

Fix trace collection to properly remove the suffix.

PiperOrigin-RevId: 193113074

Internal change.

PiperOrigin-RevId: 193112205

Increase softmax gpu unittest numeric stability

PiperOrigin-RevId: 193103363

Porting tests for `rpc_op` to OS.

PiperOrigin-RevId: 193102564

Exposes InputPipelineConfig as tf.contrib.tpu.InputPipelineConfig.
This type is expected by the `per_host_input_for_training` argument of the TPUConfig constructor, but is not currently visible.

PiperOrigin-RevId: 193101540

disabling test that fails tensorflow.asan

PiperOrigin-RevId: 193097794

Use fixed sized tensor arrays and max loop iterations in dynamic_decode if the user supplies it and if the inputs were created in an XLA context.

PiperOrigin-RevId: 193097293

Simplify the recursion when processing unpackings.

PiperOrigin-RevId: 193094078

[XLA] Document and enforce reduction order of init value

All existing backends apply the init_value on the lhs, except for the evaluator.  This causes problems for reductions which apply an identity function to a reduce or reduce window.

PiperOrigin-RevId: 193091323

Adding several utility functions to TF2XLA to help with the Cholesky refactor.  Mainly responsible for handling batching properly.

PiperOrigin-RevId: 193090634

Update ops-related pbtxt files.

PiperOrigin-RevId: 193089301

Simplify the implementation of break_statements.py

PiperOrigin-RevId: 193086371

boosted_trees: Make some regularizer/hyper-params as inputs instead of attributes.

PiperOrigin-RevId: 193085059

Early TPU distribution strategy and the associated testing infrastructure.

PiperOrigin-RevId: 193080098

Tighten label check in BinaryLogisticHeadWithSigmoidCrossEntropyLoss

PiperOrigin-RevId: 193078844

Add a common transformer feature that allows keeping temporary state across nodes. To be used in the break, continue and return canonicalizers.

PiperOrigin-RevId: 193078359

Copy the if statement handlers over to the operators module. They will enabled in a follow-up CL.

PiperOrigin-RevId: 193078348

Remove obsolete tests. Patch the unexpected print output in Python 3.

PiperOrigin-RevId: 193078330

Mark the parent list as modified for index writes. Add special case for constructors where we know setting an attribute actually creates a new symbol. Clean up the tests a bit.

PiperOrigin-RevId: 193075909

Refactoring: Rename the __ops module to ag__ (double underscore prefix has special meaning in Python). Consolidate all internal API calls through the ag__ module.

PiperOrigin-RevId: 193074379

Internal testing changes

PiperOrigin-RevId: 193071881

Remove the hidden replicate_model_fn copy from core.

PiperOrigin-RevId: 193070799

Porting tests for the `decode_proto` and `encode_proto` to OS.

PiperOrigin-RevId: 193070420

Prefix clip_by_value with underscore in gen_math_ops so that it doesn't
interfere with clip_ops.clip_by_value when importing.

PiperOrigin-RevId: 193069700

PiperOrigin-RevId: 193059174

Update for ObjectMemoryBuffer.h rename in upstream LLVM.

This will require a version bump in workspace.bzl

PiperOrigin-RevId: 193052084

Internal change

PiperOrigin-RevId: 192981122

Minor cleanup.

PiperOrigin-RevId: 192971080