allow 3rd party backends to subclass the generic transfer manager (#16978)

Fix a bug in tf.strided_slice() (#16989)

Current implementation modifies TfLiteNode::builtin_data every time when
a loaded graph is executed. The three masks in params will continually
flipping, and cause the op produce incorrect result every two executions.

Fix build issues when having packed git refs. (#17162)

This is a workaround to fix build failure caused by packed git refs.
The tf.__git_version__ string will be "unknown" in this case.

Change unicode() --> six.text_type() for Python 3 (#17225)

__unicode()__ was removed in Python 3 because all str are Unicode so this PR changes four calls to __unicode()__ into calls to [__six.text_type()__](http://six.readthedocs.io/#six.text_type).

Supplement how trained model to make predictions (#17276)

Update TrainingSpec and EvalSpec pydoc (#17205)

Bring TrainingSpec and EvalSpec pydoc in line with pydoc of estimator.train() and evaluate()

Fix build issue with KafkaDataset (#17418)

* Fix build issue with KafkaDataset

This fix tries to address the issue raised in 17210 where
error of `NotFoundError: Op type not registered 'KafkaDataset' in binary.`
returned from kafka ops. The issue was that the inclusion of kafka ops
was removed due to the conflict merge from the other PR. This fix
fixes the issue.

This fix fixes 17210.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Change `import readers.Dataset` to `import dataset_ops.Dataset`,

due to the changes in some other places.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Fix library dependency issues in bazel

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add dependency to bazel rules

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add license to lib and pip package

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Remove unneeded changes in bazel

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Address review feedback

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Fix sanity check

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add zlib dependency and include path

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add copts in bazel to address the discrepancy in clang and gcc

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Fix cmake Dockerfile issue on Linux (#17416)

* Fix cmake Dockerfile issue on Linux

When running cmake on Linux with (clean build with no cached docker images):
```
tensorflow/tools/ci_build/ci_build.sh CMAKE tensorflow/tools/ci_build/builds/cmake.sh
```

The following isse was encountered:
```
Step 11/13 : RUN pip install --upgrade termcolor
 ---> Running in 838167596eb6
Collecting termcolor
  Downloading termcolor-1.1.0.tar.gz
  ......
  ......
  ......
  error: invalid command 'bdist_wheel'

  ----------------------------------------
  Failed building wheel for termcolor
```

This fix adds the missing `pip install wheel`

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Update golang installation in cmake Dockerfile

This fix updates the golang installation in cmake Dockerfile.
Previously, `ppa:ubuntu-lxc/lxd-stable` was used but it has been
deprecated, see:
http://lxc-users.linuxcontainers.narkive.com/IlHLLHqN/lxd-official-ppa-deprecation

That caused the following error:
```
Step 13/14 : RUN add-apt-repository -y ppa:ubuntu-lxc/lxd-stable
 ---> Running in 09301ba43a33
Cannot add PPA: 'ppa:~ubuntu-lxc/ubuntu/lxd-stable'.
The team named '~ubuntu-lxc' has no PPA named 'ubuntu/lxd-stable'
Please choose from the following available PPAs:
 * 'buildd-backports':  linuxcontainers.org: buildd backports
 * 'daily':  linuxcontainers.org: development builds
 ......
 ......
```

This fix updates the golang installation and use backported xenial (16.04),
as was suggested in the link:
http://lxc-users.linuxcontainers.narkive.com/IlHLLHqN/lxd-official-ppa-deprecation

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Making dockerhub the primary installation location. (#17521)

Merge pull request #17532 from yifeif/merge_branch

Merge 1.6 back to master.

Merge pull request #17517 from samikama/tensorrt_pr3

add error message when importing contrib.tensorrt without libnvinfer

Merge pull request #17489 from Intel-tensorflow/inplace-relu

MKL: Optmized Relu by in-place computations

Merge pull request #17385 from Intel-tensorflow/crobiso1/pooling_CheckReorderToOpMem_Fix

MKL: Removing unnecessary check for reorder

Merge pull request #14872 from yongtang/14871-SpaceToDepth-Half-GPU

Add DT_HALF support for SpaceToDepth on GPU

Merge pull request #17522 from jhseu/branch_188235030

Branch 188235030

Move the pylint message and fix comment length

added pylint flag for build

Merge commit for internal changes

Resolve more conflicts.

moved try/catch to contrib/tensorrt/__init__.py to guard whole TRT; raise original error

Remove unused parameter from GetQuantizationParamsFromMinMax.

PiperOrigin-RevId: 188236536

Merge pull request #17345 from AppleHolic/feature/fix_conv_nd_lstm_no_pass_name

Fix error : ConvNDLSTMCell does not pass name parameter

Fix GCS uploads occasionally failing when retrying.

GCS returns 400, invalid argument because it thinks the body is not empty. cURL, by default, sets "Transfer-Encoding: Chunked", which causes the server to ignore "Content-Length: 0":
https://developer.mozilla.org/en-US/docs/Web/HTTP/Headers/Transfer-Encoding

The server considers the HTTP request incomplete and may non-deterministically fail.

PiperOrigin-RevId: 188235030

Merge remote-tracking branch 'google/r1.6' into merge_branch

Merge pull request #17515 from akshaym/branch_188191091

Branch 188191091

Don't populate linear_ with a logical index

We use linear_ to directly emit array element access in some cases so populating
it with the logical linear index seems incorrect.

PiperOrigin-RevId: 188234902

Create mobile testing rules for TF Lite known-portable targets

This CL tags all known-already-portable TF Lite tests as portable, and
(from those tests) tags those known as not portable.

Adding tflite_portable_test_suite() to the bottom of a package marks all
previous cc_tests as "intended to be portable". I've included all tests
that I was able to naively make buildable on Android with my previous
change that created a custom logging.h library. Most tests are buildable
on Android already, but there is something in the common dependencies
for the kernel tests that is not compatible with iOS.

Outside of Google, this change does nothing except tag tests that are
known to not be buildable on certain platforms.

PiperOrigin-RevId: 188234489

[TF:XLA] Bump open source llvm revision to r326829

PiperOrigin-RevId: 188229669

[tf.data] Optimize `Dataset.filter()` when the predicate returns one of its args.

This change avoids the overhead of function dispatch (~10--15us) when
the filter predicate simply returns one of its arguments directly. It
also adds a benchmark to track the performance of this optimization.

The checkpointing code required minor modifications to enable functions to be
instantiated in the `FilterDatasetOp::Compute()` method when an iterator is being
restored.

PiperOrigin-RevId: 188229570

Update graph rewrites for host compute ops

PiperOrigin-RevId: 188228489

[tpu.datasets]: Improve the performance of the StreamingFilesDataset.

In order to effectively pipeline the transfers, set num_parallel_calls=4.

PiperOrigin-RevId: 188227890

Further small support for quantized unfused LSTMs.

PiperOrigin-RevId: 188221169

raise RuntimeError to catch exception

Internal Change

PiperOrigin-RevId: 188217110

TFE_Context gets its local devices from the source instead of a session.

PiperOrigin-RevId: 188216178

Add support for padding tf.string tensors on CPU.

PiperOrigin-RevId: 188215092

eager: Rename in_eager_mode to executing_eagerly and get rid of in_graph_mode.

This is in preparation to introduce one public, stable symbol: tf.executing_eagerly()
(i.e., part of moving APIs related to eager execution from "contrib" to a namespace
where we provide API stability guarantees)

PiperOrigin-RevId: 188212646

Convert functions with multiple returns to use a single return.

PiperOrigin-RevId: 188212324

Support for transpose convolution. Includes striding, and a reference implementation.

PiperOrigin-RevId: 188210975

add error message when importing contrib.tensorrt without libnvinfer

Making sure that the proc FLR doesn't get deleted before lib_ (in FunctionBufferingResource).

PiperOrigin-RevId: 188206611

Move `tf.contrib.bayesflow.layers` to `tfp.layers`.

PiperOrigin-RevId: 188203941

add rolling window batch operation for tf.data.Dataset  (#16123)

* ENH: add slide_dataset_op

* TST: add test case

* DOC: add docment

* CLN: implement sliding_window_batch

* CLN: hiddent SlideDataset

* CLN: remove Dataset.slide

* DOC: 2017 -> 2018

* CLN: use push_back

* DOC: drop the final smaller block

* CLN: rename slide_size -> window_size

* CLN: rename slide_step -> stride

* DOC: no default for stride at c++ side

* DOC: revise comments

* BLD: expose sliding_window_batch API

* CLN: code style

* DOC: revise documents

* CLN: move to IteratorContext

* TST: remove contrib.dataset_ops

* DOC: move desp to api def

* CLN: fix python 2 indent

* DOC: used by core.apply method

Optimizations to DepthwiseConv using 3x3 filters.

PiperOrigin-RevId: 188202344

Properly parse input strings in the dependency optimizer

PiperOrigin-RevId: 188201284

Docs: Add simple_save section to SavedModel APIs, and add
to article intro. Rename headers to make consistent.

PiperOrigin-RevId: 188199437

Merge commit for internal changes

Migrate Halton Sequence sampler into tensorflow_probability.

PiperOrigin-RevId: 188191091

boosted_trees: fix the comments about gain by removing a confusing dash.

PiperOrigin-RevId: 188191012

[tf.data] Improve docstring for `tf.data.Dataset.padded_batch()`.

PiperOrigin-RevId: 188190458

Switch the eager GAN MNIST example to object-based checkpointing

- Removes variable_scopes, since they're no longer necessary (duplicate variable names are OK)
- Switches up the counters a bit (global_step -> step_counter, checkpoint the epoch counter)

PiperOrigin-RevId: 188190128

Add missing equality assertion between the shape of the 2 inputs to the tile op.

PiperOrigin-RevId: 188190067

Add instrumentation interfaces to the GCS file system.

PiperOrigin-RevId: 188187793

Fix tf.train.Saver's max_to_keep when executing eagerly.

It was keeping everything, since the list of things to delete was reset in
build() and build() was called every save.

PiperOrigin-RevId: 188187349

[tf.data] Expose `tf.contrib.data.SqlDataset`.

PiperOrigin-RevId: 188185438

Add a template helper that generates expressions from single-statement nodes.

PiperOrigin-RevId: 188184507

Add support for the "DEQUANTIZE" op. This cover only ops that are generated by TOCO
in order to handle UINT8 input to floating-point models.

PiperOrigin-RevId: 188182372

Make sure the string returned is a string in Python 3 because of different string handling processes.

PiperOrigin-RevId: 188180206

Update the code to play more nicely with Python3.

PiperOrigin-RevId: 188167618

[XLA:GPU] Fuse broadcasts into reduction fusions

We didn't do this because reconstructing a layout was hard. With
layout_assignment before fusion this becomes much easier. Remove the
limitations.

PiperOrigin-RevId: 188167436

[XLA:GPU] Move layout_assignment before fusion

This will allow code simplification and opens up new optimization. Currently we
don't emit layouts inside of fusion and tracing layouts through fusion is very
hard. Changing the pipeline sidesteps this issue. This is mostly perf-neutral.

PiperOrigin-RevId: 188158481

Fix ShapeUtil::CompatibleIgnoringElementType for scalar vs tuple comparision

Previously if the lhs was a scalar and the rhs was a tuple of arbitrary
shape it reported them as compatible what is clearly wrong.

PiperOrigin-RevId: 188155575

[XLA:GPU] Rewrite elemental emission of bitcasts

My first attempt at this only handled bitcasts that implement a reshape
operation, now transposes or mixed bitcasts are handled as well. There is
probably some optimization potential to reduce the amount of address arithmetic
emitted to IR for a follow-up.

This is already tested fairly well with the existing test suite, there are
failing tests with layout_assignment before fusion without this change.

PiperOrigin-RevId: 188155082

Build definition cleanup.

PiperOrigin-RevId: 188135683

Typo correction, no method `set_stats_aggregator_op(..)` to associate `StatsAggregator` with `iterator`.

PiperOrigin-RevId: 188132675

Minor fixes to tutorials/index.md and programmers_guide/index.md

PiperOrigin-RevId: 188128441

Makes GLSTMCell accept input of any compatible dimension.

Currently, GLSTMCell requires that the input dimension is is the same as the output dimension.  After this change, the input can be any compatible dimension---i.e., anything divisible by the number of groups.  The input size is still assumed to be the output size in the case where the innermost dimension of the input is not statically-defined.

PiperOrigin-RevId: 188123536

[TF:XLA] Bump open source llvm revision to r326687

PiperOrigin-RevId: 188122825

Made sure all the nodes in the body of an inlined function run in the same frame

PiperOrigin-RevId: 188121852

Add basic support for explicit type annotations. This is done by inserting a no-op function call. Note that this is meant as fallback, and we prefer the following alternatives (in their order) for inferring the type:
 1. Automatic from context, e.g. the type of a list based on the elements added to it (WIP)
 2. Type annotations (Python 3.6+ only)

PiperOrigin-RevId: 188120527

Add helper function for Xor in HLO.

RELNOTES: n/a
PiperOrigin-RevId: 188119450

Avoid merging colocation sets that include parameter/result buffers

PiperOrigin-RevId: 188117187

PiperOrigin-RevId: 188112759

Adding support for subscripts to qualified names.  This also removes the QN copy constructor and adds an assert to ensure that the no attribute/no subscript QN constructor does not receive any strings with '.', '[', or ']'.  Additionally this changes the self.qn construction to be a tuple of (base QN, attribute/subscript) instead of a concatenation of the base QN and attribute/subscript so that the has_attr and has_subscript fields are handled properly.  Constant subscripts are not yet supported.

PiperOrigin-RevId: 188111933

Merge pull request #17391 from samikama/tensorrt_pr3

Tensorrt improvements

Remove dead code. We're guaranteed to have CURLE_OK because we return early above.

PiperOrigin-RevId: 188110480

Fix build.

PiperOrigin-RevId: 188109002

Make graph construction work while graph is being concurrently run.

The overall approach is to use Graph._lock to synchronize Session.run calls and construction methods that rely on graph mutation. We don't want to synchronize the actual running of the graph, only the Extend call, so this change exposes an ExtendSession method to the Python API and disables extending automatically in TF_SessionRun.

PiperOrigin-RevId: 188106818

Merge pull request #17492 from akshaym/branch_188075262

Branch 188075262

Add metadata for gathering information about host compute transfers while compiling XLA.

PiperOrigin-RevId: 188102740

Re-enable math_utils_test msan

PiperOrigin-RevId: 188102388

[XLA] Store the program shape in the HloModuleProto and HloComputationProto.

PiperOrigin-RevId: 188100425

python3 fix

PiperOrigin-RevId: 188100221

Internal change.

PiperOrigin-RevId: 188100164

Update ops-related pbtxt files.

PiperOrigin-RevId: 188098602

Extend tensor_list with basic support for appending to TensorArrays. This allows handling list-type operations on lists that we haven't created, e.g. received as parameters.

PiperOrigin-RevId: 188094077

RemoteCall: Cache function handles.

Currently, whenever a functional_ops.remote_call(...) is executed against a remote worker, the function will be instantiated each and every time against the remote worker causing a memory leak on both the caller and the callee. Instead, we cache the function handles and reuse them.

PiperOrigin-RevId: 188093266

Fix python formatting and add missing docstrings

Remove clipping on BoundedTensorSpec range.

PiperOrigin-RevId: 188089885

Fix c++ and python formatting

Add Kullback-Leibler for Independent distribution(s).

PiperOrigin-RevId: 188087902

Introduce API `keras.backend.learning_phase_scope(value)` (internal for now).
Primary goal is to avoid side effects when setting the learning phase in eager training.

PiperOrigin-RevId: 188086280

Revert the changes of ScopedActivateExecutorContext, which requires depending on core:lib which is forbidden

Fix bug in importing MetaGraphDefs containing nested conds.

This change makes CondContext._external_values more consistently store
Tensors external this context. These values are then not added to the
context when it's imported. This also removes the workaround I added
earlier to manually remove the predicate and pivot Tensors from the
context, instead adding them to _external_values were they're
automatically excluded.

PiperOrigin-RevId: 188083780

Add link to tflite codelab

PiperOrigin-RevId: 188083446

tpu_estimator gives us unstable input shapes when inputs are labeled with names. Sorting the input keys solves the issue.

PiperOrigin-RevId: 188082738

Internal change

PiperOrigin-RevId: 188078128

Merge commit for internal changes

o Fixed simple merge issue in tf/contrib/timeseries/python/timeseries/BUILD

Automated g4 rollback of changelist 185842713

PiperOrigin-RevId: 188077387

Docs: Fix prefix for the fancy-linker.

PiperOrigin-RevId: 188075262