move dependency

Merge branch 'master' into support-matrix-2-norm

add assert_element_shape method for tf.contrib.data (#17480)

* ENH: add assert_element_shape method

* CLN: add indentation

* ENH: raise exception when wrong shape is given

* CLN: fix too long line

Validate the shape of TakeDataset and SkipDataset (#18267)

* Validate the shape of TakeDataset and SkipDataset

The `count` inputs of the TakeDataset and SkipDataset require
scalar. That was not validated before though.

This fix validates the shape of count for TakeDataset and SkipDataset.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add test case for invalide `count` of TakeDataset

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Validate shape of count for SkipDataset

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add test case for invalid count shape for SkipDataset

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Docs: Fix formatting in programmers_guide/debugger (#18281)

Fix formating for code block in debugger.md
Fixes #17946

contrib/lite: avoid building benchmark_model in build_ios_universal_lib.sh (#17796)

It is not needed part of this script. In addition, since f0633ec benchmark_model
now depends on //tensorflow/core library which is not taken into account by the
Makefile from contrib/lite, and thus causes failure:

$ ./build_ios_universal_lib.sh
...
In file included from tensorflow/contrib/lite/tools/benchmark_model.cc:29:
In file included from ./tensorflow/core/platform/env.h:24:
In file included from ./tensorflow/core/lib/core/errors.h:21:
./tensorflow/core/lib/core/status.h:23:10: fatal error: 'tensorflow/core/lib/core/error_codes.pb.h' file not found
#include "tensorflow/core/lib/core/error_codes.pb.h"
         ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
1 error generated.

Fix minor typos for programer guide documents (#17486)

* Fix minor typo fix for proggramer guide doccuments

* revert typo in dataset.md

* revert wrong typo fix

* revert wrong typo fix

Fix an issue caused by (#18183)

While trying to run on my machine (Ubuntu 16.04 Python 2.7)
```
bazel test -s --config=opt --cache_test_results=no //tensorflow/tools/api/tests:api_compatibility_test
```

The following error was encountered:
```
  ......
  File "/home/ubuntu/.cache/bazel/_bazel_ubuntu/ad1e09741bb4109fbc70ef8216b59ee2/execroot/org_tensorflow/bazel-out/host/bin/tensorflow/tools/api/generator/create_python_api.runfiles/org_tensorflow/tensorflow/tools/api/generator/create_python_api.py", line 125, in get_api_imports
    if not module or 'tensorflow.' not in module.__name__:
  File "/usr/lib/python2.7/dist-packages/py/_apipkg.py", line 171, in __getattribute__
    return getattr(getmod(), name)
  File "/usr/lib/python2.7/dist-packages/py/_error.py", line 43, in __getattr__
    raise AttributeError(name)
AttributeError: __name__
```

The issue is that `<AliasModule 'py.error' for 'py._error.error'>` does not
have a `__name__` attribute (See similiar issue in https://github.com/pytest-dev/py/issues/73).

This fix tries to address the issue by adding an `hasattr()` check so
that AttributeError is not thrown.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Fix `TypeError: 'dict_keys'` in contrib.distribute with python 3 (#18212)

This fix tries to fix the issue raised in 18205 where
```
TypeError: 'dict_keys' object does not support indexing
```
was thrown when using contrib.distribute in python 3.

The issue is that DistributedValues.devices returned `self._index.keys()`
which is a `dict_keys` and is not a list in python 3.

This fix converts the `dict_keys` to list for python 3
to fix the issue.

This fix fixes 18205.
This fix als fixes 18188.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Fix warning in rnn_cell.py (#18164)

This fix fixes the warning in rnn_cell.py caused by l2_normalize with dim:
```
rnn_cell.py:2894: calling l2_normalize (from tensorflow.python.ops.nn_impl) with dim is deprecated and will be removed in a future version.
```

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Merge pull request #18277 from meteorcloudy/add_win_def_file

Add win_def_file attribute for tensorflow/python:pywrap_tensorflow_internal

Merge pull request #17934 from Intel-tensorflow/pr-fix-mkl-dnn-build

MKL: Fixing Build Issue

Add win_def_file attribute for tensorflow/python:pywrap_tensorflow_internal

This attribute is somehow missing when pushing for internal to github.

This should fix the TensorFlow Bazel postsubmit for github.

Merge pull request #18171 from nagachika/remove_deprecated_warnings_in_contrib_copy_graph

Remove warnings for tf.contrib.copy_graph.copy_op_to_graph.

Merge pull request #18200 from chenchuanyin/patch-1

fix problem: ld libgrpc symbols for MacOS

Merge pull request #18263 from case540/branch_191729654

Branch 191729654

Update metrics_ops.py (#18155)

* Update metrics_ops.py

Add deprecation notes

* Update metrics_ops.py

Fix styling for linter

Fix some rendering format in contrib doc strings (#18148)

* Fix some rendering format in contrib doc strings

* Fix line too long pylint error

[Intel MKL] Change inter op defaults when built with MKL  (#17931)

* Change inter op defaults when built with MKL to avoid thread oversubscription

* Bump up default mkl inter_op to be less conservative

Docker Jupyter: Update deprecated softmax_cross_entropy_with_logits (#17412)

* Docker Jupyter Notebooks: Update deprecated softmax_cross_entropy_with_logits

* Docker Jupyter Notebooks: Revert removing collapsed: false

Merge commit for internal changes

Create a separate operators module that is to contain all Python constructs that we override: control flow, builtins, operators, etc.

PiperOrigin-RevId: 191729654

Add support for NCCL2. The configure script asks for what version of NCCL to use. The default is still NCCL 1 from GitHub. If the user chooses NCCL 2, it asks for the install directory.

The nccl_configure.bzl generates two different BUILD files based on the chose NCCL version. For NCCL 1, it aliases to the existing 'nccl_archive' http_repo on GitHub. For NCCL 2, it creates a target containing the NCCL 2 library and headers from the chosen install directory.

PiperOrigin-RevId: 191718007

Upgrade Snappy to latest version

They added big endian preprocessor macros in recent releases. Hopefully
this should do the right thing on IBM mainframes.

PiperOrigin-RevId: 191705207

Upgrade zlib to latest version

PiperOrigin-RevId: 191696213

Support arbitrary permutations for DataFormatDimMap.

PiperOrigin-RevId: 191696203

Add a helper function to re-assign colocation in a graph.

PiperOrigin-RevId: 191679495

Sort control inputs alphabetically in ToGraphDefSubRange.

PiperOrigin-RevId: 191677358

BUGFIX: Detect when broadcasting is required and raise NotImplementedError.

PiperOrigin-RevId: 191673876

Exclude some gcc options in Windows build

PiperOrigin-RevId: 191672761

[XLA]: Enable Memory sanitizer for compilation_passes_test.

Initialize the buffer for a scalar tensor to avoid uninitialized
accesses.

PiperOrigin-RevId: 191672257

Replace trivial backend calls with calls to underlying TensorFlow functions - Part 2

PiperOrigin-RevId: 191669725

Address bug in distributed strategies `Monitor` to allow running for >1 step.

PiperOrigin-RevId: 191667378

Check that n + kBlockTrailerSize does not overflow before reading a block

PiperOrigin-RevId: 191666300

Fixed handling of control dependencies in the arithmethic optimizer

PiperOrigin-RevId: 191665098

Running sparse_ops_test only in opt mode since the test is flaky (times out) in fastbuild mode.

PiperOrigin-RevId: 191665014

Enable constant propagation across Enter nodes, but only if is_constant is true.
Don't propagate constants with control dependencies through Merge nodes.

PiperOrigin-RevId: 191663396

Internal change.

PiperOrigin-RevId: 191660588

Compile TensorFlow with /arch:AVX on Windows

/arch:AVX is the correpsonding option in MSVC for gcc's --march=native

PiperOrigin-RevId: 191660389

Adds commandline option (toco_compatible, bool) that makes the optimize_for_inference script only use TOCO friendly ops. In particular, FusedResizeAndPadConv2D is not supported by TOCO.

This change does not alter existing behavior (the boolean is set to false by default).

PiperOrigin-RevId: 191660378

Adding Operation._control_outputs

PiperOrigin-RevId: 191659944

Remove dependency on absl to fix tf-nightly-gpu windows GPU build

PiperOrigin-RevId: 191659091

Fix typo in `tf.reduce_mean` documentation.

The range of valid values for the `axis` argument should be `[-rank(input), rank(input))`, just like other reduction ops.

PiperOrigin-RevId: 191657767

Iterate over a copy of dictionary keys when closing variable subscopes. Otherwise, we run into a "dictionary changed size during iteration" once in a while, as we are modifying the values in the dictionary during the iteration.

PiperOrigin-RevId: 191655599

Creates a LinearModel (inherits from keras.training.Model) that creates a linear
model.

Had to modify the __call__ method in the base layer class so that it could work with feature style inputs in which case we lazily convert the inputs to tensors instead of providing tensors as inputs upfront.

PiperOrigin-RevId: 191655445

Rename `distribute` to `train_distribute` parameter in `RunConfig` to clarify that its purpose is only for training.

PiperOrigin-RevId: 191654161

Add quantized uint8 L2Normalization Kernel.

PiperOrigin-RevId: 191652174

GraphOptimizerStagePipeline to pass through multiple
optimizer stages, skipping stages that return error.

PiperOrigin-RevId: 191650182

Check that the c_api module is not destroyed

PiperOrigin-RevId: 191649662

Add link to tensorflow.js

PiperOrigin-RevId: 191649295

Inline nested function calls.

PiperOrigin-RevId: 191647899

Adding a _create_state method to FeatureColumn so that we can decouple variable (more generally, state) creation from getting dense tensors etc. This lays the groundwork to create a Layer type interface (which is more eager friendly) on top of feature columns where variable creation is separated from getting the tensors out.

PiperOrigin-RevId: 191647517

run evaluate nodes on parts of arithmetic optimizer tests.

PiperOrigin-RevId: 191647386

Merge pull request #17027 from nluehr/shared_complex_fix

Fix __shared__ complex<T> undefined behavior

Permit use of ArraysExtraInfo/constant_float_value when target model is quantized.

PiperOrigin-RevId: 191639289

Fix up output array min/max post-quantization if the range was overridden.

PiperOrigin-RevId: 191637143

Expose scatter_add for resource variables.

PiperOrigin-RevId: 191634030

Replaced calls to deprecated tensorflow::StringPiece methods with their
tensorflow::str_util equivalents.

This will allow the deprecated methods to be removed.

PiperOrigin-RevId: 191627087

Warning when tweaking a minmax to contain 0.

PiperOrigin-RevId: 191625723

Also registers the gpu resourcegather kernel for half (no idea why it was missing)

PiperOrigin-RevId: 191621111

Guard against out-of-bounds dims accesses, even in optimized, no-asserts
builds.

PiperOrigin-RevId: 191617948

Automated g4 rollback of changelist 191527251

PiperOrigin-RevId: 191605505

Check arguments of ComputeConvSizes that should be positive.

PiperOrigin-RevId: 191604311

Restructuring the HLO partitioner to fit host computation and handle kCall.
Pre process the input module to reassign reserved devices (like the host compute one) to new sequentially increasing device numbers, and track those in the GlobalState.
This avoids having many places where we need to spread the is-special-device logic, within the HLO partitioner and its related components.
Added handling for kCall, which was missing from previous implementation.

PiperOrigin-RevId: 191601831

Turn Cast into a proper builtin operator.

PiperOrigin-RevId: 191590230

Sync replicas distributed training example with two strategies:
1) Interleave covariance and inverse update ops with training op.
2) Run the inverse and covariance ops on separate dedicated workers.

PiperOrigin-RevId: 191579634

Fix PR-AUC calculation, namely the incorrect use of linear interpolation for Precision - see Section 4 of Davis & Goadrich 2006 (https://biostat.wisc.edu/~page/rocpr.pdf)
Also, modify the name of the "trapezoidal" summation method to reflect the fact that the proper interpolation method in this case isn't quite the trapezoidal one.

PiperOrigin-RevId: 191555707

Fix formatting of MKL URLs

The github.com was missing in the mirror.bazel.build path.

PiperOrigin-RevId: 191544461

Help build_pip_package work without ./configure

If the ./configure tool isn't run this script won't exist. It should
be safe to ignore this file if it isn't present since the variable
expansion below will just default to whatever python is on the PATH.

PiperOrigin-RevId: 191543995

removing an old TODO

PiperOrigin-RevId: 191540512

Enable calling the C API by default.

Enabling the C API makes TensorFlow's Python code to call the TensorFlow C API for low-level graph construction. This should cause no noticeable changes for the most part. One known difference is improved static shape inference, meaning some shape errors will be surfaced during graph construction instead of at runtime.

Note that this can be disabled by setting the environment variable TF_C_API_GRAPH_CONSTRUCTION=0 (for now, eventually this option will be removed).

PiperOrigin-RevId: 191536563

[TF:XLA] Add half precision support to test_utils.

PiperOrigin-RevId: 191535944

Attach an id for each cost node in virtual_cluster.

PiperOrigin-RevId: 191533511

Extra logging to help debug shape inference logic in optimizers.

PiperOrigin-RevId: 191533338

Fix error message that was displaying wrong shape

PiperOrigin-RevId: 191530602

[XLA] Reshape mover should only transform a reshape/transpose instruction if
all the users of the instruction can be transformed.

This is because if only part of the users of a reshape/transpose instruction are
reshape-move transformed, the original reshape/transpose instruction can't be
eliminated while a modified clone copy of the instruction is added to support
the transformation. As a result, the transformation increases the number of
reshape/transpose instructions in the kerenel and can potentially increase
memory consumption.

Add two test cases.

PiperOrigin-RevId: 191529681

Fix bug where name generated by Graph::NewName can conflict with generated Send node name.

I fixed this very locally to avoid having to fix a bunch of tests
(this is currently blocking enabling the C API), but this should be
fixed more generally in the future.

PiperOrigin-RevId: 191528409

Replace trivial backend calls with calls to underlying TensorFlow functions - Part 1

PiperOrigin-RevId: 191528321

Fix a shape inference bug.

PiperOrigin-RevId: 191528009

[TF:XLA] Add INTEL_MKL_ML MatMul method to XLA/CPU backend

The INTEL GEMM API provides 32-bit and 64-bit MatMul. With INTEL_MKL flag set,
XLA backend emits runtime call to INTEL GEMM MatMul instead of Eigen.

PiperOrigin-RevId: 191527251

Add testcase for convert.

PiperOrigin-RevId: 191526297

Refactors the eager guide to be more researcher-friendly.

 * Shows how to build layers
 * Orders the topics as they'd be ordered in a normal model

PiperOrigin-RevId: 191526275

Fix Conv3D shape inference.

Before, the stride rows and columns were mixed up, causing shape inference to output the wrong shape.

PiperOrigin-RevId: 191525254

Add max_constant_size_in_bytes parameter for ConstantFolding transform that sets the maximum size of each created constant.

PiperOrigin-RevId: 191523208

[XLA] Redesign: implement and test Send, Recv.

PiperOrigin-RevId: 191523125

[TF:XLA] Add test for scalar dynamic-update-slice.

PiperOrigin-RevId: 191521429

This is a cosmetic change to logging, which makes it easier to understand this message when TPU nodes have a huge number of devices attached.

PiperOrigin-RevId: 191520116

Minor touch-ups to the eager programming guide.

PiperOrigin-RevId: 191518771

Fold more constants

PiperOrigin-RevId: 191516861

[TF]Disable memory sanitizer for compilation_passes_test while the problem is being

PiperOrigin-RevId: 191516643

Add forward_from_array to OpKernelContext::Params.

This is an optional reservation on the forwarding of a particular
input tensor to a particular output that will be used by future
optimizations.

PiperOrigin-RevId: 191513782

Add Group Normalization to tf.contrib.layers.

# Example usage: NHWC
outputs = tf.contrib.layers.group_norm(inputs, groups=32, channels_axis=-1, reduction_axes=[-3, -2])
# Example usage: NCHW
outputs = tf.contrib.layers.group_norm(inputs, groups=32, channels_axis=-3, reduction_axes=[-2, -1])
PiperOrigin-RevId: 191513496

Add ability to pass symbolic tensors as inputs and targets in calls to Model training and evaluation methods.

This also works for eager tensors, but due to a slicing behavior difference between eager tensors and Numpy arrays, we have to implement a workaround (with a performance cost).

PiperOrigin-RevId: 191511215

Checkpointable: Utility to split a dependency for saving/loading

Useful when a single op produces Tensors which should each be saved under
different objects (or when Tensors saved with many different objects need to be
restored together as inputs to a single op).

I plan to use this for cuDNN RNN saving, which currently relies heavily on name
matching to allow cuDNN cells to be swapped out for CPU-compatible RNN
cells. This change has just the utility and some tests for it.

PiperOrigin-RevId: 191509664

Add bfloat16 to GPU types.

PiperOrigin-RevId: 191509090

Remove unused #includes

PiperOrigin-RevId: 191508478

Implementing make_initializatable_iterator for the PrefetchToDeviceDataset.

PiperOrigin-RevId: 191506754

Accept toco ModelFlags protos on the command line.

PiperOrigin-RevId: 191505886

Internal change

PiperOrigin-RevId: 191505262

[XLA] Redesign: implement and test dynamic slice.

PiperOrigin-RevId: 191502312