Merge pull request #19544 from yongtang/05182018-duplicate-import

Remove duplicate `from six import text_type` in upload_test_benchmarks.py

Merge pull request #19470 from ankurtaly/branch_197583446

Branch 197583446

Merge pull request #19479 from Intel-tensorflow/concat_build_fix

INTEL-MKL: Fix build issue with old GCC version - MklConcat related

Merge pull request #17331 from kbsriram/easy-nn-grads

C++ gradients: Fractional*Pool, Soft{Plus,Sign}

Merge pull request #19532 from yongtang/05242018-gemmlowp

Enable mirror.bazel.build link for gemmlowp

Merge pull request #19553 from silvasean/patch-1

Fix broken link

Fix broken link

Also, as a side note, I found this link confusing. I was expecting it to take me to a list of pre-made estimators. Not a definition of what a pre-made estimator is. (maybe the glossary definition should link to a list of pre-made estimators?)

Fix cmake for MacOS (#17005)

This change address cmake build issues for MacOS.
Also fixes #14712

Remove whitelisted gemmlowp and mirror.bazel.build link has been enabled.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Merge pull request #19538 from yongtang/05242018-BUILD.bazel

Use BUILD.bazel for third_party packages

Merge pull request #19508 from briannemsick/issue-18908

tf.keras: Fix plot_model for Sequential model

Merge pull request #19429 from evision-ai/fix-nsync-on-android

fix a bug in built nsync android library

Merge pull request #19472 from fbcotter/master

Corrected compute_gradient docstring

Fix ppc64le compile failure libpng (#19291)

Building Tensorflow on ppc64le fails with the message:
ERROR: /root/tensorflow/tensorflow/cc/BUILD:422:1: Linking of rule
'//tensorflow/cc:ops/control_flow_ops_gen_cc' failed (Exit 1)
bazel-out/host/bin/_solib_local/_U_S_Stensorflow_Scc_Cops_Scontrol_Uflow
_Uops_Ugen_Ucc___Utensorflow/libtensorflow_framework.so:
undefined reference to `png_init_filter_functions_vsx'
collect2: error: ld returned 1 exit status

This is fixed by adding powerpc specific files from the png archive
for @org_tensorflow//tensorflow:linux_ppc64le builds only.

Use BUILD.bazel for third_party packages

Both `BUILD` and `BUILD.bazel` could be used as the bazel project file
and `BUILD.bazel` is preferred (see https://github.com/bazelbuild/bazel/issues/4517#issuecomment-360213750)

This fix changes generated BUILD in third_party packages to `BUILD.bazel`.
This will help avoid conflict with `BUILD` or `build` file/directory names
in third party packages.

For example, while working on 19461 I noticed that apache thrift package
consists of a `build` directory and that causes issues in case-insensitive
systems like macOS. This PR should help avoid such conflict issues.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Merge pull request #19509 from yongtang/19498-doc-reduce_sum

Update docstring for tf.reduce_sum/reduce.

Enable mirror.bazel.build link for gemmlowp

The mirror.bazel.build link for gemmlowp was disabled
as it was not propagated before. This fix enables the
mirror.bazel.build link for gemmlowp and removes the
related TODO from it.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Merge pull request #19512 from yongtang/05232018-pylint

Fix pylint issue in the master branch

Additional pylint fix.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Fix pylint issue in the master branch

The latest master branch has the following pylint failure that caused
`Ubuntu Sanity — Internal CI build failed`:
```
53 FAIL: Found 2 non-whitelited pylint errors:
54 tensorflow/contrib/cmake/tools/create_def_file.py:47: [C0301(line-too-long), ] Line too long (106/80)
55
56 tensorflow/contrib/cmake/tools/create_def_file.py:61: [C0301(line-too-long), ] Line too long (90/80)
```

This PR addresses the above issues.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

updated based on CL 197644290

Expose stream executor namespace in cmake shared object. (#19415)

Instead of perftools::gputools expose stream executor namespace in cmake shared object.

fixed  DirectSessionWithTrackingAllocTest keyboard_arrow_right CostModelTest

Update tf.reduce_max and tf.reduce_min

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Update docs for tf.reduce_prod and tf.reduce_mean

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Update docstring for tf.reduce_sum

This fix tries to address the issue raised in 19498 where
the description:
```
If axis has no entries, all dimensions are reduced, and a tensor with a single element is returned.
```

does not match the current behavior. The current behavior (matches `np.sum` as well) is actually:
```
If axis is None, all dimensions are reduced, and a tensor with a single element is returned.
```

This fix fixes the discrepancy for tf.reduce_sum.

This fix fixes 19498.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Remove model.model in vis_utils plotting.

Merge pull request #19502 from sdalbsoo/typo

Fix ovic typo

typo

Merge pull request #17070 from yupbank/refactor-tree-variables

add model restore support for tree and forest variables

BUG: keras.callbacks.TensorBoard raises an exception for non_trainale_weights (#19148)

* TST: write_grads for non_trainable_weights

* BUG: bypass non_trainable_weights for write_grad

* CLN: factor out write_grad loop

fix a concat related build issue with old GCC version

Setting default openmp settings for MKL kernels (#19136)

* Change inter op defaults when built with MKL to avoid thread oversubscription

* Bump up default mkl inter_op to be less conservative

* Added default OMP settings that are expected to give reasonable performance when using MKL kernels

* Query CPUID for determining number of hyperthreads per physical core on Intel 64 architectures

* Style fixes

* Buildifier and clang-format style fixes

* Removed use of setenv due to concerns about thread safety

Corrected compute_gradient docstring

After testing the tf.test.compute_gradient function with complex inputs,
noticed that the docstring specifies that the real/imag partial derivatives
are in the four corners of a larger matrix, when the result given indicates
they are instead interleaved.

Merge pull request #19386 from smistad/fix-cmake

CMake: fix include error when building with PYTHON_BINDINGS off

Merge pull request #19446 from sarahedkins/fix/python-feeding-function-error

fix(python): ValueError len(dataframe.columns) + 1

Merge commit for internal changes

Make init_scope preserve the inner device stack when lifting into a graph.

Eager execution doesn't implement device stacks and in particular it doesn't support device functions (which determine the device on a per-op basis), so in general it's not possible to do the same when lifting into the eager context.

PiperOrigin-RevId: 197583446

Merge pull request #17025 from kr-ish/numpy_input_fn_none_check

Adds a check for shuffle=None in numpy_input_fn

Merge pull request #19445 from yongtang/05122018-link

Fix incorrect link for nvidia drivers

Merge pull request #19462 from yongtang/05212018-docs-math_ops

Fix discrepancies between doc and implementation for math_ops

Special case the 'dict' call, which trips other mechanisms for built-ins.

PiperOrigin-RevId: 197576297

[TF:XLA] Fix xla_interpreter_device build

PiperOrigin-RevId: 197571618

Contributing guidelines, style guide and README updates

PiperOrigin-RevId: 197564905

Update calls to addPassesToEmitFile

PiperOrigin-RevId: 197564506

Fix a couple of broken links in the Swift For TensorFlow page.

PiperOrigin-RevId: 197564254

Automated g4 rollback of changelist 197527651

PiperOrigin-RevId: 197562826

[XLA:TF] Run buildifier on llvm.BUILD

Buildifier recently started sorting load args
https://github.com/bazelbuild/buildtools/commit/3ac5f85b22bc44820c041d0cacd3bc2ed54e7742 which causes diffs in the output.

PiperOrigin-RevId: 197556554

Fix typo (#19450)

[XLA] Optimize ShapeTree<T>
This optimizes ShapeTree quite significantly. In particular this optimizes for the common case of querying/iterating, copying and moving ShapeTrees.

  * Allocate all ShapeTreeNodes inside a single, owned, vector. This reduces the number of memory allocations and improves cache performance.
  * Instead of storing children nodes as unique_ptrs, store them as indices into the owning container's vector. This allows cheap copy-construction (a std::vector POD copy) and doesn't change the fast path (dereferencing a pointer is just as fast as dereferencing a base + offset).
  * Instead of a unique_ptr<Shape>, use a shared_ptr<Shape>. This removes a load of copy-construction overhead at the cost of a shared_ptr over a unique_ptr (one extra allocation).
  * Instead of computing ShapeIndexes on-demand in the iterators/ForEach*, precompute them during construction time. This adds a few more bytes per ShapeTree, but now we can...
  * ... store a std::pair<ShapeIndex, T> as the ShapeTreeNode's data element. This allows us to provide a std::pair<K,V>&, STL-like interface from iterators without going through any of the previous unique_ptr hacks around storage lifetimes.
  * Because we no longer need to iterate from the beginning to build up the ShapeIndex, we can now offer a ::find() function to return an iterator for a ShapeIndex in O(K) time. As the iteration order is guaranteed to be pre-order, this can be used (and will be, later) to speed up the fast-path of mutating a subtree of a ShapeTree from tf2xla::ExtractSubBuffers.
  * Similarly because we now have a very standard, cheap STL interface with no performance cliffs, we can hopefully improve ShapedBuffer's copy and move constructors to be cheaper.

PiperOrigin-RevId: 197548717

internal change

PiperOrigin-RevId: 197533162

batch_util.h is generally useful so moved to util/ from kernels/ where it will be included in the pip package.

PiperOrigin-RevId: 197532524

convert Pow op into something that is more recognizable, so we can have further
optimizations.

PiperOrigin-RevId: 197527651

Automated g4 rollback of changelist 197487461

PiperOrigin-RevId: 197523867

Unifiy the cuda toolchain definition of gcc/nvcc and cuda-clang.

gcc >= 7 will change how it treats -pie [1]; passing -pie after -shared
on the command line is not possible any more; given that the legacy way to
configure flags in the gcc/nvcc toolchain does not allow control over where
the flags go or how to provide -pie only for linking of binaries, we can
prevent this from breaking in the future by also using the new feature
mechanism for gcc/nvcc.

In addition to moving the gcc-specific workarounds in the toolchain to
cuda_configure.bzl, document them, so we don't need to rediscover them in the
future.

[1] https://gcc.gnu.org/bugzilla/show_bug.cgi?id=77464

PiperOrigin-RevId: 197522719

Enable tpu.rewrite to work on XLA CPU/GPU backends.

PiperOrigin-RevId: 197517946

[XLA:GPU] Implement trivial (one-replica) cross-replica-sum on XLA:GPU.

Also fix the CPU implementation to work in the case when there are
multiple operands to the cross-replica-sum op.

PiperOrigin-RevId: 197506311

Update scan benchmarks to have a range of 16K-128K iterations. As of https://github.com/tensorflow/tensorflow/commit/5802096c267c805f6a69798aac10aefef759bb9f, TensorFlow Eager no longer exhibits quadratic behavior. The benchmark is still ~5x slower in eager mode vs. graph mode, and maybe slightly worse than linear:

n     Graph Time (s)  Eager Time (s)      Ratio
-----------------------------------------------
 16K            0.35             1.8        5.1
 32K            0.64             3.6        5.6
 64K            1.1              7.2        6.5
128K            2.4             14.8        6.2

PiperOrigin-RevId: 197505257

Internal Change

PiperOrigin-RevId: 197503560

fix a bug of the android Makefile for nsync library

NDK doesn't support thread_local variables which require destructors,
so on Android it should use __thread instead.

Observations:
* ProtoBuf and other libraries are not using thread_local on Android.
* In Tensorflow, there's a "thread_local" in code about CUDA,
  which should be safe enough.

More discussions are on https://github.com/android-ndk/ndk/issues/360 .

Internal Change

PiperOrigin-RevId: 197501805

s/tfe.GradientTape/tf.GradientTape/
s/tfe.enable_eager_execution/tf.enable_eager_execution/

PiperOrigin-RevId: 197500751

Improvements to util/nest.py and data/util/nest.py

Changes:
- Add a cache for type -> is_sequence to speed up Flatten/IsSequence
- Update data/util/nest.py flatten to use C Flatten

Before:
entry {
  name: "EagerLinearRegressionBenchmark.eager_train_cpu"
  iters: 2000
  wall_time: 1.91852378845
  extras {
    key: "examples_per_sec"
    value {
      double_value: 66717.9634521
    }
  }
}

After:
entry {
  name: "EagerLinearRegressionBenchmark.eager_train_cpu"
  iters: 2000
  wall_time: 1.74479198456
  extras {
    key: "examples_per_sec"
    value {
      double_value: 73361.1806638
    }
  }
}
PiperOrigin-RevId: 197497854

Adds support for specifying a discovery_service_url (via either a parameter or an environment variable) within TPUClusterResolver

PiperOrigin-RevId: 197494335

Split generated_examples test into multiple test targets

PiperOrigin-RevId: 197490872

Introduce an option to allocate CUDA unified memory

PiperOrigin-RevId: 197490523

[XLA] Two minor style-guide fixups.

- Fix TODO(b/123) style.
- Use a value type rather than an rvalue reference for a "sink" param.

PiperOrigin-RevId: 197489597

fix(python): ValueError len(dataframe.columns) + 1

Make the quantize_and_dequantize op use the full quantized range when possible.

PiperOrigin-RevId: 197487461

Improves documentation of labels and logits arguments in hinge loss methods .

PiperOrigin-RevId: 197487120

Supports initializing an Interpreter with a direct ByteBuffer of nativeOrder()
that contains bytes content of a valid tflite model.

PiperOrigin-RevId: 197485253

Update docstring for tf.round as it support all real types.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Update docstring as pow supports `float16` now

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Fix discrepancies between doc and implementation for math_ops

In the docstring of math_ops, there are some discrepancies
between the supported data types and the actual implementation:
`abs` supports `float16`.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Ensure that saving/restoring iterator in CheckpointInputPipelineHook is performed *after* the _DatasetInitializerHook has been run.
In the TPUEstimator the _DatasetInitializerHook is present in the
EstimatorSpec.training_hooks. Since these are executed after the `hooks`
passed to Estimator.train the input pipeline checkpointing hook fails
since it finds an uninitialized iterator.

PiperOrigin-RevId: 197482609

Fixes issue with gradient tape when asking for the gradient of an intermediate tensor.

PiperOrigin-RevId: 197481473

Improve error message in tensor.cc when IsAligned() test fails
by logging offending ptr value.

PiperOrigin-RevId: 197480534

Support a better interface for the single option case in combinations.py.

If there's only one combination for combination-based tests, it doesn't have to
be a list.

PiperOrigin-RevId: 197479773

Add arithmetic optimizer stage that removes LogicalNot that takes a comparison as input, i.e.

!(a == b)  =>  a != b
!(a != b)  =>  a == b
!(a < b)   =>  a >= b
!(a <= b)  =>  a > b
!(a > b)   =>  a <= b
!(a >= b)  =>  a < b

PiperOrigin-RevId: 197477959

Expose partition_strategy option in embedding_lookup_unique

PiperOrigin-RevId: 197477853

Optimize more reductions

PiperOrigin-RevId: 197476067

Internal Change.

PiperOrigin-RevId: 197475076

Extract out a MatrixMatrixBlockPanelEmitter::Dimensions struct; NFC

This gives me a convenient place to note that the m/k/n here are not the m/k/n
for the entire GEMM.  I didn't rename m/k/n to mc/kc/nr since the latter seems
somewhat redundant to me -- we could read 'c as 'column' and 'r' as 'row', but
that's the only possibility?

This refactoring will also be useful when implementing GEPP on top of GEBP.

PiperOrigin-RevId: 197474137

Merge pull request #19254 from yongtang/05122018-compute_accidental_hits

Add additional shape validation to `compute_accidental_hits`

Remove object-based checkpointing probes from Python 3 tf.train.Saver "name not found" stack traces

PiperOrigin-RevId: 197473101

Disable flaky batch_dataset_op_test

PiperOrigin-RevId: 197471172

Allow using DNN to only train the embeddings and using the tree model for the final prediction.

PiperOrigin-RevId: 197462585

Merge pull request #19257 from yongtang/05122018-QuantizedReluX

Shape validation of `max_features` in `QuantizedReluX`

[TF:XLA] Delete cumulative_total_size to simplify the DFS scheduler.
It's unclear why we would assign cumulative_total_size as the total size of a single HLO, and deleting it doesn't make a difference in practice.

PiperOrigin-RevId: 197458260

Always enter the handle graph before calling convert_to_tensor in resource variables.

This mimics the behavior of ref variable's assign which converts to tensor in the
right graph inside op_def_lib.apply_op.

PiperOrigin-RevId: 197441989

Turn on dead branch elimination, shape optimization, and remapping by default

PiperOrigin-RevId: 197439191

Merge pull request #19326 from yongtang/05162018-mpi_utils.h

Remove redundant header includes in mpi_utils.h

Optimize multiplications by constants in more cases.

PiperOrigin-RevId: 197422256

Add a kernel usable as a GEBP inner loop for an LLVM IR GEMM

This is not used in any real code path, but I've added an escape hatch that runs
regular matrix multiplies through this kernel for testing purposes.

As far as I can tell this is functionally correct, but I don't yet have a proper
apples-to-apples performance comparison -- that'll have to wait till the
implementation is complete.

PiperOrigin-RevId: 197422075

Automated g4 rollback of changelist 197226707

PiperOrigin-RevId: 197415745

address lint again

address lint

address comments

add test case always predict [0, 1]

add inference support for tree and forest variables