Review changes

Remove changes to tensorboard script

Import only ops not the implementations to prevent issues if user don't have tensorrt installed

Improve log messages and fix input ordering

Import tensorrt if available to import_pb_to_tensorboard.py for displaying TensorRT ops

Fix wiring issues due to shared inputs and outputs

Fix for Raspberry Pi wheel architecture tags (#19637)

Update python_configure.bzl (#19614)

Add BAZEL_SH environment variable as a dependency of python_configure repository rule

Add mirror for nasm (#19349)

Merge pull request #19574 from braincodercn/patch-1

Fix build error

 Fixed memory leak with py_func (#18292) (#19085)

* Fixing memory leak with py_func (#18292)

* Fixed memory leak with py_func (#18292)

python_configure.bzl: Find bash binary path through BAZEL_SH env var. (#19598)

* python_configure.bzl: Find bash binary path through BAZEL_SH env var.

This helps avoid invoking the wrong bash binary when "Bash on Ubuntu on Windows"
is installed.

Fixed https://github.com/tensorflow/tensorflow/issues/11735

* Readability modifications.

Windows: fail gracefully when undname.exe is not found (#19600)

* Windows: fail gracefully when undname.exe is not found

* Edit error message.

Merge pull request #19539 from AD-530/master

Add missing deps for simd_armv8a in jpeg.BUILD

Merge pull request #19577 from tensorflow/terrytangyuan-patch-1

Fixed typo in exporter.py

Merge pull request #19580 from ManHyuk/fix_typo

Fix typo

fix typo

Merge branch 'master' into fix_typo

Fixed typo in exporter.py

Fix build error

Fix build error: 'function' in namespace 'std' does not name a template type

Merge pull request #19483 from markdryan/markdryan/fix-bfcallocator-align

Fix BFCAllocator::Extend alignment issues

Fix of issue #13164 (Merges #13382) (#16368)

* tf.gather int64 GPU, tf.gather_nd int32/int64 GPU, tf.scatter_nd int32 GPU

* Fix tf.gather test

Merge pull request #19364 from Intel-tensorflow/agramesh/mkl_v14_fix2

[INTEL MKL] Upgrading to MKL DNN v.14

Merge pull request #19540 from Intel-tensorflow/mkl_registration_fix

INTEL-MKL: Fix an issue related to MKL op registration

Merge pull request #19558 from bzier/patch-1

Updated embedding column example

Merge pull request #19544 from yongtang/05182018-duplicate-import

Remove duplicate `from six import text_type` in upload_test_benchmarks.py

Merge pull request #19470 from ankurtaly/branch_197583446

Branch 197583446

Merge pull request #19479 from Intel-tensorflow/concat_build_fix

INTEL-MKL: Fix build issue with old GCC version - MklConcat related

Updated embedding column example

The embedding column example had a comment that seemed to incorrectly relate to the indicator column. Updated the comment to reflect the embedding column info. Also updated the name of the dimension variable to be consistent with the example from a few lines earlier.

Merge pull request #17331 from kbsriram/easy-nn-grads

C++ gradients: Fractional*Pool, Soft{Plus,Sign}

Merge pull request #19532 from yongtang/05242018-gemmlowp

Enable mirror.bazel.build link for gemmlowp

Merge pull request #19553 from silvasean/patch-1

Fix broken link

Fix broken link

Also, as a side note, I found this link confusing. I was expecting it to take me to a list of pre-made estimators. Not a definition of what a pre-made estimator is. (maybe the glossary definition should link to a list of pre-made estimators?)

Fix cmake for MacOS (#17005)

This change address cmake build issues for MacOS.
Also fixes #14712

Remove whitelisted gemmlowp and mirror.bazel.build link has been enabled.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Merge pull request #19538 from yongtang/05242018-BUILD.bazel

Use BUILD.bazel for third_party packages

fix an registration issue for MKL_ML op

Merge pull request #19508 from briannemsick/issue-18908

tf.keras: Fix plot_model for Sequential model

Add missing deps for simd_armv8a

Building for armv8 fails with error:

ERROR: .../bazel/external/jpeg/BUILD:288:1: undeclared inclusion(s) in rule '@jpeg//:simd_armv8a':
this rule is missing dependency declarations for the following files included by 'external/jpeg/simd/jsimd_arm64.c':
'.../bazel/external/jpeg/jpegint.h'
'.../bazel/external/jpeg/jerror.h'

Merge pull request #19429 from evision-ai/fix-nsync-on-android

fix a bug in built nsync android library

Merge pull request #19472 from fbcotter/master

Corrected compute_gradient docstring

Fix ppc64le compile failure libpng (#19291)

Building Tensorflow on ppc64le fails with the message:
ERROR: /root/tensorflow/tensorflow/cc/BUILD:422:1: Linking of rule
'//tensorflow/cc:ops/control_flow_ops_gen_cc' failed (Exit 1)
bazel-out/host/bin/_solib_local/_U_S_Stensorflow_Scc_Cops_Scontrol_Uflow
_Uops_Ugen_Ucc___Utensorflow/libtensorflow_framework.so:
undefined reference to `png_init_filter_functions_vsx'
collect2: error: ld returned 1 exit status

This is fixed by adding powerpc specific files from the png archive
for @org_tensorflow//tensorflow:linux_ppc64le builds only.

Use BUILD.bazel for third_party packages

Both `BUILD` and `BUILD.bazel` could be used as the bazel project file
and `BUILD.bazel` is preferred (see https://github.com/bazelbuild/bazel/issues/4517#issuecomment-360213750)

This fix changes generated BUILD in third_party packages to `BUILD.bazel`.
This will help avoid conflict with `BUILD` or `build` file/directory names
in third party packages.

For example, while working on 19461 I noticed that apache thrift package
consists of a `build` directory and that causes issues in case-insensitive
systems like macOS. This PR should help avoid such conflict issues.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Merge pull request #19509 from yongtang/19498-doc-reduce_sum

Update docstring for tf.reduce_sum/reduce.

Enable mirror.bazel.build link for gemmlowp

The mirror.bazel.build link for gemmlowp was disabled
as it was not propagated before. This fix enables the
mirror.bazel.build link for gemmlowp and removes the
related TODO from it.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Merge pull request #19512 from yongtang/05232018-pylint

Fix pylint issue in the master branch

Additional pylint fix.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Fix pylint issue in the master branch

The latest master branch has the following pylint failure that caused
`Ubuntu Sanity — Internal CI build failed`:
```
53 FAIL: Found 2 non-whitelited pylint errors:
54 tensorflow/contrib/cmake/tools/create_def_file.py:47: [C0301(line-too-long), ] Line too long (106/80)
55
56 tensorflow/contrib/cmake/tools/create_def_file.py:61: [C0301(line-too-long), ] Line too long (90/80)
```

This PR addresses the above issues.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

updated based on CL 197644290

Expose stream executor namespace in cmake shared object. (#19415)

Instead of perftools::gputools expose stream executor namespace in cmake shared object.

fixed  DirectSessionWithTrackingAllocTest keyboard_arrow_right CostModelTest

Update tf.reduce_max and tf.reduce_min

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Update docs for tf.reduce_prod and tf.reduce_mean

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Update docstring for tf.reduce_sum

This fix tries to address the issue raised in 19498 where
the description:
```
If axis has no entries, all dimensions are reduced, and a tensor with a single element is returned.
```

does not match the current behavior. The current behavior (matches `np.sum` as well) is actually:
```
If axis is None, all dimensions are reduced, and a tensor with a single element is returned.
```

This fix fixes the discrepancy for tf.reduce_sum.

This fix fixes 19498.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Remove model.model in vis_utils plotting.

Merge pull request #19502 from sdalbsoo/typo

Fix ovic typo

typo

Merge pull request #17070 from yupbank/refactor-tree-variables

add model restore support for tree and forest variables

BUG: keras.callbacks.TensorBoard raises an exception for non_trainale_weights (#19148)

* TST: write_grads for non_trainable_weights

* BUG: bypass non_trainable_weights for write_grad

* CLN: factor out write_grad loop

Fix BFCAllocator::Extend alignment issues

The BFCAllocator::Extend method used an incorrect harcoded alignment
of 32 in two different places.  This led to alignment check assertions when
Extend was called, as all memory is now expected to be 64 byte aligned.

Signed-off-by: Mark Ryan <mark.d.ryan@intel.com>

fix a concat related build issue with old GCC version

Setting default openmp settings for MKL kernels (#19136)

* Change inter op defaults when built with MKL to avoid thread oversubscription

* Bump up default mkl inter_op to be less conservative

* Added default OMP settings that are expected to give reasonable performance when using MKL kernels

* Query CPUID for determining number of hyperthreads per physical core on Intel 64 architectures

* Style fixes

* Buildifier and clang-format style fixes

* Removed use of setenv due to concerns about thread safety

Corrected compute_gradient docstring

After testing the tf.test.compute_gradient function with complex inputs,
noticed that the docstring specifies that the real/imag partial derivatives
are in the four corners of a larger matrix, when the result given indicates
they are instead interleaved.

Merge pull request #19386 from smistad/fix-cmake

CMake: fix include error when building with PYTHON_BINDINGS off

Merge pull request #19446 from sarahedkins/fix/python-feeding-function-error

fix(python): ValueError len(dataframe.columns) + 1

Merge commit for internal changes

Make init_scope preserve the inner device stack when lifting into a graph.

Eager execution doesn't implement device stacks and in particular it doesn't support device functions (which determine the device on a per-op basis), so in general it's not possible to do the same when lifting into the eager context.

PiperOrigin-RevId: 197583446

Merge pull request #17025 from kr-ish/numpy_input_fn_none_check

Adds a check for shuffle=None in numpy_input_fn

Merge pull request #19445 from yongtang/05122018-link

Fix incorrect link for nvidia drivers

Merge pull request #19462 from yongtang/05212018-docs-math_ops

Fix discrepancies between doc and implementation for math_ops

Special case the 'dict' call, which trips other mechanisms for built-ins.

PiperOrigin-RevId: 197576297

[TF:XLA] Fix xla_interpreter_device build

PiperOrigin-RevId: 197571618

Contributing guidelines, style guide and README updates

PiperOrigin-RevId: 197564905

Update calls to addPassesToEmitFile

PiperOrigin-RevId: 197564506

Fix a couple of broken links in the Swift For TensorFlow page.

PiperOrigin-RevId: 197564254

Automated g4 rollback of changelist 197527651

PiperOrigin-RevId: 197562826

[XLA:TF] Run buildifier on llvm.BUILD

Buildifier recently started sorting load args
https://github.com/bazelbuild/buildtools/commit/3ac5f85b22bc44820c041d0cacd3bc2ed54e7742 which causes diffs in the output.

PiperOrigin-RevId: 197556554

Fix typo (#19450)

[XLA] Optimize ShapeTree<T>
This optimizes ShapeTree quite significantly. In particular this optimizes for the common case of querying/iterating, copying and moving ShapeTrees.

  * Allocate all ShapeTreeNodes inside a single, owned, vector. This reduces the number of memory allocations and improves cache performance.
  * Instead of storing children nodes as unique_ptrs, store them as indices into the owning container's vector. This allows cheap copy-construction (a std::vector POD copy) and doesn't change the fast path (dereferencing a pointer is just as fast as dereferencing a base + offset).
  * Instead of a unique_ptr<Shape>, use a shared_ptr<Shape>. This removes a load of copy-construction overhead at the cost of a shared_ptr over a unique_ptr (one extra allocation).
  * Instead of computing ShapeIndexes on-demand in the iterators/ForEach*, precompute them during construction time. This adds a few more bytes per ShapeTree, but now we can...
  * ... store a std::pair<ShapeIndex, T> as the ShapeTreeNode's data element. This allows us to provide a std::pair<K,V>&, STL-like interface from iterators without going through any of the previous unique_ptr hacks around storage lifetimes.
  * Because we no longer need to iterate from the beginning to build up the ShapeIndex, we can now offer a ::find() function to return an iterator for a ShapeIndex in O(K) time. As the iteration order is guaranteed to be pre-order, this can be used (and will be, later) to speed up the fast-path of mutating a subtree of a ShapeTree from tf2xla::ExtractSubBuffers.
  * Similarly because we now have a very standard, cheap STL interface with no performance cliffs, we can hopefully improve ShapedBuffer's copy and move constructors to be cheaper.

PiperOrigin-RevId: 197548717

internal change

PiperOrigin-RevId: 197533162

batch_util.h is generally useful so moved to util/ from kernels/ where it will be included in the pip package.

PiperOrigin-RevId: 197532524

convert Pow op into something that is more recognizable, so we can have further
optimizations.

PiperOrigin-RevId: 197527651

Automated g4 rollback of changelist 197487461

PiperOrigin-RevId: 197523867

Unifiy the cuda toolchain definition of gcc/nvcc and cuda-clang.

gcc >= 7 will change how it treats -pie [1]; passing -pie after -shared
on the command line is not possible any more; given that the legacy way to
configure flags in the gcc/nvcc toolchain does not allow control over where
the flags go or how to provide -pie only for linking of binaries, we can
prevent this from breaking in the future by also using the new feature
mechanism for gcc/nvcc.

In addition to moving the gcc-specific workarounds in the toolchain to
cuda_configure.bzl, document them, so we don't need to rediscover them in the
future.

[1] https://gcc.gnu.org/bugzilla/show_bug.cgi?id=77464

PiperOrigin-RevId: 197522719

Enable tpu.rewrite to work on XLA CPU/GPU backends.

PiperOrigin-RevId: 197517946

fix typo

[XLA:GPU] Implement trivial (one-replica) cross-replica-sum on XLA:GPU.

Also fix the CPU implementation to work in the case when there are
multiple operands to the cross-replica-sum op.

PiperOrigin-RevId: 197506311

Merge branch 'master' into fix_typo

Update scan benchmarks to have a range of 16K-128K iterations. As of https://github.com/tensorflow/tensorflow/commit/5802096c267c805f6a69798aac10aefef759bb9f, TensorFlow Eager no longer exhibits quadratic behavior. The benchmark is still ~5x slower in eager mode vs. graph mode, and maybe slightly worse than linear:

n     Graph Time (s)  Eager Time (s)      Ratio
-----------------------------------------------
 16K            0.35             1.8        5.1
 32K            0.64             3.6        5.6
 64K            1.1              7.2        6.5
128K            2.4             14.8        6.2

PiperOrigin-RevId: 197505257

Internal Change

PiperOrigin-RevId: 197503560

fix a bug of the android Makefile for nsync library

NDK doesn't support thread_local variables which require destructors,
so on Android it should use __thread instead.

Observations:
* ProtoBuf and other libraries are not using thread_local on Android.
* In Tensorflow, there's a "thread_local" in code about CUDA,
  which should be safe enough.

More discussions are on https://github.com/android-ndk/ndk/issues/360 .

Internal Change

PiperOrigin-RevId: 197501805

s/tfe.GradientTape/tf.GradientTape/
s/tfe.enable_eager_execution/tf.enable_eager_execution/

PiperOrigin-RevId: 197500751

Improvements to util/nest.py and data/util/nest.py

Changes:
- Add a cache for type -> is_sequence to speed up Flatten/IsSequence
- Update data/util/nest.py flatten to use C Flatten

Before:
entry {
  name: "EagerLinearRegressionBenchmark.eager_train_cpu"
  iters: 2000
  wall_time: 1.91852378845
  extras {
    key: "examples_per_sec"
    value {
      double_value: 66717.9634521
    }
  }
}

After:
entry {
  name: "EagerLinearRegressionBenchmark.eager_train_cpu"
  iters: 2000
  wall_time: 1.74479198456
  extras {
    key: "examples_per_sec"
    value {
      double_value: 73361.1806638
    }
  }
}
PiperOrigin-RevId: 197497854

Adds support for specifying a discovery_service_url (via either a parameter or an environment variable) within TPUClusterResolver

PiperOrigin-RevId: 197494335

Split generated_examples test into multiple test targets

PiperOrigin-RevId: 197490872

Introduce an option to allocate CUDA unified memory

PiperOrigin-RevId: 197490523

[XLA] Two minor style-guide fixups.

- Fix TODO(b/123) style.
- Use a value type rather than an rvalue reference for a "sink" param.

PiperOrigin-RevId: 197489597

fix(python): ValueError len(dataframe.columns) + 1

Make the quantize_and_dequantize op use the full quantized range when possible.

PiperOrigin-RevId: 197487461