Merge pull request #16928 from rongjiecomputer/shapeutil

[MSVC] Use explicit func pointer to static method instead of lambda func

Merge pull request #16945 from yongtang/02122018-keep_dims

Fix some warnings with keep_dims in `tf.contrib.distributions`

Merge pull request #16958 from nfelt/tb-nightly-1.7.0a0

Update tb-nightly dep to >= 1.7.0a0, < 1.8.0a0

Add documentation for s3 usage with TensorFlow (#16923)

* Add documentation for s3 usage with TensorFlow

This fix adds a very priliminary documentation for s3 usage
with TensorFlow, as an attempt to address the comment 11089.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add s3 documentation to index page for deployment.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add left navigation link for s3 docs.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Change example to use tf.data instead of old input style

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Update tb-nightly dep to >= 1.7.0a0, < 1.8.0a0

Merge pull request #16952 from yifeif/branch_185398372

Branch 185398372

Merge commit for internal changes

Add support for scalars in `tf.contrib.all_reduce`.

PiperOrigin-RevId: 185398372

[TF:XLA] Add additional test case for tf.gather.

PiperOrigin-RevId: 185398368

Fix shape inference bug in tensorlist

PiperOrigin-RevId: 185397219

Update bazel version in docker (#16880)

Update `tf.contrib.data` API docstring.

PiperOrigin-RevId: 185392564

ParseNodeName fix.

ParseNodeName was skipping ops that started with an underscore, leading to warnings that input of an op was undefined and stopping grappler optimizations from being run on the graph.

PiperOrigin-RevId: 185388749

Internal Change

PiperOrigin-RevId: 185382594

For debugging purposes, it can be useful to know which ops are considered non-pure / non-constant.

PiperOrigin-RevId: 185371882

[XLA] Support generating tuple shaped fake data in client testing

The previous implementation failed over in case of a tuple shaped input
what broke the replay computation tool for the case where the input is a
tuple.

PiperOrigin-RevId: 185366228

Fix some keep_dims warnings in math_ops_tests

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Fix some warnings with keep_dims in `tf.contrib.distributions`

This fix fixes some warnings with keep_dims in `tf.contrib.distributions`

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Fix warning about keep_dims. keep_dims -> keepdims for tf.reduce_sum(). (#16876)

* Fix warning about keep_dims. keep_dims -> keepdims for tf.reduce_sum().

* fix test failure.

Improve formatting of shapes in tf.losses documentation (#16921)

CMAKE: optionally link to ZLIB as systemlib / shared objects. (#15382)

If the user has ZLIB (and devel pkg) installed at the system
and the user wants to keep using that ZLIB for tensorflow,
the cmake option "-Dsystemlib_ZLIB=ON" will allow to do so.

Another option "-Dsystemlib_ALL=ON" will turn on every
"systemlib_*" options.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Provide more diagnostic shape information in output window error message.

PiperOrigin-RevId: 185331713

Automated g4 rollback of changelist 185233116

PiperOrigin-RevId: 185324160

[TPUEstimator] Automatically detect the TPU system information, including topology for model parallelism.

PiperOrigin-RevId: 185318852

Disable flaky halton_sequence_test

PiperOrigin-RevId: 185294455

[MSVC] Use explicit func pointer to static method instead of lambda func

Add support for kConditional to the module group scheduler.

PiperOrigin-RevId: 185279412

typo fix (#16903)

Copied the new description from docstring on line 37. Used the phrase "spectogram timeslice" rather than "frequency window" for consistency with the tooltip on ```--window_size_ms```.

Fix typo (#16908)

* fit typo

* fix typo

[MSVC] Workaround MSVC template/lambda parsing bug (#16904)

Fix the profiler python docstring link (#16916)

This fix fixes the python docstring link of the profiler:
`profilerg3doc` -> `profiler/g3doc`

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Add S3 plugin to the list of file system plugin in doc (add_filesys.md) (#16920)

This fix adds S3 plugin to the list of file system plugin in
doc (add_filesys.md).

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Getting rid of unnecessary GPUDevice typedef.
Passing DepthwiseArgs by reference in host code.

PiperOrigin-RevId: 185263307

Add python/util/is_in_graph_mode.py

PiperOrigin-RevId: 185260675

Improve shape function of NonMaxSuppression (#16890)

* Improve shape function of NonMaxSuppression

In the docs for `tf.image.non_max_suppression`, the shapes
of the args `boxes` and `scores` are `[num_boxes, 4]` and `[num_boxes]`
respectively.

This fix improve the shape function of NonMaxSuppression so that
`boxes_shape[0] = scores_shape[0] = num_boxes`.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add additional test case for shape function of NonMaxSuppression

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Automated g4 rollback of changelist 185073515

PiperOrigin-RevId: 185246348

Do not convert layout for Select if condition input is of unknown shape.

PiperOrigin-RevId: 185242138

Fix grappler to use CudaGpuId instead of TfGpuId to query device states.

PiperOrigin-RevId: 185233116

Add a test that exhaustively checks Log/Exp/Tanh

PiperOrigin-RevId: 185216684

import_graph_def: support "absolute" names with the C API enabled.

Passing a name with a trailing '/' to import_graph_def causes that
name to be used as-is (i.e. it is not appended to the existing name
scope and not de-duped with any existing name scopes. This is in order
to re-use an existing name scope). This didn't work with the C API
enabled because it was set to always have the C API uniquify the
prefix.

The fix is to not uniquify the prefix, since calling name_scope in
import_graph_def already has the logic to uniquify the prefix if
necessary. I'm not sure why I thought we needed the C API to do this
to being with.

In addition, this changes the graph_constructor.cc logic to uniquify
names if the prefix cannot be guaranteed unique (see the new test case
in graph_constructor_test.cc for why/when this is necessary).

PiperOrigin-RevId: 185215326

[XLA:Tool] Make Hlo parser report the location of the already defined instrucion/computation.

PiperOrigin-RevId: 185213461

[XLA] Implement GeneralDot semantics in HloEvaluator.

Also:
- add a general matmul test, enable interpreter to run dot_operation_test.
- remove now redundant/obselete CHECKS for HandleDot in HloEvaluator.
- improve documentation for DotGeneral a bit.
PiperOrigin-RevId: 185211512

Use x*x instead of x^2 to calculate square in huber loss implementation. The reason is d(x^y)/dy = x^y * log(x) and when x is zero, it becomes NaN. Even if y is constant, the check op would still report failure.

PiperOrigin-RevId: 185208180

Disable flaky spinn_test

PiperOrigin-RevId: 185207742

Add pylint check for W0622 redefined-builtin in ci_sanity.sh and fix existing pylint errors.

PiperOrigin-RevId: 185206494

Add delegate API to tflite.

- Context gets GetNodes, num_nodes and PartitionNodesIntoSubgraphs.
- TfLiteDelegate provides one function that need be implemented
- Delegates choose nodes and those nodes are all compacted into
  a new macro kernel.

PiperOrigin-RevId: 185204338

[XLA] Use a real priority queue in list scheduling

PiperOrigin-RevId: 185201882

Merge pull request #16858 from case540/branch_184929151

Branch 184929151

Recursively creating directories in CreateSummaryFileWriter

PiperOrigin-RevId: 185199219

[tf.data] Remove deprecated `tf.contrib.data.Dataset` class.

This change removes the following class:
* `tf.contrib.data.Dataset`.

IF THIS BREAKS YOU: Replace `tf.contrib.data.Dataset` with `tf.data.Dataset`
when constructing a dataset. Note that you may have to modify downstream
transformations to use the core API. See "tensorflow/contrib/data/README.md" for
details of how to update your code to use the core API.

PiperOrigin-RevId: 185197005

Use TFLite CocoaPod in iOS Simple Demo app

PiperOrigin-RevId: 185196984

Remove header dependence on cuda_config.h to fix opensource custom op support.
Fixes #14454
Fixes #12860

PiperOrigin-RevId: 185194924

Fix read_variable_op GPU test

PiperOrigin-RevId: 185194768

Enabled XLA for TF C API.

Summary of changes:

1. Set MarkForCompilationPassFlags::tf_xla_cpu_global_jit default to true in
C_API unit test env when XLA-execute is intended. Together with setting session
config config.graph_options.optimizer_options.global_jit_level to > 0, this
turns on XLA for the entire graph (eligible nodes only, with _Arg and _RetVal
nodes excluded).

We decided against defaulting MarkForCompilationPassFlags::tf_xla_cpu_global_jit
to true, due to performance concerns with the single-threaded nature of the XLA
CPU backend (see
https://www.tensorflow.org/performance/xla/jit#turning_on_jit_compilation).

2. In FindCompilationCandidates() during MarkForCompilationPass, skip compiling
any '_Arg'-typed nodes. This is necessary to avoid hitting a "Invalid argument
number" error during MarkForCompilationPass.

3. Extended C API based build rules to link in XLA libraries, and added unit
test "CAPI.Session_Min_XLA_CPU".

Also added some misc improvements and debugging aids.

PiperOrigin-RevId: 185193314

Make import_graph_def add default attr values with the C API enabled.

It turns out that the original Python code modifies the graph_def argument
to add default attr values. I'm not sure if the behavior is covered by
our API guarantees since it's not documented, but let's keep the behavior
consistent for now.

PiperOrigin-RevId: 185193037

TEST:  test of kernel_results added to hmc_test.py
PiperOrigin-RevId: 185191871

Removes const qualifier from ListWorkers

PiperOrigin-RevId: 185190346

Update llvm revision to r324720. This is needed because r324700 introduces an Orc API change.

PiperOrigin-RevId: 185185088

Fixes issue with tfe.make_template when function objects don't have names

PiperOrigin-RevId: 185181846

Split gpu_id.h and GpuIdManager out from build target //tensorflow/core:gpu_runtime, to reduce the size of dependencies, so when other lightweight libraries like grappler utils needs the TfToCudaGpuId translation function it doesn't need to depend on things like stream executor and cuda libraries.

PiperOrigin-RevId: 185175757

[XLA] Add a test for reduce window with large minor dimension.

PiperOrigin-RevId: 185175593

Add dynamic_rnn support for CloudTPU Magenta RNN

PiperOrigin-RevId: 185169370

Simplify and extend the management of input-conditional losses and updates.

Instead of keeping track of dependencies manually, we rely on the TF graph structure to find dependencies. The resulting implementation is cleaner and more robust.

This does not change any existing behavior. It extends the current behavior by allowing `get_updates_for(inputs)` and `get_losses_for(inputs)` to be called from *any* tensors upstream of the layer, not just the immediate layer's inputs.

PiperOrigin-RevId: 185168680

Fix lint warnings. NFC

PiperOrigin-RevId: 185167035

Add export calls for protos.

PiperOrigin-RevId: 185166764

Remove the unneeded "tf" argument for utility functions.

PiperOrigin-RevId: 185166507

Fix some doc strings that were accidentally removed.

PiperOrigin-RevId: 185164375

  regression_head accepts link_fn as parameter, so the use can use self defined link fn

PiperOrigin-RevId: 185161896

TFTS: Better handling of exogenous features

Adds (dummy) exogenous features to the LSTM model-building example, and adds some small methods needed to support that (fetching the shape of embedded exogenous features).

Also makes it more automatic to export a SavedModel with exogenous features (placeholder shapes will be inferred from the given FeatureColumns), which makes the LSTM example friendlier.

PiperOrigin-RevId: 185157085

TFTS: Add exporting to SavedModel to the LSTM example

Was previously not using a state manager, which among other issues prevented
exporting.

Fixes #16590.

PiperOrigin-RevId: 185150900

Update for LLVM API change r324700

PiperOrigin-RevId: 185149198

Comment update.

PiperOrigin-RevId: 185141668

Only convert format if input is of layout-agnostic type.

PiperOrigin-RevId: 185103227

Add tf_export decorators back to gen_*_ops.py files.

PiperOrigin-RevId: 185075262

Extended the Halton sequences to support randomization. Implemented the randomization scheme described in arXiv:1706.02808.

PiperOrigin-RevId: 185073515

Automated g4 rollback of changelist 185006374

PiperOrigin-RevId: 185072479

Fix bug in checkpointing DT_VARIANT tensors.
Also add an integration test that runs and checkpoints multiple input pipelines in one graph.

PiperOrigin-RevId: 185071397

Improve the flow to build TFLite iOS demo app

PiperOrigin-RevId: 185069356

Add our own "global step" called quantization_step to avoid needing to reset the global step before running the graph rewrite.

PiperOrigin-RevId: 185068631

Allow C64 infeeds.

PiperOrigin-RevId: 185068327

Make SavedModelTest.testStripDefaultAttrsInconsistentConsumerDefaults work with C API.

The test originally altered the Python version of the op registry,
which is not reflected in the C API. This changes the test to alter
the serialized node def instead of the op def, and renames the test to
testInconsistentConsumerDefaultAttrs.

PiperOrigin-RevId: 185067838

Changes behavior of optimizer.minimize(loss) when loss is a function.

Now supports both eager and graph mode, and loss is always a callable
with no arguments. Supports variables and non-variables in var_list.

PiperOrigin-RevId: 185063691

Adding tf_export decorators/calls to TensorFlow functions and constants.

PiperOrigin-RevId: 185062323

Update fake quant op to support bitwidths in the range 2 to 16, from 2 to 8.

PiperOrigin-RevId: 185061307

Object based saving prototype: create ResourceVariables directly by default.

This avoids variable reuse errors when building a graph. Where necessary for compatibility, we can still use get_variable.

PiperOrigin-RevId: 185060891

Add memory usage report to cost analyzer tool; run all default optimizations.

PiperOrigin-RevId: 185058999

Add more vlogging to op level estimator.

PiperOrigin-RevId: 185058989

[TF contrib RNN] Expose some rnn classes and functionality in contrib.

PiperOrigin-RevId: 185057994

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 185057233

Add a _TensorProcessor for computing gradients but not applying them.

PiperOrigin-RevId: 185056764

Updated API for quantize_graph: Programmable quant_delay to determine start of quantization in training.
Remove delay_requested parameter in _InsertQuantOp, presence or absence of quant_delay
is directly inferred from value of quant_delay. Any positive value causes insertion of
delayed quantization into the graph.

Experimental APIs for quantization with more programmability, including bitwidths for weights and activations.

PiperOrigin-RevId: 185056081

Adding tf_export decorators/calls to TensorFlow functions and constants.

PiperOrigin-RevId: 185055497

Update ops-related pbtxt files.

PiperOrigin-RevId: 185052000

Updates to fastpath execution code

- Add default value shape handling
- Add default value func handling (including adding a new function for this in
  the eager C API)
- Update callback execution interface to match record_gradient call

PiperOrigin-RevId: 185051447

Object-based saving prototype: allow only named edges

Simplifies the logic a bit, and removes one source of potential checkpoint
incompatibilities.

Classes like Sequential which need anonymous references to other objects may
generate string names containing numbers.

PiperOrigin-RevId: 185050714

Don't fail if control dependency is on an input of the function.

PiperOrigin-RevId: 185049319

Adding tf_export decorators/calls to TensorFlow functions and constants.

PiperOrigin-RevId: 185044705

Prototype object-based save/restore syntax sugar

- Overrides __setattr__ to allow implicit dependencies
- Supports any valid Python 2 identifier as a Checkpointable dependency name (was messing with underscore prefixes)

PiperOrigin-RevId: 185044022

Plumbs a variable from the batching function decorator to the queue depth control option in the underlying BatchingQueue. It defaults to 10 if not set, which was the original default value in the BatchingQueue options struct.

PiperOrigin-RevId: 185043844

Internal functional _If and _While ops.

PiperOrigin-RevId: 185042663