Merge pull request #20203 from alextp/cherrypicks_GUVCA

Add a single positional argument mode for shape inference in subclass…

Merge pull request #20204 from mrry/choose_pr

1.9.0rc2 cherry-pick request: [tf.data] Properly export `choose_from_datasets()`

[tf.data] Properly export `tf.contrib.data.choose_from_datasets()`

PiperOrigin-RevId: 201371642

Add a single positional argument mode for shape inference in subclassed Models.

Allows fit() when call's signature looks something like call(x, training=True).

Calling conventions are "inputs", single positional, and multiple positional. Right now the distinction between "inputs" and single positional calling conventions is the text of one error message. Both support shape inference (which just hasn't been implemented for multiple positional input arguments yet).

PiperOrigin-RevId: 198815483

Merge pull request #20195 from case540/cherry_pick_pip_external_fix

Move external/ directory in pip package.

Move external/ directory in pip package.

Moving external/ directory in the pip packages (which is currently
installed directly into site-packages directory). Moving the
directory to tensorflow/include/external/. Also, removing all
python files from external (since it should really only contain
headers and license files.)

Merge pull request #20130 from saeta/tfgcs3

[GCS] Typo in ConfigureGcsHook.

[GCS] Typo in ConfigureGcsHook.

This commit fixes a typo on ConfigureGcsHook that prevented its correct
operation.

Add missing Eager relnotes for TensorFlow 1.9. (#20101)

Merge pull request #20097 from MarkDaoust/fix_keras_guide

r1.9 cherry-pick request: Fix keras guide (docs only)

Copy edits to Keras guide, formatting, moving some things around.
Make the right TOC nav more useful.

PiperOrigin-RevId: 199863216

Merge pull request #20020 from case540/version_string_update_19rc1

Update version strings for 1.9.0-rc1.

Update version strings for 1.9.0-rc1.

Merge pull request #19976 from guillaumekln/cherry-pick-best-exporter-fix

BestExporter cherry-pick request for r1.9: Only calls compare function if values were read from event file

Merge pull request #20002 from saeta/tf19gcs2

Make GCS ops work in open source

Merge branch 'r1.9' into cherry-pick-best-exporter-fix

Update the docs and api_def.

Make GCS ops work in open source

Merge pull request #19999 from akshaym/cherrypicks_34G4G

r1.9-rc1 cherry-pick request: bugfix/memory leak fix

Merge pull request #19997 from MarkDaoust/keras_save_load_fix

r1.9-rc1 cherry-pick request: Keras save_weights fix

Remove memory leak in read variable call, and record gradient call.

Fix #19385

PiperOrigin-RevId: 200132949

Don't call back into python during insert (which will leave the set in a broken condition if the runtime decides to let another thread run).

Thank you for finding the bug. The watched_variables_ set should not really require a lock since all our functions hold the GIL (verified by looking at the generated SWIG). The reason that there was a concurrent access to the set is that the insert was calling back into python (which might release the GIL and let another thread run, which will also attempt to insert a variable and break the set).

I included the lock to be safe though, since its non-trivial to verify without looking at the generated swig wrappers that the GIL is held.

PiperOrigin-RevId: 200074843

Use the Keras session for saving/loading in TensorFlow format

Fixes issues when there's no default session

PiperOrigin-RevId: 200088574

Merge pull request #19994 from nfelt/tensorboard-1.9

Update tensorboard dependency to 1.9.x

Merge pull request #19963 from saeta/r1.9clusterresolver

Check to ensure the Cloud TPU is ready before resolving.

Merge pull request #19960 from annarev/cherrypicks_NHLZ4

r1.9-rc1 cherry-pick request: Fix module docstrings

Merge pull request #19867 from MarkDaoust/cherrypicks_613QM

1.9-rc0 cherry-pick request: Keras symbol visibility, and `Dataset` evaluation fixes.

Merge pull request #19977 from petewarden/r1.9

r1.9-rc2 cherry-pick request: Documentation for Raspberry Pi installation

Documentation for Raspberry Pi installation

Update tensorboard dependency to 1.9.x

Check to ensure the Cloud TPU is ready before resolving.

Cherry picking this into the TF 1.9 release.

PiperOrigin-RevId: 200095692

Previous commit: 32c8013f0ab3feb139648ae759e2d0168fb5dc95

Remove unused tf_export import

Merging

Merge branch 'r1.9' into cherrypicks_613QM

Merge pull request #19925 from shizhiw/cherrypicks_I1PZP

release 1.9-rc1 cherry-pick request: opt out of saving tpu graph

Allow user to opt out of saving metagraph for TPU with TPUEstimator.export_output().

PiperOrigin-RevId: 198944144

In TPUEstimator.export_savedmodel(), if saving TPU metegraph fails, issue a warning instead so that user can still use the CPU metagraph.

PiperOrigin-RevId: 198458571

TPUEstimator.export_savedmodel() saves a SavedModel with both TPU and CPU graphs.

PiperOrigin-RevId: 198229550

Only calls compare function if values were read from event file

PiperOrigin-RevId: 199373169

Fix bug due to incorrect nesting of return statement in eager iterator evaluation.

PiperOrigin-RevId: 199645638

Add various missing aliases for symbols in tf.keras submodules.

PiperOrigin-RevId: 199198086

Fix visibility for tf.keras.__version__

PiperOrigin-RevId: 199161696

Merge pull request #19866 from caisq/r1.9-patch

Update RELEASE.md (r1.9) for tfdbg and XLA

Update RELEASE.md (r1.9) for tfdbg and XLA

Merge pull request #19841 from tensorflow/mrry-patch-1

Consolidate `tf.data` release notes.

Consolidate `tf.data` release notes.

Merge pull request #19820 from av8ramit/fix_setuptools4

Adding a constraint for the setuptools version.

Removing the force downgrade install.

Adding a constraint for the setuptools version.

Merge pull request #19819 from av8ramit/fix_setuptools3

Force downgrade setuptools for tests after tf whl is installed.

Force downgrade setuptools for tests after tf whl is installed.

Merge pull request #19818 from av8ramit/setuptools_fix2

Fixing the setuptools issue for pip builds.

Fixing the setuptools issue for pip builds.

Merge pull request #19817 from av8ramit/fix_cross_tower_ops

Iteritems is deprecated in python 3. Using items instead.

Merge pull request #19815 from av8ramit/fix_operator2

Update __init__.py

Iteritems is deprecated in python 3. Using items instead.

Update __init__.py

Whitelist the operators module in the main library.

Merge pull request #19793 from av8ramit/add_auto

Adding the autograph operators dependency to the pip package.

Adding the autograph operators dependency to the pip package.

Merge pull request #19788 from av8ramit/cherrypicks2

Cherrypicks2

Making setuptools the last install to ensure it's accurate.

Change order of installations.

Fixing line too long.

Fixing the adamax_test rtol to be more lenient.

contrib/eagerpython/datasets: Resource naming workaround.

tensorflow/contrib/eager/python/datasets_test.py was failing on GPU
because two tests - testTensorsPlacedOnDevice() and
testTensorsExplicitPrefetchToDevice() we're creating
FunctionBufferResources with the same shared_name, leading to
unintentional interference.

This change will make the tests pass and allow the use of
tf.contrib.eager.Iterator and
tf.data.Dataset.apply(prefetching_ops.prefetch_to_device)
in the same process without interference.

However, a more appropriate fix would probably be to use
anonymous function buffering resources (similar to
AnonymousIteratorHandle) when eager execution is enabled,
doing away with sharing by name.

Merge pull request #19702 from av8ramit/relnotes_19b

Updating release notes for r1.9.

Merge branch 'r1.9' into relnotes_19b

Fixing raspberry pi file for conflict.

Fix Python API.

PiperOrigin-RevId: 199171845

Fix test user ops

PiperOrigin-RevId: 199171316

Remove use of absl::make_unique

absl is not yet ready for use by open source TensorFlow. :-(

PiperOrigin-RevId: 198952953

Merge branch 'relnotes_19b' of github.com:av8ramit/tensorflow into relnotes_19b

I've made the updates Rajat requested. Please note the links will not work until after we have launched.

Merge branch 'r1.9' into relnotes_19b

Merge pull request #19703 from av8ramit/update_version_190_rc0

Updating version for 1.9.0-rc0.

Updating version for 1.9.0-rc0.

Updating release notes for r1.9.

Merge pull request #19680 from case540/branch_198811639

Branch 198811639

Finished incomplete support for bad usernames in the CI build scripts. ci_build.sh now passes the environment variable to the container, and the with_the_same_user script adds the --force-badname param to addgroup as well. (#19699)

Fix import depth issue.

Potential fix to layout_optimizer_test.py

BUILD: dont force stripping (#19599)

* BUILD: dont force stripping

Build systems must not strip binaries, it makes it impossible for
distros to ship debugging symbols for packages.

bazel build has a --strip option to allow the user to generate stripped
binaries in a configurable way, that should be used instead.

https://fedoraproject.org/wiki/Packaging:Debuginfo
https://wiki.gentoo.org/wiki/Project:Quality_Assurance/Backtraces#Stripping

Signed-off-by: Jason Zaman <jason@perfinion.com>
* configure: add --strip=always to bazelrc

Add new line to make buildifier happy

Merge branch 'master' into branch_198811639

Fix sanity issues.

docker: update cuDNN to 7.1.4.18 (#19636)

Signed-off-by: Felix Abecassis <fabecassis@nvidia.com>

Manual roll back of PR #19443, because it causes the Raspberry Pi build to fail (#19678)

Fix lite.py Python TypeError.

Merge commit for internal changes

Make the TFOptimizer wrapper checkpointable.

TensorFlow Optimizers compiled with a Model will now have their state saved and restored with save_weights/load_weights.

PiperOrigin-RevId: 198811639

Automated g4 rollback of changelist 198803131

PiperOrigin-RevId: 198810875

Throw a more informative error message when checkpointing an input pipeline
containing a ShuffleDataset with reshuffle_each_iteration=True.
This is a temporary fix till we figure out how to handle this use-case.

PiperOrigin-RevId: 198805344

[XLA] Fix handling of CustomCall's window and dnums.

CustomCall can have a window and convolution-dimension-numbers, so
HloInstruction needs to handle this in Clone() and Identical().

PiperOrigin-RevId: 198805211

[tf.data] Update `DatasetBase::DebugString()` to be const in the docs.

PiperOrigin-RevId: 198805143

Mark tensorflow/contrib/learn:estimator_test as optonly because it is flaky due to timeouts without optimization.

PiperOrigin-RevId: 198804880

[TF:XLA] Preliminary support for tpu.replicate() inside of TF control flow (such as tf.while_loop()).

Register the remaining control-flow operators on XLA devices.

PiperOrigin-RevId: 198803131

[XLA] Fix batchnorm rewriter to not use implicit broadcasts. Algebraic
simplifier reshape change is now covered by ReshapeMover.

PiperOrigin-RevId: 198802494

Handle FilterLayout::kOutputYXInput in FilterDescriptor::ToShortString.

This fixes an error when running resnet50_batch128_fp16 with --v=2.

PiperOrigin-RevId: 198798196

Edited the landing page for the Performance section. Reorganized content and removed references to content that is being deleted.

PiperOrigin-RevId: 198797662

[tf.data] Reflect `MakeIterator` signature change in documentation.

PiperOrigin-RevId: 198797254