Merge branch 'r1.9' into relnotes_19b

Merge pull request #19703 from av8ramit/update_version_190_rc0

Updating version for 1.9.0-rc0.

Updating version for 1.9.0-rc0.

Updating release notes for r1.9.

Merge pull request #19680 from case540/branch_198811639

Branch 198811639

Finished incomplete support for bad usernames in the CI build scripts. ci_build.sh now passes the environment variable to the container, and the with_the_same_user script adds the --force-badname param to addgroup as well. (#19699)

Fix import depth issue.

Potential fix to layout_optimizer_test.py

BUILD: dont force stripping (#19599)

* BUILD: dont force stripping

Build systems must not strip binaries, it makes it impossible for
distros to ship debugging symbols for packages.

bazel build has a --strip option to allow the user to generate stripped
binaries in a configurable way, that should be used instead.

https://fedoraproject.org/wiki/Packaging:Debuginfo
https://wiki.gentoo.org/wiki/Project:Quality_Assurance/Backtraces#Stripping

Signed-off-by: Jason Zaman <jason@perfinion.com>
* configure: add --strip=always to bazelrc

Add new line to make buildifier happy

Merge branch 'master' into branch_198811639

Fix sanity issues.

docker: update cuDNN to 7.1.4.18 (#19636)

Signed-off-by: Felix Abecassis <fabecassis@nvidia.com>

Manual roll back of PR #19443, because it causes the Raspberry Pi build to fail (#19678)

Fix lite.py Python TypeError.

Merge commit for internal changes

Make the TFOptimizer wrapper checkpointable.

TensorFlow Optimizers compiled with a Model will now have their state saved and restored with save_weights/load_weights.

PiperOrigin-RevId: 198811639

Automated g4 rollback of changelist 198803131

PiperOrigin-RevId: 198810875

Throw a more informative error message when checkpointing an input pipeline
containing a ShuffleDataset with reshuffle_each_iteration=True.
This is a temporary fix till we figure out how to handle this use-case.

PiperOrigin-RevId: 198805344

[XLA] Fix handling of CustomCall's window and dnums.

CustomCall can have a window and convolution-dimension-numbers, so
HloInstruction needs to handle this in Clone() and Identical().

PiperOrigin-RevId: 198805211

[tf.data] Update `DatasetBase::DebugString()` to be const in the docs.

PiperOrigin-RevId: 198805143

Mark tensorflow/contrib/learn:estimator_test as optonly because it is flaky due to timeouts without optimization.

PiperOrigin-RevId: 198804880

[TF:XLA] Preliminary support for tpu.replicate() inside of TF control flow (such as tf.while_loop()).

Register the remaining control-flow operators on XLA devices.

PiperOrigin-RevId: 198803131

[XLA] Fix batchnorm rewriter to not use implicit broadcasts. Algebraic
simplifier reshape change is now covered by ReshapeMover.

PiperOrigin-RevId: 198802494

Handle FilterLayout::kOutputYXInput in FilterDescriptor::ToShortString.

This fixes an error when running resnet50_batch128_fp16 with --v=2.

PiperOrigin-RevId: 198798196

Edited the landing page for the Performance section. Reorganized content and removed references to content that is being deleted.

PiperOrigin-RevId: 198797662

[tf.data] Reflect `MakeIterator` signature change in documentation.

PiperOrigin-RevId: 198797254

[tf.data] Mark DebugString() as const.

By marking DebugString() as const we can make some error messages more descriptive. Because DatasetIterator marks the return value of the dataset() function const, DebugString() cannot be called.

PiperOrigin-RevId: 198796894

Fixed Python API.

PiperOrigin-RevId: 198795738

Add utility for converting FunctionDef to GraphDef and _FuncGraph.

PiperOrigin-RevId: 198795625

[XLA:GPU] Specify cudnn conv algorithm via backend_config.

Gets rid of the tricky algorithm/use-tensor-cores operands to cudnn
convolution customcalls, using instead a backend_config.

PiperOrigin-RevId: 198794988

Fix one comment in prefetch_autotuner_test.cc.

PiperOrigin-RevId: 198794897

Putting stubs for function shape inference interface

PiperOrigin-RevId: 198794845

Add warning for gcs_config_ops

PiperOrigin-RevId: 198793502

Refactoring: Extract CombineHashes function into a shared module
PiperOrigin-RevId: 198793295

[XLA] Check for identical backend configs in HloInstruction::Identical.

PiperOrigin-RevId: 198789495

Move reorder-cast-and-transpose optimization to optimization stage.

PiperOrigin-RevId: 198788352

Internal change.

PiperOrigin-RevId: 198787391

Similar to cr/188652533, specify the `maximum_iterations` to tf.while_loop in tf.map_fn to be compatible with XLA.

PiperOrigin-RevId: 198786266

Write checkpoint path of evaluated checkpoint to the event file.

PiperOrigin-RevId: 198783364

Expose the ExponentialMovingAverage name as a public property.

PiperOrigin-RevId: 198782348

Mark XLAShapeForArgument as const.

PiperOrigin-RevId: 198778945

Move RemodeRedundantReshape optimization to a separate stage.

PiperOrigin-RevId: 198775276

Add attributes to TFLite Python API.

PiperOrigin-RevId: 198774775

[tf.data] Changing signature of `MakeIterator` to enable propagating error status.

PiperOrigin-RevId: 198772254

More eager notebooks.

PiperOrigin-RevId: 198768912

Moving generated API to tensorflow/.

PiperOrigin-RevId: 198767512

Add profiling statistics to benchmark.

PiperOrigin-RevId: 198767297

Fix links in the TensorFlow Security Advisories

PiperOrigin-RevId: 198762795

Making the tf.name_scope blocks related to the factor and weight vars configurable. By default they will not be scoped.

PiperOrigin-RevId: 198759754

RuntimeShapes class: minor tweak to fix builds.

PiperOrigin-RevId: 198755870

Merge pull request #19419 from perfinion/pip_package

pip_package: modularize build script to allow distros to install more flexibly

Merge pull request #19597 from perfinion/pkgconfig

generate-pc.sh: add option to set libdir

[XLA] Make HloInstruction::backend_config() a JSON-encoded protobuf.

PiperOrigin-RevId: 198754463

[XLA] Redesign: delete computation_tracker and user_computation.

PiperOrigin-RevId: 198743117

Initial implementation of a few of the list-specific operators.
This introduces an abstraction for a dispatch context, which allows passing local information through to the specialized operators.

PiperOrigin-RevId: 198742074

Build libtensorflow.so and libtensorflow_framework.so for Raspberry Pi. (#18892)

Suppress generation of the proto API's descriptor() method, it conflicts with the field name.

PiperOrigin-RevId: 198739727

Introduce runtime shape class.

PiperOrigin-RevId: 198739017

Merge pull request #19652 from samikama/WiringIssues

Fix TRT Node rewiring

Another handle_data fix for graph-mode functions.

PiperOrigin-RevId: 198734229

Cleanup: update continue_statements.py to use the base transformer facilities for tracking local state and reindenting node blocks. Rearrange the error handling in base transformer to avoid chained exceptions.

PiperOrigin-RevId: 198727946

Standardize shifts in multiplication util functions.

PiperOrigin-RevId: 198725578

Make GraphConstructor create nodes in the same order as the GraphDef.

While technically the order of the created nodes doesn't matter, this
makes viewing and debugging graphs more sensible.

Fixes #19594.

PiperOrigin-RevId: 198721173

[tf.data] Scaling down the `batch_dataset_op_test`.

PiperOrigin-RevId: 198715407

implementation of sparse_to_dense

PiperOrigin-RevId: 198710452

[XLA] Redesign: delete the old service interface.
- Computation
- ComputeConstant
- Execute
- ExecuteAsync
- ExecuteParallel
- GetComputationStats
- GetComputationShape
- GetLocalShape
- IsConstant
- LoadComputationSnapshot
- Op
- SetReturnValue
- SnapshotComputation

PiperOrigin-RevId: 198669035

Improve ReshapeIsIdentity to work with symbolic shapes.

For example, with this CL, ArithmeticOptimizer can optimize the Reshape below
into a no-op.

  s = Shape(t)
  Reshape(t, Concat(s[0], s[1], s[2], s[3]))

PiperOrigin-RevId: 198668726

Add GCS_READ_CACHE_DISABLED explicit env var to GcsFileSystem

PiperOrigin-RevId: 198658074

Merge pull request #19591 from candyzone/master

Fix typo

Merge pull request #19655 from gunan/setuptools

Fix setuptools version to avoid a bad release.

Add a subclassed Model's attribute-assigned variables to Model.weights et al

Makes the Variable.trainable property public, which is sensible if we're discouraging use of the global collection (currently eager execution is using ResourceVariable._trainable in a bunch of places anyway). I'm leaving it read-only for now, since we should toggle in and out of the global collection when it changes.

Same change for checkpointable data structures with respect to gathering extra variables. They'll behave like subclassed Models.

I think this makes more sense than trying to have a distinction between "variables" and "weights". It's also more sensible than collecting everything that would get checkpointed, since that will include Optimizer slot variables and metrics. Collecting those is generally pointless, and accidentally adding them to gradient tapes would be horribly confusing.

PiperOrigin-RevId: 198656079

Automated g4 rollback of changelist 195379693

PiperOrigin-RevId: 198654780

Expose xla_disable_hlo_passes via ExecutableBuildOptions.

PiperOrigin-RevId: 198654099

Remove code returning bad status when the input pointer is nullptr in internal
functions. That should be a programmatic error and we have full control of
internal functions, so it is OK to crash if error happens.

PiperOrigin-RevId: 198651749

[XLA] Add parsers for Window and ConvolutionDimensionNumbers.

Also modify relevant ToString functions so we can have the property
Parse(ToString(x)) == x.

PiperOrigin-RevId: 198650340

Enable TOCO pip command line binding.

PiperOrigin-RevId: 198649827

Fix bug with renorm + virtual_batch_size.

PiperOrigin-RevId: 198648273

[XLA] Switch replay_computation to use LocalClient.

This lets replay_computation build an executable once and run it
multiple times.  This is particularly important because in XLA:GPU, the
first run of an executable does some autotuning and therefore is
unrepresentative.

This change removes --xla_hlo_profile_last_run, because I don't see how
to support it in LocalClient -- LocalClient wants the do-profile bit to
be set when we *compile*.  (There may not be an easy fix for this; it
worked with regular Client because we were recompiling every time we
ran.)

PiperOrigin-RevId: 198643577

[TF:XLA] Bump open source llvm revision to r333547

PiperOrigin-RevId: 198642698

Regard a path as a directory if it ends with "/" in GCS. This implies the assumption that if a real GCS object has file name ending with "/", it is always a directory mark rather than an object carrying actual contents.

PiperOrigin-RevId: 198640604

Merge pull request #19654 from case540/branch_198629366

Branch 198629366

Always delete old while loop after LICM

Right now the old while loop can stick around if it had side effects, which is
incorrect.

PiperOrigin-RevId: 198639203

Add SerialDeviceBatchScheduler which offers similar performance as the AdaptiveSharedBatchScheduler, but increased reliablility and stability.

ASBS assumes request latency can be minimized at a specific number of batch processing threads. Under reasonable load, this is true and ASBS performs well, but under low load latency is basically unaffected by the number of threads, and ASBS can learn a wide variety of 'optimal' values.  If load resumes suddenly, these values can give very poor latencies.  In most cases, ASBS will recover, eventually rediscovering the correct value, but we have observed other cases where the latency is so large and noisy that ASBS can't get a good signal to guide its learning and the number of threads remains stuck at the bad value.

In addition, the incremental learning nature of this algorithm means that ASBS is always exploring to some extent, which can give rise to periods of non-optimal latency. This is most significant at high utilization where the wrong number of threads can potentially overload the system.

ASBS uses latency as a proxy for keeping the tensorflow processing pipeline optimally loaded. SDBS, on the other hand, uses a direct measurement of the pipeline fullness, and adjusts its number of batch processing threads accordingly. This solves the exploration problem. SDBS solves the low load problem by not adjusting its thread count when the threads pass some idleness threshold.

PiperOrigin-RevId: 198638918

Add a convenience function, build_supervised_input_receiver_fn_from_input_fn,
that takes an Estimator input_fn and returns an input receiver function.

PiperOrigin-RevId: 198638593

Automated g4 rollback of changelist 198444757

PiperOrigin-RevId: 198637528

Makes empty() support uint8 on cpu.

PiperOrigin-RevId: 198634986

Fix setuptools version to avoid a bad release.

Remove environment variable to disable C API.

This is staging for removing the _USE_C_API toggle altogether.

PiperOrigin-RevId: 198634886

Makes most variable writes depend on the cached value.

This disallows some undefined behavior with unordered reads and writes.

PiperOrigin-RevId: 198633444

Add HloProto support to replay_computation

PiperOrigin-RevId: 198631733

Merge commit for internal changes

Avoid recursion in ExpandDomain() as stack is not happy.

PiperOrigin-RevId: 198629366

Add kwargs support for tpu.outside_compilation

PiperOrigin-RevId: 198625799

Move RemoveInvolution optimization to optimizer stage.

PiperOrigin-RevId: 198624394

Add GCS configure ops.

PiperOrigin-RevId: 198624285

Review changes

Merge pull request #19633 from yifeif/branch_198434814

Branch 198434814

Add `fill_triangular_inverse`, which flattens a triangular matrix in a way such that:
# Lower triangular matrix
x = tf.matrix_band_part(x, -1, 0)
x == fill_triangular(fill_triangular_inverse(x))
Code by srvasude@ which I'm submitting on his behalf.

PiperOrigin-RevId: 198623887

Add control dependencies to the correct graph when simplifying packing ops.

PiperOrigin-RevId: 198622727