refine unit test case coding style and move _should_add_regularizer function into add_weight

refine by using iterator of partitioned variable

fix bug of declaring regularization loss mutiple times when reusing partitioned variables in tf.layers

Enabling support for S3 and Google Storage for the MKL Docker image. (#19039)

Fix typos (#18475)

Add go_package to proto definition files (#17262)

* Add go_package to proto definition files

This fix tries to address the issue raised in 16282 by
add go_package to proto files, so that generated go files
have correct path.

This fix fixes 16282.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add go_package to proto definition in tensorflow/core/framework

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add go_package to proto definition in tensorflow/core/example

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add go_package to proto definition in tensorflow/core/example

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Merge pull request #18909 from samikama/optimization_pass

Optimization pass and Memory allocator integration

Fix breaking tests

Merge pull request #19030 from annarev/copy_modules_before_iterating

Copy module list before iterating over it

Copy module list file in the while statement instead of creating a new variable

Merge pull request #19031 from smitshilu/patch-3

command Typo

command Typo

Copy module list before iterating over it. Also, import python module for clarity

Fix formatting and linter issues

Fix Makefile to not use benchmark anymore (switch to minimal) (#19019)

Minimal uses nothing and does almost nothing, but it does nothing
requiring protos or rest of tensorflow runtime.

Benchmark_model originally was more like this, but it became
useful for actually benchmarking, making it less useful as a minimal
example.

Merge pull request #19025 from caisq/branch_195061425

Branch 195061425

Merge pull request #18989 from ctiijima/fix-benchmarks.md

Grammar fixes in BENCHMARKS.md

Merge branch 'master' of https://github.com/tensorflow/tensorflow into optimization_pass

Allow tfdbg mouse down scroll in curses UI (#18942)

* Allow tfdbg mouse down scroll in curses UI

This commit allows users to continuously scroll the screen when the mouse
is held down on the scroll bar when using the curses UI.

* Only allow click-hold scrolling on scroll bar arrows

Reverting changes from 495d511 that break install_pip_packages.sh in Ubuntu 16.04 containers, causing nightly mkl ci builds to fail. (#18888)

Fix string issue for temp_export_dir (#18951)

* Fix string issue for temp_export_dir

Merge commit for internal changes

BUGFIX: Convert inputs and list of gradients into tuple if they are not instance of tuple. Otherwise this causes "unhashable keys" error when we try to hash.
Also fixed lint error.

PiperOrigin-RevId: 195061425

Add missing colocated element in test in buffer_assignment_test.
This was resulting in a flaky test because sometimes the live set would include this missing colocated element perhaps because the buffers in the allocation has some nondeterministic order (read from a map?).

PiperOrigin-RevId: 195039311

Minor refactor: establish some operator naming conventions and apply them, so that the interface is a bit more consistent.

PiperOrigin-RevId: 195034691

Make the CRF work when sequence_lengths are int32.

PiperOrigin-RevId: 195034218

[XLA:CPU] Re-use the same llvm::GlobalVariable for identical literals

This isn't necessary today, but it will be after an optimization change I'm
about to make.

LLVM has a constant merging pass too, but one of the motivations here is to
avoid the LLVM compile time overhead of having many large arrays in the IR.

PiperOrigin-RevId: 195032900

Internal change

PiperOrigin-RevId: 195028221

Internal change.

PiperOrigin-RevId: 195027918

Re-apply CL 194140820, which reverts #18251 (convolution change).

PiperOrigin-RevId: 195027049

test fix

PiperOrigin-RevId: 195023740

Merge pull request #18730 from joel-shor/master

[tf.data] Check in a strictly faster rejection resampling transformation.

Sharding for tensorflow/contrib/timeseries/python/timeseries/state_space_models:structural_ensemble_test

PiperOrigin-RevId: 195019968

Fix wrongly ordered lines

PiperOrigin-RevId: 195019769

Avoid making a copy of the graph needlessly

PiperOrigin-RevId: 195017837

Adds logistic_regression_head.

PiperOrigin-RevId: 195017830

Check for overflow in shape calculation.

PiperOrigin-RevId: 195017114

Allow `warm_start_from` argument to be a SavedModel path.

PiperOrigin-RevId: 195015356

[TF:XLA] Separate on-host and on-device shape and layout in HloModule.

Previously, only one layout was stored with an HLO module. This CL allows
HLO passes to modify the on-device layouts without affecting the on-host
layout (provided by the client)

PiperOrigin-RevId: 195014875

[tf.data] Remove debug code.

[tf.data] Try fixing the Windows build by adding the directed interleave kernel to this cmake file.

Implementation of the fully-connected TFLite Op using the symmetric quantization.

PiperOrigin-RevId: 195010312

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 195010310

Fixed some outdated comments

PiperOrigin-RevId: 195006088

Minor JNI performance improvement.

PiperOrigin-RevId: 195002949

Making ids unique in nn.embedding_lookup_sparse. This helps to reduce RPC calls for looking up the embeddings when there are repeated ids in the batch.

PiperOrigin-RevId: 195002785

[tf.data] Fix debug output.

Fix bug in peak buffer accounting in buffer assignment.
Buffer assignment keeps track of the set of logical buffers which are live at
the point of peak memory usage for each allocation. Previously colocated
buffers were not properly accounted for. This CL addresses this problem.

PiperOrigin-RevId: 195001567

Merge changes from github.

PiperOrigin-RevId: 194997009

Make tower-local variables non-trainable even with the default
DistributionStrategy.

PiperOrigin-RevId: 194996819

Enable checkpointless eval and predict for tf.estimator.

PiperOrigin-RevId: 194993191

Update community/swift

PiperOrigin-RevId: 194991305

Update schema.

PiperOrigin-RevId: 194989704

Relax the stringent memory allocator constraints in AssignOp if a Grappler graph analysis determines it to be safe. This will allow Assign to reuse the input buffer to initialize the variable in many cases.

PiperOrigin-RevId: 194988134

Collective Ops Part 5

Distributed-mode implementations of DeviceResolverInterface
and ParamResolverInterface.  Extend Worker interface with
new methods in support of these interfaces.

This change is part of a series of changes introducing infrastructure
for collective ops and initial implementations of reduction and broadcast.

PiperOrigin-RevId: 194984585

Open source infeed test

PiperOrigin-RevId: 194983270

Add utility to auto shard a dataset pipeline in the appropriate place by locating the file readers and sharding their input files.

PiperOrigin-RevId: 194982311

Add a pointer from Device to its owning DeviceMgr.
Allow remote function execution on TPU devices.

PiperOrigin-RevId: 194981511

Review updates

Implements matrix multiply-accumulate for linear no-offset (aka symmetric) quantizer.

PiperOrigin-RevId: 194978865

Add device_util.resolve method which merges with current device as well.

PiperOrigin-RevId: 194976633

Simplified shape inference.

PiperOrigin-RevId: 194975603

Improve shape inference for tf.contrib.signal.frame.

PiperOrigin-RevId: 194972934

Boosted trees: support indicator column.

PiperOrigin-RevId: 194971229

eager: Update sample notebooks with API changes in the last few releases.

Most notably:
- Avoid using tf.contrib.eager since equivalent functionality if available outside tf.contrib
- Datasets can be directly iterated on.
- Use tf.GradientTape instead of tf.contrib.eager.implicit_gradients

PiperOrigin-RevId: 194971115

Automated g4 rollback of changelist 194917415

PiperOrigin-RevId: 194962702

[tf.data] Fix debug output.

Fix crash in HloGraphDumper where it crashes on tuple shaped constants

The problem is that it tries to use a special logic for 0 element constants
but the logic used to check the number of elements only supports array shapes.

PiperOrigin-RevId: 194945246

[tf.data] Fix BUILD file.

[tf.data] More debug code, since the previous 'fix' wasn't a fix.

[tf.data] More debug code, since the previous 'fix' wasn't a fix.

Preventing RemoveTrivialBinary from removing broadcasts.

PiperOrigin-RevId: 194937001

Protocol buffer classes now list their fields in dir(cls)

PiperOrigin-RevId: 194917415

[XLA:CPU] Open source some tests.

PiperOrigin-RevId: 194903752

 Remove whitespace characters from tf_cuda_compute_capabilities user string (#18986)

Remove all whitespace characters from the user specified tf_cuda_compute_capabilities string as this can results in errors during the split operation, and is easy for users to do as it is natural to insert a space after a comma

Fix MSVC openmp flag (#18973)

* Fix MSVC openmp flag

Fixes for review comments

Update ops-related pbtxt files.

PiperOrigin-RevId: 194883351

Move LinearOperatorKronecker and LinearOperatorBlockDiag to core.

PiperOrigin-RevId: 194881237

[XLA] Redesign: dump HloSnapshot at the point where it used to dump the SessionModule.

PiperOrigin-RevId: 194880385

Internal change.

PiperOrigin-RevId: 194877173

Remove proto header import from core/framework/tracking_allocator.h

The goal is to make kernels mostly independent of proto headers, which will let us lock down our .so import.

PiperOrigin-RevId: 194876569

Go: Update generated wrapper functions for TensorFlow ops.
PiperOrigin-RevId: 194874988

[XLA] Redesign: migrate tensorflow/compiler/tf2xla, tensorflow/compiler/aot:
- xla::ComputationBuilder -> xla::XlaBuilder
- xla::ComputationDataHandle -> xla::XlaOp
- xla::Computation -> xla::XlaComputation
- xla::CompileOnlyClient::AotComputationInstance -> xla::CompileOnlyClient::AotXlaComputationInstance
- xla::SessionModule -> xla::HloSnapshot

PiperOrigin-RevId: 194874462

[tf.data] Adding an experimental `group_by_reducer` transformation which groups elements of an input pipeline by a key, applies a reduce function to elements of each group "on-the-fly", and outputs the results once all input elements have been processed.

PiperOrigin-RevId: 194874087

Internal cleanup.

PiperOrigin-RevId: 194871141

Faster reduce_logsoftmax (specially in eager) and bugfixes in broadcast_to

PiperOrigin-RevId: 194870645

Small fix to prevent a crash if the delegate has not implemented FreeBufferHandle.

PiperOrigin-RevId: 194866595

Add MultiNodeDataset and MultiNodeIterator which are intended to work for multi-node distribution strategy.

PiperOrigin-RevId: 194862215

[XLA] Change the TF2XLA bridge to perform F16 reduction using F32 data type.

Add test cases to test that reduce sum for bfloat16 and float16 doesn't lose too
much precision.

PiperOrigin-RevId: 194862078

Improve error message for pip_smoke_test.

PiperOrigin-RevId: 194859591

Do not allocate memory for literal as it will be allocated later.

PiperOrigin-RevId: 194857422

Enhancements to GRAPHVIZ_DOT output:
    -edge weights added to encourage straighter main data-flow
    -line thickness proportional to log(data_size)
    -set global parameter "nslimit" to prevent excessive layout time for difficult graphs

PiperOrigin-RevId: 194854051

Merge branch 'master' of https://github.com/tensorflow/tensorflow into optimization_pass

Implement unary chain hoisting optimization for Concat, Split, and SplitV.

For Concat, hoist prefix chains of unary ops before concatenation, e.g.
  // Rewrites
  //       Concat({Cos(Exp(a)), Cos(Exp(b)), Cos(Exp(c))})
  // into
  //       Cos(Exp(Concat({a, b, c}))).

For Split/SplitV hoist unary postfix chains before the split, e.g.
  // Rewrites
  //          [Cos(Exp(y)) for y in Split(x)]
  // into
  //          [y for y in Split(Cos(Exp(x)))].

The new optimization is off by default.

PiperOrigin-RevId: 194850318

Add XLA logo to its documentation page

PiperOrigin-RevId: 194847599

Do not cast int64 to int32 in keras embedding lookups.

Often when working on the GPU with tf int64s are more efficient as int32s will
be copied back and forth to the host quite a bit.

PiperOrigin-RevId: 194846629

[TF:XLA] Fix some unexpected memory leak in hlo_graph_dumper_test.

PiperOrigin-RevId: 194845792

Removing an obsolete TODO

PiperOrigin-RevId: 194845376

Push down const inputs into the function of specialized functions.

PiperOrigin-RevId: 194843380