Merge pull request #18192 from karllessard/java-ops-2c-generator

Generate Java ops wrappers

Update zlib version for cmake build (#19118)

In cmake build, the zlib version was `50893291621658f355bc5b4d450a8d06a563053d`
which is equal to v1.2.8. This creates a discrepancy between cmake and bazel build.

This fix updates the zlib version to v1.2.11 that syncs with bazel build.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Embed Java license in generator code

Remove comment left-over

Skip all ops with function attribute by default

Merge pull request #19090 from caisq/branch_195443326

Branch 195443326

Merge pull request #19087 from ManHyuk/fix_typo

Fix typo

Merge commit for internal changes

Add operations before Identity operations should be quantized.

Fixes #19014

PiperOrigin-RevId: 195443326

Internal clean up: change scanf to use int64_t instead of int64

PiperOrigin-RevId: 195438212

Improve broadcast add implementation.

PiperOrigin-RevId: 195437679

TFTS: Make it easier to swap in different autoregressive models.

Adds a very simple LSTM encoder/decoder option as an example.

ARModel's new constructor argument is a bit awkward, since Estimator's new graphs mean we need a Model factory rather than a Model (or to un-build the model?). It's still a much more pleasant way to write autoregressive models than fiddling with ARModel directly, since ARModel handles collecting all the features (and the prediction loop, etc.). Happy to hear other ideas for an API.

PiperOrigin-RevId: 195436186

Implement neg op

PiperOrigin-RevId: 195435079

Change RecvTensor RPC implementation to use DeviceContext::CopyDeviceTensorToCPU rather than calling GPUUtil::CopyGPUTensorToCPU. The direct call into the GPU code is problematic for non-GPU devices.

PiperOrigin-RevId: 195433287

[XLA] Remove template keyword on non-template methods.

This is an error with clang trunk.

PiperOrigin-RevId: 195394277

Fix HloSharding::GetSubSharding to return correct array shardings

Previously it always returned a tuple sharding even if the specified
index was referenceing a non-tuple element.

PiperOrigin-RevId: 195393313

Do not crash on ROOT outfeed operations.

PiperOrigin-RevId: 195388075

Fixing some linter errors in TF documentation (Github > GitHub, the the > the).

PiperOrigin-RevId: 195386172

Prefer non-nested GradientTape.gradient call when only one source is passed.

PiperOrigin-RevId: 195385406

  * Don't copy on-host and on-device shapes locally.
  * Use ForEachMutableElement rather than the iterators, as it is much quicker.

There is still room for improvement; ForEachMutableElement is linear in the number of nodes in the shape tree but we want to be linear in the number of nodes in the sub shape tree. But I feel this is a good enough improvement.

PiperOrigin-RevId: 195384423

Automated g4 rollback of changelist 194829761

PiperOrigin-RevId: 195379693

Internal change.

PiperOrigin-RevId: 195374319

Add the MultiWorkerMirroredStrategy

PiperOrigin-RevId: 195368876

[XLA] Redesign: cleanup client_library_test_base.

PiperOrigin-RevId: 195357555

[XLA] Make LocalShapedBuffer::FromLiteral fallible by passing StatusOr wrapper.

PiperOrigin-RevId: 195345724

Clear the stat cache of the target when renaming the file.

PiperOrigin-RevId: 195337886

[XLA] Redesign: deprecate ComputationBuilder.

PiperOrigin-RevId: 195335330

Fix flaky test time-outs for dnn_test and rnn_test.

PiperOrigin-RevId: 195331183

Adjust worker shutdown hooks for TPUs

PiperOrigin-RevId: 195328247

Fix bugs in LogicalBuffer::ToString and BufferValue::ToProto: these functions
may be called before set_color(), but color() check fails when no color is set.

PiperOrigin-RevId: 195327063

Fix oom_test so that it doesn't try to allocate a giant host buffer when
run without --config=cuda.  Sadly the best way I could come up with is
pretty hacky.

PiperOrigin-RevId: 195325149

Do not hoist nodes that modify frame info.

PiperOrigin-RevId: 195322927

Use tuple instead of list to reduce the chance of it being picked by the list conversions.

PiperOrigin-RevId: 195322522

Fix bug that disabled loop invariant node motion optimizer. Disable it options, since it is broken in the presence of gradient stacks.

Get rid of an unnecessary copy of the graph.

PiperOrigin-RevId: 195319766

Add tflite listed models with accuracy and performance numbers.

PiperOrigin-RevId: 195312636

Add separate get_read and get_updated helpers that work on code exceprts. Handle corner case for AugAssign. Fix bug in _node_sets_self_attribute.

PiperOrigin-RevId: 195309809

[TF:XLA] clean up interface to xla::VerifyHloModule

It seems that the first argument, platform, is unused.

PiperOrigin-RevId: 195309504

Optimize idempotent ops, e.g., Snapshot(Snapshot(x)) => Snapshot(x)

PiperOrigin-RevId: 195308675

[XLA:CPU] Remove dead function + DCHECK, NFC

There isn't a lot of benefit to fixing the function to do that it says it does
since I'm adding support for lowering batch matmul which will break this
precondition anyway.

PiperOrigin-RevId: 195306803

Fix a typo.

PiperOrigin-RevId: 195305770

Documentation for tf.contrib.eager.py_func

PiperOrigin-RevId: 195303454

Merge branch 'fix_typo' of https://github.com/ManHyuk/tensorflow into fix_typo

fix typo

Add conditions:default to mkl build (#19008)

If building on a system that is not darwin, linux_x86_64, or
windows, the select statement in third_party/mkl/BUILD fails to
find a match and fails. Need to use no mkl libraries for non-x86
systems

Fixes #18084

Merge pull request #19072 from caisq/branch_195301913

Branch 195301913

Second code review

Simplify and improve generics handling in generator

Improve again javadoc readability and quality

Comments and little improvements to documentation parser

Improve Javadoc and include first code review

Parse op definition and generate a Java Op class.

Fix minor typos (#19070)

Merge commit for internal changes

tfdbg + tflearn: replace deprecated classes and methods in example & docs

* `tf.contrib.learn.Experiment` is deprecated. Remove it from debug_tflearn_iris.py.
* Use `tf.estimator.DNNClassifier`, instead of the older one from `tf.contrib.learn`.
* Use `train()`, instead of `fit()` of Estimators.
* `Estimator.predict()` supports hooks. Add example lines for that.

PiperOrigin-RevId: 195301913

Checkpointable: Utilities to read object metadata

Useful for inspecting checkpoints programatically (e.g. in unit tests).

PiperOrigin-RevId: 195300780

Fix bugs in model pruner.

PiperOrigin-RevId: 195298816

Simplified the implementation of shape_n since the optimized code path isn't needed anymore and can be incorrect in some rare cases.

PiperOrigin-RevId: 195298813

Change all std::bind usages in GCS to lambdas. Fix the wrong #define Guard name in retrying_file_system.h.

PiperOrigin-RevId: 195297877

Enable unary chain hoisting optimization for concat/split/splitv by default.

PiperOrigin-RevId: 195297330

[TF:XLA] Bump open source llvm revision to r331442

PiperOrigin-RevId: 195297133

Small fix for an eager colab notebook.

PiperOrigin-RevId: 195296384

Simplify file reading and support SavedModel.

PiperOrigin-RevId: 195291836

Do not delegate temporary tensors to NNAPI.
  - also added delegation for MUL, and set the default scale to be 0.0f.

PiperOrigin-RevId: 195288948

[XLA] Redesign: add ExecuteGraph to grpc service.

PiperOrigin-RevId: 195281004

Update learning.py (#19064)

Fixed Typos (#18806)

* fixed typos

Post-transform pass to dedupe large constant arrays.

PiperOrigin-RevId: 195260578

Grammar fixes on architecture.md (#19035)

Merge pull request #19040 from tensorflow/merge_branch

Merge r1.8 back to master after 1.8.0 release.

correct code snippets to python3 style (#19052)

Use tensorflow size to determine number of elements instead of the static shape, which can sometimes be missing.

PiperOrigin-RevId: 195209826

Enabling support for S3 and Google Storage for the MKL Docker image. (#19039)

Simplify getter and setter method for GraphOptimizationPass::name_

PiperOrigin-RevId: 195199912

Expose Interpreter to tensorflow.contrib.lite

PiperOrigin-RevId: 195198645

Fix typos (#18475)

Fix tf.variable_scope unique name after entering root scope
Closes #18702.

PiperOrigin-RevId: 195192460

Update ops-related pbtxt files.

PiperOrigin-RevId: 195190335

Replaced calls to tensorflow::StringPiece::ToString with std::string conversions.
That is, instances of sp.ToString() are replaced with std::string(sp).

This will allow tensorflow::StringPiece::ToString to be removed, which is necessary before it can be replaced with absl::string_view.

PiperOrigin-RevId: 195188185

Compute shape of segment_ids dynamically in _unsorted_segment_N

PiperOrigin-RevId: 195186950

Remove duplicated emplace_back floor operator.

PiperOrigin-RevId: 195185567

Automated g4 rollback of changelist 195091587

PiperOrigin-RevId: 195184798

Add complex128 support to FFT, FFT2D, FFT3D, IFFT, IFFT2D, and IFFT3D.

NumPy automatically upcasts to complex128 when computing FFTs, leading to issues like:
#10749

This change allows users to choose between 32-bit and 64-bit precision FFTs on CPU and GPU.

PiperOrigin-RevId: 195183206

Add go_package to proto definition files (#17262)

* Add go_package to proto definition files

This fix tries to address the issue raised in 16282 by
add go_package to proto files, so that generated go files
have correct path.

This fix fixes 16282.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add go_package to proto definition in tensorflow/core/framework

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add go_package to proto definition in tensorflow/core/example

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>
* Add go_package to proto definition in tensorflow/core/example

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Add a collect_trace option to run_op_benchmark for cases when callers just want
to pass RunOptions.FULL_TRACE but don't want to store trace in extras.

PiperOrigin-RevId: 195181533

BufferValue is a new base class for LogicalBuffer and HloValue. This makes it
easier to migrate from TuplePointsToAnalysis/LogicalBuffer to
HloDataflowAnalysis/HloValue. No functional changes.

PiperOrigin-RevId: 195179676

Handle negative values when slicing symbolic shapes

PiperOrigin-RevId: 195176133

Allow `Layer.add_loss` to receive non-tensor; fixes error triggered when using a weight regularizer of factor 0.

PiperOrigin-RevId: 195175909

Enable reshape of _ScopedAllocatorConcat output.

The _ScopedAllocatorConcat kernel outputs the backing tensor after performing
runtime bounds checks.  However, the shape of the backing tensor may not match
the desired output shape of the concat operation.

This change adds a "reshape" boolean attribute to _ScopedAllocatorConcat kernel.
When this attribute is set to true, the kernel outputs a reshaped backing tensor
according to the "shape" attribute.

PiperOrigin-RevId: 195169105

Add RNNEstimator which takes in arbitrary heads.

PiperOrigin-RevId: 195167853

Mark all nodes processed by AddOpsRewrite/MinBCast stages with a tag.

PiperOrigin-RevId: 195167597

Allow evaluation and prediction through warm-starting (no current checkpoint / model_dir).

PiperOrigin-RevId: 195165732

Adds the EvalListener support for run_local.

PiperOrigin-RevId: 195163507

Adding a version of rolled triangular solver code for the right-multiply case, which is used in Cholesky decomposition.  Replacing the unrolled version with a While loop drastically reduces XLA compilation times which allows much larger models to be run on TPU.

PiperOrigin-RevId: 195163298

Add prefetching to one device distribution strategy.

PiperOrigin-RevId: 195162570

Replaced calls to tensorflow::StringPiece::ToString with std::string conversions.
That is, instances of sp.ToString() are replaced with std::string(sp).

This will allow tensorflow::StringPiece::ToString to be removed, which is necessary before it can be replaced with absl::string_view.

PiperOrigin-RevId: 195162126

Merge pull request #18909 from samikama/optimization_pass

Optimization pass and Memory allocator integration

Merge 1.8.0 back to master.

Optimize LogicalOr and LogicalAnd with all true or false inputs:

LogicalOr(x, true) = true
LogicalOr(x, false) = x
LogicalAnd(x, true) = x
LogicalAnd(x, false) = false

and similar if the first argument is constant.

PiperOrigin-RevId: 195161140

[XLA] BF16 propagation: do not change if propagation is confined inside a fusion.

We now use a set to track all the potential changes, and do the actual changes
on the HLOs at the end. This also makes the boolean return value (whether
anything is changed) correct.

PiperOrigin-RevId: 195160025

[TF:XLA] Bump open source llvm revision to r331338

PiperOrigin-RevId: 195158710