Typo in variable name: BETA --> self.BETA (#16666)

__BETA__ is defined on line 118 as a class member so it can only be accessed via __self__ or via the __ElasticAverageOptimizer__.

flake8 testing of https://github.com/tensorflow/tensorflow

$ __flake8 . --count --select=E901,E999,F821,F822,F823 --show-source --statistics__
```
./tensorflow/contrib/opt/python/training/elastic_average_optimizer.py:153:27: F821 undefined name 'BETA'
      self._moving_rate = BETA / communication_period / num_worker
                          ^
```

Fix incorrect links in CONTRIBUTING.md (#16814)

This fix fixes two incorrect links in CONTRIBUTING.md
about license examples. The reason for broken links
is because tensorboard is in another repo.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Merge pull request #16785 from av8ramit/merge_branch

Merging the 1.6 branch back into master.

remove write_version=saver_pb2.SaverDef.V1 (#15966)

Merge pull request #16789 from ManHyuk/fix_typo

Fix typo

Merge pull request #16792 from case540/branch_184622482

Branch 184622482

Merge commit for internal changes

Export align_corners to TF Lite

PiperOrigin-RevId: 184622482

Added the ability to query the amount of RAM available
Also added the ability to query the CPU frequency on Windows.

PiperOrigin-RevId: 184620390

Cleanup markdown errors in `Bijector`.

PiperOrigin-RevId: 184616392

[XLA] Add HloBindings::ToString().

PiperOrigin-RevId: 184615306

Correctly treat "devices=/gpu:0" argument of replicate_model_fn.

At the moment if "devices=/GPU:0" are specified by the user, then variables are going to be placed on the GPU.  However, if "devices=/gpu:0" are given, then they are going to be placed on the CPU.  Instead, the latter case should be equivalent to the former case.

PiperOrigin-RevId: 184612823

Misc cleanups and tweaks:
1. Removed obsolete constructors in ProcessLunctionLibraryRuntime
2. Add const annotations to Tensor::PrintOneDim(), and removed unnecessary vector copy.

PiperOrigin-RevId: 184611531

[XLA:GPU] Split IrEmitter{Unn,N}ested out of ir_emitter.h.

Also add a bunch of clarifying comments.

PiperOrigin-RevId: 184610674

Merge branch 'master' of https://github.com/tensorflow/tensorflow into fix_typo

fix typo

Support negative axis in concatenation

PiperOrigin-RevId: 184605786

Shard linear operator tests.

PiperOrigin-RevId: 184602704

Fix the mean the description of the output shape, which should be [batch_size, 1, max_time] (#16642)

Remove invalid exception in linear operator (#16678)

Add filepaths to test_local support.

PiperOrigin-RevId: 184602010

Remove makefile build dependency on all_opensource_files, as part of the effort to remove all_opensource_files #15758.

PiperOrigin-RevId: 184601439

Bump the rtol in hmc_test (#16787)

"frame_name" attr must be altered when importing/exporting MetaGraphDefs.

The frame_name attr of Enter operations must be the name of the
associated WhileLoopContext, otherwise taking the gradient of the loop
will result in frame errors.

I'm not happy that the export logic is in meta_graph.py (all other
control flow de/serialization is in control_flow_ops.py). However, I
can't think of how else to do it, since only export_scoped_meta_graph
has access to the NodeDefs being exported.

PiperOrigin-RevId: 184599323

[XLA] Sink layout sensitivity from CSE into HloInstruction::Identical, and make it the default.

PiperOrigin-RevId: 184598903

Make fold batch norm code use OneofPattern and rearrange functions to (maybe) be more readable.

PiperOrigin-RevId: 184597111

Removing duplicate code block that raises exception (#16568)

For TensorFlow version 1.5.0-rc1, the code block below raises a `ValueError`. Simply remove the duplication (lines 274 - 277 are exactly the same) and the issue is resolved.

```
# Add returned summaries to writer in each step.
writer.add_summary(summary, step)
# Add metadata to visualize the graph for the last run.
if step == (num_steps - 1):
      writer.add_run_metadata(run_metadata, 'step%d' % step)
```

Assign total_loss in order not to crash if training loop exists early.

PiperOrigin-RevId: 184596877

Ensure bash is invoked as a login shell on windows otherwise fixups fail. (#16580)

Fix the relative path issue of JNI lib loader (#16754)

Adding TensorSpec to represent the specification of Tensors.

PiperOrigin-RevId: 184594856

Verify tflite model in TFLite Java API

PiperOrigin-RevId: 184594561

Resolve Programmatic mistake. (#16765)

SPECIES should have been either imported here or it should have referenced from iris_data. The corresponding code is correct but the conflict in the documentation.

Add logging to diagnose device properties parsing problem in Grappler.

PiperOrigin-RevId: 184594084

Fix typo (#16759)

* fix typo

* FIx Typo

Fix CBLAS Conv reference implementation in TFLite.

PiperOrigin-RevId: 184592951

Automated g4 rollback of changelist 184573795

PiperOrigin-RevId: 184590080

Merging the 1.6 branch back into master.

Backward pass implementation for fusion optimizer.

PiperOrigin-RevId: 184589487

[XLA] Fix documentation for Clamp.

PiperOrigin-RevId: 184588630

[TF:XLA] Implement GatherNd.

PiperOrigin-RevId: 184584104

Propagate the name on resource variable assign (#16714)

Fix incorrect reference DOI number/link for GDR (#16734)

This fix fixes the incorrect reference DOI number/link for GDR:
`https://doi.org/10.1145/3123878.3123907` -> `https://doi.org/10.1145/3123878.3131975`

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

[tf.data] Fix use-after-free bug when closing down an input pipeline.

This fix affects the distributed runtime; DirectSession use is unaffected.

Before this change, an iterator that used a background prefetching
thread might attempt to use a captured FunctionLibraryRuntime from a
subgraph that had been deregistered (and hence its
FunctionLibraryRuntime would have been deleted). This change
introduces a mechanism for "cloning" the necessary parts of the
FunctionLibraryRuntime so that it can be owned by the
IteratorResource.

PiperOrigin-RevId: 184579490

[XLA] Add tests for Clamp of S32 and U32 vectors with broadcasted scalars.

PiperOrigin-RevId: 184579375

Fix the incorrect link to vulnerability reporting (#16778)

This fix fixes the incorrect link to vulnerability reporting.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Fixes issue where external control dependencies in while loops are dropped.

Fixes #15891

PiperOrigin-RevId: 184573795

contrib/rnn: Fix #16703
(Bug introduced in
https://github.com/tensorflow/tensorflow/commit/3f579020bab8f00e4621e9c7c740cbf13136a809)

Kudos to @akhti for pointing this out.

PiperOrigin-RevId: 184570448

Bug fix: Don't dereference nullptr in OpKernelContext::input_alloc_attr().

PiperOrigin-RevId: 184566770

[TF:XLA] Making constant folding deterministic.

Making constant folding deterministic by doing DFS deterministically and inserting a serialization point based on nodes' names.

This is the last source of non-determinism remaining in the TF:XLA stack.

RELNOTES: Constant folding pass is now deterministic.
PiperOrigin-RevId: 184566644

Serialize the evaluation of the AssignAdd nodes to make the result more
deterministic
Improved testing

PiperOrigin-RevId: 184565483

Support parsing from text and fused op in contrib.

PiperOrigin-RevId: 184558131

Automated g4 rollback of changelist 184323369

PiperOrigin-RevId: 184551259

Proper reallocation of dynamic tensors.

PiperOrigin-RevId: 184550199

Make flat_transforms_to_matrices and matrices_to_flat_transforms public (#781).

PiperOrigin-RevId: 184549704

Changing the link to point to new android job.

PiperOrigin-RevId: 184546160

[XLA] add Conditional to the local Python XLA client.

PiperOrigin-RevId: 184544483

Clarify that tf.contrib.image.rotate angles are counterclockwise.

PiperOrigin-RevId: 184541776

Enable aggressive identity node pruning in dependency optimizer.

PiperOrigin-RevId: 184539756

Get control_flow_ops.py ready to support de/serializing nested control flow.

With this change, ControlFlowContexts keep track of their nested
contexts (the reverse lookup as ControlFlowContext.outer_context).
This is to enable de/serializing the nested contexts of each "root"
context, and only adding the root contexts to collections. This allows
for simple deserialization of each root context by recursively
deserializing its nested contexts.

The de/serialization logic is disabled and the corresponding
control_flow.proto changes are omitted for now for forwards
compatability (i.e. three-week-old binaries must be ready to accept
the new proto format once its commited). After this is committed for
three weeks, I'll commit a follow-up change enabling the new behavior.

Design note: I chose to serialize the nested contexts, rather than the
outer contexts, because it makes it easy to deserialize the contexts
in topological order and to assign the right outer context. If we
serialized the outer contexts, there'd need to be some mechanism for
either sorting all the serialized contexts first, or deserializing all
of them and then doing another pass to assign the outer contexts.

PiperOrigin-RevId: 184533406

Internal Change

PiperOrigin-RevId: 184532417

Expand the activity analysis to composite names.
Fix a bug in the cond template that caused bad syntax when there it no symbol that needs aliasing.
More refactoring in the process, including:
 * introduce the QN (qualified name) class to hold symbol information; it has value semantics and can generate the original symbol, a corresponding AST tree or a single-symbol form (e.g. "a.b" -> a_b)
 * allow the template mechanism to use QNs for substitutions
 * annotate *all* symbol nodes with their corresponding QN object; this is done as first step during static analysis, and automatically performed on all template expansions
 * start using typed annotation keys (Enum values) instead of plain strings
 * rename access.py to activity.py
 * sanitize nodes in template expansion by deep copying the AST without annotations, to avoid common references

PiperOrigin-RevId: 184528586

mini documentation fix

PiperOrigin-RevId: 184496843

Fixed sequence_mask behavior on unknown shape.

`sequence_mask` crashed when fed with a tensor of unknown rank.
Added a test for that, and expanded a bit existing tests.

Also fixed pre-existing lint errors.

PiperOrigin-RevId: 184493239

Support for quantized LSTM models.

PiperOrigin-RevId: 184476753

Fix logging format error in retrain.py (#16738)

This fix fixes the logging format error in
`tensorflow/examples/image_retraining/retrain.py`.

This fix fixes 16735.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

FIx Typo

Merge branch 'master' into fix_typo

Minor fixes to the get started doc.

PiperOrigin-RevId: 184457074

Avoid retaining two copies of each constant in `ConstantOp`.

Presently, the kernel keeps two copies of the constant tensor value, which can be large:
1. In the `ConstantOp::tensor_` field.
2. In the `OpKernel::def_` field (as an attr of the `NodeDef`).

Since we can be sure that `ConstantOp` will never need to access the
tensor value from `OpKernel::def_`, this change introduces a mechanism
for `OpKernel` implementations to store a stripped `NodeDef` in the
base class, and uses it in `ConstantOp` to avoid storing the tensor
value attr.

PiperOrigin-RevId: 184455793

fix typo (#16722)

Grammatical error fixed (#16746)

[XLA] Assign mandatory constraints in a DFS order and non-manatory constraints in a BFS order.

PiperOrigin-RevId: 184429818

Merge pull request #16744 from jhseu/windows_fix

Fix the Windows GPU build #2

Fix the Windows GPU build #2

Merge pull request #16741 from tensorflow/av8ramit-patch-1

Making the for_canonicalization_test only for py2

Update BUILD

Making the for_canonicalization_test only for py2

http://ci.tensorflow.org/view/Release/job/release-matrix-cpu/TF_BUILD_CONTAINER_TYPE=CPU,TF_BUILD_IS_PIP=PIP,TF_BUILD_PYTHON_VERSION=PYTHON3,label=mac-slave/239/consoleFull

change to hyper link (#16690)

Fixed a couple of typos (#16731)

Fixed a couple of typos

Merge pull request #16729 from jhseu/bug_fixes

Fix the Windows GPU build

Delete device_functions.h include.

[tf-signal] Fix exception when input shape is unknown in mfccs_from_log_mel_spectrograms.

PiperOrigin-RevId: 184400783

Merge pull request #16726 from jhseu/branch_184376425

Branch 184376425

Merge commit for internal changes

fix typo

[XLA] Add tests for Clamp with scalars S32 and U32.

PiperOrigin-RevId: 184376425

Fix breakage: Can't build TFLite with Bazel for Mac / iOS.

PiperOrigin-RevId: 184375534

A more efficient implementation of the Op using batch operations.

PiperOrigin-RevId: 184367562

Extended TFE_OpSetDevice() with the ability to set an op device from non-GPU back to GPU.

Added unit testing, and also refined unit test logic for checking the presence
of a GPU device. The latter is needed when we add XLA device support.

PiperOrigin-RevId: 184366172

[XLA] Minor cleanups related to multi-output fusion.

- Add some comments about preexisting invariants, and add some CHECKs.

- In the LoopEmitter constructor, materialize the given
  ArraySlice<IrArray> to a vector, so we don't rely on the given
  ArraySlice having any particular lifetime.

- Add the invariant that the LoopEmitter constructor which takes a
  list of IrArrays is only for multi-output fusion.  Previously it said:
  If you only pass one array, then treat it as regular fusion.  But this
  results in an LLVM type mismatch, because the given
  target_element_generator should be passing a struct with one element.

PiperOrigin-RevId: 184365310

Propagate outfeed sharding, if specified from TensorFlow.

PiperOrigin-RevId: 184361221

Automated g4 rollback of changelist 184347012

PiperOrigin-RevId: 184360818

Merge pull request #16715 from jhseu/branch_184352399

Branch 184352399

[tf.data] Add public header "tensorflow/core/framework/dataset.h".

This adds the ability to create a custom C++ Dataset implementation
without linking it statically into the TensorFlow library.  Note that
this internal API is experimental and subject to change between
versions of TensorFlow.

Fixes #16682.

PiperOrigin-RevId: 184356318

Check that the type of an implicitly dereferenced tensor matches the expected input type.

The dtype of a tensor reference can change between the point when it is "produced" by an
operation and consumed by the next operation. This evades checks in the executor that the
type of tensor on each edge matches the type signatures of the producing and consuming operation, which could lead to undefined behavior. Although there is no existing operation that changes the type of a tensor reference, it is possible to use the OpKernelContext API to do so, so we add a further check in the runtime to defend against operations that might be added in the future.

PiperOrigin-RevId: 184356242

Merge commit for internal changes

Fix docs (#16653)

Update global_step by default if the user specifies a host_call.

PiperOrigin-RevId: 184352399

fix typo (#16679)