Updated copyright from 2017 to 2018

Merge commit for internal changes

[tf.data] Fix a memory leak when an iterator is reinitialized many times in a session.

Previously, we would instantiate a new function handle for each
function in a dataset each time an iterator on that dataset was
initialized. These would only be deleted at session closure, which
could lead to an apparent leak of memory over the lifetime of session.

PiperOrigin-RevId: 184768730

Fix memory tracking in the case where temp memory is used as output memory.
Track all persistent memory allocation in allocate_persistent call except for variables and queues where persistent memory is tracked in variables ops and queue ops. Deallocation of persistent memory is ignored.

PiperOrigin-RevId: 184768231

Sync the opensource and non-opensource build

PiperOrigin-RevId: 184765632

Address Adagrad/RMSProp incompatibility with CudnnRNN

CudnnRNN layers have variables of unknown shapes, which Adagrad/RMSProp didn't handle before.

This fixes 6620(#6620).

PiperOrigin-RevId: 184759579

[XLA] Add and use new Literal::MakeTupleOwned overload.

Previously MakeTupleOwned was cumbersome to use, because you had to
explicitly materialize a vector<unique_ptr<Literal>>.  With this new
overload, you can pass unique_ptrs directly.

PiperOrigin-RevId: 184751119

Add read resource variable benchmarks.

Initial benchmarks:
entry {
  name: "MicroBenchmarks.benchmark_read_variable_op_2_by_2_CPU"
  iters: 30000
  wall_time: 22.9616721471
  extras {
    key: "examples_per_sec"
    value {
      double_value: 43550.8352176
    }
  }
}

entry {
  name: "MicroBenchmarks.benchmark_read_variable_op_with_tape_2_by_2_CPU"
  iters: 30000
  wall_time: 27.3616631826
  extras {
    key: "examples_per_sec"
    value {
      double_value: 36547.4859232
    }
  }
}

PiperOrigin-RevId: 184748548

Creates tf.contrib.feature_column module.

PiperOrigin-RevId: 184747924

Handles possible infinite recursion in while loop fix.

PiperOrigin-RevId: 184743192

[TF Ops] Bugfix to Operation initializer: error message uses node_def.

self.node_def may not yet be accessible when using the C api.

PiperOrigin-RevId: 184742074

Automated g4 rollback of changelist 184551259

PiperOrigin-RevId: 184738583

Export CXX11_ABI_FLAG and MONOLITHIC_BUILD constants.

PiperOrigin-RevId: 184736216

Another rolling back of performance regression.

PiperOrigin-RevId: 184734426

Make TFE_Py_FastpathExecute work for all types of ops

MatMul benchmarks:
entry {
  name: "MicroBenchmarks.benchmark_gen_math_ops_matmul_2_by_2_CPU"
  iters: 30000
  wall_time: 11.580435435
  extras {
    key: "examples_per_sec"
    value {
      double_value: 86352.538781
    }
  }
}

entry {
  name: "MicroBenchmarks.benchmark_tfe_py_fastpath_execute_matmul_2_by_2_CPU"
  iters: 30000
  wall_time: 7.02576637268
  extras {
    key: "examples_per_sec"
    value {
      double_value: 142333.227004
    }
  }
}

PiperOrigin-RevId: 184734289

Added support for nested functions
Properly handle the case of control dependencies

PiperOrigin-RevId: 184733444

Add utility function which makes implicit `tf.get_variable` dependencies an
explicit argument of a callable.

PiperOrigin-RevId: 184725878

Fixing the issue where an escape character was being included in the branch name changes.

PiperOrigin-RevId: 184725332

[TF:XLA] Bump open source llvm revision to r324323

PiperOrigin-RevId: 184725126

Fetch OpDefs from C API instead of using python op registry in ops.py.

PiperOrigin-RevId: 184723558

Fixed typo

PiperOrigin-RevId: 184721743

tfdbg: deflake session_debug_file_test

by disabling grappler in the test.

PiperOrigin-RevId: 184721353

Second, cleaner, attempt at external control dependency handling.

PiperOrigin-RevId: 184718016

Improve side_effect_guards to (1) avoid aliasing non-tensors and (2) combine aliasing with re-indenting. Move the renaming visitor into a generic utility API.
This loses potential efficiency by risking sequencing ops where there is no risk of a race. On the other hand it's still not entirely robust, and we need to raise an error where we can't guarantee that.

PiperOrigin-RevId: 184717456

Estimator should handle ResourceVariables correctly.

PiperOrigin-RevId: 184717305

Support resource variables in moving averages.

PiperOrigin-RevId: 184716895

Contrib estimator should handle ResourceVariables properly.

PiperOrigin-RevId: 184715896

Internal change

PiperOrigin-RevId: 184715822

Adding tf_export decorators/calls to TensorFlow functions and constants.

PiperOrigin-RevId: 184708277

Enable layout optimizer by default

PiperOrigin-RevId: 184707084

Merge pull request #16785 from av8ramit/merge_branch

Merging the 1.6 branch back into master.

Support training with model parallelism in tpu_estimator.

PiperOrigin-RevId: 184704902

Use the function name as the grappler item id

PiperOrigin-RevId: 184704131

remove write_version=saver_pb2.SaverDef.V1 (#15966)

Merge pull request #16789 from ManHyuk/fix_typo

Fix typo

Merge pull request #16792 from case540/branch_184622482

Branch 184622482

Add local interconnect data to DeviceLocality.

This information can be used within a distributed implementation
when deciding how to route data transfers that might involve more
than one hop.  By default the new fields are populated according to
StreamExecutor::CanEnablePeerAccessTo(), however a platform-specific
implementation can augment them with more detailed values.

Do some refactoring of gpu_device and gpu_device_factory, making
GetDeviceLocalities() and GetInterconnectMaps() into virtual
functions.

PiperOrigin-RevId: 184698821

Explicitly specify the value of all the attributes for the newly created Assign
nodes since we can't always rely on TF calling AddDefaultAttrsToGraphDef.

PiperOrigin-RevId: 184698463

Fix bug in and speed up ConstantFolding::CreateNodeDef():
  * Fix bug trying to store more than kintmax32 values in a repeated proto field.
  * Speed up populating compressed format. Example: tensorflow/python/kernel_tests/large_concat_op_test with size = 2**29+6 goes from ~30 seconds to ~15 seconds. The fraction of time spent in ConstantFolding::CreateNodeDef() goes down from about 35% to about 12%.

PiperOrigin-RevId: 184693749

Add a utility function to partition TensorFlow Lite graphs into subgraphs.

This will be used for the forthcoming delegate interface. The delegate
interface will allow parts of the TensorFlow lite graph to be sent to
other accelerators. NNAPI will be implemented to move to this interface.
That will allow partial delegation to NNAPI.

PiperOrigin-RevId: 184692126

Java: Update to 1.6.0-rc0

PiperOrigin-RevId: 184687994

Make namedtuples with identical name and field names to be considered as the same shallow structure in assert_shallow_structure

PiperOrigin-RevId: 184687609

Remove redundant calls to realloc dynamic tensors.

PiperOrigin-RevId: 184682942

Makes ResourceVariables return correct initialized_value and initial_value for objects created from VariableDef protos.

Previously self._initial_value wasn't set in such cases which causes accessing var.initial_value to fail for variables in the imported meta graphs.

PiperOrigin-RevId: 184657191

mcmc_diagnostics.py added to contrib/bayesflow/.  potential_scale_reduction function added.
.

PiperOrigin-RevId: 184644450

Rollback of CL 183879566, and fix Windows CMAKE build by copying one additional CUDA header file.

PiperOrigin-RevId: 184644220

Merge commit for internal changes

Export align_corners to TF Lite

PiperOrigin-RevId: 184622482

Added the ability to query the amount of RAM available
Also added the ability to query the CPU frequency on Windows.

PiperOrigin-RevId: 184620390

Cleanup markdown errors in `Bijector`.

PiperOrigin-RevId: 184616392

[XLA] Add HloBindings::ToString().

PiperOrigin-RevId: 184615306

Correctly treat "devices=/gpu:0" argument of replicate_model_fn.

At the moment if "devices=/GPU:0" are specified by the user, then variables are going to be placed on the GPU.  However, if "devices=/gpu:0" are given, then they are going to be placed on the CPU.  Instead, the latter case should be equivalent to the former case.

PiperOrigin-RevId: 184612823

Misc cleanups and tweaks:
1. Removed obsolete constructors in ProcessLunctionLibraryRuntime
2. Add const annotations to Tensor::PrintOneDim(), and removed unnecessary vector copy.

PiperOrigin-RevId: 184611531

[XLA:GPU] Split IrEmitter{Unn,N}ested out of ir_emitter.h.

Also add a bunch of clarifying comments.

PiperOrigin-RevId: 184610674

Merge branch 'master' of https://github.com/tensorflow/tensorflow into fix_typo

fix typo

Support negative axis in concatenation

PiperOrigin-RevId: 184605786

Shard linear operator tests.

PiperOrigin-RevId: 184602704

Fix the mean the description of the output shape, which should be [batch_size, 1, max_time] (#16642)

Remove invalid exception in linear operator (#16678)

Add filepaths to test_local support.

PiperOrigin-RevId: 184602010

Remove makefile build dependency on all_opensource_files, as part of the effort to remove all_opensource_files #15758.

PiperOrigin-RevId: 184601439

Bump the rtol in hmc_test (#16787)

"frame_name" attr must be altered when importing/exporting MetaGraphDefs.

The frame_name attr of Enter operations must be the name of the
associated WhileLoopContext, otherwise taking the gradient of the loop
will result in frame errors.

I'm not happy that the export logic is in meta_graph.py (all other
control flow de/serialization is in control_flow_ops.py). However, I
can't think of how else to do it, since only export_scoped_meta_graph
has access to the NodeDefs being exported.

PiperOrigin-RevId: 184599323

[XLA] Sink layout sensitivity from CSE into HloInstruction::Identical, and make it the default.

PiperOrigin-RevId: 184598903

Make fold batch norm code use OneofPattern and rearrange functions to (maybe) be more readable.

PiperOrigin-RevId: 184597111

Removing duplicate code block that raises exception (#16568)

For TensorFlow version 1.5.0-rc1, the code block below raises a `ValueError`. Simply remove the duplication (lines 274 - 277 are exactly the same) and the issue is resolved.

```
# Add returned summaries to writer in each step.
writer.add_summary(summary, step)
# Add metadata to visualize the graph for the last run.
if step == (num_steps - 1):
      writer.add_run_metadata(run_metadata, 'step%d' % step)
```

Assign total_loss in order not to crash if training loop exists early.

PiperOrigin-RevId: 184596877

Ensure bash is invoked as a login shell on windows otherwise fixups fail. (#16580)

Fix the relative path issue of JNI lib loader (#16754)

Adding TensorSpec to represent the specification of Tensors.

PiperOrigin-RevId: 184594856

Verify tflite model in TFLite Java API

PiperOrigin-RevId: 184594561

Resolve Programmatic mistake. (#16765)

SPECIES should have been either imported here or it should have referenced from iris_data. The corresponding code is correct but the conflict in the documentation.

Add logging to diagnose device properties parsing problem in Grappler.

PiperOrigin-RevId: 184594084

Fix typo (#16759)

* fix typo

* FIx Typo

Fix CBLAS Conv reference implementation in TFLite.

PiperOrigin-RevId: 184592951

Automated g4 rollback of changelist 184573795

PiperOrigin-RevId: 184590080

Merging the 1.6 branch back into master.

Backward pass implementation for fusion optimizer.

PiperOrigin-RevId: 184589487

[XLA] Fix documentation for Clamp.

PiperOrigin-RevId: 184588630

[TF:XLA] Implement GatherNd.

PiperOrigin-RevId: 184584104

Propagate the name on resource variable assign (#16714)

Fix incorrect reference DOI number/link for GDR (#16734)

This fix fixes the incorrect reference DOI number/link for GDR:
`https://doi.org/10.1145/3123878.3123907` -> `https://doi.org/10.1145/3123878.3131975`

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

[tf.data] Fix use-after-free bug when closing down an input pipeline.

This fix affects the distributed runtime; DirectSession use is unaffected.

Before this change, an iterator that used a background prefetching
thread might attempt to use a captured FunctionLibraryRuntime from a
subgraph that had been deregistered (and hence its
FunctionLibraryRuntime would have been deleted). This change
introduces a mechanism for "cloning" the necessary parts of the
FunctionLibraryRuntime so that it can be owned by the
IteratorResource.

PiperOrigin-RevId: 184579490

[XLA] Add tests for Clamp of S32 and U32 vectors with broadcasted scalars.

PiperOrigin-RevId: 184579375

Fix the incorrect link to vulnerability reporting (#16778)

This fix fixes the incorrect link to vulnerability reporting.

Signed-off-by: Yong Tang <yong.tang.github@outlook.com>

Fixes issue where external control dependencies in while loops are dropped.

Fixes #15891

PiperOrigin-RevId: 184573795

contrib/rnn: Fix #16703
(Bug introduced in
https://github.com/tensorflow/tensorflow/commit/3f579020bab8f00e4621e9c7c740cbf13136a809)

Kudos to @akhti for pointing this out.

PiperOrigin-RevId: 184570448

Bug fix: Don't dereference nullptr in OpKernelContext::input_alloc_attr().

PiperOrigin-RevId: 184566770

[TF:XLA] Making constant folding deterministic.

Making constant folding deterministic by doing DFS deterministically and inserting a serialization point based on nodes' names.

This is the last source of non-determinism remaining in the TF:XLA stack.

RELNOTES: Constant folding pass is now deterministic.
PiperOrigin-RevId: 184566644

Serialize the evaluation of the AssignAdd nodes to make the result more
deterministic
Improved testing

PiperOrigin-RevId: 184565483

Support parsing from text and fused op in contrib.

PiperOrigin-RevId: 184558131

Automated g4 rollback of changelist 184323369

PiperOrigin-RevId: 184551259

Proper reallocation of dynamic tensors.

PiperOrigin-RevId: 184550199

Make flat_transforms_to_matrices and matrices_to_flat_transforms public (#781).

PiperOrigin-RevId: 184549704

Changing the link to point to new android job.

PiperOrigin-RevId: 184546160

[XLA] add Conditional to the local Python XLA client.

PiperOrigin-RevId: 184544483

Clarify that tf.contrib.image.rotate angles are counterclockwise.

PiperOrigin-RevId: 184541776

Enable aggressive identity node pruning in dependency optimizer.

PiperOrigin-RevId: 184539756

Get control_flow_ops.py ready to support de/serializing nested control flow.

With this change, ControlFlowContexts keep track of their nested
contexts (the reverse lookup as ControlFlowContext.outer_context).
This is to enable de/serializing the nested contexts of each "root"
context, and only adding the root contexts to collections. This allows
for simple deserialization of each root context by recursively
deserializing its nested contexts.

The de/serialization logic is disabled and the corresponding
control_flow.proto changes are omitted for now for forwards
compatability (i.e. three-week-old binaries must be ready to accept
the new proto format once its commited). After this is committed for
three weeks, I'll commit a follow-up change enabling the new behavior.

Design note: I chose to serialize the nested contexts, rather than the
outer contexts, because it makes it easy to deserialize the contexts
in topological order and to assign the right outer context. If we
serialized the outer contexts, there'd need to be some mechanism for
either sorting all the serialized contexts first, or deserializing all
of them and then doing another pass to assign the outer contexts.

PiperOrigin-RevId: 184533406