updates test function for new shuffle error type and message

updates docstring with new shuffle error type and message

changes error to ValueError, notes that shuffle must be provided and should be set True for training

Merge pull request #17019 from yifeif/branch_185747281

Branch 185747281

New roadmap (#16984)

Updating the roadmap.

Merge commit for internal changes

Supports op exp (tf.exp) in Toco and Tensorflow Lite.

PiperOrigin-RevId: 185747281

set_shape fix in _UnreadVariable

PiperOrigin-RevId: 185740099

[XLA] Add reproducer that shows perf issues in HloDataflowAnalysis::UpdateTupleValueSet, then optimize that method.

HloDataflowAnalysis::UpdateTupleValueSet starts to show up in profiles for while bodies that have many GetTupleElement nodes.

Use a set to keep track of which HloInstructions we need to propagate DFA for.

PiperOrigin-RevId: 185739365

Fixes MovingAverageOptimizer when dealing with resource variables.
Also make it an error if user tries to use swapping_saver with some variables but do not include their EMA counterparts.

PiperOrigin-RevId: 185739214

Added C-API based unit tests for GPU and XLA GPU testing.

Also refined the API comment for TF_NewSession().

PiperOrigin-RevId: 185739196

[tf.data] Add usage note to `tf.data.Iterator.get_next()` docstring.

Fixes #16954.

PiperOrigin-RevId: 185738793

For Split, pick the 'axis' value from the first input tensor.

PiperOrigin-RevId: 185736499

[XLA:python] Plumb method to get program shape / return shape from builder.

Will be useful for setting layouts on compile options for AOT local API.

PiperOrigin-RevId: 185733615

Add the utils module to the uncompiled whitelist.

PiperOrigin-RevId: 185733139

Exposing a tensor_list data structure

PiperOrigin-RevId: 185729104

[TF:XLA] Bump open source llvm revision to r325135

PiperOrigin-RevId: 185727281

Fixing IdentifyRelu1 transform to recognize min+max in addition to max+min.

PiperOrigin-RevId: 185725946

Return Status instead of bool in Init(), Flush(), and Close().

With tf.contrib.summary, a remote worker will be writing summaries. If they just LOG the error, then the user doesn't see them.

PiperOrigin-RevId: 185725556

[XLA] Add a test for map with static operands in the local Python client.

PiperOrigin-RevId: 185725205

Minor refactoring: rename the _canonicalization.py files, consistent with the list comprehension transformer.

PiperOrigin-RevId: 185717464

Check if ops used in the model are supported by op resolver

PiperOrigin-RevId: 185716870

Change the title of the compatibility guide document

PiperOrigin-RevId: 185713755

Make the TF Lite test driver more informative.

PiperOrigin-RevId: 185713663

Call png_error if reading fails
Allows faster exit from reading corrupt PNG files.

PiperOrigin-RevId: 185712829

Adding specialized logic for depthwise convolution of depth 20.

PiperOrigin-RevId: 185708424

Tensorflow driver to execute the given tf graphdef, and generate output

PiperOrigin-RevId: 185708396

Factor VectorOfTensors out of concatenation.cc

PiperOrigin-RevId: 185704744

API incompatibility fix in _UnreadVariable

PiperOrigin-RevId: 185700704

Canonicalize list comprehensions into equivalent for and if statements.

PiperOrigin-RevId: 185695579

Decreases number of gRPC polling threads from 8 to 2.

PiperOrigin-RevId: 185688704

Build file bug fix for iOS simulators.

PiperOrigin-RevId: 185688662

effective_sample_size kwarg change (same default behavior).

* rename max_lags --> filter_beyond_lag
* rename max_lags_threshold --> filter_threshold
* Users can use both filters, and they combine in an "OR" manner
* None ==> turn off a filter.

PiperOrigin-RevId: 185666926

Fix the comment for the return type _dnn_model_fn and _dnn_linear_combined_model_fn.

PiperOrigin-RevId: 185651142

tfe SPINN example: Add inference; fix serialization

* Also de-flake a test.

PiperOrigin-RevId: 185637742

[TF:XLA] Tag reverse_sequence test as optonly, increase its timeout.

PiperOrigin-RevId: 185637431

Fix tf.keras progbar display.

PiperOrigin-RevId: 185632155

For models running in Eager mode, do not update the weights of the BatchNorm layer if the layer's trainable argument is False.

This change is required in Eager mode to freeze a layer's weights when we set the layer's trainable attribute to False.

This should not be confused with the "training" attribute which refers to a model's training or inference mode behavior.

PiperOrigin-RevId: 185625661

Automated g4 rollback of changelist 185598764

PiperOrigin-RevId: 185623948

Internal Change.

PiperOrigin-RevId: 185618034

TensorBoard debugger plugin: SIGINT handler for easier termination of debugged runtime

from TensorBoardDebugWrapperSession and TensorBoardDebugHook.

PiperOrigin-RevId: 185617989

Don't release kInvalidHandle.

Also added a little more debug information.

PiperOrigin-RevId: 185615169

Lazily reads from resource variables in eager mode.

PiperOrigin-RevId: 185614070

[XLA:GPU] Don't crash when the root instruction of a computation is a multi-output fusion node, and avoid some pointer chasing with tuples.

Previously, the kernels we generated would have one argument per
*top-level* buffer of the input/output.  This was fine for inputs.  But
it doesn't work for outputs: Imagine you're a node that returns a tuple
-- e.g. multi-output fusion -- if all you get is a pointer to the
top-level buffer of your output (which should contain pointers to the
lower-level buffers at some point, but at the moment is just empty), how
are you supposed to figure out where to write your output?

(This usually worked because most of the time your output would live
inside of the big XLA temp buffer, and kernels always get a pointer to
that.)

Now we pass all the buffers, top-level and otherwise, to our kernel.  In
addition, we're now willing to dereference statically tuples that live
entirely in XLA's temp buffer.  Pointers in input tuples must still be
dereferenced dynamically, because the caller has the option of giving us
these values or not when invoking XLA.

This change makes some parts of BufferAssignment/BufferAllocations more
truthful.  Previously, if you passed a tuple-shaped input to XLA, we'd
say in BufferAllocations that the pointer for some subshape of the param
was the *top-level tuple pointer*.  XLA then knew that this was a lie
and would dereference it accordingly.  Now we have an explicit notion of
a BufferAllocation pointing to a subshape of an input parameter.

PiperOrigin-RevId: 185614060

Improve type safety around float constants

Instead of passing floating point constants to the vector support library as
compiler-side floats, pass them as APFloats instead.  This reduces the duration
during which these constants are semantically represented as floats on the host
side and are subject to fast-math-like behavior.  This is especially important
in cases where the exact bit representation of the floating point constant is
significant, but also makes progress towards ensuring that e.g. build XLA with
-ffast-math does not change the IR we generate.

PiperOrigin-RevId: 185611301

Fix incorrect is_training parameter.

And remove many is_training default values to avoid these mistakes from happening again.

PiperOrigin-RevId: 185609589

Update TPU Profiler to be able to take a TPU name

PiperOrigin-RevId: 185609588

CleanupFunc doesn't need to do cleanup if _py_funcs is already destroyed.

PiperOrigin-RevId: 185606203

Allow an option to delete the temporary file created at compilation on exit. Defaulting it to true, though we may want to keep it off during development.

PiperOrigin-RevId: 185604628

Wire in support for XLA kConditional instruction.

PiperOrigin-RevId: 185598764

Add instructions for building CUDA-enabled Android TensorFlow (#16961)

* Add instructions for building CUDA-enabled Android TensorFlow

* Update README.md

* Update README.md

* Update README.md

* Update README.md

* Update README.md

* Update README.md

* Update README.md

Change linkage type of modules to external after dropping initializers

It isn't legal to have private global variables without initializers.  In the
current state the -noconst.ll LLVM IR cannot be passed to opt.

PiperOrigin-RevId: 185593073

Code cleanup: Made Executor related API take std::unique_ptr<const Graph> instead of const Graph* as input.

PiperOrigin-RevId: 185592574

[TF-XLA] Disable Tensorflow's CSE in xla compiler

No need to do CSE in TF-XLA bridge, as XLA already has its own CSE pass later in the compilation pipeline. This removes one source of nondeterminism.

RELNOTES: CSE pass from Tensorflow is now disabled in XLA.
PiperOrigin-RevId: 185592383

Merge pull request #16991 from yifeif/branch_185565363

Branch 185565363

Add label_wav_dir.py (#14847)

* Add label_wav_dir.py

* Modify label_wav_dir.py

add not equal op to tf_op_files.txt (#14319)

Use a more advanced py_func wrapper, one that allows non-tensor args to be passed directly to the wrapped function.

PiperOrigin-RevId: 185583023

[TF:XLA] Bump open source llvm revision to r324990

PiperOrigin-RevId: 185582753

Internal Change

PiperOrigin-RevId: 185580787

Add `Kumaraswamy` to distributions __init__.py

PiperOrigin-RevId: 185578929

Make LLVM IR dumps more readable

Before this the IR we dumped out would contain constant tensors that were
sometimes huge resulting in unweildy IR files.  With this change we dump out a
"noconst" IR file that has the constant initializers stripped out.

PiperOrigin-RevId: 185572700

Extract the filter and input shape for Conv2DBackpropFilter/Conv2DBackpropInput
from the corresponding op inputs whenever possible.

PiperOrigin-RevId: 185570750

Fix bug in populating the execution plan sent to the delegate.

- memcpy was missing the array size.
- modified the unit test to verify that the execution plan is
trivial on first delegate invocation.

PiperOrigin-RevId: 185569606

Merge commit for internal changes

Add cache for _zeros in backprop

PiperOrigin-RevId: 185567508

Minor eager-related performance improvements

- Add a cache for name_scope
- skip some overhead _MulGrad and _MatMulGrad

PiperOrigin-RevId: 185565363

Explicitely place the swap-in node: this ensures that subsequent rounds of
memory optimization have a more accurate picture of the placement.

PiperOrigin-RevId: 185563797

Error out or log a warning if user sets the TPUConfig.num_shards incorrectly.
Also improve TPU system metadata print out message.

PiperOrigin-RevId: 185561680

Allow other types of variables to act as a resource variable.

Introduce resource_variable_ops.is_resource_variable() function that returns true
if an _should_act_as_resource_variable attribute is set.

PiperOrigin-RevId: 185559202

add missing blank line

PiperOrigin-RevId: 185554969

Add empty scaffolding for loop optimizers in Grappler.

PiperOrigin-RevId: 185554126

Clarify that the behavior of the iterator (advancing whenever any of the components is evaluated) is not magic, but a simple consequence of the dataflow graph structure.

PiperOrigin-RevId: 185554089

Fix documentation for the real shape of the output of crf_log_likelihood.

PiperOrigin-RevId: 185552171

Use _set_attr instead of directly modifying the nodedef

PiperOrigin-RevId: 185550223

Move two common utility functions used by training and training_eager classes to a utility class.

PiperOrigin-RevId: 185548922

Tiny bugfix to eager TensorArray error message.

PiperOrigin-RevId: 185543699

Merge pull request #16494 from rongjiecomputer/unroll

Enable [no]unroll for Clang on Windows

Merge pull request #15404 from codrut3/doc_fused_fix

DOCS: Update the description of the fused parameter.

TF to XLA compiler to support FakeQuantWithMinMaxVars/Args.

PiperOrigin-RevId: 185538228

Add gradient norm target arg to wass gradient penalty function. This trick is usd in the progressive GAN paper https://arxiv.org/abs/1710.10196

PiperOrigin-RevId: 185535584

Force the use of print function in generated code.

PiperOrigin-RevId: 185531979

Mechanical variable renaming to improve consistency. No other changes.

Distinguishing between points and vectors: A point refers to a location in the tensor/filter, referred to by channel/row/col. A vector is the difference between two points (mostly 'one_past_the_end - begin'), referred to by depth/height/width.

PiperOrigin-RevId: 185496176

Internal change

PiperOrigin-RevId: 185491705

Add test to ensure that covariance terms of FID is being incorporated meaningfully.

PiperOrigin-RevId: 185488757

Disable interleave_dataset_op_test.py and remove a duplicate entry in test blacklist in cmake build.

PiperOrigin-RevId: 185488210

Fix typo in build_and_run_inception_hexagon.sh (#16968)

Signed-off-by: MyungSung Kwak <yesmung@gmail.com>

1. Add image_ops.is_jpeg Op to decide if a input string is a jpeg string or not.
2. Change tfexample_decoder in slim/objection_detection to accept different JPEG decompression method.
Defaults to ""/None which maps to a system-specific default. Currently valid values are ["INTEGER_FAST", "INTEGER_ACCURATE"]. The hint may be ignored (e.g., the internal jpeg library changes to a version that does not have that specific option.)

PiperOrigin-RevId: 185486653

[TF:XLA] Work around crash in Gather op on CPU backend by making loop bound a compile-time constant.

PiperOrigin-RevId: 185486148

[XLA:CPU] Implement vectorized Log in LLVM IR

This was the last vectorized intrinsic for which we had to call into
C++ so also remove the associated machinery.

PiperOrigin-RevId: 185482962

[TF:XLA] Implement ScatterNd.

Add a helper method for performing scatter operations. Share it between ScatterNd and UnsortedSegmentSum implementations. In passing, add support for negative indices to the  UnsortedSegmentSum implementation.

Added helper methods for creating XLA while loops. Use the new helper in both Gather and Scatter ops.

PiperOrigin-RevId: 185469229

Fix TFLite examples/image_label

PiperOrigin-RevId: 185465716

Enable Model subclassing, both in eager-mode and symbolic-mode.

PiperOrigin-RevId: 185464334

Rollforward switch group identification with fixes.

Fixed computing the switch depth: with the erroneous switch depth incorrect
clusters could be formed. Change the way the switch depth is determined (the
switch depth is now on the output side, so a switch always has a switch depth
one higher than all its inputs), add further checking during execution.

PiperOrigin-RevId: 185461054

Fix a typo in the comments.

PiperOrigin-RevId: 185459972

[XLA:GPU] Extend the CustomCall for cudnn convolutions to represent
tensor_ops_enabled.

The convolution algorithms returned from the stream executor have a flag
for whether tensor_ops is enabled. This flag is used when running each
algorithm during auto-tunning. However, this flag is not currently represented
in the CustomCall representing the auto-tune result. As a result, the algorithm
may be run differently after auto-tune.

This change adds a constant to the CustomCall for cudnn convolution algorithm
selected by auto-tune, to represent whether tensor_ops is enabled during
auto-tune. This information is used by convolution thunk to ensure that the
algorithm is run with the same flag after auto-tune.

PiperOrigin-RevId: 185458497

Merge pull request #16253 from samikama/tensorrt

Introducing TensorRT operator

Support None trainable variables that don't produce a gradient in replicate_model_fn.

This fixes #16829.

PiperOrigin-RevId: 185453911

Automated g4 rollback of changelist 185420228

PiperOrigin-RevId: 185453293

Merge pull request #16928 from rongjiecomputer/shapeutil

[MSVC] Use explicit func pointer to static method instead of lambda func