Fixes for PR comments and build failures

[update]
  removing commented code & unused code

Fix py3 conversion

[update]
  addressing comment on variable names

[update]
  addressing comment issues

Fix ldscript for exporting PyInit_* functions for python3

Add/fix copyright and fix format for the test script and other files.

Fix missing defines in compilation flags that caused missing ops and add a simple test to validate functionality

Change VLOGs to increasing verbosity mode

Add missing tf_copts() to Build file so #if GOOGLE_CUDA directives work correctly

[COMMENT]
  trt_engine_op compute
    comment on the scope of pointer arrays for i/o binding
    tensorflow/contrib/tensorrt/kernels/trt_engine_op.cc

Changes for more PR comments

Merge branch 'tensorrt' of github.com:samikama/tensorflow into tensorrt

Fix dependency problem

Run clang-format on c++ files

Remove unused targets

Fix the build dependencies and formatting of the code, and make sure
they follow the style conventions.

Remove commented lines in configure.py

Fix GOOGLE_TENSORRT

Add TODO message

Update Readme and add GOOGLE_CUDA conditionals back

Remove debug log and use vlog instead

Resolve merge conflict

Fix merge problems

Fix compilation issues with new build files

Fix build (part1):
1. Changed includes of "NvInfer.h" to "tensorrt/include/NvInfer.h"
2. Remove build target "tensorrt_ops.so" (src file doesn't exist and the
   target is not used anywhere)
3. Add missing '#if GOOGLE_TENSORRT's
4. Use tf_cuda_library instead of cc_library for some targets to get the
   tf_copts naturally.
5. Revert the changes that was accidentally made (by merging with
   upstream head) from configure.py
6. Replace exception with LOG(FATAL) in
   tensorflow/contrib/tensorrt/convert/convert_nodes.cc as exception is
   not supported.
7. Revert the reinterprete_cast change in
   tensorflow/contrib/tensorrt/kernels/trt_engine_op.cc
8. Fix minor formatting and naming issues according to the style guide.

[update]
  clang-format & cpplint done.

  TODO: compile and test after build fix.

[update]
  addressing:
  i. some naming conventions
  ii. add macro to guard cpp files

  TODO:
    cpplint

Fix compilation, there are still linking issues which will be fixed in a followup commit.

[UPDATE]
  addressing code review comments.

  TODO:
    MACRO GOOGLE_TENSORRT to guard c++ files.
    build/test -> current code works on local repo before the master merge.

Merge branch 'master' into tensorrt

Decoding contents of BMP file on big endian (#16145)

* Decoding contents of BMP file on big endian

* Updated as per review comments

* Update decode_bmp_op.cc

Corrected function name

Update contrib/HVX readme (#16131)

* Update contrib/HVX readme

* Fix PR comments

Fixing the url for the pip3. (#16447)

Merge pull request #16457 from xiejw/branch_183374082

Branch 183374082

solve push conflict

Roll CL 179861781 forward with fix: Wrappers for CUDA 9 warp-synchronous intrinsics.

PiperOrigin-RevId: 183374082

Remove dead code

PiperOrigin-RevId: 183374040

Fix override annotations

PiperOrigin-RevId: 183367326

Fix checkpoint_utils.init_from_checkpoint() to be deterministic.

PiperOrigin-RevId: 183354193

Set up TensorRT configurations for external use, and add a test.

PiperOrigin-RevId: 183347199

  Adds R1 test for ReduceWindow.

PiperOrigin-RevId: 183345779

Go: Update generated wrapper functions for TensorFlow ops.

PiperOrigin-RevId: 183342483

For windows cmake build turn on CMAKE_SUPPRESS_REGENERATION to avoid flaky
build failures.

PiperOrigin-RevId: 183341561

Clarified documentation on resize_images.align_corners parameter.

PiperOrigin-RevId: 183339087

Hotfix/fix android example for focus mode continuous picture - #15487 (#15489)

* fixed #15487

* fixed #15487

* simplify and tweak formatting to TF style

Updating error handling in normalize_tuple (#15822)

On line 83 we test to see if single_value is an int (or able to be cast to an int).

ValueError is fired if `int()` is called with an input like 'asdf' - this is caught and gives a helpful error, using the 'name' param to provide more context.

However, when given an other than a string or int, this is *not* caught - making error messages much more esoteric than the helpful one written out here.

For example, before, I was getting an error:
> line 83, in normalize_tuple
>   int(single_value)
>  TypeError: int() argument must be a string or a number, not 'tuple'

Now I get the more useful:
> ValueError: The `kernel_size` argument must be a tuple of 2 integers.
>  Received: ((0, 3), 50) including element (0, 3) of type <type 'tuple'>

Fix docstrings in `scan` (#16432)

Increase tolerance on TFGAN losses test. fixes #16238 (#16435)

Log more info about the ill-formed node in ComputeTransitiveFanin.

PiperOrigin-RevId: 183333452

internal change

PiperOrigin-RevId: 183333411

[XLA] Add source mapping utility translation unit, use it in the local client.

PiperOrigin-RevId: 183331075

  [tpu:profiler] Add infeed enqueue operation data to tf_op_stats.proto.

PiperOrigin-RevId: 183328456

Update tf.keras to the Keras 2.1.3 API.

PiperOrigin-RevId: 183328052

Including common.h with NEON_2_SSE.h (#15743)

* Including common.h with NEON_2_SSE.h

Including common.h to make sure that USE_NEON is defined in case of NEON_2_SSE.h is used; otherwise USE_NEON will not be propagated to this file and `portable_tensor_utils.h` will be used

* Removing spaces

* Using neon is USE_NEON is defined

* Using common.h to set USE_NEON if applicable

* Adding required dependencies

Since tests are more likely compiled on sse4-enabled machine - if they are run with common.h - it will enable sse4, there are two ways - just enable it and let tests using sse4, or add extra flag check which would require USE_SSE4 flag to be defined. I've added all required dependencies for tests to pass, so it could work.

* Rearranging dependencies according to linter

* Fixing sanity check

* trying to rerun, could be cached

* Triggering build

* triggering build - looks like it stuck

no status for more than 24h

* including x86_64 since NEON_2_SSE4 convertion will allow neon to run on x86 with SSE3,4

* Fixing name

* using darwing for MacOS

* Fixing header inclusion rules

* Fix syntax

* Depend on includes

We depend on both types and compatibility. That's in the "types" rule.

Fix typo (#16425)

* fix typos

* fix typos

import contextmanager in side_effect_guards.py (#16426)

Set size of test //third_party/tensorflow/python/data/kernel_tests:dataset_from_generator_op_test to medium

It sometimes takes longer than a minute, and thus gets flaky timeouts.

PiperOrigin-RevId: 183326334

Allow passing dummy/custom minmax information on a per-array basis,
unlike the existing --default_ranges_{min,max} flags which only allowed
to set a single global value for all arrays.

This takes the form of a new embedded message in ModelFlags, which is
its own message so that it can be serialized separately. The command-line
interface is --arrays_extra_info_file=some_proto.pbtxt, i.e. we don't
try to make a command-line-flags-only interface, we mandate putting the info
in a file. The rationale is that users may want to specify custom minmax
for hundreds of arrays, so it would be cumbersome to have that all in a
command line.

This should be considered an experimental feature, in the sense that
in properly quantized models, minmax information is already embedded
in the graph (e.g. in FakeQuant nodes). This is an extension of the
existing --default_ranges_{min,max} feature which had turned out to be
too restrictive for many users.

PiperOrigin-RevId: 183326000

Add input_shape to seq2seq helpers.

PiperOrigin-RevId: 183321394

Replace instances of `control_dependencies(None)` with `init_scope` when
initializing variables.

Today, when variables are constructed (Resource and otherwise), we lift certain
operations, including the VarHandleOp and initialization ops, out of all
control flow contexts; the mechanism for doing so is entering the context
manager returned by `control_dependencies(None)`. This change replaces various
instances of this mechanism with `init_scope`, which clears control dependencies, lifts ops out of function-building graphs, and pauses the gradient tape. As a result,
variables that are created inside graph functions will be automatically hoisted
into an outer context.

PiperOrigin-RevId: 183320576

Move flatbuffer verifier to a separate lib

PiperOrigin-RevId: 183318384

Add an option to input a GraphDef.

PiperOrigin-RevId: 183317862

Make kernel_tests/scalar_test.py work with the C API enabled.

This also moves the set_producer_version function from a specific test
file to test_util.py, since it's needed in two test files now.

PiperOrigin-RevId: 183316990

[XLA] Disable half_test_cpu as it is flaky

PiperOrigin-RevId: 183315762

Record requested cpu cores in OpPerformance.

PiperOrigin-RevId: 183313321

Automated g4 rollback of changelist 183296506

PiperOrigin-RevId: 183312680

Deleted unused data fields

PiperOrigin-RevId: 183312596

import tensorflow as tf (#16318)

* import tensorflow as tf

* import tensorflow as tf

* from contextlib import contextmanager

* remove the last remaining change to py2tf

Make batch_sequences_with_states_test.py work with C API enabled, take 2.

This fixes the original rollback by using placeholders for the
SparseTensor shapes. The flakiness was caused by the nondeterministic
ordering of the sequences dict.

PiperOrigin-RevId: 183308774

Show friendlier error message on failure in tf_optimizer.i

Without it we trigger a segmentation fault, but later in a different stack, which is not so helpful.

PiperOrigin-RevId: 183307729

In the TF cost model, ensure when id grows, records for each op's outputs match the number of outputs.

PiperOrigin-RevId: 183306267

Implement LoggingAsync for GRPC Worker Services (#14604)

* Implement LoggingAsync for GRPC Worker.

* Add nullptr checks

* Fix BUILD file format

* Change LoggingAsync implementation

- Revert changes to *_rendezvous_mgr
- Implement logging primitives in session_mgr instead
- Implement ClearLogs
- Fixed C++ formating

* Check for nullptr

* Better handling of the case when both "clear" and "retrieve" flags are sent to "LogAsync."
nullptr check on default_worker_cache_.

* Fix formatting

* Updata session_mgr.cc to address changes in 619792f

add URLEncode for the CopyObjectRequest of S3 Rename function (#16415)

Add missing library in Dockerfile (#16417)

The local Dockerfile does not have all the dependencies for running the exercise notebooks in udacity assignments.

Adds loss_fn argument in remaining heads.

PiperOrigin-RevId: 183301479

[XLA:GPU] Implement conditional as a sequence of thunks in the GPU backend.

This also includes the following fixes:

(1) Update buffer assignment for conditionals so that the buffers corresponding to the true operand and the true computation parameter are colocated, and similarly, the buffers corresponding to the false operand and the false computation parameter are colocated.

(2) Update GPU copy insertion pass to insert copies when constants appear as operands of conditional instructions.

PiperOrigin-RevId: 183297282

[XLA] Add HLO matcher for CustomCall that accepts a call target.

PiperOrigin-RevId: 183296506

Whitelist "bool" as a valid TPU infeed type.

PiperOrigin-RevId: 183296017

Drop the manually_create field from RnnState.

Initially, I thought that the shape of RNN state arrays could always be
determined by shape propagation. Then I came across some graphs where this
wasn't so easy to infer, so I introduced manually_create thinking of it
as a hack. Today I took another look at dropping that hack, and had a
"D'oh" moment when I realized that the cyclic nature of RNN graphs makes
it impossible to infer the shapes of all arrays by usual propagation.
For example, in a LSTM cell, the input array is concatenated with
a state array, so if we don't already know the shape of that state array,
shape propagation stops there.

Thus, this change removes manually_create by making toco always behave as
if manually_create=true, i.e. early-creating all RNN state arrays with
the shape explicitly specified by the user. The next TODO item here
(see model_flags.proto) is to introduce a generic 'shape' field, so far
the current 'size' field only allows specifying 1-D shapes.

PiperOrigin-RevId: 183294102

Use LookupOrCreateResource when creating summary writers. The resource may
already exist because it's associated with the device.

PiperOrigin-RevId: 183293761

Add OPENSOURCE extension to schema_generated.h

PiperOrigin-RevId: 183293637

Make select_and_scatter_test optonly

- Make select_and_scatter_test optonly.
- Reduce number of shards.

PiperOrigin-RevId: 183292230

Automated g4 rollback of changelist 183273334

PiperOrigin-RevId: 183291956

make label_image for tflite build again (#16206)

* make label_image for tflite build again

1. add namespace to label_image.h to make label_image for tflite build again
2. add --config monolithic and mention NDK settings in label_image.md
3. fix a typo in display_usage()

* relies on tensor type info to switch types

use tensor types of input and output tensors instead of command
line flag from user

* reformatted according to review

Deprecation warning on Variables's += methods

PiperOrigin-RevId: 183290246

Remove no longer used param fields from TfLiteResizeBilinerParams

PiperOrigin-RevId: 183284937

VLOG shape inference and annotation return status.

PiperOrigin-RevId: 183280222

Remove calculation of unnecessary matrix columns in SVD gradient (#15801)

* remove calculation of unnecessary matrix columns in svd gradient

* simplify expression for svd gradient when compute_uv=False

* assign Operation attribute to local variable

Automated g4 rollback of changelist 183251689

PiperOrigin-RevId: 183273334

Add C0330 bad-continuation check to pylint.

PiperOrigin-RevId: 183270896

Don't load libcupti.so from regular path on Android (#16303)

* Don't load libcupti.so from regular path on Android

* replace NVIDIA_TEGRA with ANDROID_TEGRA to be less redundant and more specific

[XLA] Make xla_hlo_profile_test less flaky

Instead of relying on some oeprations always taking longer than others (and this
appearing in a specific order in the rendered HLO profile), pick them out by
opcode.

PiperOrigin-RevId: 183268593

Add checkpoint file prefix check (#14341)

Additionally fix Two failed tests caused by the PR

Fixes #9465

Add additional argument to freeze_graph (#15906)

fix typos (#16384)

Modified Implementation of ndlstm_base_dynamic. (#16402)

* Added ctc_loss_dense_labels. This does the conversion of dense labels into sparse ones to be passed into the core ctc_loss function.

* Removed constant_op from the import.

* Matched ctc_loss_dense_labels with the other layers ops.

* Added ctc_loss_dense_labels to contrib.layers __init__.py file

* Added missing comma to list of ops.

* Reordred arguments for ctc_loss_dense_labels

Labels should be first then inputs for ctc_loss.

* Removed ctc_loss_dense_labels.

Replaced it with dense_to_sparse instead so that there'll be only one ctc_loss function.

* Replaced ctc_loss_dense_labels with dense_to_sparse

* Fixed dense_to_sparse. Some of the names of the variables did not match with that of the parameters.

* Updated documentation for dense_to_sparse since it can accept a tensor of any shape.

* Added test case for dense_to_sparse.

* Updated documentation. Dense to sparse accepts int tensors.

* Fixed testDenseFromConstantToSparse.

The sparse_to_dense order of arguments in the test are wrong and the expected constant should be of int64.

* Modified implementation of ndlstm_base_dynamic.

It now uses a BasicLSTMCell that has state_is_tuple=True to address deprecation. Right now it is still unknown why it was set to false in the first place.

Simplify the template mechanism by specifying templates using multi-line strings instead of functions. This loses the syntax verification on templates, but it avoids the clutter of lint overrides and the duplication of parameter names, so things are more readable.

Addresses #16318

PiperOrigin-RevId: 183260854

Build libjpeg-turbo ALTIVEC SIMD (#16409)

The libjpeg-turbo package has ALTIVEC SIMD and this updates the
third_party build to build the ALTIVEC SIMD on the appropriate
platform.

improve comment describing segmentation algorithm