IVGCVSW-2117 - BuildGuideCrossCompilation.md Documentation update

* Updated build guide to include instruction to copy
          libprotobuf.so.15 into the build folder before moving
          to arm64 machine.

Change-Id: Ia20691edc79ff59fa4147eafbbfd3997b2531317

Minor improvements and changes in backends/README.md

Change-Id: I55e27c50953c5e3f0b43bcd7aa8643015480181d

IVGCVSW-2144: Adding TensorUtils class

* helper methods for creating TensorShape and TensorInfo objects

Change-Id: I371fc7aea08ca6bbb9c205a143ce36e8353a1c48

IVGCVSW-2175 - Add support for uint8 Concatenation on CL

Change-Id: I9bc46e17e11d73ee1a3bc4f9ec07d46be77fcbcb

MLCE-64: Updating BuildGuideAndroidNDK.md for Ubuntu 18.04

Change-Id: Iab9c4952f5478d4805dba56e838f9c33d2b598ee

IVGCVSW-2043 Merger using ACL for innermost concat axis

 * Fixed unsigned to signed conversion error that was
   breaking master

Change-Id: I08d79d9bf131eb46ea0495371160698ab59c1721

IVGCVSW-2115: Fix for unset USERNAME

* When running the script standalone USERNAME can be unset causing failure

Change-Id: Idb1752117c319c8946426efe8882f03034b2bbbf

IVGCVSW-2169 Remove DataLayoutIndexed from public API

Change-Id: If8d8087d9d365e467d3ca9bf9c40d7219cb75cfd

IVGCVSW-2105 - Unit tests for merger
 * Add LayerTests
 * Add WorkloadTests

!android-nn-driver:166

Change-Id: I903461002879f60fc9f8ae929f18784e2d9b1fc1

IVGCVSW-2168: Remove DataLayout from Layer

Change-Id: Iab6ad04e5c786e4e639578f7b1d1537dd1196e2f

IVGCVSW-2043 - Merger using ACL for innermost concat axis
     * Add ClMergerWorkload and NeonMergerWorkload to call ACL for innermost concat axis
     * Modify layer support to call ClMergerWorkloadValidate and NeonMergerWorkloadValidate when concat axis is inner most
     * Add m_ConcatAxis to MergerDescriptor
     * Modify MergerQueueDescriptor::Validate to check sub tensor only when using subtensor

!android-nn-driver:166

Change-Id: I56676b43964c8d6d726387b41b3cc34a512c0f0a

IVGCVSW-2167: Run parser unit tests on the reference backend only

Change-Id: Ib11c3d36c7109198da7266955414580e8fb916b5

Fix for Github issue #103

Use CMAKE_THREAD_LIBS_INIT instead of pthread in sample_app.
The separate pthread library doesn't exist on Android.

Change-Id: I9a363ba7d29d2673359349f5f4288844f0550946

Changed the mode of generate_tensorflow_protobuf.sh to executable

Change-Id: I0042395b46906f70d09a16b4122af3d911f5a53d

IVGCVSW-2115: Updated README.md

* Added line to README.md explaining the function of the get_compute_library.sh script

Change-Id: If6be1c64443dcd6d0a08a12485de3d38614542f0

IVGCVSW-2115: Script to clone/fetch correct clframework

* Script designed to be invoked from anywhere clones clframework
  relative to where the script source is located in armnn/scripts
* Allows user to specify GITHUB_USERNAME on command line with -g option
  otherwise will set this value to $USER

Change-Id: I34ee0d936152e94ff16b9bd7751c3da7248c9150

IVGCVSW-2155 - Always call NEConvolutionLayer in NeonConvolution2dWorkload
 * Remove check for preferDirectConvolution
 * Remove IsNeonDirectConvolutionPreferred
 * Remove unused tests and functions

Change-Id: I3f0868f41403ec5fa740889e7bdcb4415ad77bda

IVGCVSW-2017: CLWorkload to use L2Normalization

* Changed ClL2Normalisation from using CLNormalizationLayer
  to use CLL2NormalizeLayer to normalise along the channel axis
  in either NCHW or NHWC format.

Change-Id: I399cbee408a277d1ef8c6c85ebcbd86d6c3e407b

IVGCVSW-2158 BuildGuideCrossCompilation.md wrong protobuf version

Change-Id: Ibe826db4412c54aba42c45c155e7e5329861bdb1

IVGCVSW-2162: Remove conditional compilation directives from ArmComputeUtils

Change-Id: Ie2f134fd51de919c50fa9d8d82bbb4ed4ee46469

IVGCVSW-2157: Remove conditional compilation directives from ClBackendContext

Change-Id: I0b9818c3bc09101aa6563ea8e4a886483d3b09d1

IVGCVSW-2092 Port LSTMCell::Eval to ArmNN

 * Ported Google's LSTM implementation to RefLstmFloat32Workload
 * Fixed the code throughout because of an error in the docs around the
   scratch buffer size
 * Updated IsLstmSupported
 * Added the unit tests

!android-nn-driver:127

Change-Id: I5577b7e39ca52df1a7f102a9b437df6aa99520b6

IVGCVSW-2156: Remove conditional compilation directives from ClContextControl

Change-Id: I812d09a869fe7c45ce71108fb675f3e2d974e2d9

IVGCVSW-2134: Updating version number to 18.11

Change-Id: I7cbfd5a6ab0746e0351b64a45617ed089992c1a9

Adedd load/unload warm-up before the memory lek test to put the runtime into a
stable test (memory-wise)
This prevents false-positives when running the tests on Master

Change-Id: I4348378f3689cb3ec98686a93315d2b88bb7bcc7

IVGCVSW-2086: Add StridedSlice layer & corresponding no-op factory implementations

Change-Id: I906dcb8b4c9b491bf3a661f208c09d0ea1c0fa35

IVGCVSW-2136: Remove memory management methods from workload factories

Change-Id: Idc0f94590566ac362f7e1d1999361d025cc2f67a

IVGCVSW-2064 + IVGCVSW-2066 + IVGCVSW-2125 + IVGCVSW-2128 backend docs update

Change-Id: Iccc1272e59bd71c59f810a54d6d3742859789212

Fixed minor typos in BuildGuideCrossCompilation.md

Change-Id: I4d02a6cca8e99d70a389ca3b0ce47fb7f15ed21f

IVGCVSW-2152: Convert TfLiteParser to NHWC

* Removed the convertFromTfToArmnnFormat flag from the
  CreateConstTensor and CreateConstTensorImpl functions
* Removed the SwizzleInDeswizzleOut function and its invocations
  in the ParseConv2D, ParseDepthwiseConv2D and ParsePool functions.

Change-Id: Id935e28ab6eff4731f838af9490d016e108f6df6

IVGCVSW-2125 : Consolidate backend registries into one

* adding missing include <functional> into BackendRegistry.hpp

Change-Id: I7a4ba867a856c90a3099a782ff41b8a5fb9a9efb

IVGCVSW-2054: Fixing issue with InferOutputShape implementation in BatchToSpaceNdLayer.
    * added Unit test

Change-Id: I80f55e8c7afb39d96006c8dd027fc9683ea8182e

IVGCVSW-2017: Refactored L2Normalisation Tests

* L2Normalisation Tests now take the layout as an argument.

Change-Id: Ib393889eedb3a81c9a500da91593e90a18549c33

IVGCVSW-2066: Add IMemoryManager and integrate into the backends framework

Change-Id: I93223c8678165cbc3d39f461c36bb8610dc81c05

Tidying up multiple issues

* Fixed error in InferOutputShape implementation
* Added better error checking to the BatchToSpace implementation.
* Added defaults to the batchToSpace descriptors.
* Changed crops to be a vector of pairs to align with the SpaceToBatch implementation

Change-Id: Ib1c16d871f0898a1caeb6629c1fee6380a773e14

IVGCVSW-2125 : Consolidate backend registries into one

Change-Id: I56da4780f8f5fcef7ff01d232d5d61bf299364bf

IVGCVSW-2054: BATCH_TO_SPACE_ND Reference implementation and Unit tests.

Change-Id: I13c6728dbb60643d0e086d171225c5d802987f92

IVGCVSW-2082 - add SimpleConvolution2dAsymmetricPaddingNhwc to CL test after ACL fix the convolution issue.

Change-Id: If72f6f4e32567bcfa4af13836e411a3199ede010

IVGCVSW-2125 : backends now can return optimizations

Change-Id: Ieec34224b433e1d2f3bbe66632cd6016cac5498c

IVGCVSW-2095 Add reference implementation and unit tests for SpaceToBatchNd

Change-Id: I27ffebdece6e68460931a44c15b9b029f9fce638

IVGCVSW-2056+IVGCVSW-2064 : move ClContextControl to the ClBackend

* add IBackendContext interface
* add ClBackendContext implementation

Change-Id: I13e4d12b73d4c7775069587675276f7cee7d630b

IVGCVSW-1709: Clean up memory manager bodge

 * Added quick workaround for the memory management errors in the
   CL/Neon unit tests

Change-Id: I56250db462cdbdc1acc0a5824807d288fb0c1d11

IVGCVSW-2037 : Documenting pluggable backends

also in IVGCVSW-2019 + IVGCVSW-2005 + IVGCVSW-1987 IVGCVSW-1642

Change-Id: I33809fd2f30aac248ec45f070f717b8dcf5de3cf

IVGCVSW-1949 : Refactor ITensorHandle and move backend specifics to their place

Change-Id: I48242425c6a6856e13ebcee1b140cbd2af94a3aa

Revert "IVGCVSW-2056 + IVGCVSW-2064 : move ClContextControl to the ClBackend"

This reverts commit d4dfa684941a21314b70593d01b0fc2167eebad4.

Change-Id: Id61ce69215505c3cf5d30ec2a7ec9127fb2554fc

IVGCVSW-2113: Update ClDepthWiseConvolutionWOrkload to suit NCHW/NHWC DataLayout (3*3 Optimization)

Change-Id: Icfc137201c52e2c856076b7795572cc4ba75cc95

IVGCVSW-1946: Remove armnn/src from the include paths

Change-Id: I663a0a0fccb43ee960ec070121a59df9db0bb04e

IVGCVSW-2093 Add SpaceToBatchNd layer and corresponding no-op factory implementations

Change-Id: Ibd457f3a2d4342c4d6335bd3c471282a14ab6b14

IVGCVSW-2103: Add 2-Channel unit tests ResizeBilinear

* Modifies ResizeBilinear unit tests to use 2-Channel
  tensor shapes for input and output data, to improve
  test coverage when exercising NHWC data layout.
* Refactors unit tests to permute input and output
  data when exercising NHWC data layout.

Change-Id: Ib7fb438cac23e78ff0104c895c3b7596bf7c3aa7

IVGCVSW-2074: Updated the DepthwiseConvolution2dDepthMul1 for NHWC

Change-Id: Ibaa0b909680a6f2a155e4ca6fa24e1144d6e6e73

IVGCVSW-2074: Updated CompareDepthwiseConvolution2dTest for NHWC

Change-Id: Ib0568024b4f43ae17e6c75ac35d31cf103ce3482

IVGCVSW-1970 TfLite VGG16: Use same number of iterations as other tests

I had forgotten that as a workaround for the testing using a different
number of test cases for different hardware backends, we repeat
the expected test results an arbitrary number of times

Change-Id: I4d1ea8daa1cbfd63ebcd7ac93ac30acb5806fafe

IVGCVSW-2102: Fix Pooling2D CpuRef indexing bug

* Fixes bug when calcuating indexes for NHWC in
  Pooling2D CpuRef implementation, it now uses
  TensorBufferArrayView.
* Adds 2-Channel unit tests for Pooling2d on CpuRef,
  Cl and Neon. The single channel tests were not
  properly exercising Pooling2d using NHWC data layout.
* Refactors Pooling2D NHWC tests so that the input and
  output data are permuted to NHWC when necessary,
  instead of hard coding the data in NHWC format.

Change-Id: I5b9d41ed425ff283ea8c8ef6b1266ae0bc80f43b

IVGCVSW-2074: Updated the DepthwiseConvolution2dTest for NHWC

Change-Id: If2befd3bd75da70c57f924cbe18fa0a47bf7a27f

IVGCVSW-1970 TfLite VGG16: Correct number of iterations

Change-Id: Iaf03755b0d30598f5d09ca36af8eeeb369191950

IVGCVSW-1970 TfLite VGG16: Add Validation.txt for continuous integration

Change-Id: Ib7ea0a0b809bdfe1d705b31a08f42e1b7815b0d2

MLCE-67 Fix for Github issue 91

Remove incorrect early out from image resize

Change-Id: I58014680f5cbe43dfc6b4af66638db67c070a146

IVGCVSW-2029 Tweak results handling for batch size 2 test

When looking for the top probability, use the 'first' result not the 'second'.
This avoids an issue where for batched tests the classification index was reported wrongly.

Still doesn't correctly handle multiple results with the exact probabibility, or batched testing,
but it's slightly more correct than before.

Change-Id: I57d33552754667613e222d9d2037e12c87a96854

IVGCVSW-2074: Updated DepthwiseConvolution2dAsymmetricTest for NHWC

Change-Id: I1bc8d2f270d4abfaa62e4843b8d96bcf462c6b09

Fixed Android32 build error blocking master

 * In ImagePreprocessor, typecasted the number of image elements
   (unsigned int) to a const_iterator::difference_type (int)

Change-Id: Idb8611185f6471751678a0a77d8225bceb204a34

Fixed backend id argument parsing in ExecuteNetwork

Change-Id: I99498a633d75a2b4bdcd059627b07beaa9984890

IVGCVSW-2083 - Add DataLayout parameter to calculate the expected output shape in ValidateTensorShapesFromInputs
 * Convolution2dLayer
 * DepthwiseConvolution2dLayer
 * Pooling2dLayer
 * ResizeBilinearLayer
 * Unittests for ValidateTensorShapesFromInputs

Change-Id: I057caf8a90d822175a7dd7271f960b65c6154bb4

IVGCVSW-1896 : SubGraph selector

Change-Id: Iae9a76b10d84d7ba80136b54355f8d37d2df475d

IVGCVSW-2069 - Implement NHWC Convolution2D for CpuRef
 * Calculate index for NHWC to compute Convolution
 * add more unit test for NHWC

Change-Id: I800d649b9b42be2758c445e3b3e76142888c1377

IVGCVSW-2081: Move generic backend tests to the backend related CMake files

Change-Id: Ib642b0c983fed21cf38be8233bd13d86f4bf413d

IVGCVSW-2029 Fix fully connected layer support in TfLite Parser and implement test for TfLite VGG16 quantized

Change-Id: I2061f62f62684b963fa0f090718f1dcffe5c93ce

IVGCVSW-2056 + IVGCVSW-2064 : move ClContextControl to the ClBackend

Change-Id: Ice19d3f763298bc14585267df389e99df846320d

IVGCVSW-2074: SimpleConvolution2dTestImpl updated for NHWC

* Added a defaulted DataLayoutIndexed argument to the SimpleConvolution2dTestImpl
* Permute test data tensors just before use if necessary
* Add DataLayout to descriptor
* Added a DataLayoutIndexed argument to SimpleConvolution2d3x5TestCommon
* Added NHWC versions of the SimpleConvolution2d3x5Test for Neon and CL

Change-Id: I10e3ece42a50108baeabe4d8b0f0ac3e6d532261

IVGCVSW-2051 Fixed the dynamic allocation of the dimSizes array in MeanLayer

Change-Id: I6e39f1e1bc32c0c2c1953da00016edd68c48d4e0

IVGCVSW-2057: Remove ARMCOMPUTE(CL/NEON)_ENABLED and ARMCOMPUTENEON_ENABLED from src/armnnTfliteParser/test/ParserFlatBufferFixture.hpp

Change-Id: I85c720d37097e0c9a53dc473a7eac09f21deb847

IVGCVSW-2058: Remove ARMCOMPUTE(CL/NEON)_ENABLED and ARMCOMPUTENEON_ENABLED from src/armnnUtils/ParserPrototxtFixture.hpp

Change-Id: Ief836fb80c4c966f1b76c9429d4a7fb644ceb73d

IVGCVSW-2059: Remove CL-specific code from Profiler

Change-Id: I279986b83c7a38b6d395f8a496382ffaebb9ed08

IVGCVSW-2049 + IVGCVSW-2051 Create the CL Mean Float workload and add
the unit tests

 * Created the ClFloatWorkload class
 * Added ClMeanValidate validation function
 * Added helper function to convert the reduction axes from the ArmNN
   format to ACL's
 * Added workload tests
 * Added some unit tests
 * These changes need the CL pin to be pointing at least to revision
   88d871028eeae57f9e4536d0329110eccb5e2890 (COMPMID-1574 Implement
   ReduceMean in OpenCL)

!android-nn-driver:155033

Change-Id: I694fd36be0458c90e158172afde045fcc88c32ae

IVGCVSW-2073: Move remaining backend-specific tests from armnn to backends

Change-Id: I45fd5b6dd32c435b78a54dc377a623e60978ce13

IVGCVSW-1007 Support Inception-V3 and V4 in CaffeParser

Removed the kernel dimension/range validation from CaffeParser

Change-Id: I9e63c01fecbaea1448aa203e7212cd4aac854c3d

IVGCVSW-2071 : remove GetCompute() from the WorkloadFactory interface

Change-Id: I44a9d26d1a5d876d381aee4c6450af62811d0dbb

IVGCVSW-2067 : dynamically create workload factories based on the backends in the network

Change-Id: Ide594db8c79ff67642721d8bad47624b88621fbd

IVGCVSW-2053: Validate BackendId parameters for the InferenceTest (EndToEnd tests) / ExecuteNetwork

!referencetests:154790

Change-Id: Iaf9608ae1e66460079f2546b30d7fbc9b55bb7dd

IVGCVSW-2026 + IVGCVSW-2027 Add FullyConnected Support to TfLiteParser

Change-Id: Id48f97ee33e2fd650a1ee3365ef66bdfc514a586

IVGCVSW-1823 *Free working mem only when network changes

Change-Id: I62b34713f8ebd96b9d4369f25cc8ba474aad8bb4

IVGCVSW-2060: Separate and move backend specific unit tests from the src/armnn/test folder to the backends

* Moved backend-specific memory leak checking tests from RuntimeTests.cpp to
  the corresponding backend test folder

Change-Id: I0a7f4ef52c5350c3cebca23b2b4e61a9446ca11f

IVGCVSW-2063 Documentation for new operations in TfLite Parser
 * Updated TfLite Parser read me file for new operations added

Change-Id: Idd4dcbe03ee8cd8c65377e03b6e52f3766312b70

IVGCVSW-1991 : refactor m_SupportedComputes in DeviceSpecs

Change-Id: Ied3d54dc356f5e4f87aeb59f66423ac1f893dd01

IVGCVSW-1955: Unify backend exceptions (wrap cl::Error)

* Added wrapper function around arm_compute::IFunction::run() that catches
  cl::Error and wraps it into an armnn::RuntimeException
* Added MakeWorkload template inside ClWorkloadFactory that catches
  cl::Error and wraps it into an armnn::RuntimeException
* Replaced cl::Error with armnn::RuntimeException in catch statements inside
  LoadedNetwork

Change-Id: I2340f41ae02b8db1d7ef5157824a50e7410854e3

IVGCVSW-2019 : replace Compute enum in the backend preferences list

Change-Id: Ie7549fd27378acfa97e68d098e338b8c9d4ea5d2

IVGCVSW-2061: Add ARMNN_SCOPED_PROFILING_EVENT_CL inside ClLstmFloatWorkload::Execute()

Change-Id: Ia3f895474b54e73711feb9795e7d47cbd61f13a3

IVGCVSW-2024: Support NHWC for Pooling2D CpuRef

* Adds implementation to plumb DataLayout parameter
  for Pooling2D on CpuRef.
* Adds unit tests to execute Pooling2D on CpuRef
  using NHWC data layout.
* Refactors original tests to use DataLayoutIndexed
  and removes duplicate code.

Change-Id: Ife7e0861a886cf58a2042e5be20e5b27af4528c9

IVGCVSW-2013 Add a UInt8 Reference Implementation for the PAD Operator

Change-Id: I41f3606198db1fda8d72aaf5169594ba9156eb38

IVGCVSW-2023 CL and Neon implementation of BatchNorm with NHWC

Change-Id: I962e986607e5d045cd97b9eaeaea2f5ae624db35

IVGCVSW-2019 : replace Compute enum in the Layer object

Change-Id: I76551d511ef718eac36e5b8e5fe426ec3a402855

IVGCVSW-2005: Pull in backend specific unit tests into Android.mk similarly as backend sources

Change-Id: Icafc644b64c591f4dc0e1560d02b806bf053a2da

IVGCVSW-2030 and IVGCVSW-2031 Add MaxPooling support and unit test to TfLite Parser

Change-Id: I3aea8ea6d018900682d278f28a50e40cf2f963fe

IVGCVSW-2040 Add unit tests for the newly implemented NHWC support in
ref BatchNormalization

 * Added create workload unit tests for the NHWC data layout

Change-Id: I03d66c88dc9b0340302b85012cb0152f0ec6fa72

IVGCVSW-2033 Add unit tests for the newly implemented NHWC support in
ref Normalization

 * Added create workload unit tests for the NHWC data layout

Change-Id: Id4813105c027a26e277de64fecea1845fea39fd9

IVGCVSW-1865 - Support NHWC for Convolution2D (CpuRef)

* Updated the ConvImpl.hpp to use DataLayoutIndex
* Enabled unit test for CpuRef
* Update CreateWorkload Tests for ref with NHWC

Change-Id: Id309b7ef677489d63dcb5e09bd48ab9624b5ebfb

IVGCVSW-2037 : separate registry for layer support intrefaces

* because their lifetime is different from backends

Change-Id: I9ba525e7e503b148cde1294933f3954b8bad3d68

IVGCVSW-2032 + IVGCVSW-2033 Add NHWC implementation to the reference
Normalization workload

 * Enabled NHWC support in RefNormalizationFloat32Workload for
   Across normalization
 * Added unit test for the reference implementation

Change-Id: I0e1f319e76491d43b83b121c273fadb5b259d1a0

IVGCVSW-2038 + IVGCVSW-2039 + IVGCVSW-2040 Add NHWC support to the Float32 and UInt8
BatchNormalization workloads

 * Enabled NHWC support in RefBatchNormalizationFloat32Workload
 * Added NHWC unit tests for both FP32 and U8
 * Refactored the existing unit tests

Change-Id: I6aa18f1dcc0666b80a17a7ed229cf53607bae147

IVGCVSW-2012: Remove check for DataType::QuantisedAsymm8 in NeonLayerSupport

Change-Id: Ifeabb8c6aa02b5209245d863fc0d7aeceb25cb30

Added missing pragma directive to TensorBufferArrayView.hpp

Change-Id: Ic7882cb415ccb7a899f5fb353fb96a1f19d03346