docs/00_introduction.dox

   1 /** @mainpage Introduction
   2
   3 @tableofcontents
   4
   5 The Computer Vision and Machine Learning library is a set of functions optimised for both ARM CPUs and GPUs using SIMD technologies.
   6
   7 Several builds of the library are available using various configurations:
   8  - OS: Linux, Android or bare metal.
   9  - Architecture: armv7a (32bit) or arm64-v8a (64bit)
  10  - Technology: NEON / OpenCL / GLES_COMPUTE / NEON and OpenCL and GLES_COMPUTE
  11  - Debug / Asserts / Release: Use a build with asserts enabled to debug your application and enable extra validation. Once you are sure your application works as expected you can switch to a release build of the library for maximum performance.
  12
  13 @section S0_1_contact Contact / Support
  14
  15 Please email developer@arm.com
  16
  17 In order to facilitate the work of the support team please provide the build information of the library you are using. To get the version of the library you are using simply run:
  18
  19     $ strings android-armv7a-cl-asserts/libarm_compute.so | grep arm_compute_version
  20     arm_compute_version=v16.12 Build options: {'embed_kernels': '1', 'opencl': '1', 'arch': 'armv7a', 'neon': '0', 'asserts': '1', 'debug': '0', 'os': 'android', 'Werror': '1'} Git hash=f51a545d4ea12a9059fe4e598a092f1fd06dc858
  21
  22 @section S0_2_prebuilt_binaries Pre-built binaries
  23
  24 For each release we provide some pre-built binaries of the library [here](https://github.com/ARM-software/ComputeLibrary/releases)
  25
  26 These binaries have been built using the following toolchains:
  27             - Linux armv7a: gcc-linaro-arm-linux-gnueabihf-4.9-2014.07_linux
  28             - Linux arm64-v8a: gcc-linaro-4.9-2016.02-x86_64_aarch64-linux-gnu
  29             - Android armv7a: clang++ / gnustl NDK r14
  30             - Android am64-v8a: clang++ / gnustl NDK r14
  31
  32 @warning Make sure to use a compatible toolchain to build your application or you will get some std::bad_alloc errors at runtime.
  33
  34 @section S1_file_organisation File organisation
  35
  36 This archive contains:
  37  - The arm_compute header and source files
  38  - The latest Khronos OpenCL 1.2 C headers from the <a href="https://www.khronos.org/registry/cl/">Khronos OpenCL registry</a>
  39  - The latest Khronos cl2.hpp from the <a href="https://www.khronos.org/registry/cl/">Khronos OpenCL registry</a> (API version 2.1 when this document was written)
  40  - The latest Khronos OpenGL ES 3.1 C headers from the <a href="https://www.khronos.org/registry/gles/">Khronos OpenGL ES registry</a>
  41  - The latest Khronos EGL 1.5 C headers from the <a href="https://www.khronos.org/registry/gles/">Khronos EGL registry</a>
  42  - The sources for a stub version of libOpenCL.so, libGLESv1_CM.so, libGLESv2.so and libEGL.so to help you build your application.
  43  - An examples folder containing a few examples to compile and link against the library.
  44  - A @ref utils folder containing headers with some boiler plate code used by the examples.
  45  - This documentation.
  46
  47 You should have the following file organisation:
  48
  49         .
  50         ├── arm_compute --> All the arm_compute headers
  51         │   ├── core
  52         │   │   ├── CL
  53         │   │   │   ├── CLKernelLibrary.h --> Manages all the OpenCL kernels compilation and caching, provides accessors for the OpenCL Context.
  54         │   │   │   ├── CLKernels.h --> Includes all the OpenCL kernels at once
  55         │   │   │   ├── CL specialisation of all the generic objects interfaces (ICLTensor, ICLImage, etc.)
  56         │   │   │   ├── kernels --> Folder containing all the OpenCL kernels
  57         │   │   │   │   └── CL*Kernel.h
  58         │   │   │   └── OpenCL.h --> Wrapper to configure the Khronos OpenCL C++ header
  59         │   │   ├── CPP
  60         │   │   │   ├── CPPKernels.h --> Includes all the CPP kernels at once
  61         │   │   │   └── kernels --> Folder containing all the CPP kernels
  62         │   │   │       └── CPP*Kernel.h
  63         │   │   ├── GLES_COMPUTE
  64         │   │   │   ├── GCKernelLibrary.h --> Manages all the GLES kernels compilation and caching, provides accessors for the GLES Context.
  65         │   │   │   ├── GCKernels.h --> Includes all the GLES kernels at once
  66         │   │   │   ├── GLES specialisation of all the generic objects interfaces (IGCTensor, IGCImage, etc.)
  67         │   │   │   ├── kernels --> Folder containing all the GLES kernels
  68         │   │   │   │   └── GC*Kernel.h
  69         │   │   │   └── OpenGLES.h --> Wrapper to configure the Khronos EGL and OpenGL ES C header
  70         │   │   ├── NEON
  71         │   │   │   ├── kernels --> Folder containing all the NEON kernels
  72         │   │   │   │   ├── arm64 --> Folder containing the interfaces for the assembly arm64 NEON kernels
  73         │   │   │   │   ├── arm32 --> Folder containing the interfaces for the assembly arm32 NEON kernels
  74         │   │   │   │   ├── assembly --> Folder containing the NEON assembly routines.
  75         │   │   │   │   └── NE*Kernel.h
  76         │   │   │   └── NEKernels.h --> Includes all the NEON kernels at once
  77         │   │   ├── All common basic types (Types.h, Window, Coordinates, Iterator, etc.)
  78         │   │   ├── All generic objects interfaces (ITensor, IImage, etc.)
  79         │   │   └── Objects metadata classes (ImageInfo, TensorInfo, MultiImageInfo)
  80         │   ├── graph
  81         │   │   ├── CL --> OpenCL specific operations
  82         │   │   │   └── CLMap.h / CLUnmap.h
  83         │   │   ├── nodes
  84         │   │   │   └── The various nodes supported by the graph API
  85         │   │   ├── Nodes.h --> Includes all the Graph nodes at once.
  86         │   │   └── Graph objects ( INode, ITensorAccessor, Graph, etc.)
  87         │   └── runtime
  88         │       ├── CL
  89         │       │   ├── CL objects & allocators (CLArray, CLImage, CLTensor, etc.)
  90         │       │   ├── functions --> Folder containing all the OpenCL functions
  91         │       │   │   └── CL*.h
  92         │       │   ├── CLScheduler.h --> Interface to enqueue OpenCL kernels and get/set the OpenCL CommandQueue and ICLTuner.
  93         │       │   └── CLFunctions.h --> Includes all the OpenCL functions at once
  94         │       ├── CPP
  95         │       │   ├── CPPKernels.h --> Includes all the CPP functions at once.
  96         │       │   └── CPPScheduler.h --> Basic pool of threads to execute CPP/NEON code on several cores in parallel
  97         │       ├── GLES_COMPUTE
  98         │       │   ├── GLES objects & allocators (GCArray, GCImage, GCTensor, etc.)
  99         │       │   ├── functions --> Folder containing all the GLES functions
 100         │       │   │   └── GC*.h
 101         │       │   ├── GCScheduler.h --> Interface to enqueue GLES kernels and get/set the GLES CommandQueue.
 102         │       │   └── GCFunctions.h --> Includes all the GLES functions at once
 103         │       ├── NEON
 104         │       │   ├── functions --> Folder containing all the NEON functions
 105         │       │   │   └── NE*.h
 106         │       │   └── NEFunctions.h --> Includes all the NEON functions at once
 107         │       ├── OMP
 108         │       │   └── OMPScheduler.h --> OpenMP scheduler (Alternative to the CPPScheduler)
 109         │       ├── Memory manager files (LifetimeManager, PoolManager, etc.)
 110         │       └── Basic implementations of the generic object interfaces (Array, Image, Tensor, etc.)
 111         ├── documentation
 112         │   ├── index.xhtml
 113         │   └── ...
 114         ├── documentation.xhtml -> documentation/index.xhtml
 115         ├── examples
 116         │   ├── cl_*.cpp --> OpenCL examples
 117         │   ├── gc_*.cpp --> GLES compute shaders examples
 118         │   ├── graph_*.cpp --> Graph examples
 119         │   ├── neoncl_*.cpp --> NEON / OpenCL interoperability examples
 120         │   └── neon_*.cpp --> NEON examples
 121         ├── include
 122         │   ├── CL
 123         │   │   └── Khronos OpenCL C headers and C++ wrapper
 124         │   ├── half --> FP16 library available from http://half.sourceforge.net
 125         │   ├── libnpy --> Library to load / write npy buffers, available from https://github.com/llohse/libnpy
 126         │   └── linux --> Headers only needed for Linux builds
 127         │       └── Khronos EGL and OpenGLES headers
 128         ├── opencl-1.2-stubs
 129         │   └── opencl_stubs.c --> OpenCL stubs implementation
 130         ├── opengles-3.1-stubs
 131         │   ├── EGL.c --> EGL stubs implementation
 132         │   └── GLESv2.c --> GLESv2 stubs implementation
 133         ├── scripts
 134         │   ├── caffe_data_extractor.py --> Basic script to export weights from Caffe to npy files
 135         │   └── tensorflow_data_extractor.py --> Basic script to export weights from Tensor Flow to npy files
 136         ├── src
 137         │   ├── core
 138         │   │   └── ... (Same structure as headers)
 139         │   │       ├── CL
 140         │   │       │   └── cl_kernels --> All the OpenCL kernels
 141         │   │       └── GLES_COMPUTE
 142         │   │           └── cs_shaders --> All the OpenGL ES Compute Shaders
 143         │   ├── graph
 144         │   │   └── ... (Same structure as headers)
 145         │   └── runtime
 146         │       └── ... (Same structure as headers)
 147         ├── support
 148         │   └── Various headers to work around toolchains / platform issues.
 149         ├── tests
 150         │   ├── All test related files shared between validation and benchmark
 151         │   ├── CL --> OpenCL accessors
 152         │   ├── GLES_COMPUTE --> GLES accessors
 153         │   ├── NEON --> NEON accessors
 154         │   ├── benchmark --> Sources for benchmarking
 155         │   │   ├── Benchmark specific files
 156         │   │   ├── CL --> OpenCL benchmarking tests
 157         │   │   ├── GLES_COMPUTE --> GLES benchmarking tests
 158         │   │   └── NEON --> NEON benchmarking tests
 159         │   ├── datasets
 160         │   │   └── Datasets for all the validation / benchmark tests, layer configurations for various networks, etc.
 161         │   ├── framework
 162         │   │   └── Boiler plate code for both validation and benchmark test suites (Command line parsers, instruments, output loggers, etc.)
 163         │   ├── networks
 164         │   │   └── Examples of how to instantiate networks.
 165         │   ├── validation --> Sources for validation
 166         │   │   ├── Validation specific files
 167         │   │   ├── CL --> OpenCL validation tests
 168         │   │   ├── GLES_COMPUTE --> GLES validation tests
 169         │   │   ├── CPP --> C++ reference implementations
 170         │   │   ├── fixtures
 171         │   │   │   └── Fixtures to initialise and run the runtime Functions.
 172         │   │   └── NEON --> NEON validation tests
 173         │   └── dataset --> Datasets defining common sets of input parameters
 174         └── utils --> Boiler plate code used by examples
 175             └── Various utilities to print types, load / store assets, etc.
 176
 177 @section S2_versions_changelog Release versions and changelog
 178
 179 @subsection S2_1_versions Release versions
 180
 181 All releases are numbered vYY.MM Where YY are the last two digits of the year, and MM the month number.
 182 If there is more than one release in a month then an extra sequential number is appended at the end:
 183
 184         v17.03 (First release of March 2017)
 185         v17.03.1 (Second release of March 2017)
 186         v17.04 (First release of April 2017)
 187
 188 @note We're aiming at releasing one major public release with new features per quarter. All releases in between will only contain bug fixes.
 189
 190 @subsection S2_2_changelog Changelog
 191
 192 v18.02 Public major release
 193  - Various NEON / OpenCL / GLES optimisations.
 194  - Various bug fixes.
 195  - Changed default number of threads on big LITTLE systems.
 196  - Refactored examples and added:
 197     - graph_mobilenet_qassym8
 198     - graph_resnet
 199     - graph_squeezenet_v1_1
 200  - Renamed @ref arm_compute::CLConvolutionLayer into @ref arm_compute::CLGEMMConvolutionLayer and created a new @ref arm_compute::CLConvolutionLayer to select the fastest convolution method.
 201  - Renamed @ref arm_compute::NEConvolutionLayer into @ref arm_compute::NEGEMMConvolutionLayer and created a new @ref arm_compute::NEConvolutionLayer to select the fastest convolution method.
 202  - Added in place support to:
 203     - @ref arm_compute::CLActivationLayer
 204     - @ref arm_compute::CLBatchNormalizationLayer
 205  - Added QASYMM8 support to:
 206     - @ref arm_compute::CLActivationLayer
 207     - @ref arm_compute::CLDepthwiseConvolutionLayer
 208     - @ref arm_compute::NEDepthwiseConvolutionLayer
 209     - @ref arm_compute::NESoftmaxLayer
 210  - Added FP16 support to:
 211     - @ref arm_compute::CLDepthwiseConvolutionLayer3x3
 212     - @ref arm_compute::CLDepthwiseConvolutionLayer
 213  - Added broadcasting support to @ref arm_compute::NEArithmeticAddition / @ref arm_compute::CLArithmeticAddition / @ref arm_compute::CLPixelWiseMultiplication
 214  - Added fused batched normalization and activation to @ref arm_compute::CLBatchNormalizationLayer and @ref arm_compute::NEBatchNormalizationLayer
 215  - Added support for non-square pooling to @ref arm_compute::NEPoolingLayer and @ref arm_compute::CLPoolingLayer
 216  - New OpenCL kernels / functions:
 217     - @ref arm_compute::CLDirectConvolutionLayerOutputStageKernel
 218  - New NEON kernels / functions
 219     - Added name() method to all kernels.
 220     - Added support for Winograd 5x5.
 221     - @ref arm_compute::NEPermuteKernel / @ref arm_compute::NEPermute
 222     - @ref arm_compute::NEWinogradLayerTransformInputKernel / @ref arm_compute::NEWinogradLayer
 223     - @ref arm_compute::NEWinogradLayerTransformOutputKernel / @ref arm_compute::NEWinogradLayer
 224     - @ref arm_compute::NEWinogradLayerTransformWeightsKernel / @ref arm_compute::NEWinogradLayer
 225     - Renamed arm_compute::NEWinogradLayerKernel into @ref arm_compute::NEWinogradLayerBatchedGEMMKernel
 226  - New GLES kernels / functions:
 227     - @ref arm_compute::GCTensorShiftKernel / @ref arm_compute::GCTensorShift
 228
 229 v18.01 Public maintenance release
 230  - Various bug fixes
 231  - Added some of the missing validate() methods
 232  - Added @ref arm_compute::CLDeconvolutionLayerUpsampleKernel / @ref arm_compute::CLDeconvolutionLayer @ref arm_compute::CLDeconvolutionLayerUpsample
 233  - Added @ref arm_compute::CLPermuteKernel / @ref arm_compute::CLPermute
 234  - Added method to clean the programs cache in the CL Kernel library.
 235  - Added @ref arm_compute::GCArithmeticAdditionKernel / @ref arm_compute::GCArithmeticAddition
 236  - Added @ref arm_compute::GCDepthwiseConvolutionLayer3x3Kernel / @ref arm_compute::GCDepthwiseConvolutionLayer3x3
 237  - Added @ref arm_compute::GCNormalizePlanarYUVLayerKernel / @ref arm_compute::GCNormalizePlanarYUVLayer
 238  - Added @ref arm_compute::GCScaleKernel / @ref arm_compute::GCScale
 239  - Added @ref arm_compute::GCWeightsReshapeKernel / @ref arm_compute::GCConvolutionLayer
 240  - Added FP16 support to the following GLES compute kernels:
 241     - @ref arm_compute::GCCol2ImKernel
 242     - @ref arm_compute::GCGEMMInterleave4x4Kernel
 243     - @ref arm_compute::GCGEMMTranspose1xWKernel
 244     - @ref arm_compute::GCIm2ColKernel
 245  - Refactored NEON Winograd (arm_compute::NEWinogradLayerKernel)
 246  - Added @ref arm_compute::NEDirectConvolutionLayerOutputStageKernel
 247  - Added QASYMM8 support to the following NEON kernels:
 248     - @ref arm_compute::NEDepthwiseConvolutionLayer3x3Kernel
 249     - @ref arm_compute::NEFillBorderKernel
 250     - @ref arm_compute::NEPoolingLayerKernel
 251  - Added new examples:
 252     - graph_cl_mobilenet_qasymm8.cpp
 253     - graph_inception_v3.cpp
 254     - gc_dc.cpp
 255  - More tests added to both validation and benchmarking suites.
 256
 257 v17.12 Public major release
 258  - Most machine learning functions on OpenCL support the new data type QASYMM8
 259  - Introduced logging interface
 260  - Introduced opencl timer
 261  - Reworked GEMMLowp interface
 262  - Added new NEON assembly kernels for GEMMLowp, SGEMM and HGEMM
 263  - Added validation method for most Machine Learning kernels / functions
 264  - Added new graph examples such as googlenet, mobilenet, squeezenet, vgg16 and vgg19
 265  - Added sgemm example for OpenCL
 266  - Added absolute difference example for GLES compute
 267  - Added new tests and benchmarks in validation and benchmark frameworks
 268  - Added new kernels / functions for GLES compute
 269
 270  - New OpenGL ES kernels / functions
 271     - @ref arm_compute::GCAbsoluteDifferenceKernel / @ref arm_compute::GCAbsoluteDifference
 272     - @ref arm_compute::GCActivationLayerKernel / @ref arm_compute::GCActivationLayer
 273     - @ref arm_compute::GCBatchNormalizationLayerKernel / @ref arm_compute::GCBatchNormalizationLayer
 274     - @ref arm_compute::GCCol2ImKernel
 275     - @ref arm_compute::GCDepthConcatenateLayerKernel / @ref arm_compute::GCDepthConcatenateLayer
 276     - @ref arm_compute::GCDirectConvolutionLayerKernel / @ref arm_compute::GCDirectConvolutionLayer
 277     - @ref arm_compute::GCDropoutLayerKernel / @ref arm_compute::GCDropoutLayer
 278     - @ref arm_compute::GCFillBorderKernel / @ref arm_compute::GCFillBorder
 279     - @ref arm_compute::GCGEMMInterleave4x4Kernel / @ref arm_compute::GCGEMMInterleave4x4
 280     - @ref arm_compute::GCGEMMMatrixAccumulateBiasesKernel / @ref arm_compute::GCGEMMMatrixAdditionKernel / @ref arm_compute::GCGEMMMatrixMultiplyKernel / @ref arm_compute::GCGEMM
 281     - @ref arm_compute::GCGEMMTranspose1xWKernel / @ref arm_compute::GCGEMMTranspose1xW
 282     - @ref arm_compute::GCIm2ColKernel
 283     - @ref arm_compute::GCNormalizationLayerKernel / @ref arm_compute::GCNormalizationLayer
 284     - @ref arm_compute::GCPixelWiseMultiplicationKernel / @ref arm_compute::GCPixelWiseMultiplication
 285     - @ref arm_compute::GCPoolingLayerKernel / @ref arm_compute::GCPoolingLayer
 286     - @ref arm_compute::GCLogits1DMaxKernel / @ref arm_compute::GCLogits1DShiftExpSumKernel / @ref arm_compute::GCLogits1DNormKernel / @ref arm_compute::GCSoftmaxLayer
 287     - @ref arm_compute::GCTransposeKernel / @ref arm_compute::GCTranspose
 288
 289  - New NEON kernels / functions
 290     - @ref arm_compute::NEGEMMLowpAArch64A53Kernel / @ref arm_compute::NEGEMMLowpAArch64Kernel / @ref arm_compute::NEGEMMLowpAArch64V8P4Kernel / arm_compute::NEGEMMInterleavedBlockedKernel / @ref arm_compute::NEGEMMLowpAssemblyMatrixMultiplyCore
 291     - @ref arm_compute::NEHGEMMAArch64FP16Kernel
 292     - @ref arm_compute::NEDepthwiseConvolutionLayer3x3Kernel / @ref arm_compute::NEDepthwiseIm2ColKernel / @ref arm_compute::NEGEMMMatrixVectorMultiplyKernel / @ref arm_compute::NEDepthwiseVectorToTensorKernel / @ref arm_compute::NEDepthwiseConvolutionLayer
 293     - @ref arm_compute::NEGEMMLowpOffsetContributionKernel / @ref arm_compute::NEGEMMLowpMatrixAReductionKernel / @ref arm_compute::NEGEMMLowpMatrixBReductionKernel / @ref arm_compute::NEGEMMLowpMatrixMultiplyCore
 294     - @ref arm_compute::NEGEMMLowpQuantizeDownInt32ToUint8ScaleByFixedPointKernel / @ref arm_compute::NEGEMMLowpQuantizeDownInt32ToUint8ScaleByFixedPoint
 295     - @ref arm_compute::NEGEMMLowpQuantizeDownInt32ToUint8ScaleKernel / @ref arm_compute::NEGEMMLowpQuantizeDownInt32ToUint8Scale
 296     - @ref arm_compute::NEWinogradLayer / arm_compute::NEWinogradLayerKernel
 297
 298  - New OpenCL kernels / functions
 299     - @ref arm_compute::CLGEMMLowpOffsetContributionKernel / @ref arm_compute::CLGEMMLowpMatrixAReductionKernel / @ref arm_compute::CLGEMMLowpMatrixBReductionKernel / @ref arm_compute::CLGEMMLowpMatrixMultiplyCore
 300     - @ref arm_compute::CLGEMMLowpQuantizeDownInt32ToUint8ScaleByFixedPointKernel / @ref arm_compute::CLGEMMLowpQuantizeDownInt32ToUint8ScaleByFixedPoint
 301     - @ref arm_compute::CLGEMMLowpQuantizeDownInt32ToUint8ScaleKernel / @ref arm_compute::CLGEMMLowpQuantizeDownInt32ToUint8Scale
 302
 303  - New graph nodes for NEON and OpenCL
 304     - @ref arm_compute::graph::BranchLayer
 305     - @ref arm_compute::graph::DepthConvertLayer
 306     - @ref arm_compute::graph::DepthwiseConvolutionLayer
 307     - @ref arm_compute::graph::DequantizationLayer
 308     - @ref arm_compute::graph::FlattenLayer
 309     - @ref arm_compute::graph::QuantizationLayer
 310     - @ref arm_compute::graph::ReshapeLayer
 311
 312 v17.10 Public maintenance release
 313  - Bug fixes:
 314     - Check the maximum local workgroup size supported by OpenCL devices
 315     - Minor documentation updates (Fixed instructions to build the examples)
 316     - Introduced a arm_compute::graph::GraphContext
 317     - Added a few new Graph nodes, support for branches and grouping.
 318     - Automatically enable cl_printf in debug builds
 319     - Fixed bare metal builds for armv7a
 320     - Added AlexNet and cartoon effect examples
 321     - Fixed library builds: libraries are no longer built as supersets of each other.(It means application using the Runtime part of the library now need to link against both libarm_compute_core and libarm_compute)
 322
 323 v17.09 Public major release
 324  - Experimental Graph support: initial implementation of a simple stream API to easily chain machine learning layers.
 325  - Memory Manager (@ref arm_compute::BlobLifetimeManager, @ref arm_compute::BlobMemoryPool, @ref arm_compute::ILifetimeManager, @ref arm_compute::IMemoryGroup, @ref arm_compute::IMemoryManager, @ref arm_compute::IMemoryPool, @ref arm_compute::IPoolManager, @ref arm_compute::MemoryManagerOnDemand, @ref arm_compute::PoolManager)
 326  - New validation and benchmark frameworks (Boost and Google frameworks replaced by homemade framework).
 327  - Most machine learning functions support both fixed point 8 and 16 bit (QS8, QS16) for both NEON and OpenCL.
 328  - New NEON kernels / functions:
 329     - @ref arm_compute::NEGEMMAssemblyBaseKernel @ref arm_compute::NEGEMMAArch64Kernel
 330     - @ref arm_compute::NEDequantizationLayerKernel / @ref arm_compute::NEDequantizationLayer
 331     - @ref arm_compute::NEFloorKernel / @ref arm_compute::NEFloor
 332     - @ref arm_compute::NEL2NormalizeLayerKernel / @ref arm_compute::NEL2NormalizeLayer
 333     - @ref arm_compute::NEQuantizationLayerKernel @ref arm_compute::NEMinMaxLayerKernel / @ref arm_compute::NEQuantizationLayer
 334     - @ref arm_compute::NEROIPoolingLayerKernel / @ref arm_compute::NEROIPoolingLayer
 335     - @ref arm_compute::NEReductionOperationKernel / @ref arm_compute::NEReductionOperation
 336     - @ref arm_compute::NEReshapeLayerKernel / @ref arm_compute::NEReshapeLayer
 337
 338  - New OpenCL kernels / functions:
 339     - @ref arm_compute::CLDepthwiseConvolutionLayer3x3Kernel @ref arm_compute::CLDepthwiseIm2ColKernel @ref arm_compute::CLDepthwiseVectorToTensorKernel @ref arm_compute::CLDepthwiseWeightsReshapeKernel / @ref arm_compute::CLDepthwiseConvolutionLayer3x3 @ref arm_compute::CLDepthwiseConvolutionLayer @ref arm_compute::CLDepthwiseSeparableConvolutionLayer
 340     - @ref arm_compute::CLDequantizationLayerKernel / @ref arm_compute::CLDequantizationLayer
 341     - @ref arm_compute::CLDirectConvolutionLayerKernel / @ref arm_compute::CLDirectConvolutionLayer
 342     - @ref arm_compute::CLFlattenLayer
 343     - @ref arm_compute::CLFloorKernel / @ref arm_compute::CLFloor
 344     - @ref arm_compute::CLGEMMTranspose1xW
 345     - @ref arm_compute::CLGEMMMatrixVectorMultiplyKernel
 346     - @ref arm_compute::CLL2NormalizeLayerKernel / @ref arm_compute::CLL2NormalizeLayer
 347     - @ref arm_compute::CLQuantizationLayerKernel @ref arm_compute::CLMinMaxLayerKernel / @ref arm_compute::CLQuantizationLayer
 348     - @ref arm_compute::CLROIPoolingLayerKernel / @ref arm_compute::CLROIPoolingLayer
 349     - @ref arm_compute::CLReductionOperationKernel / @ref arm_compute::CLReductionOperation
 350     - @ref arm_compute::CLReshapeLayerKernel / @ref arm_compute::CLReshapeLayer
 351
 352 v17.06 Public major release
 353  - Various bug fixes
 354  - Added support for fixed point 8 bit (QS8) to the various NEON machine learning kernels.
 355  - Added unit tests and benchmarks (AlexNet, LeNet)
 356  - Added support for sub tensors.
 357  - Added infrastructure to provide GPU specific optimisation for some OpenCL kernels.
 358  - Added @ref arm_compute::OMPScheduler (OpenMP) scheduler for NEON
 359  - Added @ref arm_compute::SingleThreadScheduler scheduler for NEON (For bare metal)
 360  - User can specify his own scheduler by implementing the @ref arm_compute::IScheduler interface.
 361  - New OpenCL kernels / functions:
 362     - @ref arm_compute::CLBatchNormalizationLayerKernel / @ref arm_compute::CLBatchNormalizationLayer
 363     - @ref arm_compute::CLDepthConcatenateLayerKernel / @ref arm_compute::CLDepthConcatenateLayer
 364     - @ref arm_compute::CLHOGOrientationBinningKernel @ref arm_compute::CLHOGBlockNormalizationKernel, @ref arm_compute::CLHOGDetectorKernel / @ref arm_compute::CLHOGDescriptor @ref arm_compute::CLHOGDetector @ref arm_compute::CLHOGGradient @ref arm_compute::CLHOGMultiDetection
 365     - @ref arm_compute::CLLocallyConnectedMatrixMultiplyKernel / @ref arm_compute::CLLocallyConnectedLayer
 366     - @ref arm_compute::CLWeightsReshapeKernel / @ref arm_compute::CLConvolutionLayerReshapeWeights
 367  - New C++ kernels:
 368     - @ref arm_compute::CPPDetectionWindowNonMaximaSuppressionKernel
 369  - New NEON kernels / functions:
 370     - @ref arm_compute::NEBatchNormalizationLayerKernel / @ref arm_compute::NEBatchNormalizationLayer
 371     - @ref arm_compute::NEDepthConcatenateLayerKernel / @ref arm_compute::NEDepthConcatenateLayer
 372     - @ref arm_compute::NEDirectConvolutionLayerKernel / @ref arm_compute::NEDirectConvolutionLayer
 373     - @ref arm_compute::NELocallyConnectedMatrixMultiplyKernel / @ref arm_compute::NELocallyConnectedLayer
 374     - @ref arm_compute::NEWeightsReshapeKernel / @ref arm_compute::NEConvolutionLayerReshapeWeights
 375
 376 v17.05 Public bug fixes release
 377  - Various bug fixes
 378  - Remaining of the functions ported to use accurate padding.
 379  - Library does not link against OpenCL anymore (It uses dlopen / dlsym at runtime instead to determine whether or not OpenCL is available).
 380  - Added "free" method to allocator.
 381  - Minimum version of g++ required for armv7 Linux changed from 4.8 to 4.9
 382
 383 v17.04 Public bug fixes release
 384
 385  The following functions have been ported to use the new accurate padding:
 386  -  @ref arm_compute::CLColorConvertKernel
 387  -  @ref arm_compute::CLEdgeNonMaxSuppressionKernel
 388  -  @ref arm_compute::CLEdgeTraceKernel
 389  -  @ref arm_compute::CLGaussianPyramidHorKernel
 390  -  @ref arm_compute::CLGaussianPyramidVertKernel
 391  -  @ref arm_compute::CLGradientKernel
 392  -  @ref arm_compute::NEChannelCombineKernel
 393  -  @ref arm_compute::NEFillArrayKernel
 394  -  @ref arm_compute::NEGaussianPyramidHorKernel
 395  -  @ref arm_compute::NEGaussianPyramidVertKernel
 396  -  @ref arm_compute::NEHarrisScoreFP16Kernel
 397  -  @ref arm_compute::NEHarrisScoreKernel
 398  -  @ref arm_compute::NEHOGDetectorKernel
 399  -  @ref arm_compute::NELogits1DMaxKernel
 400  -  arm_compute::NELogits1DShiftExpSumKernel
 401  -  arm_compute::NELogits1DNormKernel
 402  -  @ref arm_compute::NENonMaximaSuppression3x3FP16Kernel
 403  -  @ref arm_compute::NENonMaximaSuppression3x3Kernel
 404
 405 v17.03.1 First Major public release of the sources
 406  - Renamed the library to arm_compute
 407  - New CPP target introduced for C++ kernels shared between NEON and CL functions.
 408  - New padding calculation interface introduced and ported most kernels / functions to use it.
 409  - New OpenCL kernels / functions:
 410    - @ref arm_compute::CLGEMMLowpMatrixMultiplyKernel / arm_compute::CLGEMMLowp
 411  - New NEON kernels / functions:
 412    - @ref arm_compute::NENormalizationLayerKernel / @ref arm_compute::NENormalizationLayer
 413    - @ref arm_compute::NETransposeKernel / @ref arm_compute::NETranspose
 414    - @ref arm_compute::NELogits1DMaxKernel, arm_compute::NELogits1DShiftExpSumKernel, arm_compute::NELogits1DNormKernel / @ref arm_compute::NESoftmaxLayer
 415    - @ref arm_compute::NEIm2ColKernel, @ref arm_compute::NECol2ImKernel, arm_compute::NEConvolutionLayerWeightsReshapeKernel / @ref arm_compute::NEConvolutionLayer
 416    - @ref arm_compute::NEGEMMMatrixAccumulateBiasesKernel / @ref arm_compute::NEFullyConnectedLayer
 417    - @ref arm_compute::NEGEMMLowpMatrixMultiplyKernel / arm_compute::NEGEMMLowp
 418
 419 v17.03 Sources preview
 420  - New OpenCL kernels / functions:
 421    - @ref arm_compute::CLGradientKernel, @ref arm_compute::CLEdgeNonMaxSuppressionKernel, @ref arm_compute::CLEdgeTraceKernel / @ref arm_compute::CLCannyEdge
 422    - GEMM refactoring + FP16 support: @ref arm_compute::CLGEMMInterleave4x4Kernel, @ref arm_compute::CLGEMMTranspose1xWKernel, @ref arm_compute::CLGEMMMatrixMultiplyKernel, @ref arm_compute::CLGEMMMatrixAdditionKernel / @ref arm_compute::CLGEMM
 423    - @ref arm_compute::CLGEMMMatrixAccumulateBiasesKernel / @ref arm_compute::CLFullyConnectedLayer
 424    - @ref arm_compute::CLTransposeKernel / @ref arm_compute::CLTranspose
 425    - @ref arm_compute::CLLKTrackerInitKernel, @ref arm_compute::CLLKTrackerStage0Kernel, @ref arm_compute::CLLKTrackerStage1Kernel, @ref arm_compute::CLLKTrackerFinalizeKernel / @ref arm_compute::CLOpticalFlow
 426    - @ref arm_compute::CLNormalizationLayerKernel / @ref arm_compute::CLNormalizationLayer
 427    - @ref arm_compute::CLLaplacianPyramid, @ref arm_compute::CLLaplacianReconstruct
 428  - New NEON kernels / functions:
 429    - @ref arm_compute::NEActivationLayerKernel / @ref arm_compute::NEActivationLayer
 430    - GEMM refactoring + FP16 support (Requires armv8.2 CPU): @ref arm_compute::NEGEMMInterleave4x4Kernel, @ref arm_compute::NEGEMMTranspose1xWKernel, @ref arm_compute::NEGEMMMatrixMultiplyKernel, @ref arm_compute::NEGEMMMatrixAdditionKernel / @ref arm_compute::NEGEMM
 431    - @ref arm_compute::NEPoolingLayerKernel / @ref arm_compute::NEPoolingLayer
 432
 433 v17.02.1 Sources preview
 434  - New OpenCL kernels / functions:
 435    - @ref arm_compute::CLLogits1DMaxKernel, @ref arm_compute::CLLogits1DShiftExpSumKernel, @ref arm_compute::CLLogits1DNormKernel / @ref arm_compute::CLSoftmaxLayer
 436    - @ref arm_compute::CLPoolingLayerKernel / @ref arm_compute::CLPoolingLayer
 437    - @ref arm_compute::CLIm2ColKernel, @ref arm_compute::CLCol2ImKernel, arm_compute::CLConvolutionLayerWeightsReshapeKernel / @ref arm_compute::CLConvolutionLayer
 438    - @ref arm_compute::CLRemapKernel / @ref arm_compute::CLRemap
 439    - @ref arm_compute::CLGaussianPyramidHorKernel, @ref arm_compute::CLGaussianPyramidVertKernel / @ref arm_compute::CLGaussianPyramid, @ref arm_compute::CLGaussianPyramidHalf, @ref arm_compute::CLGaussianPyramidOrb
 440    - @ref arm_compute::CLMinMaxKernel, @ref arm_compute::CLMinMaxLocationKernel / @ref arm_compute::CLMinMaxLocation
 441    - @ref arm_compute::CLNonLinearFilterKernel / @ref arm_compute::CLNonLinearFilter
 442  - New NEON FP16 kernels (Requires armv8.2 CPU)
 443    - @ref arm_compute::NEAccumulateWeightedFP16Kernel
 444    - @ref arm_compute::NEBox3x3FP16Kernel
 445    - @ref arm_compute::NENonMaximaSuppression3x3FP16Kernel
 446
 447 v17.02 Sources preview
 448  - New OpenCL kernels / functions:
 449    - @ref arm_compute::CLActivationLayerKernel / @ref arm_compute::CLActivationLayer
 450    - @ref arm_compute::CLChannelCombineKernel / @ref arm_compute::CLChannelCombine
 451    - @ref arm_compute::CLDerivativeKernel / @ref arm_compute::CLChannelExtract
 452    - @ref arm_compute::CLFastCornersKernel / @ref arm_compute::CLFastCorners
 453    - @ref arm_compute::CLMeanStdDevKernel / @ref arm_compute::CLMeanStdDev
 454  - New NEON kernels / functions:
 455    - HOG / SVM: @ref arm_compute::NEHOGOrientationBinningKernel, @ref arm_compute::NEHOGBlockNormalizationKernel, @ref arm_compute::NEHOGDetectorKernel, arm_compute::NEHOGNonMaximaSuppressionKernel / @ref arm_compute::NEHOGDescriptor, @ref arm_compute::NEHOGDetector, @ref arm_compute::NEHOGGradient, @ref arm_compute::NEHOGMultiDetection
 456    - @ref arm_compute::NENonLinearFilterKernel / @ref arm_compute::NENonLinearFilter
 457  - Introduced a CLScheduler to manage the default context and command queue used by the runtime library and create synchronisation events.
 458  - Switched all the kernels / functions to use tensors instead of images.
 459  - Updated documentation to include instructions to build the library from sources.
 460
 461 v16.12 Binary preview release
 462  - Original release
 463
 464 @section S3_how_to_build How to build the library and the examples
 465
 466 @subsection S3_1_build_options Build options
 467
 468 scons 2.3 or above is required to build the library.
 469 To see the build options available simply run ```scons -h```:
 470
 471         debug: Debug (yes|no)
 472                 default: False
 473                 actual: False
 474
 475         asserts: Enable asserts (this flag is forced to 1 for debug=1) (yes|no)
 476                 default: False
 477                 actual: False
 478
 479         arch: Target Architecture (armv7a|arm64-v8a|arm64-v8.2-a|x86_32|x86_64)
 480                 default: armv7a
 481                 actual: armv7a
 482
 483         os: Target OS (linux|android|bare_metal)
 484                 default: linux
 485                 actual: linux
 486
 487         build: Build type (native|cross_compile|embed_only)
 488                 default: cross_compile
 489                 actual: cross_compile
 490
 491         examples: Build example programs (yes|no)
 492                 default: True
 493                 actual: True
 494
 495         Werror: Enable/disable the -Werror compilation flag (yes|no)
 496                 default: True
 497                 actual: True
 498
 499         opencl: Enable OpenCL support (yes|no)
 500                 default: True
 501                 actual: True
 502
 503         neon: Enable Neon support (yes|no)
 504                 default: False
 505                 actual: False
 506
 507         gles_compute: Enable OpenGL ES Compute Shader support (yes|no)
 508                 default: False
 509                 actual: False
 510
 511         embed_kernels: Embed OpenCL kernels and OpenGL ES compute shader in library binary (yes|no)
 512                 default: True
 513                 actual: True
 514
 515         set_soname: Set the library's soname and shlibversion (requires SCons 2.4 or above) (yes|no)
 516                 default: False
 517                 actual: False
 518
 519         openmp: Enable OpenMP backend (yes|no)
 520                 default: False
 521                 actual: False
 522
 523         cppthreads: Enable C++11 threads backend (yes|no)
 524                 default: True
 525                 actual: True
 526
 527         build_dir: Specify sub-folder for the build ( /path/to/build_dir )
 528                 default: .
 529                 actual: .
 530
 531         extra_cxx_flags: Extra CXX flags to be appended to the build command
 532                 default:
 533                 actual:
 534
 535         pmu: Enable PMU counters (yes|no)
 536                 default: False
 537                 actual: False
 538
 539         mali: Enable Mali hardware counters (yes|no)
 540                 default: False
 541                 actual: False
 542
 543         validation_tests: Build validation test programs (yes|no)
 544                 default: False
 545                 actual: False
 546
 547         benchmark_tests: Build benchmark test programs (yes|no)
 548                 default: False
 549                 actual: False
 550
 551 @b debug / @b asserts:
 552  - With debug=1 asserts are enabled, and the library is built with symbols and no optimisations enabled.
 553  - With debug=0 and asserts=1: Optimisations are enabled and symbols are removed, however all the asserts are still present (This is about 20% slower than the release build)
 554  - With debug=0 and asserts=0: All optimisations are enable and no validation is performed, if the application misuses the library it is likely to result in a crash. (Only use this mode once you are sure your application is working as expected).
 555
 556 @b arch: The x86_32 and x86_64 targets can only be used with neon=0 and opencl=1.
 557
 558 @b os: Choose the operating system you are targeting: Linux, Android or bare metal.
 559 @note bare metal can only be used for NEON (not OpenCL), only static libraries get built and NEON's multi-threading support is disabled.
 560
 561 @b build: you can either build directly on your device (native) or cross compile from your desktop machine (cross-compile). In both cases make sure the compiler is available in your path.
 562
 563 @note If you want to natively compile for 32bit on a 64bit ARM device running a 64bit OS then you will have to use cross-compile too.
 564
 565 There is also an 'embed_only' option which will generate all the .embed files for the OpenCL kernels and / or OpenGLES compute shaders. This might be useful if using a different build system to compile the library.
 566
 567 @b Werror: If you are compiling using the same toolchains as the ones used in this guide then there shouldn't be any warning and therefore you should be able to keep Werror=1. If with a different compiler version the library fails to build because of warnings interpreted as errors then, if you are sure the warnings are not important, you might want to try to build with Werror=0 (But please do report the issue either on Github or by an email to developer@arm.com so that the issue can be addressed).
 568
 569 @b opencl / @b neon / @b gles_compute: Choose which SIMD technology you want to target. (NEON for ARM Cortex-A CPUs or OpenCL / GLES_COMPUTE for ARM Mali GPUs)
 570
 571 @b embed_kernels: For OpenCL / GLES_COMPUTE only: set embed_kernels=1 if you want the OpenCL / GLES_COMPUTE kernels to be built in the library's binaries instead of being read from separate ".cl" / ".cs" files. If embed_kernels is set to 0 then the application can set the path to the folder containing the OpenCL / GLES_COMPUTE kernel files by calling CLKernelLibrary::init() / GCKernelLibrary::init(). By default the path is set to "./cl_kernels" / "./cs_shaders".
 572
 573 @b set_soname: Do you want to build the versioned version of the library ?
 574
 575 If enabled the library will contain a SONAME and SHLIBVERSION and some symlinks will automatically be created between the objects.
 576 Example:
 577   libarm_compute_core.so -> libarm_compute_core.so.1.0.0
 578   libarm_compute_core.so.1 -> libarm_compute_core.so.1.0.0
 579   libarm_compute_core.so.1.0.0
 580
 581 @note This options is disabled by default as it requires SCons version 2.4 or above.
 582
 583 @b extra_cxx_flags: Custom CXX flags which will be appended to the end of the build command.
 584
 585 @b build_dir: Build the library in a subfolder of the "build" folder. (Allows to build several configurations in parallel).
 586
 587 @b examples: Build or not the examples
 588
 589 @b validation_tests: Enable the build of the validation suite.
 590
 591 @b benchmark_tests: Enable the build of the benchmark tests
 592
 593 @b pmu: Enable the PMU cycle counter to measure execution time in benchmark tests. (Your device needs to support it)
 594
 595 @b mali: Enable the collection of Mali hardware counters to measure execution time in benchmark tests. (Your device needs to have a Mali driver that supports it)
 596
 597 @b openmp Build in the OpenMP scheduler for NEON.
 598
 599 @note Only works when building with g++ not clang++
 600
 601 @b cppthreads Build in the C++11 scheduler for NEON.
 602
 603 @sa arm_compute::Scheduler::set
 604
 605 @subsection S3_2_linux Building for Linux
 606
 607 @subsubsection S3_2_1_library How to build the library ?
 608
 609 For Linux, the library was successfully built and tested using the following Linaro GCC toolchain:
 610
 611  - gcc-linaro-arm-linux-gnueabihf-4.9-2014.07_linux
 612  - gcc-linaro-4.9-2016.02-x86_64_aarch64-linux-gnu
 613  - gcc-linaro-6.3.1-2017.02-i686_aarch64-linux-gnu
 614
 615 @note If you are building with opencl=1 then scons will expect to find libOpenCL.so either in the current directory or in "build" (See the section below if you need a stub OpenCL library to link against)
 616 @note If you are building with gles_compute=1 then scons will expect to find libEGL.so / libGLESv1_CM.so / libGLESv2.so either in the current directory or in "build" (See the section below if you need a stub OpenCL library to link against)
 617
 618 To cross-compile the library in debug mode, with NEON only support, for Linux 32bit:
 619
 620         scons Werror=1 -j8 debug=1 neon=1 opencl=0 os=linux arch=armv7a
 621
 622 To cross-compile the library in asserts mode, with OpenCL only support, for Linux 64bit:
 623
 624         scons Werror=1 -j8 debug=0 asserts=1 neon=0 opencl=1 embed_kernels=1 os=linux arch=arm64-v8a
 625
 626 To cross-compile the library in asserts mode, with GLES_COMPUTE only support, for Linux 64bit:
 627
 628         scons Werror=1 -j8 debug=0 asserts=1 neon=0 opencl=0 gles_compute=1 embed_kernels=1 os=linux arch=arm64-v8a
 629
 630 You can also compile the library natively on an ARM device by using <b>build=native</b>:
 631
 632         scons Werror=1 -j8 debug=0 neon=1 opencl=0 os=linux arch=arm64-v8a build=native
 633         scons Werror=1 -j8 debug=0 neon=1 opencl=0 os=linux arch=armv7a build=native
 634
 635 @note g++ for ARM is mono-arch, therefore if you want to compile for Linux 32bit on a Linux 64bit platform you will have to use a cross compiler.
 636
 637 For example on a 64bit Debian based system you would have to install <b>g++-arm-linux-gnueabihf</b>
 638
 639         apt-get install g++-arm-linux-gnueabihf
 640
 641 Then run
 642
 643         scons Werror=1 -j8 debug=0 neon=1 opencl=0 os=linux arch=armv7a build=cross_compile
 644
 645 or simply remove the build parameter as build=cross_compile is the default value:
 646
 647         scons Werror=1 -j8 debug=0 neon=1 opencl=0 os=linux arch=armv7a
 648
 649 @attention To cross compile with opencl=1 you need to make sure to have a version of libOpenCL matching your target architecture.
 650
 651 @subsubsection S3_2_2_examples How to manually build the examples ?
 652
 653 The examples get automatically built by scons as part of the build process of the library described above. This section just describes how you can build and link your own application against our library.
 654
 655 @note The following command lines assume the arm_compute and libOpenCL binaries are present in the current directory or in the system library path. If this is not the case you can specify the location of the pre-built library with the compiler option -L. When building the OpenCL example the commands below assume that the CL headers are located in the include folder where the command is executed.
 656
 657 To cross compile a NEON example for Linux 32bit:
 658
 659         arm-linux-gnueabihf-g++ examples/neon_convolution.cpp utils/Utils.cpp -I. -Iinclude -std=c++11 -mfpu=neon -L. -larm_compute -larm_compute_core -o neon_convolution
 660
 661 To cross compile a NEON example for Linux 64bit:
 662
 663         aarch64-linux-gnu-g++ examples/neon_convolution.cpp utils/Utils.cpp -I. -Iinclude -std=c++11 -L. -larm_compute -larm_compute_core -o neon_convolution
 664
 665 (notice the only difference with the 32 bit command is that we don't need the -mfpu option and the compiler's name is different)
 666
 667 To cross compile an OpenCL example for Linux 32bit:
 668
 669         arm-linux-gnueabihf-g++ examples/cl_convolution.cpp utils/Utils.cpp -I. -Iinclude -std=c++11 -mfpu=neon -L. -larm_compute -larm_compute_core -lOpenCL -o cl_convolution -DARM_COMPUTE_CL
 670
 671 To cross compile an OpenCL example for Linux 64bit:
 672
 673         aarch64-linux-gnu-g++ examples/cl_convolution.cpp utils/Utils.cpp -I. -Iinclude -std=c++11 -L. -larm_compute -larm_compute_core -lOpenCL -o cl_convolution -DARM_COMPUTE_CL
 674
 675 To cross compile a GLES example for Linux 32bit:
 676
 677         arm-linux-gnueabihf-g++ examples/gc_absdiff.cpp utils/Utils.cpp -I. -Iinclude/ -L. -larm_compute -larm_compute_core -std=c++11 -mfpu=neon -DARM_COMPUTE_GC -Iinclude/linux/ -o gc_absdiff
 678
 679 To cross compile a GLES example for Linux 64bit:
 680
 681         aarch64-linux-gnu-g++ examples/gc_absdiff.cpp utils/Utils.cpp -I. -Iinclude/ -L. -larm_compute -larm_compute_core -std=c++11 -DARM_COMPUTE_GC -Iinclude/linux/ -o gc_absdiff
 682
 683 (notice the only difference with the 32 bit command is that we don't need the -mfpu option and the compiler's name is different)
 684
 685 To cross compile the examples with the Graph API, such as graph_lenet.cpp, you need to link the examples against arm_compute_graph.so too.
 686
 687 @note The compute library must currently be built with both neon and opencl enabled - neon=1 and opencl=1
 688
 689 i.e. to cross compile the "graph_lenet" example for Linux 32bit:
 690
 691         arm-linux-gnueabihf-g++ examples/graph_lenet.cpp utils/Utils.cpp utils/GraphUtils.cpp -I. -Iinclude -std=c++11 -mfpu=neon -L. -larm_compute_graph -larm_compute -larm_compute_core -Wl,--allow-shlib-undefined -o graph_lenet
 692
 693 i.e. to cross compile the "graph_lenet" example for Linux 64bit:
 694
 695         aarch64-linux-gnu-g++ examples/graph_lenet.cpp utils/Utils.cpp utils/GraphUtils.cpp -I. -Iinclude -std=c++11 -L. -larm_compute_graph -larm_compute -larm_compute_core -Wl,--allow-shlib-undefined -o graph_lenet
 696
 697 (notice the only difference with the 32 bit command is that we don't need the -mfpu option and the compiler's name is different)
 698
 699 @note If compiling using static libraries, this order must be followed when linking: arm_compute_graph_static, arm_compute, arm_compute_core
 700
 701 To compile natively (i.e directly on an ARM device) for NEON for Linux 32bit:
 702
 703         g++ examples/neon_convolution.cpp utils/Utils.cpp -I. -Iinclude -std=c++11 -mfpu=neon -larm_compute -larm_compute_core -o neon_convolution
 704
 705 To compile natively (i.e directly on an ARM device) for NEON for Linux 64bit:
 706
 707         g++ examples/neon_convolution.cpp utils/Utils.cpp -I. -Iinclude -std=c++11 -larm_compute -larm_compute_core -o neon_convolution
 708
 709 (notice the only difference with the 32 bit command is that we don't need the -mfpu option)
 710
 711 To compile natively (i.e directly on an ARM device) for OpenCL for Linux 32bit or Linux 64bit:
 712
 713         g++ examples/cl_convolution.cpp utils/Utils.cpp -I. -Iinclude -std=c++11 -larm_compute -larm_compute_core -lOpenCL -o cl_convolution -DARM_COMPUTE_CL
 714
 715 To compile natively (i.e directly on an ARM device) for GLES for Linux 32bit or Linux 64bit:
 716
 717         g++ examples/gc_absdiff.cpp utils/Utils.cpp -I. -Iinclude/ -L. -larm_compute -larm_compute_core -std=c++11 -DARM_COMPUTE_GC -Iinclude/linux/ -o gc_absdiff
 718
 719 To compile natively the examples with the Graph API, such as graph_lenet.cpp, you need to link the examples against arm_compute_graph.so too.
 720 @note The compute library must currently be built with both neon and opencl enabled - neon=1 and opencl=1
 721
 722 i.e. to natively compile the "graph_lenet" example for Linux 32bit:
 723
 724         g++ examples/graph_lenet.cpp utils/Utils.cpp utils/GraphUtils.cpp -I. -Iinclude -std=c++11 -mfpu=neon -L. -larm_compute_graph -larm_compute -larm_compute_core -Wl,--allow-shlib-undefined -o graph_lenet
 725
 726 i.e. to natively compile the "graph_lenet" example for Linux 64bit:
 727
 728         g++ examples/graph_lenet.cpp utils/Utils.cpp utils/GraphUtils.cpp -I. -Iinclude -std=c++11 L. -larm_compute_graph -larm_compute -larm_compute_core -Wl,--allow-shlib-undefined -o graph_lenet
 729
 730 (notice the only difference with the 32 bit command is that we don't need the -mfpu option)
 731
 732 @note If compiling using static libraries, this order must be followed when linking: arm_compute_graph_static, arm_compute, arm_compute_core
 733
 734 @note These two commands assume libarm_compute.so is available in your library path, if not add the path to it using -L
 735
 736 To run the built executable simply run:
 737
 738         LD_LIBRARY_PATH=build ./neon_convolution
 739
 740 or
 741
 742         LD_LIBRARY_PATH=build ./cl_convolution
 743
 744 @subsection S3_3_android Building for Android
 745
 746 For Android, the library was successfully built and tested using Google's standalone toolchains:
 747  - NDK r14 arm-linux-androideabi-4.9 for armv7a (clang++)
 748  - NDK r14 aarch64-linux-android-4.9 for arm64-v8a (clang++)
 749
 750 Here is a guide to <a href="https://developer.android.com/ndk/guides/standalone_toolchain.html">create your Android standalone toolchains from the NDK</a>
 751
 752 - Download the NDK r14 from here: https://developer.android.com/ndk/downloads/index.html
 753 - Make sure you have Python 2 installed on your machine.
 754 - Generate the 32 and/or 64 toolchains by running the following commands:
 755
 756
 757         $NDK/build/tools/make_standalone_toolchain.py --arch arm64 --install-dir $MY_TOOLCHAINS/aarch64-linux-android-4.9 --stl gnustl --api 21
 758         $NDK/build/tools/make_standalone_toolchain.py --arch arm --install-dir $MY_TOOLCHAINS/arm-linux-androideabi-4.9 --stl gnustl --api 21
 759
 760 @attention Due to some NDK issues make sure you use clang++ & gnustl
 761
 762 @note Make sure to add the toolchains to your PATH: export PATH=$PATH:$MY_TOOLCHAINS/aarch64-linux-android-4.9/bin:$MY_TOOLCHAINS/arm-linux-androideabi-4.9/bin
 763
 764 @subsubsection S3_3_1_library How to build the library ?
 765
 766 @note If you are building with opencl=1 then scons will expect to find libOpenCL.so either in the current directory or in "build" (See the section below if you need a stub OpenCL library to link against)
 767
 768 To cross-compile the library in debug mode, with NEON only support, for Android 32bit:
 769
 770         CXX=clang++ CC=clang scons Werror=1 -j8 debug=1 neon=1 opencl=0 os=android arch=armv7a
 771
 772 To cross-compile the library in asserts mode, with OpenCL only support, for Android 64bit:
 773
 774         CXX=clang++ CC=clang scons Werror=1 -j8 debug=0 asserts=1 neon=0 opencl=1 embed_kernels=1 os=android arch=arm64-v8a
 775
 776 To cross-compile the library in asserts mode, with GLES_COMPUTE only support, for Android 64bit:
 777
 778         CXX=clang++ CC=clang scons Werror=1 -j8 debug=0 asserts=1 neon=0 opencl=0 gles_compute=1 embed_kernels=1 os=android arch=arm64-v8a
 779
 780 @subsubsection S3_3_2_examples How to manually build the examples ?
 781
 782 The examples get automatically built by scons as part of the build process of the library described above. This section just describes how you can build and link your own application against our library.
 783
 784 @note The following command lines assume the arm_compute and libOpenCL binaries are present in the current directory or in the system library path. If this is not the case you can specify the location of the pre-built library with the compiler option -L. When building the OpenCL example the commands below assume that the CL headers are located in the include folder where the command is executed.
 785
 786 Once you've got your Android standalone toolchain built and added to your path you can do the following:
 787
 788 To cross compile a NEON example:
 789
 790         #32 bit:
 791         arm-linux-androideabi-clang++ examples/neon_convolution.cpp utils/Utils.cpp -I. -Iinclude -std=c++11 -larm_compute-static -larm_compute_core-static -L. -o neon_convolution_arm -static-libstdc++ -pie
 792         #64 bit:
 793         aarch64-linux-android-clang++ examples/neon_convolution.cpp utils/Utils.cpp -I. -Iinclude -std=c++11 -larm_compute-static -larm_compute_core-static -L. -o neon_convolution_aarch64 -static-libstdc++ -pie
 794
 795 To cross compile an OpenCL example:
 796
 797         #32 bit:
 798         arm-linux-androideabi-clang++ examples/cl_convolution.cpp utils/Utils.cpp -I. -Iinclude -std=c++11 -larm_compute-static -larm_compute_core-static -L. -o cl_convolution_arm -static-libstdc++ -pie -lOpenCL -DARM_COMPUTE_CL
 799         #64 bit:
 800         aarch64-linux-android-clang++ examples/cl_convolution.cpp utils/Utils.cpp -I. -Iinclude -std=c++11 -larm_compute-static -larm_compute_core-static -L. -o cl_convolution_aarch64 -static-libstdc++ -pie -lOpenCL -DARM_COMPUTE_CL
 801
 802 To cross compile a GLES example:
 803
 804         #32 bit:
 805         arm-linux-androideabi-clang++ examples/gc_absdiff.cpp utils/Utils.cpp -I. -Iinclude -std=c++11 -larm_compute-static -larm_compute_core-static -L. -o gc_absdiff_arm -static-libstdc++ -pie -DARM_COMPUTE_GC
 806         #64 bit:
 807         aarch64-linux-android-clang++ examples/gc_absdiff.cpp utils/Utils.cpp -I. -Iinclude -std=c++11 -larm_compute-static -larm_compute_core-static -L. -o gc_absdiff_aarch64 -static-libstdc++ -pie -DARM_COMPUTE_GC
 808
 809 To cross compile the examples with the Graph API, such as graph_lenet.cpp, you need to link the library arm_compute_graph also.
 810 (notice the compute library has to be built with both neon and opencl enabled - neon=1 and opencl=1)
 811
 812         #32 bit:
 813         arm-linux-androideabi-clang++ examples/graph_lenet.cpp utils/Utils.cpp utils/GraphUtils.cpp -I. -Iinclude -std=c++11 -Wl,--whole-archive -larm_compute_graph-static -Wl,--no-whole-archive -larm_compute-static -larm_compute_core-static -L. -o graph_lenet_arm -static-libstdc++ -pie -lOpenCL -DARM_COMPUTE_CL
 814         #64 bit:
 815         aarch64-linux-android-clang++ examples/graph_lenet.cpp utils/Utils.cpp utils/GraphUtils.cpp -I. -Iinclude -std=c++11 -Wl,--whole-archive -larm_compute_graph-static -Wl,--no-whole-archive -larm_compute-static -larm_compute_core-static -L. -o graph_lenet_aarch64 -static-libstdc++ -pie -lOpenCL -DARM_COMPUTE_CL
 816
 817 @note Due to some issues in older versions of the Mali OpenCL DDK (<= r13p0), we recommend to link arm_compute statically on Android.
 818 @note When linked statically the arm_compute_graph library currently needs the --whole-archive linker flag in order to work properly
 819
 820 Then you need to do is upload the executable and the shared library to the device using ADB:
 821
 822         adb push neon_convolution_arm /data/local/tmp/
 823         adb push cl_convolution_arm /data/local/tmp/
 824         adb push gc_absdiff_arm /data/local/tmp/
 825         adb shell chmod 777 -R /data/local/tmp/
 826
 827 And finally to run the example:
 828
 829         adb shell /data/local/tmp/neon_convolution_arm
 830         adb shell /data/local/tmp/cl_convolution_arm
 831         adb shell /data/local/tmp/gc_absdiff_arm
 832
 833 For 64bit:
 834
 835         adb push neon_convolution_aarch64 /data/local/tmp/
 836         adb push cl_convolution_aarch64 /data/local/tmp/
 837         adb push gc_absdiff_aarch64 /data/local/tmp/
 838         adb shell chmod 777 -R /data/local/tmp/
 839
 840 And finally to run the example:
 841
 842         adb shell /data/local/tmp/neon_convolution_aarch64
 843         adb shell /data/local/tmp/cl_convolution_aarch64
 844         adb shell /data/local/tmp/gc_absdiff_aarch64
 845
 846 @subsection S3_4_bare_metal Building for bare metal
 847
 848 For bare metal, the library was successfully built using linaros's latest (gcc-linaro-6.3.1-2017.05) bare metal toolchains:
 849  - arm-eabi for armv7a
 850  - aarch64-elf for arm64-v8a
 851
 852 Download linaro for <a href="https://releases.linaro.org/components/toolchain/binaries/6.3-2017.05/arm-eabi/">armv7a</a> and <a href="https://releases.linaro.org/components/toolchain/binaries/6.3-2017.05/aarch64-elf/">arm64-v8a</a>.
 853
 854 @note Make sure to add the toolchains to your PATH: export PATH=$PATH:$MY_TOOLCHAINS/gcc-linaro-6.3.1-2017.05-x86_64_aarch64-elf/bin:$MY_TOOLCHAINS/gcc-linaro-6.3.1-2017.05-x86_64_arm-eabi/bin
 855
 856 @subsubsection S3_4_1_library How to build the library ?
 857
 858 To cross-compile the library with NEON support for baremetal arm64-v8a:
 859
 860         scons Werror=1 -j8 debug=0 neon=1 opencl=0 os=bare_metal arch=arm64-v8a build=cross_compile cppthreads=0 openmp=0 standalone=1
 861
 862 @subsubsection S3_4_2_examples How to manually build the examples ?
 863
 864 Examples are disabled when building for bare metal. If you want to build the examples you need to provide a custom bootcode depending on the target architecture and link against the compute library. More information about bare metal bootcode can be found <a href="http://infocenter.arm.com/help/index.jsp?topic=/com.arm.doc.dai0527a/index.html">here</a>.
 865
 866 @subsection S3_5_windows_host Building on a Windows host system
 867
 868 Using `scons` directly from the Windows command line is known to cause
 869 problems. The reason seems to be that if `scons` is setup for cross-compilation
 870 it gets confused about Windows style paths (using backslashes). Thus it is
 871 recommended to follow one of the options outlined below.
 872
 873 @subsubsection S3_5_1_ubuntu_on_windows Bash on Ubuntu on Windows
 874
 875 The best and easiest option is to use
 876 <a href="https://msdn.microsoft.com/en-gb/commandline/wsl/about">Ubuntu on Windows</a>.
 877 This feature is still marked as *beta* and thus might not be available.
 878 However, if it is building the library is as simple as opening a *Bash on
 879 Ubuntu on Windows* shell and following the general guidelines given above.
 880
 881 @subsubsection S3_5_2_cygwin Cygwin
 882
 883 If the Windows subsystem for Linux is not available <a href="https://www.cygwin.com/">Cygwin</a>
 884 can be used to install and run `scons`. In addition to the default packages
 885 installed by Cygwin `scons` has to be selected in the installer. (`git` might
 886 also be useful but is not strictly required if you already have got the source
 887 code of the library.) Linaro provides pre-built versions of
 888 <a href="http://releases.linaro.org/components/toolchain/binaries/">GCC cross-compilers</a>
 889 that can be used from the Cygwin terminal. When building for Android the
 890 compiler is included in the Android standalone toolchain. After everything has
 891 been set up in the Cygwin terminal the general guide on building the library
 892 can be followed.
 893
 894 @subsection S3_6_cl_stub_library The OpenCL stub library
 895
 896 In the opencl-1.2-stubs folder you will find the sources to build a stub OpenCL library which then can be used to link your application or arm_compute against.
 897
 898 If you preferred you could retrieve the OpenCL library from your device and link against this one but often this library will have dependencies on a range of system libraries forcing you to link your application against those too even though it is not using them.
 899
 900 @warning This OpenCL library provided is a stub and *not* a real implementation. You can use it to resolve OpenCL's symbols in arm_compute while building the example but you must make sure the real libOpenCL.so is in your PATH when running the example or it will not work.
 901
 902 To cross-compile the stub OpenCL library simply run:
 903
 904         <target-prefix>-gcc -o libOpenCL.so -Iinclude opencl-1.2-stubs/opencl_stubs.c -fPIC -shared
 905
 906 For example:
 907
 908         #Linux 32bit
 909         arm-linux-gnueabihf-gcc -o libOpenCL.so -Iinclude opencl-1.2-stubs/opencl_stubs.c -fPIC -shared
 910         #Linux 64bit
 911         aarch64-linux-gnu-gcc -o libOpenCL.so -Iinclude -shared opencl-1.2-stubs/opencl_stubs.c -fPIC
 912         #Android 32bit
 913         arm-linux-androideabi-clang -o libOpenCL.so -Iinclude -shared opencl-1.2-stubs/opencl_stubs.c -fPIC -shared
 914         #Android 64bit
 915         aarch64-linux-android-clang -o libOpenCL.so -Iinclude -shared opencl-1.2-stubs/opencl_stubs.c -fPIC -shared
 916
 917 @subsection S3_7_gles_stub_library The Linux OpenGLES and EGL stub libraries
 918
 919 In the opengles-3.1-stubs folder you will find the sources to build stub EGL and OpenGLES libraries which then can be used to link your Linux application of arm_compute against.
 920
 921 @note The stub libraries are only needed on Linux. For Android, the NDK toolchains already provide the meta-EGL and meta-GLES libraries.
 922
 923 To cross-compile the stub OpenGLES and EGL libraries simply run:
 924
 925         <target-prefix>-gcc -o libEGL.so -Iinclude/linux opengles-3.1-stubs/EGL.c -fPIC -shared
 926         <target-prefix>-gcc -o libGLESv2.so -Iinclude/linux opengles-3.1-stubs/GLESv2.c -fPIC -shared
 927
 928         #Linux 32bit
 929         arm-linux-gnueabihf-gcc -o libEGL.so -Iinclude/linux opengles-3.1-stubs/EGL.c -fPIC -shared
 930         arm-linux-gnueabihf-gcc -o libGLESv2.so -Iinclude/linux opengles-3.1-stubs/GLESv2.c -fPIC -shared
 931
 932         #Linux 64bit
 933         aarch64-linux-gnu-gcc -o libEGL.so -Iinclude/linux opengles-3.1-stubs/EGL.c -fPIC -shared
 934         aarch64-linux-gnu-gcc -o libGLESv2.so -Iinclude/linux opengles-3.1-stubs/GLESv2.c -fPIC -shared
 935 */