[Debian/Dist] Add missing dependency for sub-packages of npu-engine

This commit adds missing dependency for sub-packages of npu-engine.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Coverage] Fix unittest coverage script

This commit fixes unittest coverage script to be compatible with gcc-9

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Unittest/Fix] Remove check routines after .return_buffer()

This commit removes check routines after .return_buffer().

We cannot ensure buffer states after .return_buffer() becasue after
this function call, we will lose the ownership of the buffer.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Quantization] Do not perform quantization for 1-byte types

This commit makes that quantization is not performed for 1-byte types
such as uint8_t and int8_t because they have the same data size with
DATA_TYPE_SRNPU.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[FIX] fix meson version dependency

This commit fixes meson version dependency, 0.50

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Release] NPU Engine 0.0.6 release

This commit releases a newer version of NPU Engine library, 0.0.6.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Test/Quantization] Add a unittest to test quantization

This commit adds a unittest to test quantization.
If data type is not DATA_TYPE_SRNPU, we need to perform quantization.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Test/DataManip] Add a unittest to test data manipulation

This commit adds a unittest to test data manipulation.
If a depth is not a multiple of WPL_A (i.e., 64), padding is added.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[FIX] Fix some functions' descriptions

This comit fixes some functions' descriptions.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Quantization] Implement input/output quantization during data manip

This commit implements input/output quantization during data
manipulation. It requires the intensive verification for calculations.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Test/npubinfmt_v2] Enable testcases for npubinfmt v2

This commit enables testcases for npubinfmt v2. Also, it revises
the existing apptest, example_visa, to support NPU models with
npubinfmt v2.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[FIX] Remove unnecessary broadcast in callback handling

This commit removes unnecessary broadcast in callback handling.
It may cause a potential deadlock situation.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[TEST] Change unit/apptest codes to sync with the updated interface.

This commit changes unit/apptest codes to sync with the updated
interface.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[libnpuhost] Support output_buffers with multiple tensors

This commit changes libnpuhost.h to support output_buffers
to hold multiple tensors' data (like input_tensors).
Also, it revises other related codes for multi tensors and npubinfmt v2.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Fix] Fix warnings caused by the updated gcc version

This commit fixs wraning caused by the updated gcc version.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[DataManip] Implement data manipulation for BUFFER_MAPPED

This commit implements data manipulation for BUFFER_MAPPED type.
For other types, it's not efficient for NPU Engine to handle them.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Fix/Log] Omit logs for third-party libraries (e.g., libnpuvision)

This commit omits dirty logs for third-party libraries including
libnpuvision and encoder. Such logs are printed as standrad output, thus
we can redirect them to /dev/null.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Handler] Revise data preparation for multiple tensors for inference.

This commit revises data preparation for multiple tensors by adding new
handler API for feeding input data to NE buffer. It enables to feed
multiple tensors' data to the physically-contiguous NE buffer.
Also, this patch moves the impl of setup_hwmem() to ne-handler.c

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[AppTest] Revise existing unittests to use allocInputBuffers()

This commit revises existing unittests to use allocInputBuffers().

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[libnpuhost] revise buffer allocation/cleanup APIs for users.

This commit revises buffer allocation/cleanup APIs for users.

Existing APIs, allocNPUBuffer() and cleanNPUBuffer(), handle memory
for only a single tensor. However, to support multiple tensors, we
need new pair of APIs to allocate memory for them at the same time
by allocating a single physically-contiguous buffer to cover all
tensors (in case of BUFFER_DMABUF).

So, this patch introduces new APIs for multiple tensors.
  - allocInputBuffers() & cleanInputBuffer()
Also, it renames existing APIs for single tensor.
  - allocInputBuffer() & cleanInputBUffer()
  - allocModelBuffer() & cleanModelBUffer()

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[libnpuhost/api] add the API to set data info for input/output tensors

This commit adds the API to set data info for input/output tensors.
It defines the data layout/type for tensor layouts, and NPU Engine
will use such information to perform data manipulation and quantization.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[ModelGen] Update model generator for newly added metadata info

This commit updates model generator for newly added metadata info,
quantization parameters.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[npubinfmt/v2] add quantization parameters for each input/output tensor

This commit adds quantization parameters to npubinfmt.h (v2), which will
be used to quantize each input/output activation.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Bug/Ip] Handle non-zero input offset in plugin-comm-ip.c

This commit fixes the ip plugin to handle non-zero input offset.
It's valid only for npubinfmt v1. For npubinfmt v2, other PRs may
resolve this by handling per-tensor data manipulation.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Comm/Api] Add the API to obtain the metadata of target model

This commit adds the API to obtain the metadata of target model.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Testdata] Fix testcase generator to consider non-zero input offset

This commit fixes testcase generator to consider non-zero input offset.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[DOC] Revise doc for .gbs.conf to remove repo.extra

This commit revises doc for .gbs.conf to remove repo.extra.
It's not necessary.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[TESTGEN] Revise testcase generator for npubinfmt v2

This commit revises testcase generator for npubinfmt v2.
It considers non-contiguous tensors as testcase*_v2.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[MODEL/META] Verify the magiccode in npubinfmt's metadata

This commit verifies the magiccode in npubinfmt's metadata.
Also, it updates related unitttests to use the default magiccode.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[TESTGEN] Revise model generator for npubinfmt v2

This commit revises the model generator script to support npubinfmt v2.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[BUILD] add the build option for NPU data manipulation

This commit adds the build option for NPU data manipulation.
As HW could provide this feature in the near future, it is enabled by
the build option.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[TEST/MODELGEN] Sync with the updated npubinfmt.h

This commit fixes a script to generate test models to sync new
npubinfmt.h

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[NPUBINFMT] Append per-tensor information (e.g., num, dims, emod)

This commit appends per-tensor information such as dimensions, elem
size, emod, etc to 'npubinfmt.h'. This information is valid only for
npubinfmt v2. The previous version (v1) still valid. Also, we need to
make sure to assign its magic code to specify the npubinfmt version.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Release] NPU Engine 0.0.5 Release

This commit starts NPU Engine 0.0.5 Release.

After this, 0.0.6 will include npubinfmt v2 and data manipulation.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[ASR] Revise inference-related SW stack for NPU-ASR

This commit revises all inference-related SW stack for ASR.
It reuses exsiting codes using npu device type, using effective op.
Also, It adds new example apptest for NPU-ASR device.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[DOC] Revise doc to describe additional info (ubuntu/testdata)

This commit revises doc to describe additional info related to ubuntu
build and testdata package.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[README] Revise README.md to describe 'tools' folder

This commit revises README.md to describe 'tools' folder.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[ASR] make ASR use a dummy model

This commit makes ASR use a dummy model to utilize existing codes.

In ASR device, registerModel() is not required. But, we can utilize
existing codes using a dummy model.
Also, as ASR can't resize I/O buffers on model registeration, new API
.resize_buffers() is required.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[TESTDATA-GEN] Fix the input size to include esum sizes for all layers

This commit fixes the input size to include esum sizes for all layers.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Dist/Debian] Create a new package containing test data

This patch creates a new package containing test data separated
from the example package.

Signed-off-by: Wook Song <wook16.song@samsung.com>

Common/Typedef: Update input mode description

There had been some confusion related with inputs for ASR.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Dist/Debian] Change prefixes of sub-packages to npu-engine-*

This patch changes the prefixes of sub-packages from libnpuengine- to
npu-engine-.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Meson] Clean code in meson build scripts

This patchs cleans code in meson build scripts.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[FIX/RUN_SYNC] Fix the timing issue due to early inference completion

This commit fixes the timing issue caused when `run_sync()`'s inference is finished too
early. This patch introduces an extra variable to check whether the callback is
called or not.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[BUG/HWMEM] setup_hwmem() bug fix: hwmem deactivation on return

This commit fixes the bug, which `setup_hwmem()` has an ambiguous
assumption for hwmem deactivation. Now, `setup_hwmem()` does not
deactivate hwmem, which should be handled in its caller.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[LOG] Remove unnecessary logs and fix some log typos

This commit removes unnecessary logs and fixes some log typos.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[CONF] Remove iniparser's duplicated loads & error messages

This commit removes iniparser's duplicated loads and error messages.
The origianl codes used to call load_conf() multiple times, generating
meaningless error messages.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Debian] Update version to 0.0.3

Update version to 0.0.3

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Dist/Debian] Generate multi-layer data for application test

This patch removes the tarball containing multi-layer data for
application test and makes those data be generated at the build-time.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Dist/Tizen] Generate multi-layer data for application test

This patch removes the tarball containing multi-layer test data and
makes those test data be generated at build time.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Dist/Debian] Gernerate single layer data for application test

This patch removes the tarball containing pre-build single layer model
data for application data. Instead, those test data is generated at
build time by this patch.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Dist/Tizen] Generate single layer data for application test

Instead of tarball, the sigle layer data for application test is
generated at build-time by this patch. In addition, this patch creates a
new package containing those test data.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Dist/Debian] Add omitted npu-engine.ini to the main package

This patch adds the omitted npu-engine.ini file to the main package.
Note that this file is installed in the etc directory under /opt/trinity
when the emulation mode is enabled.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Dist/Debian] Fix a warning about 'badly formatted trailer line'

This patch fixes a warning about 'badly formatted trailer line' in
the changelog file.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Meson] Replace version string of meson with >= 0.42

Since OBS does not provide meson >= 0.50, this patch replaces the
version string of meson with >=0.42.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[ASR/IP] Revise getnumNPU/ASRdevice() to use common function

This commit revises getnumNPU/ASRdevice() to use common function.
Also, getASRdevice() is implemented in a similar way to the NPU device.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[BUILD/ASR] Remove asr-specific codes to reuse existing one

This commit removes asr-specific codes & dependency to reuse existing
one.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[TESTDATA] Bug fix on CONVE mod calculation

This commit fixes the bug on CONVE mode calculation.

As CONVE's esum uses the output size, mod calcs also should be matched.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[RELEASE] Add CHANGES to maintain changelog & make 0.0.2 release

This commit adds CHANGES to maintain changelog and increases the package
version to 0.0.2.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[TEST] Add ubuntu auto_test & enable example_visa as default

This commit adds ubuntu auto_test and enables example_visa as default.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[CONF] Revise all source codes which have used test_mode conf

This commit revises all source codes which have used test_mode conf.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[CONF] Remove test_mode configuration

This commit removes test_mode configuration cuz it's no longer used.
Now, NPU Engine runs with either NPU Emulation (Ubuntu 16.04) or real
NPU device (FastModel)

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Valgrind] Revise a way to enable valgrind to remove redundant codes

This commit revises a way to enable valgrind to remove redundant codes.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Tools/GenTestData] Update model_gen tool to use testdata packages

This patch updates the model_gen tool to be possible to use the file
provided by testdata packages from the decoder and libnpuvision.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Tools/GenTestData/Meson] Fix errors while building for real mode

This patch fixes errors while building the test data generation tool for
real mode.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Packaging] Remove the libnpuvision dependency for release mode

This commit removes the libnpuvision dependency for release mode.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[FIX] version check fixup for some packages

This commit fixes the version checking for some packages.
Note that the version checking of gcc is not working because it's meta
package.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Tools/Meson] Include gen-testdata in build tree

This patch adds meson build scripts in order to include gen-testdata in
the build tree.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Dist/Tizen] Exclude tools for test data generation

This patch excludes tools for test data generation from packaging.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Tools/GenTestData] Fix a warning about sign-compare

This patch fixes the sign-compare warning in testdata_gen.cpp.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Tools/GenTestData] Fix a warning about unused-result

This patch fixes the unused-result warning in testdata_gen.cpp.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Tools/GenTestData] Remove unneeded white spaces

This patch removes unneeded white spaces in testdata_gen.cpp.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Test] Move files related to testdata generation to the tools directory

This patch moves files related to testdata generation, which are
orinally placed in ./src/test/testdata, to the tools directory, i.e.,
./tools/gen-testdata.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Dist/Debian] Add omitted build-dependency on libiniparser-dev

This patch adds the omitted build-dependency on libiniparser-dev to the
debian control file.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[EMUL/BUG] Bug fix: when model_gen.py makes esum data (ESUM vs. CONVE)

This commit fixes the bug when model generator makes esum data, which should have handled differently depending on OPCODE (i.e., ESUM vs. CONVE).

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[EMUL/BUG] Bug fix: Add a missing line when setting esum data

This commit adds a missing line when setting esum data.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[CONF] Set the default resv mem size to 0 (Kernel CMA)

This commit change the default resv mem size to 0 (Kernel CMA).

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[FIX/GEM] fix the size checking in gem_create() to prevent overflow

This commit fixes the size checking in gem_create(), which caused size
overflow due to alignment.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Core/NPU/Emul] Fill the function body for CONVE emulation

This patch fills the function body for emulation of the CONVE
instruction and enables the emulation using it.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Core/NPU/Emul] Fill the function body for ReLU emulation

This function fills the function body for emulation of the ReLU
instruction. Using this function, the emulation for ReLU is enabled.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Core/NPU/Emul] Fill the function body for AVGP emulation

This function fills the function body for emulation of the Average
Pooling instruction. The emulation for AVGP is enabled via this
function.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[README/DOC] Revise README.md and add some documentation

This commit revises README.md and add some documentation.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[BUG] Bug fix in CONV emulation and esum/weight data setup

Thix commit fixes the bug in CONV emulation and esum/weight data setup.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[TESTDATA] Add a testcase for multi-layer model to test CONVE/ReLU/AVGP

This commit adds new testcase, testcase3, to test CONVE/ReLU/AVGP.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[TESTDATA/FIX] Fix the model generation to use specified addresses

This commit fixes the model generation to use specified addresses

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Core/NPU/Emul] Add skeleton code for ReLU, AVGP, CONVE, TCNV, TCNVE

This patch adds skeleton code for running operators, ReLU, AVGP, CONVE,
TCNV, and TCNVE, in the test mode.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Core/NPU/Emul] Add a struct representing instruction format for TCNVE

This patch adds a data struct representing the instruction format for
TCNVE.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Core/NPU/Emul] Add a struct representing instruction format for CONVE

This patch adds a data struct representing the instruction format for
CONVE.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Core/NPU/Emul] Add a struct representing instruction format for TCNV

This patch adds a data struct representing the instruction format for
TCNV.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Core/NPU/Emul] Add a struct representing instruction format for AVGP

This patch adds a data struct representing the instruction format for
AVGP.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Core/NPU/Emul] Add a struct representing instruction format for RELU

This patch adds a data struct representing the instruction format for
RELU.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[NPU/EMUL] Add NPU emulation engine (support CONV/MAXP/ESUM)

This commit adds NPU emulation engine.
Currently, it supports CONV/MAXP/ESUM.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[TESTDATA] Add enum for trinity opcodes

This commit adds enum for trinity opcodes.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[TESTDATA] Fix multi-layer testdata generation when setting their shamt

This commit fixes the bug in multi-layer testdata generation.
The shamt is differently set depending on an operation type.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Local/Dist/Debian] Run meson with PKG_CONFIG_PATH pointing libnpuvision

NPU Engine requires dependencies on libnpuvision, which is placed under
/opt/trinity. In order to provide those dependencies, this patch adds
PKG_CONFIG_PATH pointing when running meson.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Local/Dist/Debian] Initial debianize

This patch debianizes this NPU Engine for Ubuntu 16.04 running on
x86_64.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Local/Meson] Add a mode to build/run NPU Engine without FM simulator

This patch adds a mode, build_test_only_mode, to build NPU Engine on
a Ubuntu x86_64 machine and to run it without the FastModel simulator.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[NPU/EMUL] Add a skeleton for NPU ioctl emulations

This commit adds a skeleton for NPU ioctl emulations. It replaces the existing NPU ioctls to dummy ones, and will eventually perform emulations (TODO).

Note that this source file is written in C++. The reason is the existing emulation codes for VISA are written in C++, and we need their C wrappers.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Core/Conf] Make load_conf_default static

In order to avoid confusion between load_conf and load_conf_default,
this patch makes the load_conf_default function static.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[NPU] add a missing header, typedef.h, to npubinfmt.h

This commit adds a missing header, tpyedef.h, to npubinfmt.h

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>