[API/Priority] Add the API to set timeout/priority per model

This commit adds the API to set timeout/priority per model.
Note that per-request handling requires more software burdens, and API
modification, which are not desirable.
Also, we now support three types of priorities for inference requests,
HIGH, MID, and LOW.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Release] NPU Engine release 1.1.3

This commit makes NPU Engine release 1.1.3

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Dist] Specify install_rpath for ubuntu users

This commit specifies install_rpath for ubuntu users

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Testdata] Remove unnecessary model testdata

This commit removes unnecessary model testdata.
This was already moved to another repo.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[AppTest] Skip model apptests to remove testdata build dependency

This commit skips model apptests in npu-engine, but CI server will
perform this test instead.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[NPU/UnitTest] Add a missing setup related to timeout, before run_input()

This commit adds a missing setup of timeout before run_input()

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Release] NPU Engine v1.1.2 release

This commit makes NPU Engine v1.1.2 release.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Doc] Fix updated information

This commit fixes updated information

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[VOC/API] Add a host API to get model metadata

This commit adds a host API to get model metadata.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Release] 1.1.1 release

This commit makes a NPU-Engine release, 1.1.1.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Bug/DataManip] Fix bug: skip data manip. when LAYOUT_SRNPU is used

This commit fixes the bug that performed data manipulation on LAYOUT_SRNPU.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Coverage] Add a missing dependency for coverage generation

This commit adds a missing dependency for coverage generation, python.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Release] NPU Engine 1.1.0 release

This commit makes a NPU engine release, 1.1.0

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Refactor] Remove npu emulation and testdata generation

This commit removes npu emulation and testdata generation from NPU
engine. They would be provided from other packages.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Release] release 1.0.1

This commit makes a npu-engine release, 1.0.1.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Fix/TestGen] Remove uncessary input tensors

This commit removes uncessary input tensors for testcase generation.
Only 'in0' input tensor in the first layer is valid.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Release] NPU engine 1.0.0 release

This commit releases new version of NPU engine, 1.0.0.
Now we need to consider the version matching with NPU_Linux-kernel.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[TestdataGen] Reuse NPU emul to generate reference data for tvn models

This commit reuses NPU emul to generate reference data for tvn models.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Refactor/Emul] Refactor NPU emulations for random testdata generation

This commit refactors NPU emulation for random testdata generation.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Timeout] Change codes to send timeout information to the kernel

This commit changes related source codes to send the timeout information
to the srnpu kernel driver.
Also, it adds timestamp to include the time consumed in software stack
as well as execution time of npu inference.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Test] Enable apptests using actual models only on x86_64

This commit enables apptests using actual models only on x86_64.
Qemu emulation is too slow to handle I/O operations.
Also, FastModel will test them on aarch64, so it's redundant.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Test/tvn] Exclude models with bugs

This commit excludes some models with bugs.
It was reported to NPU_Compiler part.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[AppTest] Revise visa example apptest for readability

This commit revises example apptest for readability.
It will be reused for tvn models, too.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Packaging] Do not generate testdata for armv7l

This commit disables generating testdata for armv7l.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[ne-host-input-service] Add support for model ID

When a model is set in the NPU, NPU now returns a model ID.
This model ID is to be passed back to NPU indicating the model to use
when the given input is to be run.
This allows different models to be registered to the NPU and run inputs
one by one in order or out of order without having to worry to register
model again and again from user side.

This PR adds support for this model ID.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[BUG/NPUemul] add missing break in switch statement

This commit adds missing break in switch statement.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[README] Update README.md for the updated test directory

This commit updates README.md for the updated test directory.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Test/Model] Change the test directory from ./src/test to ./tests

This commit changes the test directory from ./src/test to ./tests.
Also, this new directory now includes pre-built model binaries.
(e.g., NPU models from NPU_Compiler)

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[libnpuhost] Add the API to set timeout for next inferences

This commit adds the API to set timeout for next inferences.
It will be called before runNPU_* functions.
Also, if the timeout is zero, the next inferences are regarded
as time-critical tasks (i.e., preemption mode).

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[FIX] Set buffer data to zero in the test mode

This commit sets buffer data to zero in the test mode.
Otherwise, it causes valgrind warnings.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Test] Disable example_visa apptest in armv7l

This commit disables example_visa apptest in armv7l.
The libnpuvision library often makes segmentation fault in armv7l, but
we cannot fix this.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Release] NPU engine 0.0.7 release

This commit releases NPU engine 0.0.7.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Bug/Fix] Add a missing line for npu_run_input

This commit adds a missing line for npu_run_input.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Debian/Dist] Add missing dependency for sub-packages of npu-engine

This commit adds missing dependency for sub-packages of npu-engine.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Coverage] Fix unittest coverage script

This commit fixes unittest coverage script to be compatible with gcc-9

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Unittest/Fix] Remove check routines after .return_buffer()

This commit removes check routines after .return_buffer().

We cannot ensure buffer states after .return_buffer() becasue after
this function call, we will lose the ownership of the buffer.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Quantization] Do not perform quantization for 1-byte types

This commit makes that quantization is not performed for 1-byte types
such as uint8_t and int8_t because they have the same data size with
DATA_TYPE_SRNPU.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[FIX] fix meson version dependency

This commit fixes meson version dependency, 0.50

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Release] NPU Engine 0.0.6 release

This commit releases a newer version of NPU Engine library, 0.0.6.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Test/Quantization] Add a unittest to test quantization

This commit adds a unittest to test quantization.
If data type is not DATA_TYPE_SRNPU, we need to perform quantization.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Test/DataManip] Add a unittest to test data manipulation

This commit adds a unittest to test data manipulation.
If a depth is not a multiple of WPL_A (i.e., 64), padding is added.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[FIX] Fix some functions' descriptions

This comit fixes some functions' descriptions.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Quantization] Implement input/output quantization during data manip

This commit implements input/output quantization during data
manipulation. It requires the intensive verification for calculations.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Test/npubinfmt_v2] Enable testcases for npubinfmt v2

This commit enables testcases for npubinfmt v2. Also, it revises
the existing apptest, example_visa, to support NPU models with
npubinfmt v2.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[FIX] Remove unnecessary broadcast in callback handling

This commit removes unnecessary broadcast in callback handling.
It may cause a potential deadlock situation.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[TEST] Change unit/apptest codes to sync with the updated interface.

This commit changes unit/apptest codes to sync with the updated
interface.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[libnpuhost] Support output_buffers with multiple tensors

This commit changes libnpuhost.h to support output_buffers
to hold multiple tensors' data (like input_tensors).
Also, it revises other related codes for multi tensors and npubinfmt v2.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Fix] Fix warnings caused by the updated gcc version

This commit fixs wraning caused by the updated gcc version.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[DataManip] Implement data manipulation for BUFFER_MAPPED

This commit implements data manipulation for BUFFER_MAPPED type.
For other types, it's not efficient for NPU Engine to handle them.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Fix/Log] Omit logs for third-party libraries (e.g., libnpuvision)

This commit omits dirty logs for third-party libraries including
libnpuvision and encoder. Such logs are printed as standrad output, thus
we can redirect them to /dev/null.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Handler] Revise data preparation for multiple tensors for inference.

This commit revises data preparation for multiple tensors by adding new
handler API for feeding input data to NE buffer. It enables to feed
multiple tensors' data to the physically-contiguous NE buffer.
Also, this patch moves the impl of setup_hwmem() to ne-handler.c

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[AppTest] Revise existing unittests to use allocInputBuffers()

This commit revises existing unittests to use allocInputBuffers().

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[libnpuhost] revise buffer allocation/cleanup APIs for users.

This commit revises buffer allocation/cleanup APIs for users.

Existing APIs, allocNPUBuffer() and cleanNPUBuffer(), handle memory
for only a single tensor. However, to support multiple tensors, we
need new pair of APIs to allocate memory for them at the same time
by allocating a single physically-contiguous buffer to cover all
tensors (in case of BUFFER_DMABUF).

So, this patch introduces new APIs for multiple tensors.
  - allocInputBuffers() & cleanInputBuffer()
Also, it renames existing APIs for single tensor.
  - allocInputBuffer() & cleanInputBUffer()
  - allocModelBuffer() & cleanModelBUffer()

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[libnpuhost/api] add the API to set data info for input/output tensors

This commit adds the API to set data info for input/output tensors.
It defines the data layout/type for tensor layouts, and NPU Engine
will use such information to perform data manipulation and quantization.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[ModelGen] Update model generator for newly added metadata info

This commit updates model generator for newly added metadata info,
quantization parameters.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[npubinfmt/v2] add quantization parameters for each input/output tensor

This commit adds quantization parameters to npubinfmt.h (v2), which will
be used to quantize each input/output activation.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Bug/Ip] Handle non-zero input offset in plugin-comm-ip.c

This commit fixes the ip plugin to handle non-zero input offset.
It's valid only for npubinfmt v1. For npubinfmt v2, other PRs may
resolve this by handling per-tensor data manipulation.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Comm/Api] Add the API to obtain the metadata of target model

This commit adds the API to obtain the metadata of target model.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Testdata] Fix testcase generator to consider non-zero input offset

This commit fixes testcase generator to consider non-zero input offset.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[DOC] Revise doc for .gbs.conf to remove repo.extra

This commit revises doc for .gbs.conf to remove repo.extra.
It's not necessary.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[TESTGEN] Revise testcase generator for npubinfmt v2

This commit revises testcase generator for npubinfmt v2.
It considers non-contiguous tensors as testcase*_v2.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[MODEL/META] Verify the magiccode in npubinfmt's metadata

This commit verifies the magiccode in npubinfmt's metadata.
Also, it updates related unitttests to use the default magiccode.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[TESTGEN] Revise model generator for npubinfmt v2

This commit revises the model generator script to support npubinfmt v2.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[BUILD] add the build option for NPU data manipulation

This commit adds the build option for NPU data manipulation.
As HW could provide this feature in the near future, it is enabled by
the build option.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[TEST/MODELGEN] Sync with the updated npubinfmt.h

This commit fixes a script to generate test models to sync new
npubinfmt.h

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[NPUBINFMT] Append per-tensor information (e.g., num, dims, emod)

This commit appends per-tensor information such as dimensions, elem
size, emod, etc to 'npubinfmt.h'. This information is valid only for
npubinfmt v2. The previous version (v1) still valid. Also, we need to
make sure to assign its magic code to specify the npubinfmt version.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Release] NPU Engine 0.0.5 Release

This commit starts NPU Engine 0.0.5 Release.

After this, 0.0.6 will include npubinfmt v2 and data manipulation.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[ASR] Revise inference-related SW stack for NPU-ASR

This commit revises all inference-related SW stack for ASR.
It reuses exsiting codes using npu device type, using effective op.
Also, It adds new example apptest for NPU-ASR device.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[DOC] Revise doc to describe additional info (ubuntu/testdata)

This commit revises doc to describe additional info related to ubuntu
build and testdata package.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[README] Revise README.md to describe 'tools' folder

This commit revises README.md to describe 'tools' folder.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[ASR] make ASR use a dummy model

This commit makes ASR use a dummy model to utilize existing codes.

In ASR device, registerModel() is not required. But, we can utilize
existing codes using a dummy model.
Also, as ASR can't resize I/O buffers on model registeration, new API
.resize_buffers() is required.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[TESTDATA-GEN] Fix the input size to include esum sizes for all layers

This commit fixes the input size to include esum sizes for all layers.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Dist/Debian] Create a new package containing test data

This patch creates a new package containing test data separated
from the example package.

Signed-off-by: Wook Song <wook16.song@samsung.com>

Common/Typedef: Update input mode description

There had been some confusion related with inputs for ASR.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Dist/Debian] Change prefixes of sub-packages to npu-engine-*

This patch changes the prefixes of sub-packages from libnpuengine- to
npu-engine-.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Meson] Clean code in meson build scripts

This patchs cleans code in meson build scripts.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[FIX/RUN_SYNC] Fix the timing issue due to early inference completion

This commit fixes the timing issue caused when `run_sync()`'s inference is finished too
early. This patch introduces an extra variable to check whether the callback is
called or not.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[BUG/HWMEM] setup_hwmem() bug fix: hwmem deactivation on return

This commit fixes the bug, which `setup_hwmem()` has an ambiguous
assumption for hwmem deactivation. Now, `setup_hwmem()` does not
deactivate hwmem, which should be handled in its caller.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[LOG] Remove unnecessary logs and fix some log typos

This commit removes unnecessary logs and fixes some log typos.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[CONF] Remove iniparser's duplicated loads & error messages

This commit removes iniparser's duplicated loads and error messages.
The origianl codes used to call load_conf() multiple times, generating
meaningless error messages.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Debian] Update version to 0.0.3

Update version to 0.0.3

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Dist/Debian] Generate multi-layer data for application test

This patch removes the tarball containing multi-layer data for
application test and makes those data be generated at the build-time.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Dist/Tizen] Generate multi-layer data for application test

This patch removes the tarball containing multi-layer test data and
makes those test data be generated at build time.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Dist/Debian] Gernerate single layer data for application test

This patch removes the tarball containing pre-build single layer model
data for application data. Instead, those test data is generated at
build time by this patch.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Dist/Tizen] Generate single layer data for application test

Instead of tarball, the sigle layer data for application test is
generated at build-time by this patch. In addition, this patch creates a
new package containing those test data.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Dist/Debian] Add omitted npu-engine.ini to the main package

This patch adds the omitted npu-engine.ini file to the main package.
Note that this file is installed in the etc directory under /opt/trinity
when the emulation mode is enabled.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Dist/Debian] Fix a warning about 'badly formatted trailer line'

This patch fixes a warning about 'badly formatted trailer line' in
the changelog file.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Meson] Replace version string of meson with >= 0.42

Since OBS does not provide meson >= 0.50, this patch replaces the
version string of meson with >=0.42.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[ASR/IP] Revise getnumNPU/ASRdevice() to use common function

This commit revises getnumNPU/ASRdevice() to use common function.
Also, getASRdevice() is implemented in a similar way to the NPU device.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[BUILD/ASR] Remove asr-specific codes to reuse existing one

This commit removes asr-specific codes & dependency to reuse existing
one.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[TESTDATA] Bug fix on CONVE mod calculation

This commit fixes the bug on CONVE mode calculation.

As CONVE's esum uses the output size, mod calcs also should be matched.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[RELEASE] Add CHANGES to maintain changelog & make 0.0.2 release

This commit adds CHANGES to maintain changelog and increases the package
version to 0.0.2.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[TEST] Add ubuntu auto_test & enable example_visa as default

This commit adds ubuntu auto_test and enables example_visa as default.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[CONF] Revise all source codes which have used test_mode conf

This commit revises all source codes which have used test_mode conf.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[CONF] Remove test_mode configuration

This commit removes test_mode configuration cuz it's no longer used.
Now, NPU Engine runs with either NPU Emulation (Ubuntu 16.04) or real
NPU device (FastModel)

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Valgrind] Revise a way to enable valgrind to remove redundant codes

This commit revises a way to enable valgrind to remove redundant codes.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Tools/GenTestData] Update model_gen tool to use testdata packages

This patch updates the model_gen tool to be possible to use the file
provided by testdata packages from the decoder and libnpuvision.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Tools/GenTestData/Meson] Fix errors while building for real mode

This patch fixes errors while building the test data generation tool for
real mode.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Packaging] Remove the libnpuvision dependency for release mode

This commit removes the libnpuvision dependency for release mode.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[FIX] version check fixup for some packages

This commit fixes the version checking for some packages.
Note that the version checking of gcc is not working because it's meta
package.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>