[Refactor/Comm] Revise Comm. Plugin interface and IP plugin impl.

This patch revises comm. plugin interface and IP plugin implementation.
It now handles only data transfer between npu-engine and outside.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Refactor/Mem] Revise memory allocator

This patch revises memory allocator in npu engine.
The configuration devices which memory allocator will be used.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Refactor/Model/Buffer] Revise Model/Buffer derived from HWmem

This patch revises model and buffer implementations, derived from
HWmem class.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Refactor/HWmem] Revise Hardwar memory (HWmem)

This patch revise Hardware memory structure & implementation.
Model and Buffer will be derived class of HWmem, and HWmem has
different implementation. It's designed to use bridge pattern.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Refactor/NPU] Revise NPU driver APIs

This patch revises NPU driver source codes in npu-engine.

1) Seperate each device impl. into different files.
2) Use the driver API instance in npu-engine components.

This only implementes APIs of emulation. We need to implement
other device's APIs in near future.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Refactor/Utils] Revise utility/conf features

This patch revises utility/conf features in npu-engine.

1) Move the related sources to ./utils folder
- To remove the Module Cycle Dependency (MCD) in SAM analysis.

2) Replace C-based library implementation to standard library

3) Remove 'working_dir' and add 'num_threads' in configuration.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

Remove the unused header, NPUARMPlugin.h

This patch removes the unsed header, NPUARMPlugin.h

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[SAM] Remove unused files before applying SAM report

This patch removes unused files before applying SAM report.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[IOCTL] Rename GET_READY to GET_STATE

According to changes in the device driver, this patch renames the IOCTL
named TRINITY_IOCTL_GET_READY to TRINITY_IOCTL_GET_STATE.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Core/IP] Use the device name prefix for trinity vision as 'triv-'

This patch fixes a bug related to the device node name for the trinity
vision device.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Core/NPU] Change the device name of vision npu to triv-$id

This patch changes the device name of vision npu to use the suffix,
'-${device_id}'.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Fix/ioctl] always initialize the ioctl arguments to zero

This patch initializes ioctl arguments to zero.

It's to prevent from forgetting to initialize newly added variables
in the ioctl argument structures.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[npubinfmt] variable-length metadata size

This patch makes the metadata size be a variable-size.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Mem/GEM] add the memory/GEM API to allocate segments

This patch adds the memory/GEM API to allocate segments

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Refactor/GEM] Refactor GEMdrvAPI to seperate emulation codes

This patch makes refactor of GEMdrvAPI to seperate emulation codes

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[ASR] Disable the ASR apptest for a while

This patch disables the ASR apptest until the TRIA driver is prepared.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[cgem/version] Fix the version handling in cgem driver API

This patch fixes the version handling in cgem driver API.

After the Tizen base is updated, the original version checking
is not working. Thus, we now reply on the standard drm driver
version check API (i.e., drmGetVersion) in libdrm/xf86drm.h.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Handler] Fix error handling on output allocation

This commit fixes error handling on output allocation

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Release] NPU Engine 1.2.0 release

This commit makes the NPU Engine 1.2.0 release

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Version] Make meson.build forward the version info. to sources

This commit is to make meson.build forward the version info. to sources.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Priority] Disable the comment-out of priority setting

This commit disables the comment-out of priority setting as
the kernel header was newly updated.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Refactor] Refactor according the changes in the device driver

This patch applies the recent changes in the kernel device driver [1] to
the related modules.

[1] 27ff14af [Drivers/SRNPU] Restructure SRNPU Core and Vision drivers

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Release] NPU Engine release 1.1.4

This commit makes a NPU Engine release 1.1.4

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[UnitTest] change the way to run unittests in debian/rules

This commit changes the way to run unittests in debian/rules

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Fix] Rename DSP-related ones to HW/Recurring

This commit renames DSP to HW/recurring because TRIV2 already
contains DSP inside SoC, and we don't know exact HW used in VD.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Dist] Fix .spec file for Tizen dist

This commit fixes .spec file (e.g., wrong syntax, missing manifest)

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Dist] Add install_rpath for test cases

This commit adds install_rpath for test cases

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[ThreadPool/UnitTest] Add unittest to test thread pool functionality

This commit adds unittest to test the functionality of thread pool.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[CleanUp/UnitTest] Revise some unittests

This commit revises some unittests.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[DSP/ThreadPool] Handle tasks with high priority immediately

This commit handles tasks with high priority immediately.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[InputService/DSP] Add internal input service with DSP

This commit implements DSP input service for TRIV-2.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[ThreadPool] Seperate the thread pool impl. from host inputservice.

This commit seperates the thread pool impl. from host inputservice for
other input services.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[API/DSP] Implement runNPU_internalInput() for VDNPU with DSP inputs

This commit implements runNPU_internalInput() for VDNPU with DSP inputs.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Tests] Revise unit/apptests to sync with updated interfaces

This commit revises unit/apptests to sync with updated interfaces.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Revision] Revise ne-host-inputservice.c to use thread pool

This commit revises ne-host-inputservice.c to use thread pool.
For no buffering mode, user library needs to manage multiple threads.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Revision] Implement no buffering for NPU inference

This commit implements no buffering for NPU inference.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Option] Add the option to manage buffering

This commit adds the option to manage buffering.
We are going to move the duty of scheduling to kernel driver.
This option will handle this.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[API/Priority] Add the API to set timeout/priority per model

This commit adds the API to set timeout/priority per model.
Note that per-request handling requires more software burdens, and API
modification, which are not desirable.
Also, we now support three types of priorities for inference requests,
HIGH, MID, and LOW.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Release] NPU Engine release 1.1.3

This commit makes NPU Engine release 1.1.3

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Dist] Specify install_rpath for ubuntu users

This commit specifies install_rpath for ubuntu users

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Testdata] Remove unnecessary model testdata

This commit removes unnecessary model testdata.
This was already moved to another repo.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[AppTest] Skip model apptests to remove testdata build dependency

This commit skips model apptests in npu-engine, but CI server will
perform this test instead.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[NPU/UnitTest] Add a missing setup related to timeout, before run_input()

This commit adds a missing setup of timeout before run_input()

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Release] NPU Engine v1.1.2 release

This commit makes NPU Engine v1.1.2 release.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Doc] Fix updated information

This commit fixes updated information

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[VOC/API] Add a host API to get model metadata

This commit adds a host API to get model metadata.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Release] 1.1.1 release

This commit makes a NPU-Engine release, 1.1.1.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Bug/DataManip] Fix bug: skip data manip. when LAYOUT_SRNPU is used

This commit fixes the bug that performed data manipulation on LAYOUT_SRNPU.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Coverage] Add a missing dependency for coverage generation

This commit adds a missing dependency for coverage generation, python.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Release] NPU Engine 1.1.0 release

This commit makes a NPU engine release, 1.1.0

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Refactor] Remove npu emulation and testdata generation

This commit removes npu emulation and testdata generation from NPU
engine. They would be provided from other packages.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Release] release 1.0.1

This commit makes a npu-engine release, 1.0.1.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Fix/TestGen] Remove uncessary input tensors

This commit removes uncessary input tensors for testcase generation.
Only 'in0' input tensor in the first layer is valid.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Release] NPU engine 1.0.0 release

This commit releases new version of NPU engine, 1.0.0.
Now we need to consider the version matching with NPU_Linux-kernel.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[TestdataGen] Reuse NPU emul to generate reference data for tvn models

This commit reuses NPU emul to generate reference data for tvn models.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Refactor/Emul] Refactor NPU emulations for random testdata generation

This commit refactors NPU emulation for random testdata generation.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Timeout] Change codes to send timeout information to the kernel

This commit changes related source codes to send the timeout information
to the srnpu kernel driver.
Also, it adds timestamp to include the time consumed in software stack
as well as execution time of npu inference.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Test] Enable apptests using actual models only on x86_64

This commit enables apptests using actual models only on x86_64.
Qemu emulation is too slow to handle I/O operations.
Also, FastModel will test them on aarch64, so it's redundant.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Test/tvn] Exclude models with bugs

This commit excludes some models with bugs.
It was reported to NPU_Compiler part.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[AppTest] Revise visa example apptest for readability

This commit revises example apptest for readability.
It will be reused for tvn models, too.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Packaging] Do not generate testdata for armv7l

This commit disables generating testdata for armv7l.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[ne-host-input-service] Add support for model ID

When a model is set in the NPU, NPU now returns a model ID.
This model ID is to be passed back to NPU indicating the model to use
when the given input is to be run.
This allows different models to be registered to the NPU and run inputs
one by one in order or out of order without having to worry to register
model again and again from user side.

This PR adds support for this model ID.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[BUG/NPUemul] add missing break in switch statement

This commit adds missing break in switch statement.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[README] Update README.md for the updated test directory

This commit updates README.md for the updated test directory.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Test/Model] Change the test directory from ./src/test to ./tests

This commit changes the test directory from ./src/test to ./tests.
Also, this new directory now includes pre-built model binaries.
(e.g., NPU models from NPU_Compiler)

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[libnpuhost] Add the API to set timeout for next inferences

This commit adds the API to set timeout for next inferences.
It will be called before runNPU_* functions.
Also, if the timeout is zero, the next inferences are regarded
as time-critical tasks (i.e., preemption mode).

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[FIX] Set buffer data to zero in the test mode

This commit sets buffer data to zero in the test mode.
Otherwise, it causes valgrind warnings.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Test] Disable example_visa apptest in armv7l

This commit disables example_visa apptest in armv7l.
The libnpuvision library often makes segmentation fault in armv7l, but
we cannot fix this.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Release] NPU engine 0.0.7 release

This commit releases NPU engine 0.0.7.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Bug/Fix] Add a missing line for npu_run_input

This commit adds a missing line for npu_run_input.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Debian/Dist] Add missing dependency for sub-packages of npu-engine

This commit adds missing dependency for sub-packages of npu-engine.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Coverage] Fix unittest coverage script

This commit fixes unittest coverage script to be compatible with gcc-9

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Unittest/Fix] Remove check routines after .return_buffer()

This commit removes check routines after .return_buffer().

We cannot ensure buffer states after .return_buffer() becasue after
this function call, we will lose the ownership of the buffer.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Quantization] Do not perform quantization for 1-byte types

This commit makes that quantization is not performed for 1-byte types
such as uint8_t and int8_t because they have the same data size with
DATA_TYPE_SRNPU.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[FIX] fix meson version dependency

This commit fixes meson version dependency, 0.50

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Release] NPU Engine 0.0.6 release

This commit releases a newer version of NPU Engine library, 0.0.6.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Test/Quantization] Add a unittest to test quantization

This commit adds a unittest to test quantization.
If data type is not DATA_TYPE_SRNPU, we need to perform quantization.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Test/DataManip] Add a unittest to test data manipulation

This commit adds a unittest to test data manipulation.
If a depth is not a multiple of WPL_A (i.e., 64), padding is added.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[FIX] Fix some functions' descriptions

This comit fixes some functions' descriptions.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Quantization] Implement input/output quantization during data manip

This commit implements input/output quantization during data
manipulation. It requires the intensive verification for calculations.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Test/npubinfmt_v2] Enable testcases for npubinfmt v2

This commit enables testcases for npubinfmt v2. Also, it revises
the existing apptest, example_visa, to support NPU models with
npubinfmt v2.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[FIX] Remove unnecessary broadcast in callback handling

This commit removes unnecessary broadcast in callback handling.
It may cause a potential deadlock situation.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[TEST] Change unit/apptest codes to sync with the updated interface.

This commit changes unit/apptest codes to sync with the updated
interface.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[libnpuhost] Support output_buffers with multiple tensors

This commit changes libnpuhost.h to support output_buffers
to hold multiple tensors' data (like input_tensors).
Also, it revises other related codes for multi tensors and npubinfmt v2.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Fix] Fix warnings caused by the updated gcc version

This commit fixs wraning caused by the updated gcc version.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[DataManip] Implement data manipulation for BUFFER_MAPPED

This commit implements data manipulation for BUFFER_MAPPED type.
For other types, it's not efficient for NPU Engine to handle them.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Fix/Log] Omit logs for third-party libraries (e.g., libnpuvision)

This commit omits dirty logs for third-party libraries including
libnpuvision and encoder. Such logs are printed as standrad output, thus
we can redirect them to /dev/null.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Handler] Revise data preparation for multiple tensors for inference.

This commit revises data preparation for multiple tensors by adding new
handler API for feeding input data to NE buffer. It enables to feed
multiple tensors' data to the physically-contiguous NE buffer.
Also, this patch moves the impl of setup_hwmem() to ne-handler.c

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[AppTest] Revise existing unittests to use allocInputBuffers()

This commit revises existing unittests to use allocInputBuffers().

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[libnpuhost] revise buffer allocation/cleanup APIs for users.

This commit revises buffer allocation/cleanup APIs for users.

Existing APIs, allocNPUBuffer() and cleanNPUBuffer(), handle memory
for only a single tensor. However, to support multiple tensors, we
need new pair of APIs to allocate memory for them at the same time
by allocating a single physically-contiguous buffer to cover all
tensors (in case of BUFFER_DMABUF).

So, this patch introduces new APIs for multiple tensors.
  - allocInputBuffers() & cleanInputBuffer()
Also, it renames existing APIs for single tensor.
  - allocInputBuffer() & cleanInputBUffer()
  - allocModelBuffer() & cleanModelBUffer()

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[libnpuhost/api] add the API to set data info for input/output tensors

This commit adds the API to set data info for input/output tensors.
It defines the data layout/type for tensor layouts, and NPU Engine
will use such information to perform data manipulation and quantization.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[ModelGen] Update model generator for newly added metadata info

This commit updates model generator for newly added metadata info,
quantization parameters.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[npubinfmt/v2] add quantization parameters for each input/output tensor

This commit adds quantization parameters to npubinfmt.h (v2), which will
be used to quantize each input/output activation.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Bug/Ip] Handle non-zero input offset in plugin-comm-ip.c

This commit fixes the ip plugin to handle non-zero input offset.
It's valid only for npubinfmt v1. For npubinfmt v2, other PRs may
resolve this by handling per-tensor data manipulation.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Comm/Api] Add the API to obtain the metadata of target model

This commit adds the API to obtain the metadata of target model.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Testdata] Fix testcase generator to consider non-zero input offset

This commit fixes testcase generator to consider non-zero input offset.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[DOC] Revise doc for .gbs.conf to remove repo.extra

This commit revises doc for .gbs.conf to remove repo.extra.
It's not necessary.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[TESTGEN] Revise testcase generator for npubinfmt v2

This commit revises testcase generator for npubinfmt v2.
It considers non-contiguous tensors as testcase*_v2.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[MODEL/META] Verify the magiccode in npubinfmt's metadata

This commit verifies the magiccode in npubinfmt's metadata.
Also, it updates related unitttests to use the default magiccode.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[TESTGEN] Revise model generator for npubinfmt v2

This commit revises the model generator script to support npubinfmt v2.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>