[Dist/Tizen] Generate multi-layer data for application test

This patch removes the tarball containing multi-layer test data and
makes those test data be generated at build time.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Dist/Debian] Gernerate single layer data for application test

This patch removes the tarball containing pre-build single layer model
data for application data. Instead, those test data is generated at
build time by this patch.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Dist/Tizen] Generate single layer data for application test

Instead of tarball, the sigle layer data for application test is
generated at build-time by this patch. In addition, this patch creates a
new package containing those test data.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Dist/Debian] Add omitted npu-engine.ini to the main package

This patch adds the omitted npu-engine.ini file to the main package.
Note that this file is installed in the etc directory under /opt/trinity
when the emulation mode is enabled.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Dist/Debian] Fix a warning about 'badly formatted trailer line'

This patch fixes a warning about 'badly formatted trailer line' in
the changelog file.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Meson] Replace version string of meson with >= 0.42

Since OBS does not provide meson >= 0.50, this patch replaces the
version string of meson with >=0.42.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[ASR/IP] Revise getnumNPU/ASRdevice() to use common function

This commit revises getnumNPU/ASRdevice() to use common function.
Also, getASRdevice() is implemented in a similar way to the NPU device.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[BUILD/ASR] Remove asr-specific codes to reuse existing one

This commit removes asr-specific codes & dependency to reuse existing
one.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[TESTDATA] Bug fix on CONVE mod calculation

This commit fixes the bug on CONVE mode calculation.

As CONVE's esum uses the output size, mod calcs also should be matched.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[RELEASE] Add CHANGES to maintain changelog & make 0.0.2 release

This commit adds CHANGES to maintain changelog and increases the package
version to 0.0.2.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[TEST] Add ubuntu auto_test & enable example_visa as default

This commit adds ubuntu auto_test and enables example_visa as default.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[CONF] Revise all source codes which have used test_mode conf

This commit revises all source codes which have used test_mode conf.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[CONF] Remove test_mode configuration

This commit removes test_mode configuration cuz it's no longer used.
Now, NPU Engine runs with either NPU Emulation (Ubuntu 16.04) or real
NPU device (FastModel)

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Valgrind] Revise a way to enable valgrind to remove redundant codes

This commit revises a way to enable valgrind to remove redundant codes.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Tools/GenTestData] Update model_gen tool to use testdata packages

This patch updates the model_gen tool to be possible to use the file
provided by testdata packages from the decoder and libnpuvision.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Tools/GenTestData/Meson] Fix errors while building for real mode

This patch fixes errors while building the test data generation tool for
real mode.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Packaging] Remove the libnpuvision dependency for release mode

This commit removes the libnpuvision dependency for release mode.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[FIX] version check fixup for some packages

This commit fixes the version checking for some packages.
Note that the version checking of gcc is not working because it's meta
package.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Tools/Meson] Include gen-testdata in build tree

This patch adds meson build scripts in order to include gen-testdata in
the build tree.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Dist/Tizen] Exclude tools for test data generation

This patch excludes tools for test data generation from packaging.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Tools/GenTestData] Fix a warning about sign-compare

This patch fixes the sign-compare warning in testdata_gen.cpp.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Tools/GenTestData] Fix a warning about unused-result

This patch fixes the unused-result warning in testdata_gen.cpp.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Tools/GenTestData] Remove unneeded white spaces

This patch removes unneeded white spaces in testdata_gen.cpp.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Test] Move files related to testdata generation to the tools directory

This patch moves files related to testdata generation, which are
orinally placed in ./src/test/testdata, to the tools directory, i.e.,
./tools/gen-testdata.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Dist/Debian] Add omitted build-dependency on libiniparser-dev

This patch adds the omitted build-dependency on libiniparser-dev to the
debian control file.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[EMUL/BUG] Bug fix: when model_gen.py makes esum data (ESUM vs. CONVE)

This commit fixes the bug when model generator makes esum data, which should have handled differently depending on OPCODE (i.e., ESUM vs. CONVE).

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[EMUL/BUG] Bug fix: Add a missing line when setting esum data

This commit adds a missing line when setting esum data.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[CONF] Set the default resv mem size to 0 (Kernel CMA)

This commit change the default resv mem size to 0 (Kernel CMA).

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[FIX/GEM] fix the size checking in gem_create() to prevent overflow

This commit fixes the size checking in gem_create(), which caused size
overflow due to alignment.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Core/NPU/Emul] Fill the function body for CONVE emulation

This patch fills the function body for emulation of the CONVE
instruction and enables the emulation using it.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Core/NPU/Emul] Fill the function body for ReLU emulation

This function fills the function body for emulation of the ReLU
instruction. Using this function, the emulation for ReLU is enabled.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Core/NPU/Emul] Fill the function body for AVGP emulation

This function fills the function body for emulation of the Average
Pooling instruction. The emulation for AVGP is enabled via this
function.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[README/DOC] Revise README.md and add some documentation

This commit revises README.md and add some documentation.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[BUG] Bug fix in CONV emulation and esum/weight data setup

Thix commit fixes the bug in CONV emulation and esum/weight data setup.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[TESTDATA] Add a testcase for multi-layer model to test CONVE/ReLU/AVGP

This commit adds new testcase, testcase3, to test CONVE/ReLU/AVGP.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[TESTDATA/FIX] Fix the model generation to use specified addresses

This commit fixes the model generation to use specified addresses

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Core/NPU/Emul] Add skeleton code for ReLU, AVGP, CONVE, TCNV, TCNVE

This patch adds skeleton code for running operators, ReLU, AVGP, CONVE,
TCNV, and TCNVE, in the test mode.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Core/NPU/Emul] Add a struct representing instruction format for TCNVE

This patch adds a data struct representing the instruction format for
TCNVE.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Core/NPU/Emul] Add a struct representing instruction format for CONVE

This patch adds a data struct representing the instruction format for
CONVE.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Core/NPU/Emul] Add a struct representing instruction format for TCNV

This patch adds a data struct representing the instruction format for
TCNV.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Core/NPU/Emul] Add a struct representing instruction format for AVGP

This patch adds a data struct representing the instruction format for
AVGP.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Core/NPU/Emul] Add a struct representing instruction format for RELU

This patch adds a data struct representing the instruction format for
RELU.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[NPU/EMUL] Add NPU emulation engine (support CONV/MAXP/ESUM)

This commit adds NPU emulation engine.
Currently, it supports CONV/MAXP/ESUM.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[TESTDATA] Add enum for trinity opcodes

This commit adds enum for trinity opcodes.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[TESTDATA] Fix multi-layer testdata generation when setting their shamt

This commit fixes the bug in multi-layer testdata generation.
The shamt is differently set depending on an operation type.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Local/Dist/Debian] Run meson with PKG_CONFIG_PATH pointing libnpuvision

NPU Engine requires dependencies on libnpuvision, which is placed under
/opt/trinity. In order to provide those dependencies, this patch adds
PKG_CONFIG_PATH pointing when running meson.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Local/Dist/Debian] Initial debianize

This patch debianizes this NPU Engine for Ubuntu 16.04 running on
x86_64.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Local/Meson] Add a mode to build/run NPU Engine without FM simulator

This patch adds a mode, build_test_only_mode, to build NPU Engine on
a Ubuntu x86_64 machine and to run it without the FastModel simulator.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[NPU/EMUL] Add a skeleton for NPU ioctl emulations

This commit adds a skeleton for NPU ioctl emulations. It replaces the existing NPU ioctls to dummy ones, and will eventually perform emulations (TODO).

Note that this source file is written in C++. The reason is the existing emulation codes for VISA are written in C++, and we need their C wrappers.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Core/Conf] Make load_conf_default static

In order to avoid confusion between load_conf and load_conf_default,
this patch makes the load_conf_default function static.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[NPU] add a missing header, typedef.h, to npubinfmt.h

This commit adds a missing header, tpyedef.h, to npubinfmt.h

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[FIX] Make model generator generate final input/output fmap

This commit fixes the model generator to generate final input/output fmap
Its dependent testdata is also updated.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[MEM] Add .reset_buffer() to prevent deadlocks on various error cases

This commit adds new API, .reset_buffer(), to prevent deadlocks on various error cases.

When some errors occurs, ne-host-inputservice.c and ne-inf.c used to emulate normal execution by explicitly calling return_buffer().
However, as output callback can be not called, deadlock situations often happen when the exact transition of buffer states is not performed.

So, this patch makes the buffer state to initial one on all error cases to reduce the complexity and prevent deadlocks.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[TESTDATA] Add testdata generator with multi-layer models

This commit adds testdata generator with multi-layer models.
The meson build script will be updated soon.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[UNITTEST] Fix dummy model metadata and callback check

This commit fixes the metadata of dummy models and callback check routine.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[TESTDATA] Update the NPU binary generator for multi-layer models

This commit updates the NPU binary generator for multi-layer models
It also updates testdata (i.e., *.tar.gz)

Signed-off-by: Dongju Chae dongju.chae@samsung.com

[Test/AppTests] Reduce number of tests when running on the simulator

Currently, there are two modes in NPU-Engine, one is test mode which
means it runs without interaction with the fastmodel simulator, and the
other mode which means it runs with actual interaction with the
simulator. To shorten the test time, this patch reduces the number of
tests in async_callbacks when the test runs in the not-test mode.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Core/Conf] Add an API to get the current running mode

Although the config data has a global scope, it would be removed after
all and replaced with APIs to get information from it. This patch adds
an API to get the current running mode from the global config data.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[NPU/CONF] Bug fix due to wrong config loads in NPU driver API

This commit fixes the bug due to wrong config loads in NPU driver API.
We should not use `load_conf_default()` because it may overlap user-provided configs.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[MEM/CMA] Bug fix in cma wrappers for dmabuf map/unmap

This commit fixes the bug in cma wrappers for dmabuf map/unmap.

Because buffers are often resized, we need to carefully maintain the dmabuf/handle mapping.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[BUG] Fix the wrong encoding for input/output offset when generating a NPU model

This commit fixes the wrong encoding for input/output offset when generating a NPU model.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[FIX] fix the bug in example_visa apptest when it handles fgetc

This commit fixes the bug in example_visa apptest.

As fgetc() returns integer type not charactor type, it should be fixed.
Otherwise, the EOF check can be failed.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[BUG] fix srnpu unittests to use valid dmabuf id

This commit fixes srnpu unittests to use valid dmabuf ids with cgem/srtlb.
In NE_TEST_MODE=0 (i.e., real mode in FastModel), we need to carefuly set ioctl parameters.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[BUG] Fix the wrong ioctl arguments in srnpu APIs

This commit fixes the wrong ioctl arguments in srnpu APIs

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

Revert "[BUG/NPU] bug fix in npu_open() for fd return"

This reverts commit d273a2553b48f73d29070aadd7725752ae74089e.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[BUG] Fix wrong ioctl argument for dmabuf mapping

This commit fixes wrong ioctl argument for dmabuf mapping

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[BUG] Fix bugs in the unittest for srtlb APIs

This commit fixes bugs in the unittest for srtlb APIs.

When dmabuf fds are mapped to srtlb driver, they should be valid.
So, this patch uses the exsiting APIs providing dmabuf-sharing, cgem APIs in NE.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[BUG/NPU] bug fix in npu_open() for fd return

This commit fixes the bug in npu_open(), which returns id not fd.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[ASR] Add skeleton for ASR support

ASR (Automatic Speech Recognition), which uses SRP for Audio, support is required.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[TLBdrvAPI] sr TLB API driver implementation

Added sr TLB driver implementation
Added unittests for TLB api driver
Bug fix for hash table hashing generating constant

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[n4/n3] return buffer in case of error

Return the buffer in case of error from NPU state to output state
This avoids hung state when error occurs or stop called in between processing the buffer

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[APPTEST] Add the apptest to test example visa binaries

This commit adds the apptest to test example visa binaries.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[TEST] Add a script to generete a NPU model with visa data

This commit adds a script to generate NPU model with visa data files.
Currently, we don't have compiled binaries, which means we have to generate test models with this.
Also, it adds testdata which contains both visa data and pre-generated binaries.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[DMABUF] Add new APIs for sync features on dmabuf

This commit adds new APIs for sync features on dmabuf.
Also, its clients (such as ne-mem) should make sure that mmap() for dmabuf is being used for sync.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[mem/npu] Add register of dmabuf when alloc memory

Added registration of dmabuf fd when memory is allocated in ne-mem
Correspondingly de-registration is also added
Registration is performed for all hwmem_type allocated by ne-mem

Added TLB user side driver along with interface to register/deregister dmabuf
Using dmabuf id in host input service when calling NPU driver

V2:
Renamed functions in GEMdrvAPI
gem_prime_export() -> gem_prime_handle_to_fd()
gem_prime_import() -> gem_prime_fd_to_handle()
add close(dmabuf_fd) for dmabuf_fd received via gem_prime_handle_to_fd()

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[TLBdrvAPI] Added TLB user-side API skeleton

Added user side API skeleton for translation lookaside buffer

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[MEM] Resolve the race condition bug in buffer resizing

This commit resolves the race condition bug in buffer resizing.
It introduces reference counters to track of buffer usage.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[MEM] Revise enum hwmem_type for readability

This commit revised `enum hwmem_type` for readability.
Originally, HWMEM_TYPE_BUFFER/MODEL/USER are used but they don't represent their properties.
Instead of them, I add three types

- HWMEM_TYPE_INTERNAL_POOL: hwmem mananged in memory pool
- HWMEM_TYPE_INTERNAL_CMA: hwmem managed in kernel cma
- HWMEM_TYPE_EXTERNAL: external hwmem that cannot be mananged in NE

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[NPUdrvAPI] Updated interface

Updated the interface of NPU user side driver based on updated memory interface
and remove the support of icam/other modes

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[MEM] Rename the API 'get_size' to 'get_pool_size'

This commit renames the API 'get_size', which is an ambiguous name, to 'get_pool_size'.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[GEM] Add an extra argument for cacheable GEM buffer

This commit adds an extra argument for cacheable GEM buffer.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[AppTest] add AppTest to test dma-buf sharing for I/O buffers

This commit adds new AppTest to test dma-buf sharing for I/O buffers.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[LIBHOST] Add a user-level API to allocate a generic_buffer

This commit adds a user-level API to allocate a gneneric_buffer for each buffer type
In case of BUFFER_DMABUF, KERNEL_CMA mode should be enabled (i.e., resv_mem_size == 0).

Also, some test codes are modified due to APIs are changed.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[ReadMe] Fix unshown badges in README.md

After github.sec is upgraded, the badges in README.md has been not shown
anymore. In order to fix this issue (#226), the links pointing the svg
files are changed to another repository in github.sec.
coverage-generator.sh in the CI system used by this project is also
modified to fix this issue.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[packaging] Dsiable track-origins for unittests

Disabling track origins for unittest
ne_core_ip_test_default_conf.registerNPUmodel_large_size ends up consuming more than **30GB**
creating problems when running with track-origins

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[host-input-service] bugfix for base address

Corrected using hwmem_get_offset instead of hwmem_get_data

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[LIBHOST] Fix the linking problem for APIs in CPP applications

This patch fixes the linking problem in CPP applications by appending cpp check macros.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[BUG FIX] Fix the assertion error of 'DummyInference' on aarch64 using GBS build

This commit fixes the bug related to assertion error of 'DummyInference' on aarch64 using GBS build.

The patch includes

1) Change the destructor order between input service and ip plugin.
-- The destructor of input service should be called before that of IP plugin because input service's callback threads still acccess memory allocator's functions.

2) Ensure the callback threads are finished before freeing resources in the destructor of host input service.
-- Otherwise, it can cause the deadlock issue when the destructor frees the resources early.

3) Add check routine in `return_buffer()` whether buffers are valid or not.
-- Actually, it's an ad-hoc patch because the fundamental solution needs the sync feature in `resize_buffers()` to ensure that resizing buffers is safe. This will be updated in later commits.

It resolves #228.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Test/Utils] Clean code and handle BUFFER_UNDEFINED

This patch refactors the test utility functions.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[Tests/IP] Revise the test case named 'registerNPUmodel_large_size'

This patch revises the test case, 'registerNPUmodel_large_size' in the
'ne_core_ip_test_default_conf' test group.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[README] Revise README.md in root dir to add useful info

This commit revises README.md in root dir to add useful info.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[MEM/IP] Support dma-buf sharing for I/O buffers

This commit enables dma-buf shring for I/O buffers.
New APIs, buffer_get_dmabuf and bufferget_dmabuf, are added.
It also changes some codes in IP plugin to use these APIs.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[README] Add README.md for user APIs

This commit adds `README.md` which describes how users can build their application with NPU Engine library (i.e., `libhosthost.h`) and the API's detail usage.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Handler] Minor fix on ne-handler.c

This commit applies some minor fix such as removing uncessary lines and adding error checking.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[Mem] Refactor mem_alloc()

This patch refactors the mem_alloc function to improve readability.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[AppTest] add AppTest to test dma-buf sharing for model data

This PR adds new AppTest to test dma-buf sharing for model data.
Also, there are minor changes in other unittests due to the updated common API.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[NPU] Fix ioctl() warnings in NPU driver API

This commit fixes ioctl() warnings in NPU driver API.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[MEM] Revise .get_dmabuf() to support KERNEL_CMA

This commit revise .get_dmabuf() to support KERNEL_CMA mode.
Currently, get_dmabuf() returns the global dmabuf fd for internal memory pool.
As KERNEL_CMA mode handles multiple CMA buffers, it should be revised to support this.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[MEM] Fix error return statements

This commit fixes error return statements in some functions to keep the same format.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

[CONF] Replace sscanf() to strtoull() for parsing 'resv_mem_size'

This commit replaces sscanf() to strtoull() for parsing `resv_mem_size` to avoid unexpected errors.
It resolves #215.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>