[API] Add timeout mode to gstTest command

This patch adds timeout mode to gstTest command.
It prevents from possible hanging problems.

Signed-off-by: Dongju Chae <dongju.chae@samsung.com>

Release 1.2.0

Update version number.
Make version numbers consistent across files.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Update progress mode: use >&2 instead of /dev/stderr

It appears that some Linux distros (gbs-Tizen) does not give
permissions of /dev/stderr for build daemons.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Add progress log level

Changed to select the progress log level.

  - 0: deactivate the log
  - 1: print test group name
  - 9: print all logs

Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

[API/compareTest] Return result when files do not exist

- When the file does not  exist, in BusyBox condition, the bufsize is null and results of `dd` are same error message. And unexpected PASS result follows.
- This patch prevents this unexpected behavior.

Signed-off-by: Yongjoo Ahn <yongjoo1.ahn@samsung.com>

Feature: write summary with negative cases

If -cn is active, the summary file needs to include
the number of negative test cases as well.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Feature: count negative test cases

The new option "-cn"/"--countnegative" allows to count
test cases with a specified postfix.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Typo fix: variable name typo.

The number of critical errors have been reported incorrectly.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Add "--summary <filename>" option

Write a summary of test results to the given filename.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Failing ignorable case should not alarm administrators

If a case "ignorable" fails, count it seperatedly so that it does not alarm administrators.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Print results of each group as soon as it's available.

Dumping out the whole results at the end may confuse users.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[API] If "SILENT", don't show stderr/stdout from gstTest

stderr/stdour of gst-launch should be supressed if it's "silent".

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[API] Define SO_EXT that represents filename extension for shared object

A filename extension of a dynamic loadable library could differ between
system platforms such as Linux and macOS. In order to consider this
issue, this patch defines an environment variable, SO_EXT, which
represents a filename extension for a shared object according to the
system platform.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[macOS/API] Use option depending on system to get file size using stat

In order to consider differences in 'stat' between Linux (including
Tizen) and macOS, this patch defines the command line to get file size
using stat according to the system.

Signed-off-by: Wook Song <wook16.song@samsung.com>

[API] Check not only _fail but also _criticalFail when determining PASS

In some cases, the report function is used to 'literally' report errors
that occur in test configuration procedure before terminating the test.
For the convenience, this patch makes _criticalFail be also checked when
determining PASS/FAIL of the tests. Therefore, to use for reporting
critical errors to users or systems, only one variable, _criticalFail,
is enough instead of setting both of them.

Signed-off-by: Wook Song <wook16.song@samsung.com>

add compare check with dd & diff

In case of that there is not available cmp with '-n', dd and diff
compoistion could be useful to compare two file.

diff <(dd bs=1 count=$bufsize if=$1 &>/dev/null) <(dd bs=1
count=$bufsize if=$2 &>/dev/null)

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

Added Valgrind as an option

Valgrind can be enabled by passing --enable-valgrind to ssat
Currently, --full-leaks and --suppressions are not enabled for valgrind

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

Bugfix: do not assume that tc output ends with newline.

When a testcase generates stdout without trailing newline,
SSAT had been failing because it cannot find the tmpfile name.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Prevent spinning of gst-launch with SIGSEGV

By default, gst-launch tries to handle SIGSEGV, which
incur spinning in a bare-Linux systems including the VMs of
pdebuild/gbs/obs.

For example:
```
Caught SIGSEGV
exec gdb failed: No such file or directory
Spinning.  Please run 'gdb gst-launch-1.0 10693' to continue debugging, Ctrl-C to quit, or Ctrl-\ to dump core.
```

During unit-testing, we simply need to report errors,
not to handle them. Thus, we disable signal handler of
gst-launch.

This fixes https://github.com/nnsuite/nnstreamer/issues/1104

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

With -p (progress), print progress of each case.

Print out not just the progress of test sets, but of each test case.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Added option "-p" showing the progress

With -p the progress is printed out.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Doxygen Configuration for SSAT

With the given files, users may generate doxygen entries easily

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Doxygen Entries Compatible with bash-doxygen

Doxygen entries are updated to comply with bash-doxygen

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Doxygen entries and license clarification for templates

- Added doxygen entries for template runTest.sh
- Clarified licenses for template runTest.sh: users may designate any.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[DIST] Tizen/RPM: this is noarch package.

We have bash scripts only. Thus, it is noarch.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Add test case statistics at the end of result

Before:
==================================================
[PASSED] All Test Groups (14) Passed!

After:
==================================================
[PASSED] All Test Groups (14) Passed!
         TC Passed: 215 / Failed: 0

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Bugfix] callCMP is no more NYI. missing shift/unset IFS

- Missing IFS caused incorrect behaviors of gstTest.
- Missing shift caused incorrect test target designation
- CallCMP is no more NYI.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Add alternative semantics for testResult reporting

With the fifth argument set 1, 0 becomes "PASS".

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Implement callCompareTest and support nnstreamer/gstreamer

1. Implement callCompareTest, "cmp" mode.
2. Support nnstreamer test case (tested with nnstreamer_converter cases)

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[DIST] Support debian/ubuntu build

Added debian/* files.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[DIST] Add RPM packaging for Tizen

This spec file can be reused for Redhat/Fedora/SUSE and other RPM distros

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[Bugfix] if/then/else error with empty expressions.

Add NYI expression to avoid errors.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[API] Implement callTest*

TODO: callCompateTest is not yet implemented.

Signed-off-by: MyungJoo Ham <myungjoo.ham@gmail.com>

[Fix] Multi Test Group

Fix bugs of handling multiple test groups.
Added "create template" for easy test group creation.

TODO: need to support "PATH" searching

Signed-off-by: MyungJoo Ham <myungjoo.ham@gmail.com>

[Example/group1A] Allow to print out out of ssat.sh

When "runTest.sh" is executed independently (out of ssat.sh),
it can now print out its results.

Signed-off-by: MyungJoo Ham <myungjoo.ham@gmail.com>

[Main] Options added, test group features added

- -s, -n options are added
- test group results are gathered at main

Signed-off-by: MyungJoo Ham <myungjoo.ham@gmail.com>

Initial main skeleton with a single example

The first code commit with structure skeleton.

Signed-off-by: MyungJoo Ham <myungjoo.ham@gmail.com>

Initial commit