Add benchmark framework for testing compression algos

Most tests originally come from test_fastlz_pos.c

Change-Id: Ie8fec39be15959ae0565701627f12d8093c29f22
Signed-off-by: Marek Szulc <m.szulc3@samsung.com>

Add a timespec handling helper

Change-Id: I24657e243fc51ef2e284fd192bce1b205294adb0
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Enable tests for zero-copy backend

Change-Id: I963d42019ae4f1106cc9dc24f288b59539ee3103

Store ze->len in a variable

This is needed since ze is a pointer to shared memory and can change at
any time. Therefore, when load_single_device tries to do bound checks
for ze->len, they become invalid immediately, since the ze->len variable
contents can change right after the check.

Change-Id: Iaa169af3180000cd8a797e1753d569f7cb3ddbbf

Ensure the timestamp always increases in zero-copy libdlog

The kernel guarantees that it won't decrease, but if function is
executed in quick repetition it might happen that we get the same value
twice in a row. This is unacceptable, since the timestamp is the only
thing we rely on in order to sort the messages.

This mirrors a similar change in the kernel module, see 282866. In the
kernel the issue has been more visible since the kernel might split the
messages in a quite arbitrary way. In userspace the issue has been
harder to notice, but with Marek's changes increasing the performance it
has become more urgent.

Change-Id: I993529a2f8e7f8e477733c929232b10fb981eaba

zlogger: use dynamic mappings for each client

Change-Id: I7cdf81ab79445d9121728dbecd140af8042fbc84
Signed-off-by: Marek Szyprowski <m.szyprowski@samsung.com>

zlogger: use cache for gettid() to reduce logging hot path overhead

Use thread local variable to cache gettid() calls and clear it with
pthread_atfork() hook. This reduces the logging hot path overhead by
avoiding any kernel calls.

On RPi4 this reduced a test message logging time (averaged) from 2.2us
to 0.8us.

Signed-off-by: Marek Szyprowski <m.szyprowski@samsung.com>
Change-Id: I8ed74a4442d76183f2403861ac3c428fd9b5b051

zlogger: don't call get_time() twice

Signed-off-by: Marek Szyprowski <m.szyprowski@samsung.com>
Change-Id: I1e57a2dae628b0fc4aa2d2a954bfc6ad269ba09f

Fix dlogutil -t in zero-copy backend

The removed code block looks sensible. However, this is actually done
somewhere else (compare the Android Logger backend, which works in a
similar way and doesn't really handle the dump value).

Change-Id: I68161e26bda09833f2a1c20870fa8f4f72c9acaa

Fix redirection check for zero-copy logger

Change-Id: Ieaf450b09b0058551148841153838d8a5aa291f8

Hotfix release 7.0.11

Fix zero-copy sorting

Change-Id: Ia2afa31554cba7fdbefe0cb4c710bd70ca381408

Fix zero copy sorting

Otherwise, the multiplication overflows since sec_sent_mono is 32 bit
and NSEC_PER_SEC is kinda big.

Change-Id: I1b4ce376bad39792929142feb7c3a05308188112

Add timer and string test to test_fastlz_pos/neg.c

Change-Id: Idd8d64ceb08430ab7fef52a854a0b15ce4fe29b3
Signed-off-by: Marek Szulc <m.szulc3@samsung.com>

Release 7.0.10

Adds the clear option to the zero-copy backend
and the default dlogutil format config option.

Change-Id: I31bb1ab6439e1aecea79fd21c5a7212d169d33d3

Add util_default_format configuration option

Change-Id: I6b3368007ca6546b5e6cf7cc340d27651354317d

Add clear operation to zero copy libdlogutil

Change-Id: If22bd2e78ec0ffe41f79d886c579e7615cddbba2

Add package to explicitly enable zero-copy dlog backend

Change-Id: If977fd867e7459523bb384877cee6ff117146471

Actually store the block number in the thread-local

Change-Id: Ia5788deca19364199f397b51a9914aa63955ee9b

Release 7.0.8

Change-Id: I2d75370c199830ee492d9baa4b7c98fccd6f1eef

Do not allow overriding DLOG_CONFIG_PATH for setuid programs

Unprivileged process could try to redirect logs to unused backend
potentially hiding malicious attemps to break into the program.

Change-Id: I4161467c2ff9014c048a1c9d6220a792d468187e

zlogger: correct calculation of buffer map/offset

Fix calculation of buffer map & offset for the non-2KB buffer case.

Signed-off-by: Marek Szyprowski <m.szyprowski@samsung.com>
Change-Id: I753f34b105439af4b7c5db13b5c08a7918aa4d02

Release 7.0.7

Integrate zlogutil into (lib)dlogutil

Change-Id: Ia3146a435b56575229958889a3842934fa37129b

Integrate zlogutil into libdlogutil

Change-Id: I910ba8eda65721afc1a687b4d76b927587cde09b
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Release 7.0.6

Change-Id: Ia0fba0db16c7bbf743bba15df0b1f5880faf6475

Make log-redirect-stdout refuse to redirect logs if they are disabled

This is sometimes needed for integration tests to work.

Change-Id: I5c829b45442276982d053111142bb87e998d4712

Bring dlog-logger.conf.alias closer to dlog-logger.conf.test

Otherwise, the aliasing test will fail if a logger daemon is not running
outside of the tests.

Change-Id: Ic62909639ad0ea5fca3a8e0690f70bf194b3fa38

Hack in a graceful shutdown of the daemon in the zero-copy backend

Change-Id: Ia01d41469b14895c0de5435a30bb290610ba9c47

Ensure proper access rights for zlogger device

Change-Id: Ie3e9e4ee492df5a7a051ad4754f7a80290db17c3

Add zero-copy backend support to log-redirect-stdout

Change-Id: I7e54084e89a1f0dfe0b94fc497d71e50492cb3e9

Add Zlogutil for reading zero-copy backend logs

Change-Id: Iffaa7bbfcf8329e1e7888efd88cd13a7ba15f493
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Add a zero-copy backend

This is the initial implementation of a zero-copy backend,
also known as 'zlog' in various places.

Many facilities (logutil, stdout redirection etc) are to be
implemented in further commits, only writing is supported
so far.

It aims to minimize the cost of writing logs above all else.
When it comes to perf, it's pushin' it to the max, rollin' deep, baby.

Some traits:
 + limited syscalls (one per N logs)
 + no needless copies (writes directly to destination)
 - no way to monitor logs efficiently (which also has
   consequences for features like QoS)
 - kernel-based and somewhat convoluted

Change-Id: I183ca7ee29aaeb6d24b2c5da96fc353f2c298d3e
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Reuse -m for memory compression mode

Previously known as --compress.
Monitor mode is now done via --monitor.

Change-Id: If88daa7da4e9a222c8c674beb4f79c03c5a3bff0
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Reduce max logger request length

Change-Id: I243e1c7ca10e5c2a5f0e383e9b01c3731fe64bf5
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Release 7.0.5

Container warning logs pid/tid; minor optimisations

Change-Id: I158010e1209f08c9d96b482cb4c093604b86948d
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Less harsh thread cancellation prevention

No longer disables cancels when lockless to save 2 syscalls.

Change-Id: Id5408a0558d7c359ac5b86bb8a9d9d1a228fdead
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Fix insufficient test dir rights

Change-Id: Ie2799cce6d9fd0d3a2b269f20978edaff8dcbae0
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

lib: avoid a needless rw-lock if possible

Change-Id: Ic65ed823f3453cf270d7a373e384b9553f44ca0c
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

limiter: minor cleanup

 - less pyramid
 - more commentary
 - fix programs sending 2^31 logs becoming able to log again

Change-Id: I3e51ba70d1f8f525a2324d991957d8f6634f6dfa
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

libdlog: container warning contains PID/TID

Change-Id: I646a2dca987fabd73213c903caf161bf03adfadf
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Make headers a bit more C++ friendly

logcommon.h:
 * put a listing of buffers in order (surprisingly, RADIO precedes SYSTEM)
 * cast between differently-signed values explicitly

logprint.h:
 * include dlog.h directly instead of going through logcommon.h

Change-Id: Id56a09e6ca6894443880bdf557accc9a4fb3ec27
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

libdlog: reduce the "critical" section a bit

Change-Id: I3a1142d354605df89a3f7f1c9519230988edbf6c
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

libdlog: more careful handling of null function ptrs

Change-Id: I1e621a3ee594fcabb55ac3b0c19846086780a1ce
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Create units (.service and .socket) directory in the repository

Change-Id: Ide0e27067e804b77c7dc6edd58aab6df884c0079
Signed-off-by: Hyotaek Shim <hyotaek.shim@samsung.com>

Adjust dlog backup size and # of backup files

Change-Id: I00aafc6f48191ad21bf4cf59259503f38289a511
Signed-off-by: Hyotaek Shim <hyotaek.shim@samsung.com>

Add a note on tests to overview.rst

Change-Id: I0fd44548b48cd85a9ae21b20cd2bc8b30543f47e

Release 7.0.4

Adds compressed in-memory log backup.

Change-Id: Ief49ba90ab6f7b92aa6b4a8fa360aa7984894deb
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Improve dlogutil compression handling / parsing

Change-Id: I3dd8cec078fefed64dc94e7c5d5fb619fcd2b1f3

In-memory compressed log backup

Change-Id: I87a94908152fab5808a1a6cd4791a171ad225aea

logutil: terminate error logs properly

Change-Id: Ia496b3426e351f0e6d11517431d1200e6a41bb9b
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Add a compressed storage struct + tests

Change-Id: I56cc99f0ac101b810612d1f1e7f95d5da4f6ec6c

ptrs_list: add find_if (similar to C++ STL)

Change-Id: Ia2851581d9304fca7ee15e96d1ee680ef586dc5b
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Reader pipe: remove an unused timestamp

Change-Id: Ice14689d33279cacb40f2fdee0928ad3db63edf6
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Improve pipe reader related function names

Memory reader is going to be very similar, avoids confusion.

Change-Id: I3c0d5721815e2052b2b1b1e8740c1ce7e181b99e
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Extract pipe reader functionality into subs

Change-Id: I83d194543b400750c664b47ae6af8ccfac3920e7
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Subreaders: methods now return an error code

Change-Id: I1a474986796a82f721ddcd6550cce88453c2ee45
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

ptrs_list: add list_foreach_ret

A variant of list_foreach which can return an error code.

Change-Id: Ib3cfcb55114b15674ca342c70b5a8a90d2819633
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

reader_pipe now uses subreader_file

Change-Id: I5578820db453ae899b7005761bee0539a1ecb8ba
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Add some basic tests for FastLZ.

Change-Id: I245de78a9b5b5d3fec80979351cc493700b4dbd3

DLog-specific tweaks to FastLZ

 * add a way to calculate the minimum compression output buffer size
   as required by the interface. This should've probably been baseline.

 * remove the unsafety compiler parameter because I don't want anybody
   to actually tweak it. Removing this safety check is still possible,
   but now somebody has to get his hands dirty and be aware of what
   the exact consequences are, as opposed to just tweaking what is
   essentially an opaque knob.

 * add a comment detailing whence the code was taken.

Change-Id: I1229a9364523b3a5526c9933ccfd09d9292f34a9
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Import FastLZ compression sources

A compression algo to be used in the daemon, for in-memory compressed logs.

MIT licensed.
From https://github.com/ariya/FastLZ @ c3bdfad9e0094d0fb15c12cd300e647c13dc85f9

Change-Id: I245de78a9b5b5d3fce80979351cc493700b4dbd3

libdlog: mark logs from processes in a container

Change-Id: Id10045be42a875ab88f1defb39da41687c8a9a64

Release 7.0.3

Mostly a safe checkpoint before a larger change.

Change-Id: I529c080514a373c53ff95dacc8fbf95c7517f49b
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

File reader: add sorting info

Pipe based readers have this buffer-dependent.

Change-Id: Idcc25fa572748aff0215fe01ac287860634d5023
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Simplify some unreachable code

The case where `file.path` is not NULL was already handled.

Further commits are going to shuffle this chunk of code around
so it's good to trim it beforehand.

Change-Id: I8ac3e75a6f72a333bcb15450151a392faf08fc38
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

readers: reduce some copy-paste

Change-Id: Idde6b37cf58f89345fd1808cf8f72b5cfc491e08
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

readers: make free a member func

Regrettably, some tests had to be deleted because
adding a level of indirection breaks func wrapping.

Change-Id: I24ddd9af32fea7df5f5037a9d4c22b6fd1ff912e
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

readers: initialize fd entities properly

Set the FD inside to -1 (as opposed to 0).
If something fails during init, that FD gets closed.

Change-Id: Ic50cadabc7ca4ec514e40878d49df027e450e61c
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

reader: put the service handler into reader common

Change-Id: I963e5d46e4a2bd8af45b30ee319f114ecaad3933
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

readers: put reader_common first

For easy casting into the derived classes.

Change-Id: Icf2d77b855b83b95f7af865bb4787c326cd07671
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

readers: commonize flushing

Change-Id: Ibfdb7d3489ef8ef3f6388dadd18ca966f54a7089
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Move sub-readers to the common reader

This will allow the pipe reader to also use sub-readers.

Change-Id: Ib03dbab96631ba25ae6654da22e485cb14d2d8e2
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

dlog_logger: rearrange readers (no logic change)

Preparation for a refactoring of the reader code.

Move subreaders away from the Android Logger reader
files since they're going to be generic.

Change-Id: I00fe88e86db1871886a3a0993b141db56101e84c
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Refactor NULL check in logmetrics

While the original check was (I think) correct, it was a bit confusing,
and we got a bug report from static analysis.

Change-Id: I54a904d441a4b67434da027fb9c50fcbbbcc8e59

Add generator for logger.ko device dependencies

This will dynamically generate needed systemd unit dependencies when logger.ko
devices are available (/dev/log_* devices are assumed to be used when these are
available due to backend autodetection).

Change-Id: I1b280d3878e6c4db5261f410722d3de84c583b60

Tests: add minor overflow check

Change-Id: I1dd3280bc6499a855caf436940bd5fb756345080
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Merge "Move to linux-tizen-modules-headers" into tizen

Add timestamp correctness test

We had a bug where Android Logger kernel module accidentally returned
monotonic time instead of realtime time on some kernel versions. This
test checks whether the timestamp of a new log is somewhat close to
actual time in order to detect such bugs more easily.

Change-Id: Icd7ea0d774a15a30c1ef61860648328983f11adf

Fix buffer usage printing in dlogutil

Without converting to unsigned long long, the calculation would overflow
when the buffer usage would get higher than around 42 MB. This doesn't
really happen, since the buffer capacity currently is not even close to
that value. However, there's no reason not to fix this.

Change-Id: Ib1a440b08ac01a1996f1542719070271d0936f79

Fix some invalid function names in dlogutil.h documentation

Change-Id: I50a44e3b27fd913c3d4a15ac9ee14f5e2fbcdb2d

Move gcov directory

Change-Id: Ic89cfac8f8f0ab08aafd15072edac558bc53c62c

Move to linux-tizen-modules-headers

Change-Id: I8a981836b29ddf2c1935a7b8a2b650a71db7ab96

dlogutil: better error message for disabled kmsg

Shows a hint about the 'handle_kmsg' config entry.

Change-Id: I35e748580dbb22b071bb22088dfa49ee0b5c09e1
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Replace a custom loop with a simple strnlen

Change-Id: Ie7fc0a2523a770ecad436be9922325ef01923d7a

Document auto-quit

Change-Id: I4d29565a1c769582a5dc7281acf14069b13d99bf

Release 7.0.1

Additionally, provide a bit more information to the user why dlog_logger
process is terminating on its own.

Change-Id: Ie4e6e80960be2481b8a9dc82dc19ae7d77fc1cb0

Terminate the daemon if it's not needed

Change-Id: Icf8d83ff134ea84c8aa3c7a869bd8394f6c2685e

Release 7.0.0

Change-Id: I39e79ac903c29e9aaaaf14340cc304849af08b78

Document the autodetector

Change-Id: I44da738539a56fd47f43513c4649d62718790042
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Add autodetection integration test

Change-Id: I0bdf9dca347c9996c8b46d6ab8c469b64609349e

Add some prose on backend autodetection

Change-Id: Ibc37f99cba8f51a3bdd40007928b469c733242eb

Autodetect backend

Rely on backend autodetection if it's not specified explicitly in config.
Logger (/dev/log_main) driver is preferred, pipe is used as second choice.

Additionally, dlog-config-logger-backend package is integrated into regular
dlog package to always have complete configuration available.

Change-Id: I1f76b754db1adfec579b5de577c6f5eafc2ec4ed

Disable problematic tests causing ASAN failures

One of them doesn't match the current implementation at all, but it
works outside of ASAN by accident. The other returns no ASAN issues, but
instead the results change when ASAN is enabled.

Both of these are something we should actually fix, but also something
complex and not really urgent. Let's fix these later, and just disable
them for now.

Change-Id: I643d02f34f35a9d1fab9521fda0d28ebb996a2bb

Add ASAN build flag

Change-Id: I121e3145dd9a2a208c159363b69ef3035cb489ce

Fix fdi_logger_wrap ASAN issue

The wrapped function -- as the name suggests -- is supposed to open the
file, but also returns its path. The tests used to only return the path
conditionally, but the tested function checks the path length, which
might fail if the path is left uninitialized. The solution is to write
the path to the buffer unconditionally.

Change-Id: Iffe4e323c258834fe7f63f2d719ce3c12fd7c60a

Clarify a bit the entry verification

Change-Id: Ie56b714754b983ac35b1fcf224bab5c18669ae62

Hotfix the long log condition

Change-Id: I835d43c905f0f8eb3895f86f606b39f6d17ba6a4

Add some fuzz tests against garbage logs

Change-Id: Icaa353a0d6b7a9e66edc96e09dd104a79c5a6dfa

Extend the persistent logging tests a bit

Change-Id: Ia55d584b87a0a670a854c72f3c0ab8d51af49590

Fix the persistent log bug

Change-Id: I31a5a2c5266ccfa7d7ab19d02f4ab789f4553851

Fix the handling of over/undersized logs

Change-Id: Ibdc31f97dd0fd541b4f49f3eea89f8d5888f3737
Signed-off-by: Michal Bloch <m.bloch@samsung.com>