ptrs_list: add list_foreach_ret

A variant of list_foreach which can return an error code.

Change-Id: Ib3cfcb55114b15674ca342c70b5a8a90d2819633
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

reader_pipe now uses subreader_file

Change-Id: I5578820db453ae899b7005761bee0539a1ecb8ba
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Add some basic tests for FastLZ.

Change-Id: I245de78a9b5b5d3fec80979351cc493700b4dbd3

DLog-specific tweaks to FastLZ

 * add a way to calculate the minimum compression output buffer size
   as required by the interface. This should've probably been baseline.

 * remove the unsafety compiler parameter because I don't want anybody
   to actually tweak it. Removing this safety check is still possible,
   but now somebody has to get his hands dirty and be aware of what
   the exact consequences are, as opposed to just tweaking what is
   essentially an opaque knob.

 * add a comment detailing whence the code was taken.

Change-Id: I1229a9364523b3a5526c9933ccfd09d9292f34a9
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Import FastLZ compression sources

A compression algo to be used in the daemon, for in-memory compressed logs.

MIT licensed.
From https://github.com/ariya/FastLZ @ c3bdfad9e0094d0fb15c12cd300e647c13dc85f9

Change-Id: I245de78a9b5b5d3fce80979351cc493700b4dbd3

libdlog: mark logs from processes in a container

Change-Id: Id10045be42a875ab88f1defb39da41687c8a9a64

Release 7.0.3

Mostly a safe checkpoint before a larger change.

Change-Id: I529c080514a373c53ff95dacc8fbf95c7517f49b
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

File reader: add sorting info

Pipe based readers have this buffer-dependent.

Change-Id: Idcc25fa572748aff0215fe01ac287860634d5023
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Simplify some unreachable code

The case where `file.path` is not NULL was already handled.

Further commits are going to shuffle this chunk of code around
so it's good to trim it beforehand.

Change-Id: I8ac3e75a6f72a333bcb15450151a392faf08fc38
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

readers: reduce some copy-paste

Change-Id: Idde6b37cf58f89345fd1808cf8f72b5cfc491e08
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

readers: make free a member func

Regrettably, some tests had to be deleted because
adding a level of indirection breaks func wrapping.

Change-Id: I24ddd9af32fea7df5f5037a9d4c22b6fd1ff912e
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

readers: initialize fd entities properly

Set the FD inside to -1 (as opposed to 0).
If something fails during init, that FD gets closed.

Change-Id: Ic50cadabc7ca4ec514e40878d49df027e450e61c
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

reader: put the service handler into reader common

Change-Id: I963e5d46e4a2bd8af45b30ee319f114ecaad3933
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

readers: put reader_common first

For easy casting into the derived classes.

Change-Id: Icf2d77b855b83b95f7af865bb4787c326cd07671
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

readers: commonize flushing

Change-Id: Ibfdb7d3489ef8ef3f6388dadd18ca966f54a7089
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Move sub-readers to the common reader

This will allow the pipe reader to also use sub-readers.

Change-Id: Ib03dbab96631ba25ae6654da22e485cb14d2d8e2
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

dlog_logger: rearrange readers (no logic change)

Preparation for a refactoring of the reader code.

Move subreaders away from the Android Logger reader
files since they're going to be generic.

Change-Id: I00fe88e86db1871886a3a0993b141db56101e84c
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Refactor NULL check in logmetrics

While the original check was (I think) correct, it was a bit confusing,
and we got a bug report from static analysis.

Change-Id: I54a904d441a4b67434da027fb9c50fcbbbcc8e59

Add generator for logger.ko device dependencies

This will dynamically generate needed systemd unit dependencies when logger.ko
devices are available (/dev/log_* devices are assumed to be used when these are
available due to backend autodetection).

Change-Id: I1b280d3878e6c4db5261f410722d3de84c583b60

Tests: add minor overflow check

Change-Id: I1dd3280bc6499a855caf436940bd5fb756345080
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Merge "Move to linux-tizen-modules-headers" into tizen

Add timestamp correctness test

We had a bug where Android Logger kernel module accidentally returned
monotonic time instead of realtime time on some kernel versions. This
test checks whether the timestamp of a new log is somewhat close to
actual time in order to detect such bugs more easily.

Change-Id: Icd7ea0d774a15a30c1ef61860648328983f11adf

Fix buffer usage printing in dlogutil

Without converting to unsigned long long, the calculation would overflow
when the buffer usage would get higher than around 42 MB. This doesn't
really happen, since the buffer capacity currently is not even close to
that value. However, there's no reason not to fix this.

Change-Id: Ib1a440b08ac01a1996f1542719070271d0936f79

Fix some invalid function names in dlogutil.h documentation

Change-Id: I50a44e3b27fd913c3d4a15ac9ee14f5e2fbcdb2d

Move gcov directory

Change-Id: Ic89cfac8f8f0ab08aafd15072edac558bc53c62c

Move to linux-tizen-modules-headers

Change-Id: I8a981836b29ddf2c1935a7b8a2b650a71db7ab96

dlogutil: better error message for disabled kmsg

Shows a hint about the 'handle_kmsg' config entry.

Change-Id: I35e748580dbb22b071bb22088dfa49ee0b5c09e1
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Replace a custom loop with a simple strnlen

Change-Id: Ie7fc0a2523a770ecad436be9922325ef01923d7a

Document auto-quit

Change-Id: I4d29565a1c769582a5dc7281acf14069b13d99bf

Release 7.0.1

Additionally, provide a bit more information to the user why dlog_logger
process is terminating on its own.

Change-Id: Ie4e6e80960be2481b8a9dc82dc19ae7d77fc1cb0

Terminate the daemon if it's not needed

Change-Id: Icf8d83ff134ea84c8aa3c7a869bd8394f6c2685e

Release 7.0.0

Change-Id: I39e79ac903c29e9aaaaf14340cc304849af08b78

Document the autodetector

Change-Id: I44da738539a56fd47f43513c4649d62718790042
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Add autodetection integration test

Change-Id: I0bdf9dca347c9996c8b46d6ab8c469b64609349e

Add some prose on backend autodetection

Change-Id: Ibc37f99cba8f51a3bdd40007928b469c733242eb

Autodetect backend

Rely on backend autodetection if it's not specified explicitly in config.
Logger (/dev/log_main) driver is preferred, pipe is used as second choice.

Additionally, dlog-config-logger-backend package is integrated into regular
dlog package to always have complete configuration available.

Change-Id: I1f76b754db1adfec579b5de577c6f5eafc2ec4ed

Disable problematic tests causing ASAN failures

One of them doesn't match the current implementation at all, but it
works outside of ASAN by accident. The other returns no ASAN issues, but
instead the results change when ASAN is enabled.

Both of these are something we should actually fix, but also something
complex and not really urgent. Let's fix these later, and just disable
them for now.

Change-Id: I643d02f34f35a9d1fab9521fda0d28ebb996a2bb

Add ASAN build flag

Change-Id: I121e3145dd9a2a208c159363b69ef3035cb489ce

Fix fdi_logger_wrap ASAN issue

The wrapped function -- as the name suggests -- is supposed to open the
file, but also returns its path. The tests used to only return the path
conditionally, but the tested function checks the path length, which
might fail if the path is left uninitialized. The solution is to write
the path to the buffer unconditionally.

Change-Id: Iffe4e323c258834fe7f63f2d719ce3c12fd7c60a

Clarify a bit the entry verification

Change-Id: Ie56b714754b983ac35b1fcf224bab5c18669ae62

Hotfix the long log condition

Change-Id: I835d43c905f0f8eb3895f86f606b39f6d17ba6a4

Add some fuzz tests against garbage logs

Change-Id: Icaa353a0d6b7a9e66edc96e09dd104a79c5a6dfa

Extend the persistent logging tests a bit

Change-Id: Ia55d584b87a0a670a854c72f3c0ab8d51af49590

Fix the persistent log bug

Change-Id: I31a5a2c5266ccfa7d7ab19d02f4ab789f4553851

Fix the handling of over/undersized logs

Change-Id: Ibdc31f97dd0fd541b4f49f3eea89f8d5888f3737
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Make error reporting more accurate in logger configuration parsing

Change-Id: I0748813c458213574c6338c1ca7dd03c6a804bfb

Replace strcpy with memcpy in tests

... as strcpy is banned in the Tizen codebase.

Change-Id: I895ad9bdb5ab806fd2f3a8579fa2767661bc8b6b

Hotfix a pipe backend request length issue

The previous patch (and to be exact our modifications and not Hubert's
code) has caused some of the integration tests to fail. This is because
we forgot to count one of the characters. This patch fixes that.

Change-Id: Ia1fa9e2da67de755c363142aaae03c0ba8f5c69b

Enlarged MAX_LOGGER_REQUEST_LEN to 65535 bytes

Also buffer sizes are variable and calculated a priori.
This means that buffer is as small as possible.

Change-Id: Ib26bb02bdb46e85da71a7ef13d87aa462914f4b2

Candidate fix for the nanosecond issue

Change-Id: I768c98f1cb8c7b3b2aebcbf3c62975aaaabfc945

Added additional pointer tests.

Additional tests have been added to libdlogutil_neg.c to check whether
a bad pointer affects dlogutil_config_connect(...).

Change-Id: I52e716bdb1b437ffbeca65ea929a91160f6f1dad

Candidate fix for the zero-payload log issue

The stdout redirection mode for Android Logger can apparently produce
zero payload logs. Add a check to guard against this and also some
other cases as a safety measure.

Change-Id: I20ea6c9a49ae6b17d902b1cd21e208a949ae409f
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Moved test from test_libdlogutil.c to libdlogutil_neg.c.

negative_main test was moved to libdlogutil_neg as this test didn't really
test anything related to integration. Essentialy it was a misplaced unit test.
So it is moved where it belongs.

Change-Id: Idc8b4b005e7d3cc5a07a771915600d559994abd1

Reduce compiler complaints by adding helpful asserts

Change-Id: I3975c8399cfde2718aa3711d8ad1df46124bd842

Mark a ton of static vars as such

Change-Id: I9bdd8fde2ee206ea017664f8a286c44bf1956023
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Remove some janky unit test code

It was disabled anyway and for good reasons.

Change-Id: Id4f3f8447f1121181b4a50c22c2ee3078fc58a94
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Handle timestamp fetching failure on printing

Change-Id: I81dd4ad1893fb50b12a1ce792eded08a9989f955

Microoptimize a getpid call out of empty QoS check

Change-Id: Id4119faa5cefcf7e4cded2d97c55aa475b2001f2
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Added deep_copy_dlogutil_entry_s() function and tests for it.

The deep_copy_dlogutil_entry_s function was made in effort
to create abstraction layer. Thus make code more readable.

Change-Id: If48246c3aefda46d77cbfbfb66337b7b18787da6

Clarify overview.rst a bit

Change-Id: I63db978712631508dd75b60cfb1df1957d14944f

Enable more redirection tests on logger

Change-Id: I8611ef19184d3c0dd68a874e57f916ed60882724

Daemon write socket: rename to "conn"

Including socket paths from ".wr" to ".conn", this is done to reduce
confusion because the socket isn't actually the final writing target.

Change-Id: Ief187209ac54eb76cd404c89b208b4a8da7f795e
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Fix some resource leaks.

One was O(1) and the other only happened on failure,
so not too impactful, but to be fixed nevertheless.

Change-Id: I069baabbf557934d20ab99ef5fcff9231d3d477e
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Rework dlogutil_state_init

Change-Id: I724514b7d9aeca85a3becf55a66cd4f416986879

Add test for multiple dlog_connect_fd calls

Change-Id: I6454d95e5ee3cc7f5269bfcc9d6d670e128cfa8a

Do not create state->enabled if DLOGUTIL_MODE_NONPRINTING

This would be just an array of all 1s, a waste of memory and a worthless
syscall.

Change-Id: I9ef737bcf417547573d0ec264c1607318381b9c4

Remove unused connect_dlog()

Change-Id: Ie88190a9788b3eda5a7d5ce136073ca5f512f0e7
Signed-off-by: Hyotaek Shim <hyotaek.shim@samsung.com>

Make the limiter a self-contained struct

Change-Id: Ic2abf2da2b9e51b596e5612d9ac65044cf4540c4

Add more useful performance measurements to dlog_cpu

Change-Id: I72353a79666359daf15f5459e7af41284960f716

Implement stdout benchmark

Change-Id: Ia0fdf1abfbe24db49f65c4ce8b24d1e7fd65279c
Co-authored-by: Michał Bloch <m.bloch@samsung.com>

Allow no fallback mode in dlog_redirect_stdout

Change-Id: Iaeb8a4bda937e3ec696269604de45d65e4702a28

Streamline limiter initialization

Change-Id: I36595e3bca15817b64cfc3ecd2292ac1b15e252a

Remove an obsolete TODO

This is now done in lines 127-128.

Change-Id: Ida251a29f8e50b635d47fa0856ae360ac9d4cdcc

Clean up in one place more in dlog_test

Change-Id: If9ba3fdbe27b944f6ed22041b9cb066f6ec89612

Remove `libcap` from build requirements

Change-Id: I162a000d65bfb2b0251f83acd1ea3f4048f33004
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Fix a use-after-free issue

Change-Id: I96e85f2a8965068108b00f56ed63b2855ac35f6a
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Release 6.5.8

Coverage collection; misc fixes

Change-Id: I4e05562d7505832759ff71b36d07c56d2f639883
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Remove a redundant piece of code

Change-Id: Ida0b53328dc51b3ed3653b47cbd1e12ead3c329f
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

gcov: Adjust build to Tizen:Gcov OBS project

Change-Id: I080b79f25ce6567cc680dd643a52c9f75e480994

Add '\0'-related stdout redirection tests

Change-Id: Ic5d4432b7d855ca495dd86c66ae166663dd82b36

Add stdout redirection state info to logctl

Change-Id: I776ee15e8d16dd9a8b2b4afe3f9529ae6cc1e8bc

Stop caching the timestamp in the server

Caching the timestamp makes the recv timestamps in the logs slightly
less useful, and the performance gains are questionable.

Change-Id: I71300325622ccc51bfef3cb548ce6e8a725b8429

Fix gcov build error

Change-Id: I09b18f45fa82e0dd68ce2518b16949d47b51f5d7

Address some static analysis complaints

Change-Id: I365afab682da1f86edde0a59b3e309e951c503be
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

[ACR-1631] Add tizen.org/privilege/log, platform-level privilege

Change-Id: Id32ad30218b9a513d7d7302790ea14ca18d8bc11
Signed-off-by: Hyotaek Shim <hyotaek.shim@samsung.com>

Release 6.5.7: Bring back libdlog-devel

It seems moving .pc files between packages (from libdlog to dlog-devel)
causes problems for OBS, so bring back original package name to workaround
this problem.

Change-Id: I945fade0101fdd7cf655b6bb578e7ac865ee67b1

Release 6.5.6

Fixes stdout redirection newlines; new release for build process issues

Change-Id: If1d21ad260312637684a4282b3f2c9597d29ac83

Replace "DLOG_ERROR_NOMSG" with an empty message

Change-Id: I279aa7913fc368599439c37b80bf94ca18f5fb61
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Release 6.5.5

Further development of the stdout redirection feature

Change-Id: I97eb5775d9227ff37a0ce64f816ab629470cbe8e
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Update Android Logger stdout tag setting

Kernel-side development changed the expected data format; conform.

Change-Id: I107b55b195cb9247fcccec7e7d48e646eeb09af8
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Merge "Decrease an array in tests for Coverity" into tizen

Decrease an array in tests for Coverity

Change-Id: Ia9ecae92608f6ac15754aa6c349145c8fdeac1e6

Replace () with (void) in function prototypes

In C, argumentless functions are declared as receiving (void). It is,
however, more natural to declare them as receiving (). But this means
that the function can receive any number of arguments. This is bad.
We don't want this. We could miss some calls when adding arguments in
a refactor, leading to stack garbage/corruption.

Change-Id: I94732497663937fd3f9d30cea71a2eb966d6f439

Add some basic latency data to logmetrics

To be exact: minimum, maximum, and average difference between sent and
recv timestamps.

Change-Id: Iecd98c2168059924fd986530f3c0de2080110e60

Release 6.5.4

Change-Id: I3065f916ad8cadd78517859e8b568f393b6a3d8e

Type safety for redirection tags

This was supposed to be self-documenting but it's fairly obvious that
the extra byte is for the terminator and I'm very worried about weird
things that can happen to the char (int promotions or something).

Change-Id: Ib33404db86055fb1840f5942e9740cbf6199d7c3
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

libdlog: Do not export private functions

Change-Id: Iffbf96204be08a5f0d71de8ce93bcfdaf962d056

log-redirect: Deprecate connect_dlog()

connect_dlog() does not use library prefix and is potentially going
to cause name conflict.

Let's remove it when possible.

Change-Id: Ib9769737d33a4cae3d19f1cd49440ea9515c7aea

Introduce dlog_is_fd_redirected

Checks whether given FD is redirected to dlog.

Change-Id: I71bc905d9c377c5ff6791d39955459d41923a29a
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Simplify dlog packaging

This commit reduces number of packages by combining
 - all libraries - into libdlog package
 - all development files - into dlog-devel package
 - common files - into 'dlog' package

It does not seem the fine-grained "one library per package"
scheme is useful in Tizen.

Change-Id: I1e0dff4cfb836d5c4872faa9491fdd8b5128dcb3