Add '\0'-related stdout redirection tests

Change-Id: Ic5d4432b7d855ca495dd86c66ae166663dd82b36

Add stdout redirection state info to logctl

Change-Id: I776ee15e8d16dd9a8b2b4afe3f9529ae6cc1e8bc

Stop caching the timestamp in the server

Caching the timestamp makes the recv timestamps in the logs slightly
less useful, and the performance gains are questionable.

Change-Id: I71300325622ccc51bfef3cb548ce6e8a725b8429

Fix gcov build error

Change-Id: I09b18f45fa82e0dd68ce2518b16949d47b51f5d7

Address some static analysis complaints

Change-Id: I365afab682da1f86edde0a59b3e309e951c503be
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

[ACR-1631] Add tizen.org/privilege/log, platform-level privilege

Change-Id: Id32ad30218b9a513d7d7302790ea14ca18d8bc11
Signed-off-by: Hyotaek Shim <hyotaek.shim@samsung.com>

Release 6.5.7: Bring back libdlog-devel

It seems moving .pc files between packages (from libdlog to dlog-devel)
causes problems for OBS, so bring back original package name to workaround
this problem.

Change-Id: I945fade0101fdd7cf655b6bb578e7ac865ee67b1

Release 6.5.6

Fixes stdout redirection newlines; new release for build process issues

Change-Id: If1d21ad260312637684a4282b3f2c9597d29ac83

Replace "DLOG_ERROR_NOMSG" with an empty message

Change-Id: I279aa7913fc368599439c37b80bf94ca18f5fb61
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Release 6.5.5

Further development of the stdout redirection feature

Change-Id: I97eb5775d9227ff37a0ce64f816ab629470cbe8e
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Update Android Logger stdout tag setting

Kernel-side development changed the expected data format; conform.

Change-Id: I107b55b195cb9247fcccec7e7d48e646eeb09af8
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Merge "Decrease an array in tests for Coverity" into tizen

Decrease an array in tests for Coverity

Change-Id: Ia9ecae92608f6ac15754aa6c349145c8fdeac1e6

Replace () with (void) in function prototypes

In C, argumentless functions are declared as receiving (void). It is,
however, more natural to declare them as receiving (). But this means
that the function can receive any number of arguments. This is bad.
We don't want this. We could miss some calls when adding arguments in
a refactor, leading to stack garbage/corruption.

Change-Id: I94732497663937fd3f9d30cea71a2eb966d6f439

Add some basic latency data to logmetrics

To be exact: minimum, maximum, and average difference between sent and
recv timestamps.

Change-Id: Iecd98c2168059924fd986530f3c0de2080110e60

Release 6.5.4

Change-Id: I3065f916ad8cadd78517859e8b568f393b6a3d8e

Type safety for redirection tags

This was supposed to be self-documenting but it's fairly obvious that
the extra byte is for the terminator and I'm very worried about weird
things that can happen to the char (int promotions or something).

Change-Id: Ib33404db86055fb1840f5942e9740cbf6199d7c3
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

libdlog: Do not export private functions

Change-Id: Iffbf96204be08a5f0d71de8ce93bcfdaf962d056

log-redirect: Deprecate connect_dlog()

connect_dlog() does not use library prefix and is potentially going
to cause name conflict.

Let's remove it when possible.

Change-Id: Ib9769737d33a4cae3d19f1cd49440ea9515c7aea

Introduce dlog_is_fd_redirected

Checks whether given FD is redirected to dlog.

Change-Id: I71bc905d9c377c5ff6791d39955459d41923a29a
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Simplify dlog packaging

This commit reduces number of packages by combining
 - all libraries - into libdlog package
 - all development files - into dlog-devel package
 - common files - into 'dlog' package

It does not seem the fine-grained "one library per package"
scheme is useful in Tizen.

Change-Id: I1e0dff4cfb836d5c4872faa9491fdd8b5128dcb3

Increase config entry field lengths

32 is not enough for limiter rules for long tags.
Examples: CAPI_APPFW_APPLICATION, SAMSUNG_CONNECT_SERVICE.

Change-Id: I296ece081595316f83894e48f28cfe9679f6cecc
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Release 6.5.2

Change-Id: I1c0297c20053d5bcda26c2d4ba86b29ae33102e8

dlog_redirect_stdout: Use internal library

Change-Id: Id54c7df7a5ccbfbe6b2cd8167943b08ea3347080

Rename toggle request to a better name

Change-Id: I6fdeded8caea015c71c7190d7500ec7dae027edf

Move stdout toggle operation to control socket

We put it in the write socket, but this seems to have been a mistake.

Change-Id: I01a483a14b9a87a8b93c530c38af9d4221061541

Use named pipes when creating pipes for clients

Change-Id: I8652af5c2ad623ca39bdba5b77a52ccb29c4cfd3

redirect-stdout: Ensure lines are line buffered

Change-Id: Ibbd677e3680900f94e7431c4c7dd1bb29e76a98b

redirect-stdout: Perform sanity check on paramters passed to public API

Change-Id: I060c05cb88fd834dbf6151e32e0e08056b9e9e9d

Fix a dumb mistake

:hah:

Change-Id: I9cf19dba4dcfadb33eb50f2f046bfa3951004a10

Add extern "C" to dlog-redirect-stdout.h

Change-Id: I331b3db0955909c9f6808c4096fad6da97e04b4b
Signed-off-by: Hyotaek Shim <hyotaek.shim@samsung.com>

Release 6.5.1

Improvements to stdout redirection, incl. support for Android Logger

Change-Id: I7964d2170b86b6fe5803bca41e438a534e6cd695

packaging: Move dlog_redirect_stdout utility to dlogutil package

This is where other utilities are.

Change-Id: I08b1152411d61ce514078df43d8806e72b414888

Add nominal support for Android Logger in the redirector

Change-Id: I80e2d092723951c4c22b6a47e5e6b81ebb801420
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Simplify stdout redirection logic a bit

The pipe backend is supposed to provide sent timestamps, ie. timestamps
that are as close to log sending time as possible. In libdlog this is
done by taking a timestamp in the sending process and attaching it to
the sent log. Of course stdout redirection can't do this.

Originally, we decided that the best solution is to not attach the sent
timestamps. This would however invalidate some internal assumptions,
which would make some functionality unusable. We were forced to add a
flag which allows users to assert that they won't be using redirection,
which would allow them to continue to use that functionality.

However, there is a simpler solution, which, not unlike magic according
to Penn Jillette (see https://www.youtube.com/watch?v=pd3_HFvQeXQ),
involves lying, cheating, and swindling. In particular, we just make up
a sent timestamp by copying it from the receive timestamp (which is a
timestamp captured in the daemon). This completely ruins the whole point
of the sent timestamp. However, it's still somewhat close to the one we
would get, and the redirection logic gets a tad bit simpler.

Change-Id: I11c6b389ddda88f067a7458e8dac596715fb4cac

Make stdout redirection tests less racey

Those tests are inherently racey: unlike libdlog, stdout redirection
doesn't wait until logs are stored. Therefore, if we launch a redirected
library and then quickly fetch logs, we might see only a part of the
logs. Waiting a second between those two fixes the issue.

Change-Id: I6fed704c4455cfe7cd2ff00a62e8330dfdc0d88e

Merge "logger: extract signal setup" into tizen

Merge "Add dlogctl stdout control for pipe" into tizen

logger: extract signal setup

Change-Id: Ibe5ebdc03f1d6b88b05397d1977e50f77ea10f7b
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Add dlogctl stdout control for pipe

Change-Id: I0d16717f6ca89b21ffa1d7a0c6451268695c4aa6

Add the toggle stdout request

Change-Id: I3a5f6aaef0ebae87e0d33220d9b2b71c500d1cf6
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Add buffer::accept_stdout

No logic change so far, just the data field.

Change-Id: Icce69dfa049a4a004bf70fbdcdc87cfc54541d20
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Make some room among pipe request codes

Peanut brain: encoding N values in N bits
Galaxy brain: encoding N values in log2(N) bits

We're pressured to do this because the request is
encoded as a char so we're running out of bits.

Change-Id: Ide0949886a67e92bb792e612ae0ef3e87f7331a0
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Redirector binary: user-friendly params/output

 * removed --std{out,err}, now --{out,err}tag also enables
 * there's now the --help parameter (including -h)
 * incorrect parameters and help show extensive usage guide

Change-Id: I990c35720fce5f4fb521a6b8b09fcfb0b739744f
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Merge changes from topic "dlog-stdout-writer-03-2021" into tizen

* changes:
  Add basic stdout redirector tests
  Flush redirector daemon buffer on error
  Make the pipe daemon not drop stdin bytes

Add basic stdout redirector tests

Here are a few integration tests that check if it works, some
basic options, and handling of multiple lines and long lines.

Change-Id: I138c02753a7c8cdf66d9a2a1d1730d39d3fec90d

Flush redirector daemon buffer on error

Unlike the "normal" buffers, messages aren't usually sent completely in
these buffers. Therefore, when we remove the buffer, we should flush
them.

Change-Id: Idb6824e5b7e904463dfc992e3876f85381735ce6

Make the pipe daemon not drop stdin bytes

The daemon part of the stdin redirection wrongly assumed that the log
will always fit to the structure. If it didn't the part that fit was
written, but all bytes were removed from the input buffer, which
resulted in dropping all the extra bytes. This commit fixes that by
dropping the exact right amount of bytes.

Change-Id: I48fc9f80b2b617a442b5c5d654d474449a10af8c

Improve the pipe backend stdout writer

Change-Id: I4fae8ae6e977f15db43e08a51020e6acc71a0310

Add dlog-config-enable-redirector-for-pipe

Change-Id: I972e085414e91da94bc90976a6cebccf5ef0bc2f

Release 6.5.0

Adds the stdout redirector and acknowledges Tizen 6.5

Change-Id: I1d997e1725777310e83d6ca991c1c0ccdc57fee8
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Add redirector binary and lib

Change-Id: I704c8d0eda44accd1692464f592e3476868f28b8

Add stdout redirection support to the daemon

Change-Id: Icca4761c9f22d7b4c4a899118d7a763b8bb49612

Add enable_redirector_for_pipe option

… along with supported documentation and required libdlogutil support.

Change-Id: Ic5c23f6f480a3f25e504ee5afc47d06d8a5e7ab4

Don't explode when logs lack the timestamp

Change-Id: I255d8c6d03f218c17b66e8f40285e5c4c232f6bf

Change connect_pipe to get dlog_control_msg struct by pointer

As this struct has a flexible array member, a pointer fits better.

Change-Id: I6df7c1c372ea0f061bca05faf9538713c77f8a75

Remove unused Requires(posttrans) dependencies

posttrans was removed by "Move config files from /opt/etc to /etc" commit.

Change-Id: Ic69b8301a8d1ac517cacbe1b57a34d9b1c7fa6fe

Correct the documentation of available timestamps

Change-Id: I4457d59f082f80bf997cc464509a1e0c497657df

libdlogutil: reorder parameter checks

Some cases in which TIZEN_ERROR_INVALID_PARAMETER would be returned
will now do so without crashing (specifically, those where the state
pointer segfaults but another parameter is also invalid).

This affects some negative tests.

Change-Id: I8761375880bc8b5c92e5590c632beb64988259fe
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Drop some unused value setting

Change-Id: I05ed35832c8f28688ce8ced572010ef54ade8ee8
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Add an assert() to a scary-looking buffer indexing

Static analysis had some worries about a buffer overrun here.

Change-Id: I0698ff87c9763c4752f28acd4ad2e4e0953664d4
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Be more assertive regarding request types

Dispatchers now exist so a type mismatch should never happen.

Change-Id: Ife09ed700e20375dabef165b3878c48de1adeaa5
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Add a basic write-socket request dispatcher

In anticipation of new request types for that socket type.

Change-Id: I9cd8e1035f8c225158b9717e81469c1e5e1d17cd
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Move the connect_pipe function to a separate file

Change-Id: I22e000667bdcb34b504c1f166223c0f74bfdbeaa

Remove a useless field

An artifact of the past.

We don't want to have this field, since we want to add the stdout mode.
But logs using such mode don't have any send timestamp, so there is
nothing reasonable to put in this field.

Change-Id: Ie4173fe81294e42564a5865fd9a0210f5684331a

Add some documentation on dlog_logger interface

Change-Id: I94288a407f8b19e4cef784b2d7fbc4b8c8d7bf78

Modify documentation about dlog priorities

Change-Id: If0ec7301de496fc5060a118b311ed61565e2a3ff
Signed-off-by: Hyotaek Shim <hyotaek.shim@samsung.com>

Ignore QoS write errors more explicitly

Change-Id: I98c5a995565f3b31bdda6859aed50271ac67b8c3
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Merge "Move some headers into better places" into tizen

Move some headers into better places

Change-Id: Ib01dfeb49092e26eab27f9a3ca39d5ea82eb5013

libdlog: Allow disabling critical logs

Critical log can be disabled like other buffers:

  enable_critical=0

The default is to enable critical log buffer and function.

Change-Id: I7ce36638213b275c302ada18437cc911bb68548b

logger: extract privilege related code

Change-Id: I7cd79b564227bb5b7479d04248430ae457b34b46
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Merge "Add logger daemon write buffering tests" into tizen

Threadtime format: ensure space after tag

The padding is only added for tags shorter than 8 characters.
This means that tags 8 characters or longer do not have any
whitespace between the tag and the bracket at the moment.

Tizen® Studio™ Dynamic Analyzer™ seems to expect whitespace there
to process a log correctly and I have come to believe that it drops
messages with longer tags. Not that it's any of our concern (since
technically their rule is broken), but that rule is actually fairly
sensible so we may as well adopt it.

Change-Id: I8e32fc9c5cdbd8db9d042fb7213596f85284eb41
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Fix the short tag case

Change-Id: Ie9a05377a40994bfc3a012d28fb17dfdc69706b6

logprint: bring back line breaks in all remaining formats

The commit efa5c1ff changed tests behavior for inline warnings
however this was made due to some mistakes, mainly this one:
- line break tests were incomplete, they tested only few formats;
  this led me to think that these were the only formats that should
  be prefixed with the tag on every line. It wasn't true.

This commit fixes the formats by:
- switching the formats' line breaking behavior;
- adding line breaks tests for every missing format;
- bringing back the original inline warning tests.

Change-Id: If6db7b548e9ab1a0d6395968ee512447558afc1f

logprint: make threadtime format print metadata in every line

This brings back previous formatting for the threadtime format,
which was changed with rewriting log_print_log_line().

Additionally, it adds tests for such case, fixes inline warning test,
AND poses questions if more formats are affected by the rewrite.
And maybe commit efa5c1ff gives some hints for that.

Change-Id: I55470f397fd45fba61b8a68d58b1d9cd7f3e8257

Add logger daemon write buffering tests

Change-Id: I27cf20c553297532fde2f7ae51c9260cc084489d

Fix compilation on 64-bit targets

Change-Id: I1da090652bbac925be2519f6137558f813d0724f
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Merge "Unify logger and pipe tests a bit" into tizen

Unify logger and pipe tests a bit

Change-Id: I62beb09c8f00e3083037f655bf95be8684911aec

Enable -Wall

🎉

Change-Id: I3827def56eab6042d2024083fe8ce31bf99735aa

Warn when log is duplicated X times

Change-Id: I9302cd761a7de0f090a35940f47ef38de19ba9fa

Fix QoS division by 0

While the count_above_threshold does have a check for 0, it doesn't do
what we want; we want it to return an infinite value somehow, but it
instead returns the dividend. This patch checks for this case and
returns the correct value manually.

The reason why it is important to return infinite value in this case is
that this division is supposed to always increase the threshold value.
Usually it does that correctly, since remaining_throughput has been
decreased by only those values that were under the average value, and
count_above_threshold has been decreased by count of those values.
Therefore, the result of the division is the average of all the values
that weren't lower than the previous average, and this average obviously
can't be lower than the previous average. However, if all the values are
under the average, the new average doesn't exist. It's morally infinite,
but the division instead returns the remaining_throughput, which is
obviously much lower than the original throughput, and often lower than
the threshold value. For example, if throughput is 20 and we have one
log source having written 18 logs, the result will be 2, which is wrong.

Change-Id: Id6d085707aeabc4032f931869c213f01db2c927a

Remove time travel

This commit fixes a bug in which some logs come to the pipe backend with
receipt timestamp earlier than sending timestamp.

Change-Id: I6c93cfa97547f89d6c55a4d1767322f64fe8fb5f

Add Requires=local-fs.target dependency to dlog_logger.service

In emergency mode, local-fs.target always fails.
So, you have to check if local-fs.target is successful.

Change-Id: I6094ee7c585e62179d12e83ee36c9462491e6226

Fix QoS blocking too many logs

The original implementation of QoS had some logic errors which made it
allow too few logs. This commit fixes those logic errors, and raises
the limit in the integration tests accordingly.

Change-Id: Ia2591eca30fa5518575c0889fc7fa9d4e6bc1e54

Update the overview file

Change-Id: Idd6a56f7543186112f9ce82bfa4d6edc3c094acc

Do not prepare for printing if not going to print

The prepare_print function assumes that we are going to print. In
particular, it can disable buffers at will if they aren't going to be
printed. This can be problematic if we want to clear those buffers.

Change-Id: Ibe13a21cf0b599340d6404be569a2199bb3be9bc

Make sure a mode isn't set if we want to use fetch operations

Change-Id: Ida4603727554c721eb03c0ea22b543c6cb83c39d

Make sure the buffer is enabled before querying it

Otherwise, the operation might segfault.

Change-Id: I7ba7e8fab50bc9bb3cbfa26e8ebbd086bfc2b4e9

Fix some cases of data loss caused by partial writes

Change-Id: Ibce508fac5f674041547253ebc8ad6fe6c64d649

Remove some obsolete TODOs

We now have a separate option parser, which doesn't use dlogutil_config
for reusability. Also, the logger does have the flush functionality
already (see flush_logfile_timely in logger.c).

Change-Id: Iefbac63e499b22b2b359710be76b65dd4a55af39

Make some functions static only outside of unit tests

Change-Id: I92bad069655456172cef67d1da37463567e6303e

Make sure a function is only declared when it's actually defined

Change-Id: I974d9b984260940c94dd7dca9704a77e8511a239

Fix function formatting

Change-Id: Id9058c6480d1a463f09ff9effe78d29575f2fdad

Improve src/tests/logutil.c

Change-Id: Ied5c4a0f846f36d8941f4a1b492f76d3fd1468e4

Use the sizeof(*ptr) pattern more consistently

It allows the code to withstand type changes slightly better.

Change-Id: I143806c54528e8cf30d18526b7a481280665ac6b

Learn to count to 9

Change-Id: I2fd23c61a793aadaea1bad5f9be32c6ca38485d0

Fix various formatting issues

Change-Id: Ie6352f4b13f1eba6b2fb808b92efd1b8560495fe