Improve the integration test script a bit

This includes eliminating many bashisms (the script is supposed to be
POSIX-compatible) and fixing various warnings reported by shellcheck.
Not all warnings are fixed yet, but the other ones are harder to fix,
and what we already achieved is useful anyway.

Change-Id: Ib0f4a2f52f90fb2af823dfe9c9c37c947a0e6632

Introduce log write buffering

Change-Id: Iac626630b6885a4214e42c5f810aa50d98d66ecb

tests: make inline warning behave like a normal part of log

Inline warning is added to a log if timestamps are incorrect.
However, such warning is sometimes printed as a separate line,
with all metadata added, and sometimes printed as if it was
part of log lines.

This commit makes the tests conforming to the change in the printing
function: warning printing is now consistent with the printing
format. That is, if new lines get metadata, then warning also gets metadata,
and if new lines don't get metadata, then warning also doesn't get it.

Change-Id: I186330adb7728a715bc4bc85a386edfd2204c2ff

logprint: implement log_print_log_line()

A brand new, clean room implementation of log_print_log_line()
made with the specification consisting of the existing tests,
and a bit of the other existing code, but not the old implementation
of log_print_log_line().

There was one additional change: "inline warning". Initially it was printed
sometimes with its own copy of log metadata, sometimes without it.
Now, it's consistent with the printing format: the warning gets
its own metadata only if separate lines in logs get their own metadata.

Change-Id: I93f3b7864854a6a988a9ae02743df54ad46a37fe

log_format_log_line: CLEANSE! PURGE! KILL!

Change-Id: I3387a1511920a8695420e09ea55120d677061a71
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Add a few more QoS distribution tests

Change-Id: I7ca564e2cffaa07b0375067c8fe36737f9b4beba

qos: add pictures to the documentation

Change-Id: If7a3bbe653aec3570ecc0450f7841594de39bee0

Add a simple critical log integration test

Change-Id: If70b4d29efd36df435f0e91fffdc0cef17da2a08

Move various dlog_logger functions to better places

Change-Id: Ib9c4364a92f3ffdfc71f7e6b93c4aaa7ea8672ea

Split various writer related stuff to a separate file

Change-Id: I973e057119535f7a57a16c469900a6480eab5c8c

Split various log_buffer related stuff to separate file

Change-Id: If20af3642f882f1cd3357cb5a726d1d98db4232a

Split various dlogutil line parsing to a separate file

Change-Id: I633d126554f6a9d086abd7585f25f911085b5aea

Metrics: test sorting comparator

Change-Id: I66ef7749dbd211fcc6e4951cef7cf3cdb66888a7

Fix various tiny dlog_logger issues

Change-Id: I66c5424aed49aa8a67fbbe4cdf17877ba4bd3e82

Metrics sorting: prevent overflow and optimize

Change-Id: Idc7065e6224b77c6e9c37bc78852ec0107587323

Move various socket related things to a separate file

Change-Id: I37fc57b6ba380016621819bab7b9273ba2935191

Remove an unnecessary signature

Change-Id: Ic0025f1ff1659b0c59c1a6789e9a6f906bc8aa39

Move various reader_logger relate things to a separate file

Change-Id: I80de86306dc906da8890554320c09d4ff746606b

Move various reader related things to a new file

Change-Id: I40a4ca623294060d61b5d39da078d1f03ae44e3e

Add a missing pragma

Change-Id: I184ed8c6a127743c3e06da59726dcecd70c4ff65

Move some QoS related stuff to separate file

Change-Id: Ic5ee82c0602d95297a4ab89b5b8a04d27a4454a0

Type correctness

Change-Id: Iaa7dc84159e323aec2aa230b796de2ebb243946e

Prevent `goto` from crossing initialisation

Change-Id: Ia7d14f3ae2b3884c5b77085b785202d70627cbdd

Move some fd_entity related stuff to separate file

Change-Id: I27b219d11d6f909ea49dd984df3a3de8420d4140

Fix a few signatures in a DLog unit test

Change-Id: I38f5f962609ca971b47f09b2b07aaeb4f22be8c7

Move some reader_pipe related stuff to separate file

Change-Id: Ie70ae0811e4eddd2d27eeb5855902d05f0b5fe00

Remove some needless variables

Change-Id: Iafd8493cc32b5184713b332c0f96284dc45bfc39

Release 6.0.16

This release brings further improvements, including
performance, to QoS-adjacent mechanisms.

Change-Id: I3514c36944c3e1d0820977d9dc83314601e28238
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Reuse current timestamp in sort_vector_time_span

For performance. One syscall less per log is good!

Change-Id: I7cd41affc5367e825c52cdf70fdaf83c1dc521f1

Do not call clock_gettime() if dedup is not configured

Change-Id: I04982e00fc15b09c7c2a826ec001cd18ba934227
Signed-off-by: Hyotaek Shim <hyotaek.shim@samsung.com>

Add PID-limit exceeded message

Change-Id: I06ece67a40a38a2128eb7e3ddd3f4f536c48fac2

Improve __log_limiter_pass_log interface

Change-Id: Ie47e84c25a5ed615e52a69e51bde2018d987f06d

dlog_logger: disambiguate `log_storage`

No longer both a type name and a member name.

Change-Id: Ie073cb9295732a75b36a79727239d2f32723f278

Improve libdlog Android Logger backend initialization

Exactly same thing as with the pipe backend few patches ago.

Change-Id: Ic9ca9068904206918e324376d53cf6ca80ed7b78

Enable QoS test in the logger backend

This is aggressively hacky and I don't like it, but it's good enough for
now.

Change-Id: Iee6c3c79ec6a1af2d8073662b955b86a5ad9b0fc

Make the QoS test slightly more consistent

Change-Id: I5a6ec0ec19dcf24260ae054322bf6d6046298883

Fix the QoS test

It seems that in the merged version there are a few lines missing.
Oops!

Change-Id: I1958266839242ef98d05030566d66ed0b2525099

Add quick mode to the integration tests

"Ok, here we go. Focus. Speed. I am speed. 1 winner. 42 losers. I eat
losers for breakfast. Breakfast? Ah, maybe I should've had breakfast?
Uh, brekkie could be good for me. No no no, stay focused. Speed. I'm
faster than fast, quicker than quick! I am Lightning."
-- intro of Cars by Pixar Animation Studios

Change-Id: If82241fa670c53882735aff1daaa373c81ae0dac

Only write missed AL logs on the first service start

The AL backend is based on the kernel devices, which may be written to
at any time. dlog_logger used to read the whole contents of the device
on its start, which is the reasonable thing to do (we don't want to miss
any logs) but bad for various reasons (for example, the same logs are
written to the persistent logs file many times when the service is
restarted). This patch makes it so that the device is only read in its
entirety on the first start of the service after reboot; on every other
start, all the logs existing in the device at the moment of the service
start are skipped.

Change-Id: I1eefd62191d66201ca74919d32b27aecbb1f621b

Add a NOP QoS test

Change-Id: I2e4eea1c1fe50affe4b0e9b39ac104675428ecfa

Improve libdlog pipe backend initialization

Change-Id: Ifaa13d33f3747b6176ef41308c64c1c51739c91d

Make logctl argument parsing slightly more understandable

Change-Id: I17c6cde9e4888465b51f4aeece66ff1b5bba4931

Move some functions to backend_androidlogger.c

Change-Id: I6043e488277ddcf382a7743a0c8579a9efd0e395

Improve logctl const-correctness

Change-Id: I19579e4960e60de146ccce6e565a881b53f2fe4b

Remove unused logfile_callback

Change-Id: I4f42d7e29fd9be4be5eb7ac192a2b002796a478f

Release 6.0.15

This release brings further improvements to QoS

Change-Id: I5ff35143f8f18b26b4789789c119adc1ada042e2
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Add metrics.c test

Change-Id: I1bd23d2b0dfe9ed834872d6e9c7c61ba849030b9

Buffer QoS limit writes

Change-Id: Ibcdc53b2255a5bc59ccaa6070a445cfa0b40663e

Fix an itty-bitty QoS-related memory leak

Change-Id: I5b5a487bbdc186fc63286f70df4b2ac0e28af622

QoS: add some new distributions, change default

'equal_multi' is now the default.

Change-Id: If7e4ef33aba2982db023629590c901af5b4c3309
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

QoS: rename 'proportional' to 'proportional_raw'

In anticipation of the other proportional-adjacent modes.

Change-Id: I9ec9077758160a4dce28f1e0854db117ee820e82

Introduce a minor math helper

Change-Id: Ie4da8c6a962314a11e8ace65cde8f99105f9524a
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

QoS: add distribution unit tests

Change-Id: I68865ce93bc6435c33ee4774037d4db6eb1af688
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

QoS: split off distributions to a separate file

Change-Id: I2f708535940b355e6396eb28b5523752ce8c8872
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

QoS: move file handling out of distribution funcs

Will allow easier testing for the functions.

Change-Id: Idacc1b8863eb76d87b4b58f8824ce8bcf53cf808
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Add a missing check to libdlogutil

Change-Id: Iad79fd6df59cb6c585f45febc23a1263df055111

Clarify types

Change-Id: Ie8afc3a9f087b124f5d105a7d0b60fea8587c81d

Add a simple QoS integration test

Change-Id: I120660d31877b433ebd66fa6717ba3716e2d8a2a

Fix compilation

Can't rely on lenient compilers.

Change-Id: I22ca790c1ee57ec64677e84b4d01ccefe9cadc5d
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Merge changes from topic "dlog-qos-2020" into tizen

* changes:
  Release 6.0.14
  daemon: add metrics collection / QoS

Release 6.0.14

This release introduces the QoS mode.

Change-Id: I2ef256c186cdc014bb728c7225b61f833dec2a7c
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

daemon: add metrics collection / QoS

Change-Id: I7a6f9fdfd371d453a8f8960b78f0d19262687757
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

libdlogutil: Increase the wait timeout for receiving fd from dlog_logger

Default timeout of 500ms is easily exceeded on low-end and/or overloaded
systems, causing dlogutil failures.  This commit bumps the limit to 5s.

Change-Id: Ia7083fef7fa2bd5bf790b9ab0758f9d2b1599823

metrics: add clear and get_total functions

Change-Id: Ibebaa85982c013e16fd2be4d0c744f02a4c88f7d
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Add fdi_logger.c test

Change-Id: I9a5d468c87ecbd8663faf672673019b136e5086f

Add log_storage.c test

Change-Id: Ifd0f0cfb6b20387f7581a903260805d796c809b3

Add dlog_sec_print test

Change-Id: I7bc8e3c315fd36919fa0806018f7e35d98d18eb0

libdlog: pid based limiter

Change-Id: Iac3e9df7cb97f2ce9246e35db4e00708ff684b54
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

metrics: fix a memleak

Change-Id: Iab097759f8317ed2a39699a1a5a0ab5f33cd895e
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Android logger config readers now aggregated

This should result in a single read() call to populate
multiple /var/log/dlog/x files under the same buffer.

Change-Id: I28428abfda4fcd142f3de95ff61fdf31e2c9cb87
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Add a helper function for core Android buffers

Change-Id: I86fd88f689c651fd03a34b4e636bfc1d9cdd66ac
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Extract subreader addition

Change-Id: Ie3ea31ce4a969cf8fa43ecb32fa8eeb2e678ca8d
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

"Move constructors" for cleaner resource handling

Change-Id: Icbfd6f8e7ccf59060b63a7a73d00eedee74e56ea

Fix leak / lack of reply on invalid util requests

Change-Id: Ie3dc944f73bed2bbbf1636899fecc071e626195e
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

ptrs_list: relicense to MIT

Change-Id: I1abc25cbb9fe2c4dc461f3ef2258cf665ea37b4d
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Add delay functionality to dlogsend

Change-Id: I7740faeff8fc880205d57bf8f9cbd1d0c6c103a0

dlog_logger: remove the `reader_any` kitchen sink

Readers for pipe and Android Logger backends are now separate beings.

Change-Id: I334155fd0082144d05d325f9849bad8518375690

Remove a global "create reader" backend function

This is a step towards uncoupling the two forms of a reader.

Change-Id: I8cc4ed66a5b8a9acfd7f67d89bfaac7318206c1d

daemon: split util commandline parsing

Change-Id: Id8154e0090b1be067e2b2799d110fb4750ab531a

daemon: logger reader: move file handling to a sub

No logic change so far; in the future this will allow to attach a bunch of
sub-readers to a single reader so as to make them work off a single log
entry point (meaning just one read() syscall will feed everything related
to given device - all /var/log/dlog/x files and, in the future, metrics).

Change-Id: I3bdc70838b0e690e17e7ea3bd220c5d8ca4b87ac
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Add logprint.c test

Change-Id: Ic89d866d94b701d71b26196a939f739c2e9e5f25

packaging: Drop no longer valid mention of Apache2.0 license for libdlog-devel

Change-Id: I1151ef586a7c05755bcb041125a81f49e1f8848d

Merge "packaging: Split binaries to different packages" into tizen

Merge "packaging: Drop unused epoch" into tizen

libdlog: apply MIT license; clarify license confusion

In multiple places, the copyright of The Android Open Source Project
was mistakenly added (due to lazy copy-paste) or wasn't removed when
relevant code got replaced.

Specifically:

 * the entirety of `translate_syslog.c`, `parsers.c` were written
   in commit dd125c915efd411ac20229ce15f9c63a298384e3, as was the
   syslog related stuff inside `queued_entry.c`

 * `parse_kmsg_message` from `queued_entry.c` was written in
    commit 4425f7c497d5c79ee94baa335c6f4938d2fa0d43, back then
    under the name `parse_entry_raw`.

 * `parse androidlogger_message` can't avoid similarity to the OG
   code from Android because a lot of it is just copying from
   member fields (specification is not copyrightable), but as far
   as I can tell it was actually written mostly from scratch (see
   commit 4188ddaff9cb28c1865b23a94738653382091962) and copying
   from specific fields readded independently later in commit
   00320e1655ac0f31f743be76a866fedf2b540901.

 * in `logcommon.c` there is a lot of pipe related stuff which is
   split over a ton of refactoring commits, but is obviously all
   Samsung if you take a glance at 2015 commits and the state of
   the repo before adding the pipe backend.

 * in `logcommon.c` there's also a lot of miscellaneous chaff whose
   authorship maps fairly well to what `git blame` says.

 * in `logcommon.c` there's the function `filter_pri_to_char`,
   which is technically original Android code but it is so trivial
   that it is really nothing more than its own specification, so
   it shouldn't cause any legal issues. (The opposite function,
   `filter_char_to_pri`, was rewritten in f7b5ee04e80c53a090c9.)

Change-Id: Ibc6cccdcf06588b7c9a431c3113e77b92e58947a
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

packaging: Split binaries to different packages

Various files are licensed differently, move these around so that
whole package is under one license for clarity.

Change-Id: I47a7c8344926dbf16f9a3b44dbafc999b466e5d5

packaging: Drop unused epoch

Change-Id: I5fed7483748738e39654bc73a135a7898b986f08

Fix memory leak

Change-Id: Ic7bb29c716b64c41677e16277472e1eb10f3f1c3
Signed-off-by: Yunmi Ha <yunmi.ha@samsung.com>

Add deduplication feature to libdlog

Change-Id: I5788d957d2a8c5e19683512fa4cbed55caf68f7d

Add PoC dlogmetrics utility

Change-Id: I3be403459ea5f494fb1749a085546f66d6543513

Add metrics structure

Change-Id: Iff76a4e86519f5a03517b69934ef6341825ecca8

Release 6.0.13

This release finalizes the new internal libdlogutil API.

Change-Id: Iccdd1dbb474e5c2d7246c5c525c9e2f308d7d17e
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

dlog_logger: pseudo-RAII for getopt innards

So that we don't have to do caveman tier `retval = X; goto cleanup`

Change-Id: I993023ec95a1a38d3b3565aa174cbd82e422e0b9
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

dlog_logger: move fields to reader child classes

Makes the generic reader struct less of a kitchen sink.

Change-Id: I57fca12ae9439c22e0c95afb41d5ef8478a6cbf0
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Move loglimiter to shared

After all, it is shared between libdlog and dlogctl.

Change-Id: I34b08f935e4eacbae3f505e08214432aaee84720

dlog_logger: further reader refactors

Split into pipe and logger variants.

Change-Id: Iabe20b812752085f12c9e4d0ed32ebd0cd5a57a3

daemon: handle epoll callback pointers sensibly

The event can now carry userdata to point to the needed structure directly.
No more "keep fd_entity in front of the struct" or offset calculating nonsense.

Change-Id: I9d7d565d86538931f26a63ce35b6d0bb5947f228
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Expand "invalid buffer" negative integration tests

Change-Id: Ief8deb05aa03f84e393651a980bdec2a0b4731b0
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Add some missing checks to libdlogutil

Change-Id: I178e0f1381302ac36dc5740b168e5faf8fafc9fa

Fix documentation

Change-Id: I6660076300808d80a3b3323737e82f810481dd4c