Release 6.0.4

This release adds the critical logging functionality.

Change-Id: I90b479d53aed2d8dea84ea1c4bcc3a4e554fd57f
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

tests: solve some coverage regressions

Change-Id: I8dd82a6ba2da72db797db62f1d71d9fdd8c67572
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

tests: fix scandirat wrapping

Change-Id: I381d623749ddc90deb2ddad7d828dbbc20c160df
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Merge "Create the critical log file at package install" into tizen

Merge changes  into tizen

Merge changes from topic "kritzkrieg" into tizen

* changes:
  Create the critical log writer program
  logsend: add -k option for critical logs

Create the critical log file at package install

Change-Id: I089dec6c016c924237f550e5e7a01dbea54d9733
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Create the critical log writer program

Change-Id: I079979b8ca1a369ad24327b7219e2556d819f71d
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

logsend: add -k option for critical logs

Change-Id: I4b6a69d73eb14fa17c676aeadad490df83b981a5
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

libdlog: add __dlog_critical_print to the API

Still requires the special privileged logging program,
so doesn't yet do anything.

Change-Id: Id1195957592f0fa475cf8f9482b5edd8b2bc04fe
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Make the libdlogutil sorting test actually test something

-.-

Change-Id: I15b38f7fb41ad950ae75b78cee5666e9820f6d1b

Improve some test signatures

Change-Id: I2ac0b8f6f8848d76ca3e4d5217a26ef6efced9b5

Move priority / char mapping to logcommon

Change-Id: I65206d11e943f4d4aea02c38ebeccf7a7927eb25
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Release 6.0.3

This release brings addion of libdlogutil - library and API.

Change-Id: I4b7742ffe58b1090f6ee042a58001850d0df8008

Implement the first version of the libdlogutil library

Change-Id: I2bf179f93df97e157a625c3538d6c9ddefa1e68b

Merge "Filterspec get/setters: conform to Tizen API style" into tizen

Filterspec get/setters: conform to Tizen API style

Change-Id: I265d5e7b2891b70a6d964f0409b13c18e0154c46

Entry getters return error code

And return the actual thing through a parameter.
This is the Tizen API style.

Change-Id: Ibf4056a3d3a70c4c27de0b9bf5534c4bb575628c

Remove DLOGUTIL_SORT_MAX

Only used in a test and is unwanted in an API

Change-Id: Ic186c6de6150bc004c5033469a3efe2f44c52901

Change some `size_t` to `unsigned int`

Tizen interfaces are fairly consistent in only using `size_t` when the
variable represents the size of some object in bytes. Therefore we're
changing our variables away from `size_t` as they represent the number
of objects.

Change-Id: I7e9b0a66d51ad1ca0114387d8dbc40914f605138

Fix to handle F_SETLKW64 in the test code

glibc is changed to call fcntl64 in a certain configuration.

refer to: https://sourceware.org/git/?p=glibc.git;a=commit;h=06ab719d30b01da401150068054d3b8ea93dd12f

Change-Id: Id89344430e0c85a4cf6e0bd7537c143add247d18
Signed-off-by: Semun Lee <semun.lee@samsung.com>

Workaround a flaw in the build toolchain

For armv7l builds, the emulator handles the `scandirat` syscall
differently than what glibc expects. This results in EOVERFLOW.

Handle this case by skipping the test (it can't really be salvaged
from our side).

Change-Id: I8100dd342ebfc086642e134619270403ae361462
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Provide wrappers for large-file system calls

Some toolchains produce binaries linked to large-file versions
of most system calls (e.g. open() → open64()). Handle those
in addition to the regular versions.

Change-Id: I7277f93fa064a168c95ca09a7cda01dafe1eafae
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Don't fail the whole build through broken lcov

Change-Id: I88b873714a81b89852ae5b90295ce8828f014c07
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Limit ability to control operations to log user and log group members

This brings consistency with Android logger backend.

Change-Id: I46f6816d6613b955b9ce84f82a54f50c0c43f7c9

Rename dlogutil_entry_ts to dlogutil_entry_get_ts

This is to fit Tizen's guidelines better.

Change-Id: I3ec3548bd61346b94c76fd07b522b1f0129a7992

Rename dlogutil_entry_(tag|msg) to dlogutil_entry_get_(tag|msg)

This is to fit Tizen's guidelines better.

Change-Id: Ia0e2025b17a5e86bd5f618cd1af5846dad8df340

Rename dlogutil_write_cb to dlogutil_entry_cb

Change-Id: Ib8aa0e66a766b5918f5fcc1a0bbe747f88ef1a07

Release 6.0.2

 * fix Android Logger passive logging
 * fix various errors found through aggressive compiler warnings
 * miscellaneous minor bugfixes

Change-Id: Ibde07ec14e0db6022b95a196bcfe2f2d60c85eaa
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Revert "Increase log source scanning frequency from 1s to 10ms"

This reverts commit b98095cc7007b14b22f2e91e0e18066efbf63ec3.

No longer needed due to f419d06319fcd3da39aa6812f05aaa8cdf330e50
and the other changes since b98095cc. With Android Logger devices
being added to epoll, they are always handled immediately as long
as they have more data available (which is equivalent to increasing
the frequency to 0ms under the old rules).

Change-Id: Ic1150dd8e967c01e9d7f9aea3a8b13c64a5eea9b
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

dlog_logger: handle reader source fd entity

Change-Id: I803f5f535248d9f2ee15c99d6cd58b3486b5dfce
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

dlog_logger: subscribe source fd entity to epoll

The event is not yet handled (still relies on the periodic check).

Change-Id: I9ceefa64b20416a4a5bf749fc3099b58b011011b
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Fix an epoll descriptor list leak

Change-Id: I914ad793674c72aeabd4c5c101d0fbc692d6cfe1
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

dlog_logger: wrap reader read_fd in an FD entity

No logic change so far; will be made to work with epoll
in a subsequent patch.

Change-Id: I9a3d199206b392976a63ae7b66bb14d4e8616a90
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

dlog_logger: rename reader fd entity to _sink

This is in preparation for adding a second fd entity to that structure,
which will represent the log source and will need to be distinguished from
the current one that represents the log sink.

Change-Id: Ia56c352c564fd0bae4a40e4c923e4ab6013a2579
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Increase log source scanning frequency from 1s to 10ms

This is workaround.  This commit ensures logs source is checked every 10ms.

In current design logs from source devices (/dev/log_) are checked
only periodically on fixed intervals (unlike other sources, which
are driven by epoll()).  The "special" android source handling seems
to be microoptimisation, done due to not entirely correct architecture
decisions.

Proper solution require adding android source devices to epoll.

Change-Id: I91e01f988566c1766385d0c94c6d9dc82bd8e08b
Signed-off-by: Hyotaek Shim <hyotaek.shim@samsung.com>

Fix GCC9 compilation

Change-Id: I6b6a4ae4f3fe0dba2c9d8e82db3f64618eeba203
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Various string buffer size checks

Change-Id: I39a757599ddd78fd121bf5446cba7fa5ee5ee710
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

writev(2) requires <sys/uio.h>

Change-Id: Ifacc47eb488359d3d4741fcab16650920e8e9677
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Refactor the permission checking for libdlogutil

Change-Id: I679f23b4366bdc70f515fb2633fb0c0d54fe0f8e

Check necessary privilege for correct behaviour

Change-Id: I10a5796292e4e166df86b4f49b7f47c01a914d21
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Create a typedef for dlogutil_entry

Change-Id: I73ff0af0d07490e6fdadd3ed1c95c42046662700

Create a typedef for dlogutil_sorting_order

Change-Id: Ic600f59f30a686e43bb459773aa07f4892fca586

Create a typedef for dlogutil_filter_options

Change-Id: Ic7320ed0fa10a5f6863a7095dea665029e6cca55

Rename dlogutil_write_callback

Change-Id: Idfefbd7ab4e634dbb0f0a2470e1448db1a80c212

Improve the sorting test loop slightly

This makes it slightly faster, slightly less fragile, and also slightly
nicer.

Change-Id: I99e54de7b25935d17d5a9a994c35b44da4fcde59

Make gcov package

- Make gcov package when --define 'gcov ON' is given

Change-Id: If2d18676637dad6f94ba9b1d4ca1bf3b8510e0b7
Signed-off-by: Yunmi Ha <yunmi.ha@samsung.com>

Revert "libdlog doesn't modify errno from outside PoV"

This reverts commit 6afdbf69c184f8b1b466af16d65272ad9e7f757a.

Change-Id: Ie046f84788b84f748211df374d8d601db1280810

Specify buffers in some calls of dlog_tests

Those tests would start failing on some targets after the libdlogutil
patches. This would be due to them trying to clear/get size of the apps
buffer, which does not exist. This was accepted before the libdlogutil
patches, because dlogutil would consider all of the enabled buffers at
the same time. However, said patches change it to clear/get size of each
buffer separately and return on the first failure. We can work around
this issue by making it so that dlogutil will not try to manipulate the
apps buffer in the failing spots.

Change-Id: I5b3135256b99b0bc8f53a14fc68f99a9effbf6c3

[logcleanup] Fix svace/coverity issue

- check return value

Change-Id: Ie861d6972c3bfa2c8346f8a25e72e0039e344e6e
Signed-off-by: Yunmi Ha <yunmi.ha@samsung.com>

Add dlog_cleanup service

- dlog_cleanup service will delete old dlog files.
- dlog_cleanup service will be started by activationd.

Change-Id: I3f197f98edcaa03b6f418dbefdb6f4ced714cb91
Signed-off-by: Yunmi Ha <yunmi.ha@samsung.com>

Fix asserts

Some of the pointer arguments of some functions were not asserted. This
commit fixes that. To add to this, userdata is no longer asserted, since
it is not used anywhere, only passed on to the callback. This way the
user can pass NULL if he doesn't need to use it.

Change-Id: I1c6c616fef5ccb95fc6d2465a01f0df68af2b2a6

Unsupported buffer set retval: EINVAL → ENOTSUP

Change-Id: I370bfc46d6326a8ae14cae89da87623adb8c7a03
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

libdlog doesn't modify errno from outside PoV

Change-Id: If5b0fabec233d805041fa534933828cc72bf87cf
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Document the behaviour of CAP_SYSLOG

Change-Id: I3fe9d45220883b17141203539928059f57847bc1
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Optimize terminal detection

dlogutil needs to check if it's printing to the terminal or not in order
to see if it needs to apply colors or not in the automatic color mode.
Previously, we checked this repeatedly on every log we printed. However,
whether we are printing to the terminal or not shouldn't change at all.
Therefore, we should only check this once, during setup, and then never
call isatty() again. This commit achieves that.

Change-Id: I2084a4efbfeab057f33028a4b298a929aa3d5851

Fix missing logs when a dlogutil pipe gets clogged

Change-Id: I44e5c53401abc03605fdc9a0c15e5611742d31a1
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Update the version to 6.0 in autoconf as well

Change-Id: Ic1bbc298d6922f182e6f2b9ad22f23f166ae43a0
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Rename SORT_* to DLOGUTIL_SORT_*

Change-Id: I5ddf6b95b4abf24dfaecd464b94015c7bdeb51f5

Fix a SVACE complaint

The complaint is that the function should be checked for NULL before
dereferencing. This is wrong, since we build the struct and so we can
be sure that it is indeed correctly built. However, it's simpler to just
do the check so that SVACE doesn't complain.

Change-Id: I4664170c25b2a7feeb4b25fafb6ebb9741016f5e

Rename log_add_filter_string to dlogutil_filter_options_filterspec

Change-Id: I15b5b5aa930e36fb040d198d63d994cf2c57afa5

Rename log_add_filter_pid to dlogutil_filter_options_pid

Change-Id: I5ed69dddb731f57d1f545110b306351f8ae379e0

Rename log_add_filter_tid to dlogutil_filter_options_tid

Change-Id: Idaee63aacd2fc8cf62048a9792b5ce38d052958c

Rename log_buffer_get_message to dlogutil_entry_msg

Change-Id: I95984f9affaf6ab8ebb6616a458933c0a0322f48

Rename log_buffer_get_tag to dlogutil_entry_tag

Change-Id: I2b98af866377c176415e2113df3fc36dae21d893

Rename log_filter to dlogutil_filter_options

This also changes the namespace, as log_filter used to be a typedef, but
dlogutil_filter_options is just a normal struct.

Change-Id: I7a0aed07fd8ec0318e07269307c65d09d66e65fe

Slightly improve log_filter_add_*

Change-Id: I296b6a6317bc5829fb88ca69aa6844bbafc5b6c0

Refactor extract_timestamp and rename to dlogutil_entry_ts

Change-Id: I0c6ee97ad3a39fe66a8cf64e4957a80d52b4b17e

Add __dlog_sec_print() to keep backward compatibility with existing MCD in-house Apps

.#define SECURE_LOG_(id, prio, tag, fmt, arg...) \
({ do { \
      __dlog_sec_print(id, prio, tag, "%s: %s(%d) > [SECURE_LOG] " fmt, __MODULE__, __func__, __LINE__, ##arg); \
} while (0); })

root@localhost:/usr/apps/com.samsung.w-manager-service/bin# ./w-manager-service
appcore: Failed to get application ID - pid(3962)
./w-manager-service: symbol lookup error: ./w-manager-service: undefined symbol: __dlog_sec_print

root@HyotaekShim:/platform/AppStoreWhitelist/20191106# grep -r __dlog_sec_print
000001044261_com.samsung.w-dialer2_100015.txt:__dlog_sec_print
000004264895_com.samsung.tizen.bixby-voice_210200007.txt:__dlog_sec_print
000001913406_com.samsung.w-spotify_300002.txt:__dlog_sec_print
000001902170_com.samsung.w-spotify_300001.txt:__dlog_sec_print
000002736570_com.samsung.w-manager-service_500300013.txt:__dlog_sec_print
000002420102_com.samsung.samsung-pay-app_100400303.txt:__dlog_sec_print
000001915993_com.samsung.w-spotify_300002.txt:__dlog_sec_print
000002750274_com.samsung.w-logs2_100300011.txt:__dlog_sec_print
000002738273_com.samsung.w-contacts2_100200074.txt:__dlog_sec_print
...

Change-Id: Ieda4e759213ab50810540574d98f72bb0491c6c9
Signed-off-by: Hyotaek Shim <hyotaek.shim@samsung.com>

Bump version to 6.0.1

Tizen 5.5 just had a release and forked off.

Change-Id: I452d9ccb456b7a5a28ee00ef1e56987f79b8ccbe
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Improve log_buffer_get_* exceptional conditions

We now handle the case in which the struct lacks the ending '\0'.
This would mean that one could read past the end of the struct while
using the result.

Change-Id: Ie70ffd57181dd351ab94db27550b8f967235648f

Add some missing consts

Change-Id: I22c50dea669bb940dc25871dc47d5ed8afaede6f

Rename DUMP_{CONTINUOUS,INFINITE}

Change-Id: Ibc5746ba2bd82b115f8a41cc6378e301cd47c80b

Add a basic design overview document

Change-Id: Ic70b6025143ca00cd7c7441e254a242defe2feef
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Add dlogutil_ prefix to logger_entry

Change-Id: Ic5caa8139956f1dfff3dc5296a0a67e763a567ae

Add dlogutil_ prefix to write_callback

Change-Id: I2d1778741a66f1aee13d74e61208c489788009bb

Add dlogutil_ prefix to sorting_order

Change-Id: I069c761ff6c6c390d994ac843efbf7d6cc24a6d9

Move all pipe backend filtering server-side

Previously, we used to carry around two filter settings objects in
dlogutil: a filter list, which contained a simple text list of all
filterspecs, and a filter object, which contained info about all other
filters set. The logger backend merged those two together and used
them to filter everything locally, while the pipe backend sent the
filter list to the server and filtered locally on filter object. This
patch does away with the filter list, so that everything is in the
filter object, and enables client to send the filter object. In
particular, this means that the server is able to filter by TID and PID
now.

Change-Id: Ic962da04a5657527f2f80fe20e35caa75d7e2782

Fix FilterInfo to use pid_t for tid

Change-Id: If22062d76d02f62baad5fff5e756adbba56d0caf

Refactor filter list a bit

Change-Id: Ic69af18d2b91608708227c3c8c86d1f8dda842d1

Fix issues found by static analysis.

Change-Id: I4d1e87a5e3b8091f5503d105a41764358e5b6840
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Replace strerror with %m

Change-Id: I071303c25389b958fd4d9ad5c3e74af97c92fe09
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Fix coverity issue

- resolve "Uninitialized pointer read"

Change-Id: If160a36be2cd77ed7dadc8056b234098470a52a4
Signed-off-by: Yunmi Ha <yunmi.ha@samsung.com>
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Change size and dumping count types into size_t

This also requires changing a magic value triggering the infinite dump
mode from -1 into SIZE_MAX.

Change-Id: Ib033921ca72001de2570bf740383a8471e9cae35

Don't output errors in dlogutil outside of logutil.c

This is useful, beacuse those functions will probably end up being used
in libdlogutil, and writing to stderr in a library seems like a bad
idea.

Change-Id: Ic07ed3548bf901ea4878d4a54a3824a0760a9b88

Add meaningful error codes

Change-Id: Ic633e51ba49e8e9261ce4e9f33efec8a66f6079a

Fill the seconds field of invalid timestamps

We used to fill only nsec with -1. However, this means that the sec
field is kept uninitialized. This means that reading it would be
undefined behavior, which is bad. This doesn't seem to happen in
dlogutil as is, but it would be possible when choosing a timestamp to sort
on is be implemented.

Also, a slight change to sort vector is done so that it works well in
such situation.

Change-Id: I501adad093c0782433d014395e8cc752f7d48574

Propagate callback return value

This will be especially useful in libdlogutil, where it will enable the
user of the library to return a nonzero value from the callback in order
to stop log processing.

Change-Id: I0565be6f8af2c7804a129250075778ec3f2b2e7c

Fix an include

Change-Id: I5368742a9054956d5b8506b92b47551a43b0cbb6

Fix an off-by-one inconsistency in the "out of order" message

The len field of the logger_entry should contain the byte size of the
msg field. However, in this case, the final null byte is not counted.
This is not really a bug since we should handle this case, but
nevertheless an inconsistency with the rest of the dlogutil.

Change-Id: Icf2277abc8dd7f8cd1885fc53dd49c9bdede623d

Remove unnecessary newlines at the end of the files

Change-Id: I5ad464bb853b3209f9a87ac899c3be677c1a8942

Create and fill logretrieve.{c,h}

Change-Id: I4f0402cb2d8ff38e1b371b63600dd79e1aa467b3

Move pipe/logger backend choice logic to create_initial_fdis

Change-Id: I3221f256d96e014200875a87467ed4b3eab5cd79

Move flush_logs into sort_vector.c

It's now called sort_vector_flush.

Change-Id: I9a90166e81bb129df7529c92626fa80c7ae84f10

Move buffer choice validation into create_initial_fdis

Change-Id: I3328790d7ef438aaa7dd99a22b12c3243145c292

Move sort_vector initialization into do_print

This way, main doesn't have to care about the sort_vector at all.

Change-Id: Iaf9f80957f1df40f1113f0cdd7428aef782d3baf

Add some missing const qualifiers

Change-Id: I521e570921a07b93c7fbdd6cef0abcb1f2409fba

Set some sort_vector fields indirectly

This way, we don't need to pass the sort_vector to the parse_options
function.

Change-Id: Iffe9436e847846b4dc4d1c39123ada87526a0db5

Move some arguments into a common struct

Change-Id: Iacb5461d42688128c52842e20c8d32317b3cd60a

Fix log_filter_free

Change-Id: I3a23f7a2303d4659aacd2fbd9e88a5a4bf046893