added syslog message parser

Change-Id: I7a6d986f8504e1d979779a061e8b0da29e4dfaff

added syslog logging buffer to dlog

dlog will handle syslog messages from /dev/log
it will create /dev/log as symbolic link to /run/dlog/dev-log socket
the functionality is turn on
 * when dlog_dev-log.socket systemd unit is installed (separate pkg provided)
 * or when syslog_force config flag is set on
systemd-journald syslog socket should be disabled then
to not cause any conflicts

Change-Id: I7bc1c3e3dd64a4741e749b19c3161797013071d9

Split socket creation into bind and listen parts

Change-Id: I09df695ec42ba6d8ad037bffc34c5d9c8f6a89ee
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

logger: create log files after dropping privileges

fixes /var/log/dlog/* files ownership from root to log:log

Change-Id: I5971db8b876a8072309fcb260ab0e38a229adcd1

logger: list macros replaced by list struct

generic list implemented using void pointers to list entities
replaces macros for type-specific list manipulation

Change-Id: I48969427267864d6429ed50450c12f1b74a5c5f7

logger: enable specific buffers according to config

use buffer enabled flags in case of first_buffer number
check if buffer created when adding reader

Change-Id: Ib316d32e8a8b4287ef2a49a70a0644c2836766cc

get config number/boolean helper functions added

 * log_config_get_int return given default value on error
 * log_config_get_boolean just calls log_config_get_int
   added to distinguish config parameter type

Change-Id: Iebbc1097ac399d48f016f6919b9b5b4a4ef113b4

Merge "Allocation handling:" into tizen

KMSG parser: standarize return value; tests

Change-Id: I800cb3b450d10a8bc26124bcd08abd669528758a
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Allocation handling:

 * catch allocation failures
 * do not deallocate argv and static strings

Change-Id: Ifc6c609d9296f1f56abcce8178e242de36bb96a1

Extensible config

 * reader config now prefix based instead of indexed
 * extra config can now be read from a directory
   (has to be named same as conf file + ".d")

Change-Id: I2bf3d31526d1fc40fbf20a2ad7b4a62282c2423d
Signed-off-by: Michal Bloch <m.bloch@samsung.com>
[ Reworked file and directory read functions. ]
Signed-off-by: Karol Lewandowski <k.lewandowsk@samsung.com>

logger: helper math functions

The following math utility functions were added,
currently used for parsing program arguments:
 * min_int
 * max_int
 * clamp_int

Change-Id: I20674f2cb72ca3d29b2f5f109de4a4accd8369de

test_pipe script fixed

test_pipe.sh script hangs
because -d option is not given to dlogutil,
fixed to run dlogutil in background,
and kill this process when all tests are finished

Change-Id: I93e9383294c2a0078ea5af3f94e6c711b4f34e37

Config for-each loop helper: loop over all entries

Fixes loglimiter only accepting one entry

Change-Id: Ia82bbc43ee918f64d8946fe00348cfe4a7ece0a7
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Pipe backend handles oversized logs.

Change-Id: Iea2976260333ad6fcf2154625e223c88764b8fd4
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

logger: flush all buffers if program interrupted

Change-Id: I0ee063a29827c2706bc1736ac259d788dd7f1d28

Fixes to device -> file logging

 * extension of max log size with a size of prepended header
   ensuring fitting the buffer with the longest possible log

 * fix read() error handling

 * remove needless epoll

 * clarify the starvation preventing loop counter

 * remove unused log size constants (from kmsg)

Change-Id: Ibeeb9e8a74e180e91c7c4c44ffcf8f50f3fa7cb4
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

[security] drop System::Privileged smack label

System::Privileged smack label was added for /dev/kmsg support
which is no longer supported and dlog is unnecessarily running
as System::Privileged (the 'onlycap' management item)
the dlog_logger runs as dlog user and no capability is granted

Change-Id: I7ffa00741bea0f9eeb966aa28e4b5d8fb4d3e8f2

license:change filename from LICENSE.Apache-2.0 to LICENSE.APACHE2.0

Change-Id: I7dc33ec6aaf7d1c56f2a00cc44f02f64bfe28a3a
Signed-off-by: sanghyeok.oh <sanghyeok.oh@samsung.com>

Merge "Standarize writer creation" into tizen

Standarize writer creation

Helps extensiblity.

Change-Id: I3d71b0ebe0984f828e32695ffea416b580b391ae
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

svace:remove fd leak

Change-Id: I11b1711c59eec97c3f867946618cd37c8f9b4785
Signed-off-by: sanghyeok.oh <sanghyeok.oh@samsung.com>

License: add license files

Signed-off-by: INSUN PYO <insun.pyo@samsung.com>
Change-Id: I87b82ebaf4ff5365a3d57a35d3f7328cdeaafee5

doc : fix errata

Change-Id: I8764558eef757069fa0783d6900a91d3b2207ece
Signed-off-by: Kichan Kwon <k_c.kwon@samsung.com>

Documentation:

 * do not generate docs for internals (yet)
 * bring back @since_tizen
 * reformat tables from markdown to html
   (failed to parse in some doxygen versions)

Change-Id: I518177b2c2fb32765a4ac37962a1aeab0257ca83
Signed-off-by: Michal Bloch <m.bloch@samsung.com>
[Rename group name]
Signed-off-by: Kichan Kwon <k_c.kwon@samsung.com>

[4.0] logger: replace writer type with callbacks

Replaces switching between different writer types
with specific writer function callback:
service_writer_{socket,pipe,kmsg}
to be more easily extensible when adding new writers

Change-Id: I8552121bd50e20ca4872ed5e1536325a7acef279

[4.0] kmsg-backend removed

Change-Id: I9d98e6fdbecfc6fdea7459667d5ae506b3772982

[4.0] logger: replace writers fds with single one

Replaces different fds dependent on writer type,
i.e. socket_fd, device_fd, fd_pipe[2]
with a single working_fd
for writers to be easily extensible

Change-Id: I62ec0faa556f1eaf64e8a74f3b2522a855a64446

Merge branch 'tizen_3.0' into tizen

Change-Id: Icedc0feec813c5d793d169878f81f18ff85b749e
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Update dlogutil help

Change-Id: Ieb239f028d71d0e62017d6fffb9138c017f2a8bc
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Fix dlogutil -u causing a warning on pipe backend

Change-Id: If031af288f85aa4fa3e35c2a59bb55b8bfc3d7b6
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

[4.0] Unduplicate code

Change-Id: I72c9e8fe08f960fa7a2766b91ab2a72e8d2891b6
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

[4.0] Documentation

 * fix errors
 * add grouping
 * add a rudimentary main page
 * autogenerate

Change-Id: I45988efcbb9aa12e0ed26dc7b3d2fe9b9a7eba6d
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

[4.0] logger: Major initialization refactor

 * redesign data structures to better reflect
 their relationships and make them easier to
 initialise properly

 * shuffle around and split up the functions so
 that they are more concise and conceptually pure

 * improve error handling and cleanup routines
 in case initialisation fails

 * introduce standardized return codes

Change-Id: Icafebabec813c5d793d169878f81c18ff85b749e
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

[4.0] logger: Extract password/group db manipulation to separate function

Change-Id: I843711edff4e6eb0ff0dfa233e1b08727b245396
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

[4.0] logger: Always use internal helper functions to manage epoll fds

Change-Id: Ib80d7ea8a331c1b90ee12e67d73f170f0083ef15
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Merge branch 'tizen_3.0' into tizen

Change-Id: Idbc92058d4601d903f1b9d7959d37156fa95b3b7
Signed-off-by: Kichan Kwon <k_c.kwon@samsung.com>

logprint : introduce "rwtime" log format

- To compare time, all logs use receive time
- However, somebody want to check the original time of kernel logs
- Format : RECV_TIME [ORIG_TIME] PRIO/TAG(PID, TID): MSG

Change-Id: I75124561acaba3ee0747fc131830efd9ff8044fc
Signed-off-by: Kichan Kwon <k_c.kwon@samsung.com>

Update configs to recv timestamps

Change-Id: I547667a63668456af76404282a63e3004295602c
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Reception timestamps

 * collect realtime + monotonic timestamps on reception
 * new format, "recv_realtime": shows realtime reception timestamp
 * dlogutil now sorts by monotonic reception timestamp

Change-Id: I53d2787562d6cc580941b8bf64032dd153f147c4
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

unhandled read() error bugfix

fix answers foolowing bug report:
repeated lines with the exact same timestamp/message
exactly (100, 300 or 900 times)

Change-Id: I2edc6c80c2023a3f80b5b99d4e1caede047669fc

dlogutil : block to use "-n" or "-r" without "-f" option

- "-n" and "-r" options are related with logged file enabled by "-f"

Change-Id: I4a18cbe7b5326a19f1ce5e91eb0830ec658ca067
Signed-off-by: Kichan Kwon <k_c.kwon@samsung.com>

libdlog : fix invalid log_fds access

- If all log device paths are given and failed to get main fd,
 libdlog will try to access log_fds[LOG_ID_MAX]
- No more access log_fds[LOG_ID_MAX]

Change-Id: I97197a5efeecae9713f6564f10327a262b255de2
Signed-off-by: Kichan Kwon <k_c.kwon@samsung.com>

Free config data and close fd before terminated

Change-Id: Ib448c1901a4bff6c960bf1a8c26de7a4a350f39c
Signed-off-by: Kichan Kwon <k_c.kwon@samsung.com>

logger : fix '-s' option is not applied

Change-Id: If94afefd0661df937bc9623f3f447d536e524ea2
Signed-off-by: Kichan Kwon <k_c.kwon@samsung.com>

Revert "Fix passive logging issues"

This reverts commit e5c03b719438501f9ccca890092b961e73ac164e.

New patch with fixing bug will be uploaded

Change-Id: I1d7e18dda7bcd3bc6bf9b19c1d30a0b3579a3858

Fix passive logging issues

 * the -s parameter now works
 * filtering actually works

Change-Id: I9c6552b8b8fb7cbaca6afe3bcccf0553b81eb1fe
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Merge branch 'tizen_3.0' into tizen

Change-Id: I2c91566ccbcca384f4d2d88e6ef7daacaffedad7
Signed-off-by: Kichan Kwon <k_c.kwon@samsung.com>

Fix epoll_ctl erroring out

Do not call epoll_ctl on FDs representing actual files,
which causes the call to error out with EPERM.

This use of this mechanism was twofold; first, pipes
need to actually be added to epoll (to see if they're
full). The second use was to discover whether a descriptor
represents a file. This information is known a priori,
which removes the need to make calls doomed to fail.

Change-Id: Ic11c211ee88e70899998e794847b79afc0a90d9a
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Proofread header file

Change-Id: I79da2d948c9932f40a6b599bc38aed0e5867c84e
Signed-off-by: Kichan Kwon <k_c.kwon@samsung.com>

Check dump file size during initialization

- Until now, dump file is rotated after writing rotate_size_kbytes
- If writing less than rotate_size_kbytes and rebooting are repeated,
 dump file size can be infinitely increased
- To prevent this, large dump file should be rotated before logging

- Meanwhile, size conversion macro is defined

Change-Id: Id506421799076075e7307c262242835e4bd6d6ea
Signed-off-by: Kichan Kwon <k_c.kwon@samsung.com>

Merge branch 'tizen_3.0' into tizen

Change-Id: Ifa9654ff3a252b02de4b289ea5301acb18550a95
Signed-off-by: Kichan Kwon <k_c.kwon@samsung.com>

logger : prevent out of range

Change-Id: Id1ba27bd54df2e7975e617fac4c704fc3268e817
Signed-off-by: Kichan Kwon <k_c.kwon@samsung.com>

logger : fix about filtering

- TAG:PRIO filter will be applied

Change-Id: I96894696eb870ef7a25e78638d58e6c296c6dfb7
Signed-off-by: Kichan Kwon <k_c.kwon@samsung.com>

logger : fix invalid checking

- Return value is changed at the 3e8ab4998beddd0cf61486bb2c3f06ff9f646579
- Therefore, condition statement should be changed

Change-Id: I676823462a0b4b981d103ca42139a2e27eba35e4
Signed-off-by: Kichan Kwon <k_c.kwon@samsung.com>

dlogutil : do not sort when it prints logs about only one buffer or tag

- Each dlog buffer is FIFO queue, so dlogutil don't have to sort in this case
- Also, we can assume that logs having same tag are stored in the same buffer

Change-Id: I0db5bc6162903749007f514f9d06c16967bee696
Signed-off-by: Kichan Kwon <k_c.kwon@samsung.com>

Fix minor issues.

- Remove unreachable code
- Add error check code
- No more ignore conf value about buffer size

Change-Id: Icb9cd08edf827625ae0a67130bab094571a2241d
Signed-off-by: Kichan Kwon <k_c.kwon@samsung.com>

Upgrade: adjust upgrade script number

Change-Id: I425c22266e8b3c5e030600c49a5f10f7e03837b7

Merge "logger: Simplify binary log file header writing" into tizen_3.0

Merge changes I274d815f,I4c831e85,I997c4d72,I02ebfd88 into tizen_3.0

* changes:
  logger: Avoid returning EBADF in normal operation
  More useful return values for shared functions
  Catch allocation failures
  logger: refactor writer servicing

Merge "logger: fix closing fd 0" into tizen_3.0

Merge "logger: fix socket owner change" into tizen_3.0

logger: Simplify binary log file header writing

Additionally, add return code as writing may fail
and handle the return code in invoking functions.

Change-Id: I7c1434fe87b6f6a50ea986307e935efd87775796

logger: Avoid returning EBADF in normal operation

EBADF has been used only to signal that file should be removed from
the list - this commit makes this explicit.

Change-Id: I274d815fd95ab43aa13f14d36286d17672e42e83

More useful return values for shared functions

Now returning 0/-errno instead of 1/0

Change-Id: I4c831e85c8ec7e93f183f6990839afdb63ce0a63
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

logger: fix closing fd 0

An unused fd whose value was always 0 was wrongly closed.

Change-Id: I8a70c0a447abd83f091993113354095ffd6446c1
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

logger: fix socket owner change

Change-Id: I742f332bcec3d01fefd2cae3f12d4f7f85878422
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Catch allocation failures

Change-Id: I997c4d72f3ba413246085b60e49ffeaac1753d7b
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

logger: refactor writer servicing

 * inflict consistent return values - all writer-related functions now
   return 0 on success and negative errno code on failure.

Change-Id: I02ebfd88fd044ee083675ba9ed88c403530ca786
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Upgrade: adjust script number

Change-Id: Ia90b97ff80de5989fc9017cd72836c5902aef1b0
Signed-off-by: Sunmin Lee <sunm.lee@samsung.com>

Revert "Upgrade: adjust script number"

This reverts commit 25acf3aa801bcb858517aea3194cf7aa9c547adf.

Change-Id: Id799dab1c07023e8298ec45037851f2c07a992e0

Upgrade: adjust script number

dlog upgrade should be done before 300.pkgmgr.patch.sh

Change-Id: Ib1e69cf18858a1c29f6e925e9785212fb30a3d86
Signed-off-by: Sunmin Lee <sunm.lee@samsung.com>

dlogutil : add "-u" option for setting sorting buffer size

- dlogutil -u SIZE
- If "-u" option isn't used, set to the value of conf file

Change-Id: I629c02914d87107a98cac4a83d04560a6a6a0c6f
Signed-off-by: Kichan Kwon <k_c.kwon@samsung.com>

dlogutil : fix memory leak

- When dlogutil filters specific logs, not printed logs haven't be freed

Change-Id: Ib04b3052d02b03b5816660463c70686a5d082143
Signed-off-by: Kichan Kwon <k_c.kwon@samsung.com>

libdlog : set initalize value to write function pointer

- If log_config_read() is failed (e.g. If '/opt' is unmounted),
  dlog_print function refer to null
- Therefore, it need to set to fallback function

Change-Id: I1002c795a12de062121f656a32414a739b994692
Signed-off-by: Jiwon Kim <jiwon177.kim@samsung.com>
[Remove comment violating Tizen coding rule]
Signed-off-by: Kichan Kwon <k_c.kwon@samsung.com>

Fix vulnerability: NULL check

Null checking for the returned value

Change-Id: Ia459629462b9f0e6cf8501f67f973a92c60b3caa

Fix vulnerability: log_config_set()

This patch forces null termination of e->value string.

Change-Id: I32fba2f23ef2a1b4c725585e2835d2a5530f2d27

Merge branch 'tizen' into tizen_3.0

Change-Id: Iaabf10b234499155e98ab354b4c2084afc3e93fd

libdlog : control platform debug log by modifying conf file

- If debugmode is set to 0, libdlog doesn't write platform debug log
- Debugmode doesn't impact on Public API (dlog_(v)print)
- Normal user can't modify it

Change-Id: Ib1a278412baaa5a2ff64612b786a59adffb7c849
Signed-off-by: Kichan Kwon <k_c.kwon@samsung.com>

dlogutil : print logs when sorting buffer is full

- When specific app prints huge logs without a break, dlogutil also wait endlessly
- Therefore, we have to empty buffer when it is full

- Meanwhile, if you feel that time to fill buffer is too long, you may reduce buffer size
- However, there is a trade-off about sorting buffer size
  - Having larger buffer guarantees sorting quality
  - Having smaller buffer prints logs fast
- Therefore, we may give user a choice

Change-Id: I23b4ed2582125a430b7e93229f059b9715e23d96
Signed-off-by: Kichan Kwon <k_c.kwon@samsung.com>

Merge branch 'tizen' into tizen_3.0

Change-Id: I98d5ebe3e300b509efe05bf78edb567b047dad55
Signed-off-by: Kichan Kwon <k_c.kwon@samsung.com>

Release up

Change-Id: I2b1e73073cb787f0fd82e991eadc41e6eac490b2
Signed-off-by: Kichan Kwon <k_c.kwon@samsung.com>

Tests: add a unit test for pipe message creation.

Change-Id: Ic95a7abea1d9933a42605c8f192d2093deb8b80c
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Pipe: move validity check to the dedicated area

  Ideally, this series of checks (null message, total length, priority bounds)
  would be a separate function shared by all back-ends. This will be done in a
  further commit.

Change-Id: I853c64a32e3ba5e6a72b28b5075f4fca39d6a15f
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Check our privilege.

Make sure the privilege reset succeeds.

Change-Id: Ic88703c2ac8d69eb1a173526c60363ba319820c6
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Merge "Set proper executable bits" into tizen

Set proper executable bits

 * add to scripts/dlog_upgrade.sh

 * remove from plaintext files; this includes source code,
   configuration, header, image, manifest, service, and other
   miscellaneous (eg. license) files (specifically, all files
   touched by this commit except scripts/dlog_upgrade.sh)

Change-Id: Icc1496147c5e78347dff8af5eade3c6cfe13bffd
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

dlogutil : print logs stored for long time

- If any logs don't be written, some logs stored most currently can't be printed
- When remainder logs haven't printed for long time,
 it will be printed without written time

Change-Id: Id51f0a2a078e74f1f568d863b8abd78711d781d5
Signed-off-by: Kichan Kwon <k_c.kwon@samsung.com>

dlogutil : modify timeout when dlogutil decides to terminate

- When "-d" or "-t" option is applied, dlogutil is terminated
 after printing remainder in the buffer.

- However, if the time interval with current log and last log
 is less than timeout, current log can't be printed.

- Therefore, timeout should be zero after decision.

- In addition, to prevent the situation that dlogutil can't decide
 because of continuous logs, waiting timeout also be decreased.

Change-Id: Ia29d083c402263163573c58f33ce976a665e1070
Signed-off-by: Kichan Kwon <k_c.kwon@samsung.com>

Disable to log to console & stdout for syslog

Change-Id: I7ff528856ee35e4f8883edbd18f592038dfc9085

dlogutil : check elapsed time by comparing both ends

- Pipe backend uses clock_gettime and Logger backend uses current_kernel_time
- Because dlogutil uses clock_gettime, it can't check elapsed time at the Logger backend
- Therefore, for portability, dlogutil doesn't record current time

- To prevent underflow, use long variables

Change-Id: I32a11e8518526e24953a5dcd414b8c634ad3d778
Signed-off-by: Kichan Kwon <k_c.kwon@samsung.com>

Merge changes Ib648c1bf,Idb9716c8 into tizen

* changes:
  dlog_logger: Drop redundant User/Group settings
  dloginit: Execute dloginit service with all filesystems mounted

Merge "Micro-optimisation" into tizen

Merge "Fix device file path" into tizen

Fix a deadlock

Change-Id: I606ebf58c071be4974be58933799d1aadc214342
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Fix device file path

Change-Id: If1dd8abde1bb68f63b04e2fc19ec6be9a529432f
Signed-off-by: Kichan Kwon <k_c.kwon@samsung.com>

dlog_logger: Drop redundant User/Group settings

User and Group default to root for system services.

Additionally, reformat note about TZ variable setting.

Change-Id: Ib648c1bf47169c3da5476e4612e11b5d8826ded3

dloginit: Execute dloginit service with all filesystems mounted

dloginit needs access to /opt/etc/dlog.conf for it to read
administrator-provided config correctly.

Change-Id: Idb9716c80786a721b54bf5f67a7cc38065feeb59

Micro-optimisation

Change-Id: I790920282f4d6b4857d3a5b0535e5a9c202c8a70
Signed-off-by: Michal Bloch <m.bloch@samsung.com>

Report meddling with libdlog internal state

Change-Id: Ife49638d2f0f7fdca69b015d51ed8c30e3a32834
Signed-off-by: Michal Bloch <m.bloch@samsung.com>