process: do not change update_id on skipped files.

if we skipped a file it doesn't go to DB and thus we shouldn't mess
with counter and thus update_id. It is the same case as the file was
up to date.

daemon: remove from db files with dtime older than a given date.

LightMediaScanner will not delete the database entries for files that
are gone, instead it will mark the 'dtime' column with current
timestamp. This allows fast restore of files from a removable media,
but can grow the database too much if these are never purged from time
to time.

This commit introduces --delete-older-than=DAYS (-d=DAYS) that will
always purge entries older than the given number of days, or negative
value to disable this behavior.

daemon: export read-only property DataBasePath.

This is useful for users to know where is the database instead of
negotiating this in another way (like configuration files of both
lightmediascannerd and clients).

minor: remove left over "#undef STR_FIELD_FROM_TAG"

flac: fix wrong prefix length

Fix copy and paste from other items.

utils refactor.

move parser specific stuff from src/lib/shared/util.h to
src/plugin/shared/util.h, still not to be installed and without "lms_"
prefix.

the aspect_ratio calculation was moved into lightmediascanner_util.h
and lightmediascanner_db.h to be simpler to use.

extract name from path is also too common, now in
lightmediascanner_util.h as lms_name_from_path().

introduce and use helpers lms_string_size_strndup() and lms_string_size_dup()

asf: register new fields (container, sampling_rate)

mp4: fix audio codec lookup, add video codec and extra information.

 * audio codec needed an spare NULL position before _codec_audio_mpeg4_tssi;
 * audio codec must lookup type if different from MP4_MPEG4_AUDIO_TYPE;
 * register stream language;
 * register audio stream sampling_rate;
 * register video stream framerate if it matches a known value;
 * register video stream bitrate;
 * register video stream codec;
 * register container as "mp4";
 * added authors.

mp4: remove support for deprecated library.

the new 2.0 api is already old enough, remove support for the previous
deprecated.

id3: fix extra linking with mp4v2.

copy & paste bug :-(

ogg: register new fields (container, sampling_rate)

ogg: add ".oga" extension.

video: add missing fields (container, sampling_rate)

We must remember the video file container and the audio stream sampling_rate.

plugins/mp4: Add audio codec

plugins/mp4: Add tracks information

plugins/mp4: convert to mp4v2 2.0 API

id3: fix bitrate to be multiple of 1000.

wave: provide dlna information.

asf: : provide dlna information for wma.

id3: provide dlna information.

png: provide dlna information.

jpeg: provide dlna information.

add dlna fields to video table.

Add new fields dlna_profile and dlna_mime to provide simple
information for applications that use it.

asf: better bitrate for variable bit rate.

The spec says the following:

 Alternate Data Bitrate:

    Specifies the leak rate RAlt, in bits per second, of a leaky
    bucket that contains the data portion of the stream without
    overflowing, excluding all ASF Data Packet overhead. The size of
    the leaky bucket is specified by the value of the Alternate Buffer
    Size field. This value is relevant in most scenarios where the bit
    rate is not exactly constant, but it is especially useful for
    streams that have highly variable bit rates. This field can
    optionally be set to the same value as the Data Bitrate field.

 Alternate Buffer Size:

    Specifies the size BAlt, in milliseconds, of the leaky bucket used
    in the Alternate Data Bitrate definition. This value is relevant
    in most scenarios where the bit rate is not exactly constant, but
    it is especially useful for streams that have highly variable bit
    rates. This field can optionally be set to the same value as the
    Buffer Size field.

 Alternate Initial Buffer Fullness:

    Specifies the initial fullness, in milliseconds, of the leaky
    bucket used in the Alternate Data Bitrate definition. This is the
    fullness of the buffer at the instant before the first bit in the
    stream is dumped into the bucket. Typically, this value is set to
    0. This value shall not exceed the value of the Alternate Buffer
    Size field.

db_audio: add dlna_mime column.

this column pairs with dlna_profile.

add dlna fields to image table.

Add new fields dlna_profile and dlna_mime to provide simple
information for applications that use it.

add lightmediascannerd and lightmediascannerctl

The daemon and control client are provided as a way to make usage of
lightmediascanner easier in a platform. It will scan directories based
on the startup configuration of categories, their parsers and
directories.

One can request a write lock, avoiding the server to scan and also
report to others that they should not write to DB.

Scanning status, Write Lock and global Update ID are provided as
properties.

The scan method will take a dict of categories and their respective
scan paths. This allows to reduce the scan scope to just few
categories and paths. The categories must exist previously and paths
must be inside the previously known categories directories, this
avoids people doing mistakes. If a category is provided as an empty
list, all directories will be used. If there are no categories
provided, then all categories with all directories will be used.

allow scanning a single file instead of a directory.

The previous code assumed we always scan a directory, this is
cumbersome if we know just one file changed and want to scan only that
instance and not the whole dir recursively.

It is now allowed to check a non-existent directory or file, this will
mark any existing entry as deleted in the database.

plugins/id3: Add loop on frames to estimate bitrate

Estimate the bitrate and length when there's no additional header we
can rely on to get these numbers. This is done by parsing the initial
frames of the file.

This has an impact on performance, since now we are parsing much more
than before. There's a define N_FRAMES_BITRATE_ESTIMATE and
N_FRAMES_CBR_ESTIMATE that need to be tuned in order to obtain the best
compromise between performance and accuracy.

plugins/id3: parse VBR headers

Parse VBR headers: Xing and VBRI. We use the number of frames and stream
size we find in these headers in order to calculate length and bitrate.

We also parse the "Info" header, which is the same as "Xing", but in
this case we assume the file has constant bitrate.

Now the only case in which bitrate is wrong is when the file is VBR but
it has no headers to indicate so.

plugins/id3: Add bitrate and length for CBR files

plugins/id3: Fix id3v2 not skipping CRC if present

If there's a CRC field after the extended header, we need to skip it,
too. The worst thing that could happen here is the CRC containing a sync
byte and having no other frames in the ID3v2. In this case our parser
would not find correct mp3 information.

plugins/id3: Fix id3v2 header size calculation

_parse_id3v2() was not getting the size of the frame correctly. Since
the number uses at most 7 bits, we can't use _to_uint() function. For
example, 0x00000201 should be translated as 257, not 513.

We were also relying on _parse_id3v2() letting the fd in the right
position to look for the sync byte. However if this function read too
little and ave up parsing we were left in the middle of some ID3 frame.
Also, if there are other mistakes in the tag, we could end up reading
too much and losing the first sync byte.

Be safe and skip the amount of bytes as written into the ID3 header (or
skip just the ID3 tag if _parse_id3v2() fails badly).

We also skip the extended header if it exists and rename the
syncframe_offset to sync_offset everywhere.

Reference: Section 3.1 of ID3v2 tag specification
(http://id3.org/id3v2.3.0)

plugins/id3: Add references and fix typo

plugins/ogg: Add support for theora videos

This adds support for theora videos, with all the fields being filled
in, possibly with several streams.

For now we link to libtheoradec to do this. However it seems a little
bit overkill linking to libvorbis and libtheora. There can also be other
codecs inside ogg, which we don't currently support.

It would be good (but a little more difficult) to stop using them and
parse the file by ourselves. In this scenario the use of libogg would
remain so we get page/packet separation while doing the codec part.

plugins/ogg: Refactor to conquer

  * Add reference links
  * Parse all streams in a file - we only consider the first one
    regarding audio files, but this paves the way to support video
    (which has never been supported in ogg plugin)
  * Split the file parsing into pages/packets/codec-data. This makes it
    easier to support theora (needed for video) and also for removing
    libvorbis if it's desired in the future
  * Be safer regarding packets crossing page boundaries
  * Be safer regarding EOF in the middle of parsing

TODO: Update with pread/preadv/readv

plugins/asf: Parse extended stream properties

Parsing the Extended Stream Properties Object we can get the framerate
and bitrate of each stream. Also, since ASF allows the "Stream
Properties Object" to be embedded inside the extension with this code
we make sure we are getting all the streams that are possible in a ASF
file.

util: Add functions to do 64 bits endiannes conversion

plugins/asf: Fix header_extension_guid

plugins/asf: Add length for videos

shared: Add constants for time conversions

plugins/asf: Refactor to conquer

  * Move fields inside asf_info: streams, length, type. They are fields
    important both to audio and video files

  * Pass asf_info around to frame parsers: we only decide if it's audio
    or video later, when all important frames are already parsed

  * Try not to reach 80 cols in some places

  * Move code to free streams to its own function

  * Remove useless #if 0 code

  * Check if we parsed any stream. Would be a violation of the format if
    info.streams was NULL in the end, but at least we don't crash

plugins/asf: Add TODO

plugins/asf: add aspect ratio

util: add function to calculate aspect ratio

To calculate the aspect ratio what we need to do is to calculate the gcd
of width and height, dividing by it. We use the simple Euclidean
algorithm. Besides of being simple it's pretty fast.

plugins/asf: add codec, width and height

plugins/asf: add all streams on video

We use the heuristic that a file is of audio type if it contains only
audio streams, otherwise it's considered as video. However now we add
all the audio/video streams to the database. It suffices to just set the
streams pointer since we are already allocating/freeing as we should.

plugins/asf: add audio prefix to symbols

plugins/rm: use common type for stream

plugins/mp4: use common type for stream

plugins/asf: use common types for streams

plugins/asf: Add reference link

Add video substreams if available

db: Create tables for each video substream

test: Fix leaking stmt

Let's call sqlite3_finalize() on stmt so resources are freed and we
don't leak it:

==11116== 107,752 (856 direct, 106,896 indirect) bytes in 1 blocks are definitely lost in loss record 84 of 84
==11116==    at 0x4C2757B: malloc (in /usr/lib/valgrind/vgpreload_memcheck-amd64-linux.so)
==11116==    by 0x5076816: ??? (in /usr/lib/libsqlite3.so.0.8.6)
==11116==    by 0x5052889: ??? (in /usr/lib/libsqlite3.so.0.8.6)
==11116==    by 0x505A6C7: ??? (in /usr/lib/libsqlite3.so.0.8.6)
==11116==    by 0x505A6EC: ??? (in /usr/lib/libsqlite3.so.0.8.6)
==11116==    by 0x50D27F0: ??? (in /usr/lib/libsqlite3.so.0.8.6)
==11116==    by 0x401F22: show (test.c:377)
==11116==    by 0x401913: main (test.c:481)

build: Enable warning flags for bin/

plugins/rm: Add reference link

Get rid of [BL]E_[24]BYTE macros

Use either libc functions from endian.h (when we have the value instead
of a position in buffer) or common provided functions in util.h

plugins: Use shared function to add fallback name

shared: Add function to extract fallback name from path

plugins/wave: Add metadata fields

Parse title, artist, album and genre from INFO chunk.

plugins/wave: Add channels, bitrate, sampling rate, container

Add util header

For now, endiannes conversions and getter for unaligned memory.

build: define extension macros in config.h

Instead of defining _GNU_SOURCE and friends in each source file (and
potentially forgetting in some), tell the build system we use
extensions and let it define them in config.h.

build: Get rid of #ifdef HAVE_CONFIG_H

plugins: Add empty wave plugin

This is just like the audio-dummy, which will serve as a skeleton for
the implementation of the wave plugin

plugins/rm: Use mime type to decide if it's audio

plugins/rm: Parse MDPR header and its subheaders

Interesting fields: sampling rate, codec, channels

utils: Add cast to string size initializer

plugins/rm: Parse PROP header

This header contains the following interesting fields: duration and
avg_bit_rate.

plugins/rm: Simplify loop, searching for CONT header

Call _read_header_type_and_size() in only one place and make
_parse_cont_header() return the number of bytes read, so we can seek to
the right place later.

TODO: Add entry about buffered, unbuffered, mmap for plugins

plugins/ogg: Add support to new fields

New fields are supported for ogg vorbis:
* container: Always the same: ogg
* codec: Although ogg may contain streams encoded by other
  codecs we never supported them. They will fail to parse when
  we try to create the vorbis structs. Therefore for now this is
  statically set to "vorbis"
* bitrate, sampling rate, channels: As extracted from the
  vorbis header

plugins/ogg: Fix leaking comment on error path

We need to call vorbis_comment_clear() on error path.

Do not use {0} struct initializers

Change code all over the tree with the following command, and fix up the
one false positive:

git ls-files | while read f; do sed -i 's/ = { *0.*}/ = { }/g' $f; done

Get rid of "if (bla) free(bla);"

Patch generated with the following coccinelle semantic patch:

@r@
expression E;
@@

- if (E)
- free(E);
+ free(E);

plugins/asf: Add codec support

ASF as other containers may contain streams encoded in several other
codecs. Maybe we should have a global list/hash-table with all the
possible { ID: name }? Meanwhile, put the more important codecs there
for this specific format.

plugins/asf: Add channels, bitrate, sampling_rate

plugins/asf: Fix overriding type - parse multiple streams

ASF files may contain more than one stream, with more than one type.
Previously if there was a video stream after an audio stream, we would
overwrite the type.

Prepare to support multiple streams and parse all of them. If there's
any video stream, register it. Otherwise, take the first stream.

plugins/asf: Add container

And change a littler bit the coding style:
 * else on the same line as the previous "}"
 * no need to to "if (bla) free bla;"

plugins/asf: No need to overly complicate skipping attributes

We have no interest in the extension header. Skip it entirely instead of
parsing field by field and skipping them individually.

plugins/asf: Add length field

plugins/flac: Add new fields

New fields: length, bitrate, codec, container, sampling_rate, channels.

Bitrate may be a little bit higher than the actual bitrate since we
calculate it as (filesize * 8)/length. I.e. header/coverart are also
accounted.

We could start using the lower level decoder APIs of libflac, so we
don't have to open the file twice to parse metadata + streaminfo.
However benchmarks show it's not that relevant performance-wise.

plugins/id3: we parse adts files as well

.adts files are the same as .aac, but usually without ID3.

plugins: Turn on warnings

Turn on the same compiler warnings that were on for the library and fix
the issues.

  * signed/unsigned comparison
  * Missing function prototype
  * constify lms_plugin_info
  * Missing struct initializers (actually remove all of them)
  * Fix LMS_STATIC_STRING_SIZE to cast to char* since lms_string_size is
    declared with 'char *str' and we can't really change it (otherwise
    in other places it would not be able to change the
    string in place

Warnings like this in mp4 plugin is not fixed:
mp4/mp4.c:120:5: warning: implicit declaration of function
'MP4GetMetadataName' [-Wimplicit-function-declaration]
     MP4GetMetadataName(mp4_fh, &info.title.str);

This happens because MP4v2 lib deprecated the use of these functions in
favor to another MP4Tags*() API. Let this warning as is so we remember
to change this code.

gitignore: Add cscope.{out,files}

build: Unrecurse plugins' build

Make build warnings-aware

Enable common warnings by default for the library. In order to enable it
for plugins it's better to first convert the build-sys to make it not
recursive.

plugins/id3: Add new fields

Add codec, sampling rate and channels. Container is left empty on
purpose since .mp3 and .aac files are not inside a container per se. We
may want to split the _codecs table later and put the first part as the
container.

We also have basic support for AAC file in a MPEG 4 file, since it's
almost the same of an MPEG2 one.

We only parse audio parameter fields for the ones with ADTS header.
Adding support for ADIF shall be trivial in the future. The current code
find the ID3v2 tag is actually doing more than it needed. The only case
in which the ID3 tag would not be in the start of the file is if there
was an ADIF tag first. But then the header has a fixed size and we
shouldn't need to use a ring buffer of 3 chars. When adding support to
ADIF we may want to kill useless code.

Regarding the supported codecs, we support all the
mpeg{1,2,2.5,3}layer{1,2,3} values. For AAC there's MAIN, LC, SSR and
LTP. Both for MPEG 2 and 4.

plugins/id3: use designated initializers

It's a pain to add more fields to structs that initialized their fields
like this.

audio: use inttypes.h and reorder fields

We don't have versioning in plugins' structs, so plugins must be
updated.

audio: use a macro to bind values

When adding new fields it's too easy to mistakenly call a
lms_db_bind_*() function and forget to update the column which were are
binding to.

audio: Allow plugins to update new fields

We don't have versioning in plugins' structs, so plugins must be
updated.

audio: Add new fields in its table

Set update_id when checking files

Set update_id when processing files

Pass the entire pinfo to the slave

The worker process already needs 2 fields that comes from pinfo when the
process is forked. There's no reason lms_create_slave() and
lms_restart_slave() should keep the rest of the information private.
Since the worker process will require the update_id that also comes from
this struct, pass the entire struct.

Add helper method to update the global update_id

update_id is saved in lms_internal, but it's not a table versioning like
other entries.