Move main binary and daemon to main package (TIVI-2209)

Change-Id: If11d2ba74dfe0155f0430e985bc6fd9f79885b2b
Signed-off-by: Geoffroy Van Cutsem <geoffroy.vancutsem@intel.com>

upstream rebase

Change-Id: I4e36c23f54b4025e7871a28c01c9ae175a609a20

upstream rebase

Change-Id: Ib9a32d53d77d7302f23b7aab4e049b42a047c697

packaging: added theora dep

So we can build the ogg plugin.

Change-Id: Idd59d26c5a7293d9c8334cda36e189fcc8839589

update packaging

Change-Id: I62c9ea11b23080ef1cd89f3095c30ed323807ea8

packaging: update spec and upstream rebased

Dependencies added:
 - glib-2.0
 - libavcodec (enables generic parser)
 - libavformat (enables generic parser)

Install service files and update the upstream URL.

Change-Id: Ic1a38ae113d6e95003669f470f8684cbb2a57ea0

Update .changes

Signed-off-by: Mikko Ylinen <mikko.ylinen@intel.com>

Install test binaries. Fixes TIVI-1428

Signed-off-by: Mikko Ylinen <mikko.ylinen@intel.com>

Fix rpmlint errors

Signed-off-by: Mikko Ylinen <mikko.ylinen@intel.com>

Update .changes

Signed-off-by: Mikko Ylinen <mikko.ylinen@intel.com>

Remove .spec from .gitignore

Signed-off-by: Mikko Ylinen <mikko.ylinen@intel.com>

Add Tizen packaging

Signed-off-by: Mikko Ylinen <mikko.ylinen@intel.com>

daemon: warning and behave properly if no xdg-user-dirs setup.

libav: compatibility issues between libav and ffmpeg

For compatibility issues we must try to get channels using the
codec->channels field if it's 0 we try using the function
av_get_channel_layout_cb_channels().

dlna: fix audio sentinel check

Record if the file was already parsed, ignore them in the generic.

Generic parser is more like a fallback, then if the file was already
parsed by some other parser it should ignore that entry.

generic: minimal libav adjustments

Since libav doesn't implement the avcodec_get_name() util function we
need to implement the AVCodecDescriptor handling in our side.

Libav will also need the AV_OPT_SEARCH_FAKE_OBJ flag to retrieve the
ts_packetsize.

generic: remove the dlna stuff and add codec container handlers

This patch removes the dlna stuffs from generic plugin and for backward
compatibility we have introduce some container and codec handlers so we
can result in the same identifiers as the other plugins, if a handler
is not found we go with what we can extract from the file using the
libavformat api.

The mp4 codec implementation lacks on some profiles/levels parsing by
no a smaller subset - not a minimal, but a smaller subset.

wave: remove the dlna stuffs from plugin

png: remove all the dlna stuff

Remove all the dlna sutff and likewise the jpeg plugin we set the
container field so we can know - in the dlna layer - the rules to
apply.

mp4: remove all the dlna stuff from plugin

jpeg: remove all the dlna stuff

Remove all the dlna stuff and make use of the container field so
we can know the rules to apply.

id3: remove all the dlna stuff from plugin

asf: remove all the dlna stuff from plugin

db layer: call the lms_dlna_* functions

Call the lms_dlna_* functions to properly set the dlna_profile and dlna_mime
fields. The plugins can still set/define their own dlna_mime and dlna_profile,
if so, we're not going to overwrite it and the plugin's will have priority.

dlna: introduce a dlna lower layer

A small change on how the dlna profile and mime are defined, now LMS
knows about the rules and aplies it wherever possible.

In the next patches we make use of it.

image/video db: new fields added

New fields were introduced, they should go through the lower layers
to be used on dlna source code, they are:

    + image:
        container: a string carrying the container information, used
 to determine which dlna set of rules should be applied.
    + video:
        packet_size: without the packet_size we can not apply the
meg1/2 rules.

configure: use pkg check instead of headers

Use pkg check for vorbis/tremor instead of headers and libs.

daemon monitors mounts and triggers scans.

prepare for next release, for now bumped version to 0.4.5.99

Still need to define if it will be a 1.0 or 0.5 release.

change project url to github.

Garage.maemo is no more for a while, now we'll have everything in github.

generic: implemente a generic parser plugin

A generic parser plugin based on libavcoded, initially supporting
mpeg1, mpeg2 and mp3.

plugin: implement parser sorting

Sort the parsers based on its defined order field. The smaller "ordered"
plugin will atempt to parse first.

mp4: implement dlna profile and mime computation

build: Disable static library by default

Static library isn't enabled by default anymore. It can be enabled back
by passing --enable-static.

document daemon in the readme.

lightmediascannerctl: start daemon if not running.

While the service would be activated if we did call some method we are
checking for the current nameowner to do some operations (status, etc)
and it would exit if there was no server at that time.

Now we launch the service and make sure it's there.

Fix warnings on 64 bits

Use the glib-provided macros to print 64 bit values.

lightmediascannerd.c:212:9: warning: format ‘%lld’ expects argument of type ‘long long int’, but argument 4 has type ‘gint64’ [-Wformat=]
         g_warning("Couldn't bind delete old dtime '%lld'from %s: %s",

lightmediascannerctl.c:280:16: warning: format ‘%llu’ expects argument
of type ‘long long unsigned int’, but argument 4 has type ‘guint64’
[-Wformat=]
                category, path, uptodate, processed, deleted, skipped,
errors);

daemon/ctl: introduce ScanProgress signal.

The ScanProgress signal will notify what the daemon is doing so
clients can provide better status to the user and look responsive,
giving a clue of what is happening and not just a spinning wheel that
may look like something is stuck if media/system is slow enough.

ctl: fix g_variant leak.

process: properly report status for dual-process mode.

we should report the status we got in "reply", such as processed,
uptodate, skipped... not the return of _master_recv_reply() that is 1
during timeout or 0 on success (everything was being reported as 0
(LMS_PROGRESS_STATUS_UP_TO_DATE).

process: do not change update_id on skipped files.

if we skipped a file it doesn't go to DB and thus we shouldn't mess
with counter and thus update_id. It is the same case as the file was
up to date.

daemon: remove from db files with dtime older than a given date.

LightMediaScanner will not delete the database entries for files that
are gone, instead it will mark the 'dtime' column with current
timestamp. This allows fast restore of files from a removable media,
but can grow the database too much if these are never purged from time
to time.

This commit introduces --delete-older-than=DAYS (-d=DAYS) that will
always purge entries older than the given number of days, or negative
value to disable this behavior.

daemon: export read-only property DataBasePath.

This is useful for users to know where is the database instead of
negotiating this in another way (like configuration files of both
lightmediascannerd and clients).

minor: remove left over "#undef STR_FIELD_FROM_TAG"

flac: fix wrong prefix length

Fix copy and paste from other items.

utils refactor.

move parser specific stuff from src/lib/shared/util.h to
src/plugin/shared/util.h, still not to be installed and without "lms_"
prefix.

the aspect_ratio calculation was moved into lightmediascanner_util.h
and lightmediascanner_db.h to be simpler to use.

extract name from path is also too common, now in
lightmediascanner_util.h as lms_name_from_path().

introduce and use helpers lms_string_size_strndup() and lms_string_size_dup()

asf: register new fields (container, sampling_rate)

mp4: fix audio codec lookup, add video codec and extra information.

 * audio codec needed an spare NULL position before _codec_audio_mpeg4_tssi;
 * audio codec must lookup type if different from MP4_MPEG4_AUDIO_TYPE;
 * register stream language;
 * register audio stream sampling_rate;
 * register video stream framerate if it matches a known value;
 * register video stream bitrate;
 * register video stream codec;
 * register container as "mp4";
 * added authors.

mp4: remove support for deprecated library.

the new 2.0 api is already old enough, remove support for the previous
deprecated.

id3: fix extra linking with mp4v2.

copy & paste bug :-(

ogg: register new fields (container, sampling_rate)

ogg: add ".oga" extension.

video: add missing fields (container, sampling_rate)

We must remember the video file container and the audio stream sampling_rate.

plugins/mp4: Add audio codec

plugins/mp4: Add tracks information

plugins/mp4: convert to mp4v2 2.0 API

id3: fix bitrate to be multiple of 1000.

wave: provide dlna information.

asf: : provide dlna information for wma.

id3: provide dlna information.

png: provide dlna information.

jpeg: provide dlna information.

add dlna fields to video table.

Add new fields dlna_profile and dlna_mime to provide simple
information for applications that use it.

asf: better bitrate for variable bit rate.

The spec says the following:

 Alternate Data Bitrate:

    Specifies the leak rate RAlt, in bits per second, of a leaky
    bucket that contains the data portion of the stream without
    overflowing, excluding all ASF Data Packet overhead. The size of
    the leaky bucket is specified by the value of the Alternate Buffer
    Size field. This value is relevant in most scenarios where the bit
    rate is not exactly constant, but it is especially useful for
    streams that have highly variable bit rates. This field can
    optionally be set to the same value as the Data Bitrate field.

 Alternate Buffer Size:

    Specifies the size BAlt, in milliseconds, of the leaky bucket used
    in the Alternate Data Bitrate definition. This value is relevant
    in most scenarios where the bit rate is not exactly constant, but
    it is especially useful for streams that have highly variable bit
    rates. This field can optionally be set to the same value as the
    Buffer Size field.

 Alternate Initial Buffer Fullness:

    Specifies the initial fullness, in milliseconds, of the leaky
    bucket used in the Alternate Data Bitrate definition. This is the
    fullness of the buffer at the instant before the first bit in the
    stream is dumped into the bucket. Typically, this value is set to
    0. This value shall not exceed the value of the Alternate Buffer
    Size field.

db_audio: add dlna_mime column.

this column pairs with dlna_profile.

add dlna fields to image table.

Add new fields dlna_profile and dlna_mime to provide simple
information for applications that use it.

add lightmediascannerd and lightmediascannerctl

The daemon and control client are provided as a way to make usage of
lightmediascanner easier in a platform. It will scan directories based
on the startup configuration of categories, their parsers and
directories.

One can request a write lock, avoiding the server to scan and also
report to others that they should not write to DB.

Scanning status, Write Lock and global Update ID are provided as
properties.

The scan method will take a dict of categories and their respective
scan paths. This allows to reduce the scan scope to just few
categories and paths. The categories must exist previously and paths
must be inside the previously known categories directories, this
avoids people doing mistakes. If a category is provided as an empty
list, all directories will be used. If there are no categories
provided, then all categories with all directories will be used.

allow scanning a single file instead of a directory.

The previous code assumed we always scan a directory, this is
cumbersome if we know just one file changed and want to scan only that
instance and not the whole dir recursively.

It is now allowed to check a non-existent directory or file, this will
mark any existing entry as deleted in the database.

plugins/id3: Add loop on frames to estimate bitrate

Estimate the bitrate and length when there's no additional header we
can rely on to get these numbers. This is done by parsing the initial
frames of the file.

This has an impact on performance, since now we are parsing much more
than before. There's a define N_FRAMES_BITRATE_ESTIMATE and
N_FRAMES_CBR_ESTIMATE that need to be tuned in order to obtain the best
compromise between performance and accuracy.

plugins/id3: parse VBR headers

Parse VBR headers: Xing and VBRI. We use the number of frames and stream
size we find in these headers in order to calculate length and bitrate.

We also parse the "Info" header, which is the same as "Xing", but in
this case we assume the file has constant bitrate.

Now the only case in which bitrate is wrong is when the file is VBR but
it has no headers to indicate so.

plugins/id3: Add bitrate and length for CBR files

plugins/id3: Fix id3v2 not skipping CRC if present

If there's a CRC field after the extended header, we need to skip it,
too. The worst thing that could happen here is the CRC containing a sync
byte and having no other frames in the ID3v2. In this case our parser
would not find correct mp3 information.

plugins/id3: Fix id3v2 header size calculation

_parse_id3v2() was not getting the size of the frame correctly. Since
the number uses at most 7 bits, we can't use _to_uint() function. For
example, 0x00000201 should be translated as 257, not 513.

We were also relying on _parse_id3v2() letting the fd in the right
position to look for the sync byte. However if this function read too
little and ave up parsing we were left in the middle of some ID3 frame.
Also, if there are other mistakes in the tag, we could end up reading
too much and losing the first sync byte.

Be safe and skip the amount of bytes as written into the ID3 header (or
skip just the ID3 tag if _parse_id3v2() fails badly).

We also skip the extended header if it exists and rename the
syncframe_offset to sync_offset everywhere.

Reference: Section 3.1 of ID3v2 tag specification
(http://id3.org/id3v2.3.0)

plugins/id3: Add references and fix typo

plugins/ogg: Add support for theora videos

This adds support for theora videos, with all the fields being filled
in, possibly with several streams.

For now we link to libtheoradec to do this. However it seems a little
bit overkill linking to libvorbis and libtheora. There can also be other
codecs inside ogg, which we don't currently support.

It would be good (but a little more difficult) to stop using them and
parse the file by ourselves. In this scenario the use of libogg would
remain so we get page/packet separation while doing the codec part.

plugins/ogg: Refactor to conquer

  * Add reference links
  * Parse all streams in a file - we only consider the first one
    regarding audio files, but this paves the way to support video
    (which has never been supported in ogg plugin)
  * Split the file parsing into pages/packets/codec-data. This makes it
    easier to support theora (needed for video) and also for removing
    libvorbis if it's desired in the future
  * Be safer regarding packets crossing page boundaries
  * Be safer regarding EOF in the middle of parsing

TODO: Update with pread/preadv/readv

plugins/asf: Parse extended stream properties

Parsing the Extended Stream Properties Object we can get the framerate
and bitrate of each stream. Also, since ASF allows the "Stream
Properties Object" to be embedded inside the extension with this code
we make sure we are getting all the streams that are possible in a ASF
file.

util: Add functions to do 64 bits endiannes conversion

plugins/asf: Fix header_extension_guid

plugins/asf: Add length for videos

shared: Add constants for time conversions

plugins/asf: Refactor to conquer

  * Move fields inside asf_info: streams, length, type. They are fields
    important both to audio and video files

  * Pass asf_info around to frame parsers: we only decide if it's audio
    or video later, when all important frames are already parsed

  * Try not to reach 80 cols in some places

  * Move code to free streams to its own function

  * Remove useless #if 0 code

  * Check if we parsed any stream. Would be a violation of the format if
    info.streams was NULL in the end, but at least we don't crash

plugins/asf: Add TODO

plugins/asf: add aspect ratio

util: add function to calculate aspect ratio

To calculate the aspect ratio what we need to do is to calculate the gcd
of width and height, dividing by it. We use the simple Euclidean
algorithm. Besides of being simple it's pretty fast.

plugins/asf: add codec, width and height

plugins/asf: add all streams on video

We use the heuristic that a file is of audio type if it contains only
audio streams, otherwise it's considered as video. However now we add
all the audio/video streams to the database. It suffices to just set the
streams pointer since we are already allocating/freeing as we should.

plugins/asf: add audio prefix to symbols

plugins/rm: use common type for stream

plugins/mp4: use common type for stream

plugins/asf: use common types for streams

plugins/asf: Add reference link

Add video substreams if available

db: Create tables for each video substream

test: Fix leaking stmt

Let's call sqlite3_finalize() on stmt so resources are freed and we
don't leak it:

==11116== 107,752 (856 direct, 106,896 indirect) bytes in 1 blocks are definitely lost in loss record 84 of 84
==11116==    at 0x4C2757B: malloc (in /usr/lib/valgrind/vgpreload_memcheck-amd64-linux.so)
==11116==    by 0x5076816: ??? (in /usr/lib/libsqlite3.so.0.8.6)
==11116==    by 0x5052889: ??? (in /usr/lib/libsqlite3.so.0.8.6)
==11116==    by 0x505A6C7: ??? (in /usr/lib/libsqlite3.so.0.8.6)
==11116==    by 0x505A6EC: ??? (in /usr/lib/libsqlite3.so.0.8.6)
==11116==    by 0x50D27F0: ??? (in /usr/lib/libsqlite3.so.0.8.6)
==11116==    by 0x401F22: show (test.c:377)
==11116==    by 0x401913: main (test.c:481)

build: Enable warning flags for bin/

plugins/rm: Add reference link