plugins/id3: Fix id3v2 not skipping CRC if present

If there's a CRC field after the extended header, we need to skip it,
too. The worst thing that could happen here is the CRC containing a sync
byte and having no other frames in the ID3v2. In this case our parser
would not find correct mp3 information.

plugins/id3: Fix id3v2 header size calculation

_parse_id3v2() was not getting the size of the frame correctly. Since
the number uses at most 7 bits, we can't use _to_uint() function. For
example, 0x00000201 should be translated as 257, not 513.

We were also relying on _parse_id3v2() letting the fd in the right
position to look for the sync byte. However if this function read too
little and ave up parsing we were left in the middle of some ID3 frame.
Also, if there are other mistakes in the tag, we could end up reading
too much and losing the first sync byte.

Be safe and skip the amount of bytes as written into the ID3 header (or
skip just the ID3 tag if _parse_id3v2() fails badly).

We also skip the extended header if it exists and rename the
syncframe_offset to sync_offset everywhere.

Reference: Section 3.1 of ID3v2 tag specification
(http://id3.org/id3v2.3.0)

plugins/id3: Add references and fix typo

plugins/ogg: Add support for theora videos

This adds support for theora videos, with all the fields being filled
in, possibly with several streams.

For now we link to libtheoradec to do this. However it seems a little
bit overkill linking to libvorbis and libtheora. There can also be other
codecs inside ogg, which we don't currently support.

It would be good (but a little more difficult) to stop using them and
parse the file by ourselves. In this scenario the use of libogg would
remain so we get page/packet separation while doing the codec part.

plugins/ogg: Refactor to conquer

  * Add reference links
  * Parse all streams in a file - we only consider the first one
    regarding audio files, but this paves the way to support video
    (which has never been supported in ogg plugin)
  * Split the file parsing into pages/packets/codec-data. This makes it
    easier to support theora (needed for video) and also for removing
    libvorbis if it's desired in the future
  * Be safer regarding packets crossing page boundaries
  * Be safer regarding EOF in the middle of parsing

TODO: Update with pread/preadv/readv

plugins/asf: Parse extended stream properties

Parsing the Extended Stream Properties Object we can get the framerate
and bitrate of each stream. Also, since ASF allows the "Stream
Properties Object" to be embedded inside the extension with this code
we make sure we are getting all the streams that are possible in a ASF
file.

util: Add functions to do 64 bits endiannes conversion

plugins/asf: Fix header_extension_guid

plugins/asf: Add length for videos

shared: Add constants for time conversions

plugins/asf: Refactor to conquer

  * Move fields inside asf_info: streams, length, type. They are fields
    important both to audio and video files

  * Pass asf_info around to frame parsers: we only decide if it's audio
    or video later, when all important frames are already parsed

  * Try not to reach 80 cols in some places

  * Move code to free streams to its own function

  * Remove useless #if 0 code

  * Check if we parsed any stream. Would be a violation of the format if
    info.streams was NULL in the end, but at least we don't crash

plugins/asf: Add TODO

plugins/asf: add aspect ratio

util: add function to calculate aspect ratio

To calculate the aspect ratio what we need to do is to calculate the gcd
of width and height, dividing by it. We use the simple Euclidean
algorithm. Besides of being simple it's pretty fast.

plugins/asf: add codec, width and height

plugins/asf: add all streams on video

We use the heuristic that a file is of audio type if it contains only
audio streams, otherwise it's considered as video. However now we add
all the audio/video streams to the database. It suffices to just set the
streams pointer since we are already allocating/freeing as we should.

plugins/asf: add audio prefix to symbols

plugins/rm: use common type for stream

plugins/mp4: use common type for stream

plugins/asf: use common types for streams

plugins/asf: Add reference link

Add video substreams if available

db: Create tables for each video substream

test: Fix leaking stmt

Let's call sqlite3_finalize() on stmt so resources are freed and we
don't leak it:

==11116== 107,752 (856 direct, 106,896 indirect) bytes in 1 blocks are definitely lost in loss record 84 of 84
==11116==    at 0x4C2757B: malloc (in /usr/lib/valgrind/vgpreload_memcheck-amd64-linux.so)
==11116==    by 0x5076816: ??? (in /usr/lib/libsqlite3.so.0.8.6)
==11116==    by 0x5052889: ??? (in /usr/lib/libsqlite3.so.0.8.6)
==11116==    by 0x505A6C7: ??? (in /usr/lib/libsqlite3.so.0.8.6)
==11116==    by 0x505A6EC: ??? (in /usr/lib/libsqlite3.so.0.8.6)
==11116==    by 0x50D27F0: ??? (in /usr/lib/libsqlite3.so.0.8.6)
==11116==    by 0x401F22: show (test.c:377)
==11116==    by 0x401913: main (test.c:481)

build: Enable warning flags for bin/

plugins/rm: Add reference link

Get rid of [BL]E_[24]BYTE macros

Use either libc functions from endian.h (when we have the value instead
of a position in buffer) or common provided functions in util.h

plugins: Use shared function to add fallback name

shared: Add function to extract fallback name from path

plugins/wave: Add metadata fields

Parse title, artist, album and genre from INFO chunk.

plugins/wave: Add channels, bitrate, sampling rate, container

Add util header

For now, endiannes conversions and getter for unaligned memory.

build: define extension macros in config.h

Instead of defining _GNU_SOURCE and friends in each source file (and
potentially forgetting in some), tell the build system we use
extensions and let it define them in config.h.

build: Get rid of #ifdef HAVE_CONFIG_H

plugins: Add empty wave plugin

This is just like the audio-dummy, which will serve as a skeleton for
the implementation of the wave plugin

plugins/rm: Use mime type to decide if it's audio

plugins/rm: Parse MDPR header and its subheaders

Interesting fields: sampling rate, codec, channels

utils: Add cast to string size initializer

plugins/rm: Parse PROP header

This header contains the following interesting fields: duration and
avg_bit_rate.

plugins/rm: Simplify loop, searching for CONT header

Call _read_header_type_and_size() in only one place and make
_parse_cont_header() return the number of bytes read, so we can seek to
the right place later.

TODO: Add entry about buffered, unbuffered, mmap for plugins

plugins/ogg: Add support to new fields

New fields are supported for ogg vorbis:
* container: Always the same: ogg
* codec: Although ogg may contain streams encoded by other
  codecs we never supported them. They will fail to parse when
  we try to create the vorbis structs. Therefore for now this is
  statically set to "vorbis"
* bitrate, sampling rate, channels: As extracted from the
  vorbis header

plugins/ogg: Fix leaking comment on error path

We need to call vorbis_comment_clear() on error path.

Do not use {0} struct initializers

Change code all over the tree with the following command, and fix up the
one false positive:

git ls-files | while read f; do sed -i 's/ = { *0.*}/ = { }/g' $f; done

Get rid of "if (bla) free(bla);"

Patch generated with the following coccinelle semantic patch:

@r@
expression E;
@@

- if (E)
- free(E);
+ free(E);

plugins/asf: Add codec support

ASF as other containers may contain streams encoded in several other
codecs. Maybe we should have a global list/hash-table with all the
possible { ID: name }? Meanwhile, put the more important codecs there
for this specific format.

plugins/asf: Add channels, bitrate, sampling_rate

plugins/asf: Fix overriding type - parse multiple streams

ASF files may contain more than one stream, with more than one type.
Previously if there was a video stream after an audio stream, we would
overwrite the type.

Prepare to support multiple streams and parse all of them. If there's
any video stream, register it. Otherwise, take the first stream.

plugins/asf: Add container

And change a littler bit the coding style:
 * else on the same line as the previous "}"
 * no need to to "if (bla) free bla;"

plugins/asf: No need to overly complicate skipping attributes

We have no interest in the extension header. Skip it entirely instead of
parsing field by field and skipping them individually.

plugins/asf: Add length field

plugins/flac: Add new fields

New fields: length, bitrate, codec, container, sampling_rate, channels.

Bitrate may be a little bit higher than the actual bitrate since we
calculate it as (filesize * 8)/length. I.e. header/coverart are also
accounted.

We could start using the lower level decoder APIs of libflac, so we
don't have to open the file twice to parse metadata + streaminfo.
However benchmarks show it's not that relevant performance-wise.

plugins/id3: we parse adts files as well

.adts files are the same as .aac, but usually without ID3.

plugins: Turn on warnings

Turn on the same compiler warnings that were on for the library and fix
the issues.

  * signed/unsigned comparison
  * Missing function prototype
  * constify lms_plugin_info
  * Missing struct initializers (actually remove all of them)
  * Fix LMS_STATIC_STRING_SIZE to cast to char* since lms_string_size is
    declared with 'char *str' and we can't really change it (otherwise
    in other places it would not be able to change the
    string in place

Warnings like this in mp4 plugin is not fixed:
mp4/mp4.c:120:5: warning: implicit declaration of function
'MP4GetMetadataName' [-Wimplicit-function-declaration]
     MP4GetMetadataName(mp4_fh, &info.title.str);

This happens because MP4v2 lib deprecated the use of these functions in
favor to another MP4Tags*() API. Let this warning as is so we remember
to change this code.

gitignore: Add cscope.{out,files}

build: Unrecurse plugins' build

Make build warnings-aware

Enable common warnings by default for the library. In order to enable it
for plugins it's better to first convert the build-sys to make it not
recursive.

plugins/id3: Add new fields

Add codec, sampling rate and channels. Container is left empty on
purpose since .mp3 and .aac files are not inside a container per se. We
may want to split the _codecs table later and put the first part as the
container.

We also have basic support for AAC file in a MPEG 4 file, since it's
almost the same of an MPEG2 one.

We only parse audio parameter fields for the ones with ADTS header.
Adding support for ADIF shall be trivial in the future. The current code
find the ID3v2 tag is actually doing more than it needed. The only case
in which the ID3 tag would not be in the start of the file is if there
was an ADIF tag first. But then the header has a fixed size and we
shouldn't need to use a ring buffer of 3 chars. When adding support to
ADIF we may want to kill useless code.

Regarding the supported codecs, we support all the
mpeg{1,2,2.5,3}layer{1,2,3} values. For AAC there's MAIN, LC, SSR and
LTP. Both for MPEG 2 and 4.

plugins/id3: use designated initializers

It's a pain to add more fields to structs that initialized their fields
like this.

audio: use inttypes.h and reorder fields

We don't have versioning in plugins' structs, so plugins must be
updated.

audio: use a macro to bind values

When adding new fields it's too easy to mistakenly call a
lms_db_bind_*() function and forget to update the column which were are
binding to.

audio: Allow plugins to update new fields

We don't have versioning in plugins' structs, so plugins must be
updated.

audio: Add new fields in its table

Set update_id when checking files

Set update_id when processing files

Pass the entire pinfo to the slave

The worker process already needs 2 fields that comes from pinfo when the
process is forked. There's no reason lms_create_slave() and
lms_restart_slave() should keep the rest of the information private.
Since the worker process will require the update_id that also comes from
this struct, pass the entire struct.

Add helper method to update the global update_id

update_id is saved in lms_internal, but it's not a table versioning like
other entries.

Allow to set update_id field in files table

Add update_id to files table

Fix treating up-to-date files as processed

If the file didn't change its mtime and size we shouldn't treat it
otherwise. Previously we would:

  1) Call the callback with reply==PROCESSED
  2) Increment the number of commits to the database. This could
     end with situations like: "BEGIN TRANSACTION; COMMIT;", without
     any operation if no file changed at all.

Fix using wrong stmt size column

_update_finfo_from_stmt() was using the wrong size column as the
information about file size. This makes lms_check* always considering
the file as changed, since the size will try to match with the wrong
column.

build: Hide plugins symbols by default

Only export the symbols that are meant to be exported with the proper
use of API

build: Avoid building and installing static plugin

There's no need to build and install a static plugin. So, disable it
(only for plugins).

build: modernize build

  - Use subdir-objects
  - Don't keep INSTALL file on tree. It's a pain that it's updated
    everytime we build the source
  - ChangeLog is more like a NEWS file. ChangeLog can be retrieved from
    git
  - Don't dist autogen.sh since it's intended for devs

release 0.4.5 with mp4v2 2.0 api support.

mp4: support 2.0 mp4v2 API changes.

The function signature changed:
 * MP4Read(path, flag) -> MP4Read(path)
 * MP4Close(handle) -> MP4Close(handle, flags)

Then detect this and add a new define to choose how to use functions.

release 0.4.4 with minor build improvements.

INSTALL: update autofoo provided install instructions file.

Ignore generated files.

improve autofoo handling of m4 and generation.

Use recommended macro in configure.ac and Makefile.am to define "m4/"
as our storage for macro files.

Use autoreconf instead of manually running all the commands on our
own.

ship config.rpath to shut up newer automake.

AM_ICONV requires config.rpath that is provided by gettext stuff, but
we don't use gettext/autopoint so it's not created. However seems
newer automake will complain about this missing file.

I'm not happy to copy this non-sense script into repository, but let's
go the easy route.

use AM_ICONV to allow external libiconv to be used.

Update my copyright and lgpl to 2.1

Fixed AM_CONDITIONAL(USE_TREMOR) if OGG was not in use.

0.4.2 release with RPM spec inside.

ignore generated RPM spec file.

Add RPM spec so rpm-build works

Signed-off-by: Rui Miguel Silva Seabra <rms@1407.org>

New release with mp4v2.h fixes.

Support mp4v2.h as well.

mp4v2 does not ship with mp4.h anymore, so let's detect that.

detect color in more $TERM (urxvt and screen)

Release 0.4

Mention rakuco's contributions

Mention jprvita's contributions

Update etrunko's email on authors file

Fix double call of lms_parsers_finish()

If an error ocurred in _db_and_parsers_setup() called from the single
process version of lms_process, lms_parsers_finish() was called twice,
leading to a double free.

Change the dummy plugin not to write a log file.

Fix lms_parser_del().

When memmove'ing the parsers array, the pointer to the array was being
overwritten with the destination of the memmove.

Fix by Rafael Antognolli <antognolli@profusion.mobi>.

Adds insert time (itime) field to table files.

This field represents the time each file was inserted in the database.
It's updated on INSERT statements and also when dtime is set to zero
(representing a re-insertion of a file with the same path).
It does not cover the case where a path is overwritten by a different
file without prior deletion. In this case the itime remains the time
of the insertion of the first file.

Fix binding in lms_db_set_file_dtime().

The id value was being binded to the statement with index one, which
is the index of the dtime field in the statement.