dashdemux: fix typo in check_queue_full function

It should return True when the queue IS full

Fixes #704226

mpegtsdemux: Remember seek sequence number

* Avoids handling twice the same seek (can happen with playbin and files
  with subtitles)
* Set the sequence number of the segment event to the sequence number of
  the seek event that generated it (-1 for the initial one).

tsdemux: implement seeking in push mode

tsdemux: recalculate new segment after byte seek

The seeking start time is approximated from the seek offset in bytes
using the accumulated PCR observations, so on a VBR stream there might
be a big difference between the actual PCR and the estimated one after
the seek. This might result in a long wait to skip all out of segments
packets.

Instead we just recalculate the new segment to start at the first PTS
after the seek, so that playback starts immediatly.

Update docs and win32 config.h to development version

docs: add newly-ported elements to docs

mpegvideoparse: Use sequence_display_extension values to update the src caps

The caps should always represent what the user is supposed to see.
So if there is a sequence_display_extension associated with the
stream then use the display_horizontal_size/display_vertical_size
to update the src caps (if they are less than the values provided
by sequence header).

https://bugzilla.gnome.org/show_bug.cgi?id=704009

Release 1.1.2

Oops... should've been part of 1.1.2 tag already :(

Back to development

Update .po files

mpegpsmux: Send stream-start event before any data

mpegtsdemux: Avoid parsing section without enough data

This is actually a workaround (we'll be skipping the upcoming section)

This will only happen for sections where the beginning is located within
the last 8 bytes of a packet (which is the minimum we need to properly
identify any section beginning).

Later we should figure out a way to store those bytes and mark that
some analysis needs to happen. The probability of this happening is
too low for me to care right now and do that fix. There is a good chance
that section will eventually be repeated and won't end up on such border.

examples: Add BAT support to mpegts example

mpegts: Unify section checks and add BAT parsing

* Avoid repeating code everywhere, and instead provide all parsing
  information in one go.
* Add BAT support
* Refine BAT/CAT identification (by adding PID checks)

mpegtsdemux: Avoid vmethod calls

Depending on usage, tsparse and tsdemux might not need to be called
when new section/pes-data is available.

mpegtsdemux: Remove unneeded variables

* packet.origts is no longer used since the PCR refactoring done ages ago
* known_packet_size is a duplicate of packet_size != 0
* caps was never used outside of the packetizer

h264parser: fix size caps to report cropped dimensions.

Restore the original h264parser behaviour to report cropped dimensions
in size caps.

https://bugzilla.gnome.org/show_bug.cgi?id=694068

Signed-off-by: Gwenole Beauchesne <gwenole.beauchesne@intel.com>

codecparsers: h264: fix calculation of the frame cropping rectangle.

Fix calculation of the frame cropping rectangle, and more precisely
the actual cropped height. The frame_crop_top_offset subtraction
was not scaled up with SubHeightC.

Also clean-up variables to align more with (7-18) to (7-21).

Signed-off-by: Gwenole Beauchesne <gwenole.beauchesne@intel.com>

h264parser: Parse the cropping-rectangle separately.

Assign the un-cropped width/height to sps->width/sps->height
during sps header parsing. Added new fields to SPS header structure
to provide the crop-rectangle dimensions.

https://bugzilla.gnome.org/show_bug.cgi?id=694068

dashdemux: implement queue full check function

Checks if the queue is full according to max buffering time
set by the user

https://bugzilla.gnome.org/show_bug.cgi?id=701404

dashdemux: minor refactor

Split one very large function into 2 smaller but still large functions.

Also change the if conditions to positive checks to improve readability.

dashdemux: handle live playback resync

During a live stream it is possible for dashdemux to lag behind on a
slow connection or to rush ahead of the connection os too fast.

For the first case it is necessary to jump some segments ahead to be able to
continue playback as old segments are usually deleted from the server.

For the later, dashdemux should wait a little before attempting another
download do give time to the server to produce a new segment

dashdemux: fix template based segment generation

When using a template based segment list, do not try to
contruct a finite segment list for the limits of the available periods.

We might not know when the period ends (for live streams) and we can
always create the segment on demand when requested by dashdemux,
avoiding use of some memory and cpu when re-creating this list.

dashdemux: use more appropriate data structures for parsing

Replaces the 2 likely larger lists with more appropriate structures
to improve performance.

Replaces S nodes GList for a GQueue, this reduces latency to startup
because of traversing the list just append an element.

Replaces the processed media segments GList for a GPtrArray as it is
constantly acessed by index during playback.

dashdemux: answer to latency queries

Set live if stream is live and also add to the max latency the
max internal buffering

uridownloader: fix crash when download is null

Do no try to unref a NULL download attribute

uridownloader: do not set cancelled unless explicitly called by user

Cancelled is a 'permanent' state of the uridownloader and is only
removed by a call to _reset. When a download fails we just want to
return NULL on the fetch function and leave the downloader ready
for another fetch, otherwise the user has to call _reset after
failed downloader, even when it didn't call _cancel.

mpegts: Avoid false-positives in section type detection

Due to the variety of section types out there, we need to add
some checks when identifying section types.

We check here that the PID is also consistent with the table_id.

mpegtsdemux: Fix multiple-SI detection/parsing

We had two issues with the previous code:
1) We were badly handling PUSI-flagged packets. We were discarding the
   initial data (if pointer != 0) whereas we should have been accumulating
   it with the previous data (if there was a continuity of course).
   => First series of information loss
2) We were not checking whether there were more sections after the end
   of one (i.e. when the following byte was not a stuff byte).

This fixes those two issues.

Fixes #677443

https://bugzilla.gnome.org/show_bug.cgi?id=677443

mpegtbase: Fix switch/case typo

Ended up trying to analyze PMT ... with a PAT :(

mpegtsdemux: Handle private section streams

Until now we simply ignored those streams (since we couldn't do anything
with it anyway). Now that we have the mpegts library and we offload the
section handling to the application side we can properly identify and
extract them.

By default it is disabled for tsparse and enabled for tsdemux, but there is
a property to change that.

This should open the way to properly handle all private section streams,
including:
* DSM-CC
* MHEG
* Carousel data
* Metadata streams (though I haven't seen any of those in the wild)
* ... And all other specs/protocols making use of those

Partially fixes #560631

mpegts: Properly handle UTC time in sections

* don't unref inexistant GstDateTime
* Fine-tune hour/min/sec BCD reading code
* Update example code accordingly

examples: Registration descriptor support

And output the length of the descriptors

mpegts: Fix NIT parsing

The size checks were wrong. The smallest size for a NIT is 16 bytes
(12 for the smallest content + 4 for crc) and the smallest size for
a inner stream loop is 6 bytes (without any descriptors).

Also remove FIXME that has already moved elsewhere

mpegtsdemux: Handle registration descriptor for programs and streams

* Allows us to simplify some code and prepare for future cleanups.
* Remove useless casts
* Add some FIXME regarding VC1

po: update POTFILES

https://bugzilla.gnome.org/show_bug.cgi?id=703683

webvttenc: Separate cues with two line breaks instead of one.

See http://dev.w3.org/html5/webvtt/#syntax

https://bugzilla.gnome.org/show_bug.cgi?id=703673

codecparsers: mpeg2: fix video packet header size checks.

Fix video packet header size checks for:
- Sequence Header: 64 bits ;
- Sequence Scalable Extension: 10 bits ;
- Slice Header: 6 bits.

https://bugzilla.gnome.org/show_bug.cgi?id=703668

Signed-off-by: Gwenole Beauchesne <gwenole.beauchesne@intel.com>

codecparsers: mpeg2: add missing gtk-doc entries.

The following functions were missing gtk-doc entries:
- gst_mpeg_video_parse_sequence_display_extension
- gst_mpeg_video_finalise_mpeg2_sequence_header
- gst_mpeg_video_quant_matrix_get_raster_from_zigzag
- gst_mpeg_video_quant_matrix_get_zigzag_from_raster

https://bugzilla.gnome.org/show_bug.cgi?id=703667

Signed-off-by: Gwenole Beauchesne <gwenole.beauchesne@intel.com>

codecparsers: mpeg2: update test program with new GstMpegVideoPacket API.

This is the lost hunk from:
https://bugzilla.gnome.org/show_bug.cgi?id=692933

Signed-off-by: Gwenole Beauchesne <gwenole.beauchesne@intel.com>

codecparsers: mpeg2: add slice header parsing API.

Add API to parse the Slice header. This also calculates the macroblock
position as specified in 6.3.16.

https://bugzilla.gnome.org/show_bug.cgi?id=664274

Signed-off-by: Sreerenj Balachandran <sreerenj.balachandran@intel.com>
Signed-off-by: Gwenole Beauchesne <gwenole.beauchesne@intel.com>

codecparsers: mpeg2: add sequence scalable extension parsing API.

Add API to parse the Sequence Scalable Extension header.

https://bugzilla.gnome.org/show_bug.cgi?id=664274

Signed-off-by: Sreerenj Balachandran <sreerenj.balachandran@intel.com>
Signed-off-by: Gwenole Beauchesne <gwenole.beauchesne@intel.com>

mpegvideoparse: cope with new parser API.

Migrate the code to use the new parser API based on GstMpegVideoPacket.

Also try to optimize gst_mpegv_parse_process_config() by using more of
GstMpegVideoPacket and determining the extension_start_code_identifier
prior to calling the parser function for that extension packet.

Signed-off-by: Gwenole Beauchesne <gwenole.beauchesne@intel.com>

codecparsers: mpeg2: add new API that takes GstMpegVideoPacket arguments.

Add new interface to MPEG-2 video parser that takes GstMpegVideoPacket
arguments instead of data, size, and offset. New functions are called
after gst_mpeg_video_packet_*() and provide the default implementation.

Older API is moved to the deprecated namespace and uses the new functions.

https://bugzilla.gnome.org/show_bug.cgi?id=692933

Signed-off-by: Gwenole Beauchesne <gwenole.beauchesne@intel.com>

mpegtsbase: Remove no-longer needed code

Since we now send all sections to the packetizer, we no longer need to do
anymore in-depth checks for the validity of a section.

The choice boils down to:
1) Is it from a known PES pid ? If so pass it on (which might be just pushing
   downstream in the case of tsparse, or accumulating PES data for tsdemux)
2) Is it from a known SI pid ? If so pass it to the section packetizer

dvb: Fix PMT handling

Was using an older (temporary) version of the mpegts library API.

mpegtsdemux: Fix compilation with debugging disabling

We previously weren't using that variable ...

mpegts: Improve documentation

* Add a base page for the library
* Add pages for the base MPEG-TS section and descriptors
* Add pages for the known variants
* Add documentation on more fields/sections/types
* Remove some fixmes that were ... fixed

mpegtsdemux: Switch to using GstMpegTsStreamType

We still have some other stream types which haven't been ported, but
we will do so once we have defined the enums in the mpegts library.

Also add some FIXMEs regarding items discovered during analysis

mpegtsdescriptor: Fix handling of unknown stream encodings

If we cannot identify the encoding used for a string, return a NULL
string instead of garbage and add a FIXME so we can detect and later
fix it.

mpegts: Add registered mpeg-ts stream types

These are the values officially registered in the base specification
(H.222.0/13818-1). Later on we can add other enums for other variants

Note that the enum is not used in the structure fields (such as a pmt
stream stream_type field) since it can contain values from other
variants.

camerabin: examples: add missing lib to makefile

Fixes initialization of sample application

dashdemux: prevent assertion when duration is unknown

Duration from segment being unknown is a issue from the MPD and not
a programming issue, so the assert isn't useful here. Instead check
and return an error code so the caller can fallback to alternatives

dashdemux: Fix event leak when parsing manifest fails

Always remember to unref the event before proceeding, in both success
and failure cases

dashdemux: various cleanups

Removing unused function, replacing // comments with /* */ and
replacing some GST_WARNING with GST_INFO/_DEBUG as they are meant
to be

dashdemux: Change first fragment selection for live streams

When dashdemux selects its first fragment, it always selects the
first fragment listed in the manifest. For on-demand content,
this is the correct behaviour. However for live content, this
behaviour is undesirable because the first fragment listed in the
manifest might be some considerable time behind "now".

The commit uses the host's idea of UTC and tries to find the
oldest fragment that contains samples for this time of day.

https://bugzilla.gnome.org/show_bug.cgi?id=701509

mpegts: split dvb descriptors/enums into a separate file

We will do the same once we have ATSC/ISDB/... descriptor parsing

mpegts: Fix TOT section parsing

And use it in example

examples: Fix a leak

mpegts: Split files and implement free functions

* In order to avoid future clashing between table_id for the various
  mpeg-ts variants, use different enums.
* In order to keep everything clean(ish) and allow for cleaner growth,
  split into different files (will need the same for descriptors later)
* Also ... implement free functions for all table types :)

win32: back to feature development

dashdemux: only generate index segment uri if there is a template

Simple fix to avoid an assertion.

dashdemux: Implement inheritance for certain MPD elements

According to the MPEG-DASH spec, certain elements (i.e.
SegmentBase, SegmentTemplate, and SegmentList) should inherit
attributes from the same elements in the containing AdaptationSet
or Period.

Updated the SegmentBase, SegmentTemplate, and SegmentList parsers
to properly inherit attributes from the corresponding elements in
AdaptationSet and/or Period.

https://bugzilla.gnome.org/show_bug.cgi?id=702677

dashdemux: Properly detect presence of xml attributes

Convert all xml attribute/content parsing functions to return a
boolean value indicating whether or not the attribute/content was
present.  We need this finer-grained control in order to properly
implement the inheritance policies described in the spec

Also fixed several memory leak conditions when handling errors in
the xml attribute/content parsing functions.

https://bugzilla.gnome.org/show_bug.cgi?id=702677

dashdemux: change debug message from warning to info

It isn't a warning/issue.

dashdemux: protect from access to empty list data

Check if the list has elements before trying to access the last one
and causing a segfault

uridownloader: Simplify locking to fix deadlocks

Use object lock to protect variables from concurrent access and
use download_lock to only allow one download running

dashdemux: protect against failed header downloads

Avoids criticals when downloaded fragment is NULL

examples: GstMpegTS => GstMpegTs

dvb: GstMpegTS => GstMpegTs

mpegtsdemux: GstMpegTS => GstMpegTs

libs/mpegts: Rename GstMpegTS => GstMpegTs

Sorry for this :( But this makes it more in sync with expected type
naming in gobject (i.e. CamelCase and not CamelMAYBECase).

Also split descriptor type enums into the different variants:
* ISO H.222.0 / 13818-1 (i.e. standard mpeg-ts)
* DVB
* ATSC
* ISDB
* miscellaneous

This will avoid future clashes when specs use the same descriptor type

examples: Add an example of a mpeg-ts SI extractor

Serves as an example of usage of the new mpegts library from an
application.

Will parse/dump all sections received on a bus.

Usage is ./tsparse <any gst-launch line using tsdemux or tsparse>

Examples:
  ./tsparse file:///some/mpegtsfile ! tsparse ! fakesink
  ./tsparse dvb://CHANNEL ! tsparse ! fakesink
  ./tsparse playbin uri=dvb://CHANNEL
  ./tsparse playbin uri=file:///some/mpegtsfile
  ...

https://bugzilla.gnome.org/show_bug.cgi?id=702724

dvb: Switch to MPEG-TS SI library

Also serves as an example of using mpegts library from a plugin

https://bugzilla.gnome.org/show_bug.cgi?id=702724

mpegtsdemux: Switch to MPEG-TS SI library

* Only mpeg-ts section packetization remains.
* Improve code to detect duplicated sections as early as possible
* Add FIXME for various issues that need fixing (but are not regressions)

https://bugzilla.gnome.org/show_bug.cgi?id=702724

gst-libs: New Mpeg-TS support library

Exposes various MPEG-TS (ISO/IEC 13818-1) and DVB (EN 300 468) Section
Information as well as descriptors for usage by plugins and applications.

This replaces entirely the old GstStructure-based system for conveying
mpeg-ts information to applications and other plugins.

Parsing and validation is done on a "when-needed" basis. This ensures
the minimal overhead for elements and applications creating and using
sections and descriptors.

Since all information is made available, this also allows applications
to parse custom sections and descriptors.

Right now the library is targeted towards parsing, but the structures
could be used in the future to allow applications to create and inject
sections and descriptors (for usage by various mpeg-ts elements).

https://bugzilla.gnome.org/show_bug.cgi?id=702724

dashdemux: Handle case without an initialization segment

If no initialization segment is defined, then don't print a
critical or a warning, just ignore it.

https://bugzilla.gnome.org/show_bug.cgi?id=701961

dash: save 1 or 2 string copies when getting fragment uris

Only create new string if required, saving maybe 1 or 2 str copies per
fragment.

docs: add uridownloader lib to gtk-doc libs

fixes runtime linking error on windows

dashdemux: each fragment can have its own index

Return index URI/range to dashdemux from the mpdparser to be able
to download and deliver them downstream for playback.

dashdemux: handle top-level index urls

Parse and provide access to top-level index segments if available.
dashdemux should push those whenever a header is pushed.

Fixes #700489

dashdemux: Fix critical error output when Initialization has no URL

Issue evinced by
http://yt-dash-mse-test.commondatastorage.googleapis.com/car-20120827-manifest.mpd
which produces output like ** (gst-launch-1.0:8060): CRITICAL **:
gst_mpdparser_get_initializationURL: assertion `InitializationURL->sourceURL
!= NULL' failed

https://bugzilla.gnome.org/show_bug.cgi?id=700489

dashdemux: prevent crash by checking if the segment node is present

Do not try to access range data if there is no segment node

dash: use same debug category for dashdemux and the mpd parser

Makes debugging easier

dashdemux: add support for range based segments

Use the mediaRange information and pass it to the uridownloader
to correctly download only the segment ranges indicated in the
MPD

https://bugzilla.gnome.org/show_bug.cgi?id=702206

uridownloader: add support for range based downloads

Adds a new API gst_uri_downloader_fetch_uri_with_range that allows
downloading only a byte range from an URI. It uses a seek event
sent to the source to signal the range to be downloaded.

https://bugzilla.gnome.org/show_bug.cgi?id=702206

h264parser: Fix the return value type for the SEI palyload parsing methods.

The return value type of SEI payload parsing functions
are GstH264ParserResult.

https://bugzilla.gnome.org/show_bug.cgi?id=695475

srtp: Don't require a key if both auth and cipher are null

srtp: Move the enums to the common header

The types are used in both the encoder and decoder

srtp: Remove unused code

frei0r: add the build prefix path in the search dirs

dashdemux: Cleanup memory allocation/deallocation

Ensure that g_free/xmlFree is used correctly based on how the
memory was allocated.

When deallocating GLists, there were many places that were using
g_list_foreach and g_list_free.  Converted these occurrences to
call g_list_free_full.

Add NULL checks to all xmlFree calls since the documentation does
not guarantee that passing NULL is safe

In places where we are strdup'ing memory allocated by libxml2,
changed those calls to use xmlMemStrdup().

There were several places where we were missing g_slice_free when
deallocating a top-level node structure.

https://bugzilla.gnome.org/show_bug.cgi?id=702837

mpegdesc: Extend list of known descriptors

Add the various ATSC ones

mpegtsbase: Only warn for added streams when needed

We use add_stream(stream_type:-1) to ensure a programs' PCR Stream is
also taken into account. For most programs this will re-use an
existing ES stream.

So only warn that we are re-adding a stream if it was already present
AND it is not to ensure the PCR stream is taken into account.

mpegtspacketizer: Speed up section parsing

Only create subtables when needed. It was previously creating one every
single time ... to check if one was present.
And speed up code to detect whether a subtable was already present or not.

Overall makes section pushing 2 times faster.

mpegdesc: Extend list of known descriptors

From ITU-T H222.0 (06/2012). Freely available from itu.int

mpegtspacketizer: Speedup packet parsing

Avoid using bitshifting where not needed.

Speeds up packet parsing by 3% (this is *the* hotspot of mpeg-ts elements).

codecparsers: Fix gtk-doc

Detected by initial pre-run of gi-scanner.

daaladec: Add decoder element

daalaenc: Add encoder element