wavparse: Fix push mode ignoring audio with a size smaller than segment buffer
[platform/upstream/gst-plugins-good.git] / gst / wavparse / gstwavparse.c
index 138ec16..3c11b27 100644 (file)
 #include "gstwavparse.h"
 #include "gst/riff/riff-media.h"
 #include <gst/base/gsttypefindhelper.h>
+#include <gst/pbutils/descriptions.h>
 #include <gst/gst-i18n-plugin.h>
 
 GST_DEBUG_CATEGORY_STATIC (wavparse_debug);
 #define GST_CAT_DEFAULT (wavparse_debug)
 
-#define GST_RIFF_TAG_Fake GST_MAKE_FOURCC ('F','a','k','e')
-
-#define GST_BWF_TAG_iXML GST_MAKE_FOURCC ('i','X','M','L')
-#define GST_BWF_TAG_qlty GST_MAKE_FOURCC ('q','l','t','y')
-#define GST_BWF_TAG_mext GST_MAKE_FOURCC ('m','e','x','t')
-#define GST_BWF_TAG_levl GST_MAKE_FOURCC ('l','e','v','l')
-#define GST_BWF_TAG_link GST_MAKE_FOURCC ('l','i','n','k')
-#define GST_BWF_TAG_axml GST_MAKE_FOURCC ('a','x','m','l')
-
 /* Data size chunk of RF64,
  * see http://tech.ebu.ch/docs/tech/tech3306-2009.pdf */
 #define GST_RS64_TAG_DS64 GST_MAKE_FOURCC ('d','s','6','4')
@@ -110,10 +102,10 @@ enum
 };
 
 static GstStaticPadTemplate sink_template_factory =
-GST_STATIC_PAD_TEMPLATE ("sink",
+    GST_STATIC_PAD_TEMPLATE ("sink",
     GST_PAD_SINK,
     GST_PAD_ALWAYS,
-    GST_STATIC_CAPS ("audio/x-wav")
+    GST_STATIC_CAPS ("audio/x-wav;audio/x-rf64")
     );
 
 #define DEBUG_INIT \
@@ -188,8 +180,8 @@ gst_wavparse_class_init (GstWavParseClass * klass)
   gstelement_class->send_event = gst_wavparse_send_event;
 
   /* register pads */
-  gst_element_class_add_pad_template (gstelement_class,
-      gst_static_pad_template_get (&sink_template_factory));
+  gst_element_class_add_static_pad_template (gstelement_class,
+      &sink_template_factory);
 
   src_template = gst_pad_template_new ("src", GST_PAD_SRC,
       GST_PAD_ALWAYS, gst_riff_create_audio_template_caps ());
@@ -202,6 +194,22 @@ gst_wavparse_class_init (GstWavParseClass * klass)
 }
 
 static void
+gst_wavparse_notes_free (GstWavParseNote * note)
+{
+  if (note)
+    g_free (note->text);
+  g_free (note);
+}
+
+static void
+gst_wavparse_labls_free (GstWavParseLabl * labl)
+{
+  if (labl)
+    g_free (labl->text);
+  g_free (labl);
+}
+
+static void
 gst_wavparse_reset (GstWavParse * wav)
 {
   wav->state = GST_WAVPARSE_START;
@@ -219,6 +227,7 @@ gst_wavparse_reset (GstWavParse * wav)
   wav->dataleft = 0;
   wav->datasize = 0;
   wav->datastart = 0;
+  wav->chunk_size = 0;
   wav->duration = 0;
   wav->got_fmt = FALSE;
   wav->first = TRUE;
@@ -241,8 +250,11 @@ gst_wavparse_reset (GstWavParse * wav)
     g_list_free_full (wav->cues, g_free);
   wav->cues = NULL;
   if (wav->labls)
-    g_list_free_full (wav->labls, g_free);
+    g_list_free_full (wav->labls, (GDestroyNotify) gst_wavparse_labls_free);
   wav->labls = NULL;
+  if (wav->notes)
+    g_list_free_full (wav->notes, (GDestroyNotify) gst_wavparse_notes_free);
+  wav->notes = NULL;
   if (wav->caps)
     gst_caps_unref (wav->caps);
   wav->caps = NULL;
@@ -378,7 +390,7 @@ gst_wavparse_perform_seek (GstWavParse * wav, GstEvent * event)
   gboolean update;
   GstSegment seeksegment = { 0, };
   gint64 last_stop;
-  guint32 seqnum = 0;
+  guint32 seqnum = GST_SEQNUM_INVALID;
 
   if (event) {
     GST_DEBUG_OBJECT (wav, "doing seek with event");
@@ -451,7 +463,8 @@ gst_wavparse_perform_seek (GstWavParse * wav, GstEvent * event)
       /* BYTE seek event */
       event = gst_event_new_seek (rate, GST_FORMAT_BYTES, flags, cur_type, cur,
           stop_type, stop);
-      gst_event_set_seqnum (event, seqnum);
+      if (seqnum != GST_SEQNUM_INVALID)
+        gst_event_set_seqnum (event, seqnum);
       res = gst_pad_push_event (wav->sinkpad, event);
     }
     return res;
@@ -471,7 +484,8 @@ gst_wavparse_perform_seek (GstWavParse * wav, GstEvent * event)
     GST_DEBUG_OBJECT (wav, "sending flush start");
 
     fevent = gst_event_new_flush_start ();
-    gst_event_set_seqnum (fevent, seqnum);
+    if (seqnum != GST_SEQNUM_INVALID)
+      gst_event_set_seqnum (fevent, seqnum);
     gst_pad_push_event (wav->sinkpad, gst_event_ref (fevent));
     gst_pad_push_event (wav->srcpad, fevent);
   } else {
@@ -561,7 +575,8 @@ gst_wavparse_perform_seek (GstWavParse * wav, GstEvent * event)
     GST_DEBUG_OBJECT (wav, "sending flush stop");
 
     fevent = gst_event_new_flush_stop (TRUE);
-    gst_event_set_seqnum (fevent, seqnum);
+    if (seqnum != GST_SEQNUM_INVALID)
+      gst_event_set_seqnum (fevent, seqnum);
     gst_pad_push_event (wav->sinkpad, gst_event_ref (fevent));
     gst_pad_push_event (wav->srcpad, fevent);
   }
@@ -584,7 +599,8 @@ gst_wavparse_perform_seek (GstWavParse * wav, GstEvent * event)
   if (wav->start_segment)
     gst_event_unref (wav->start_segment);
   wav->start_segment = gst_event_new_segment (&wav->segment);
-  gst_event_set_seqnum (wav->start_segment, seqnum);
+  if (seqnum != GST_SEQNUM_INVALID)
+    gst_event_set_seqnum (wav->start_segment, seqnum);
 
   /* mark discont if we are going to stream from another position. */
   if (last_stop != wav->segment.position) {
@@ -1091,11 +1107,10 @@ gst_wavparse_stream_headers (GstWavParse * wav)
   gint64 upstream_size = 0;
   GstStructure *s;
 
-  /* search for "_fmt" chunk, which should be first */
+  /* search for "_fmt" chunk, which must be before "data" */
   while (!wav->got_fmt) {
     GstBuffer *extra;
 
-    /* The header starts with a 'fmt ' tag */
     if (wav->streaming) {
       if (!gst_wavparse_peek_chunk (wav, &tag, &size))
         return res;
@@ -1117,21 +1132,6 @@ gst_wavparse_stream_headers (GstWavParse * wav)
         return res;
     }
 
-    if (tag == GST_RIFF_TAG_JUNK || tag == GST_RIFF_TAG_JUNQ ||
-        tag == GST_RIFF_TAG_bext || tag == GST_RIFF_TAG_BEXT ||
-        tag == GST_RIFF_TAG_LIST || tag == GST_RIFF_TAG_ID32 ||
-        tag == GST_RIFF_TAG_id3 || tag == GST_RIFF_TAG_IDVX ||
-        tag == GST_BWF_TAG_iXML || tag == GST_BWF_TAG_qlty ||
-        tag == GST_BWF_TAG_mext || tag == GST_BWF_TAG_levl ||
-        tag == GST_BWF_TAG_link || tag == GST_BWF_TAG_axml ||
-        tag == GST_RIFF_TAG_Fake) {
-      GST_DEBUG_OBJECT (wav, "skipping %" GST_FOURCC_FORMAT " chunk",
-          GST_FOURCC_ARGS (tag));
-      gst_buffer_unref (buf);
-      buf = NULL;
-      continue;
-    }
-
     if (tag == GST_RS64_TAG_DS64) {
       if (!parse_ds64 (wav, buf))
         goto fail;
@@ -1139,8 +1139,13 @@ gst_wavparse_stream_headers (GstWavParse * wav)
         continue;
     }
 
-    if (tag != GST_RIFF_TAG_fmt)
-      goto invalid_wav;
+    if (tag != GST_RIFF_TAG_fmt) {
+      GST_DEBUG_OBJECT (wav, "skipping %" GST_FOURCC_FORMAT " chunk",
+          GST_FOURCC_ARGS (tag));
+      gst_buffer_unref (buf);
+      buf = NULL;
+      continue;
+    }
 
     if (!(gst_riff_parse_strf_auds (GST_ELEMENT_CAST (wav), buf, &header,
                 &extra)))
@@ -1243,9 +1248,25 @@ gst_wavparse_stream_headers (GstWavParse * wav)
 
     wav->got_fmt = TRUE;
 
-    if (codec_name) {
+    if (wav->tags == NULL)
       wav->tags = gst_tag_list_new_empty ();
 
+    {
+      GstCaps *templ_caps = gst_pad_get_pad_template_caps (wav->sinkpad);
+      gst_pb_utils_add_codec_description_to_tag_list (wav->tags,
+          GST_TAG_CONTAINER_FORMAT, templ_caps);
+      gst_caps_unref (templ_caps);
+    }
+
+    /* If bps is nonzero, then we do have a valid bitrate that can be
+     * announced in a tag list. */
+    if (wav->bps) {
+      guint bitrate = wav->bps * 8;
+      gst_tag_list_add (wav->tags, GST_TAG_MERGE_REPLACE,
+          GST_TAG_BITRATE, bitrate, NULL);
+    }
+
+    if (codec_name) {
       gst_tag_list_add (wav->tags, GST_TAG_MERGE_REPLACE,
           GST_TAG_AUDIO_CODEC, codec_name, NULL);
 
@@ -1288,9 +1309,10 @@ gst_wavparse_stream_headers (GstWavParse * wav)
     }
 
     /* Clip to upstream size if known */
-    if (wav->datasize > 0 && size + wav->offset > wav->datasize) {
+    if (upstream_size > 0 && size + wav->offset > upstream_size) {
       GST_WARNING_OBJECT (wav, "Clipping chunk size to file size");
-      size = wav->datasize - wav->offset;
+      g_assert (upstream_size >= wav->offset);
+      size = upstream_size - wav->offset;
     }
 
     /* wav is a st00pid format, we don't know for sure where data starts.
@@ -1319,6 +1341,8 @@ gst_wavparse_stream_headers (GstWavParse * wav)
           GST_DEBUG_OBJECT (wav, "Using ds64 datasize");
           size64 = wav->datasize;
         }
+        wav->chunk_size = size64;
+
         /* If size is zero, then the data chunk probably actually extends to
            the end of the file */
         if (size64 == 0 && upstream_size) {
@@ -1718,13 +1742,6 @@ fail:
     res = GST_FLOW_ERROR;
     goto exit;
   }
-invalid_wav:
-  {
-    GST_ELEMENT_ERROR (wav, STREAM, TYPE_NOT_FOUND, (NULL),
-        ("Invalid WAV header (no fmt at start): %"
-            GST_FOURCC_FORMAT, GST_FOURCC_ARGS (tag)));
-    goto fail;
-  }
 parse_header_error:
   {
     GST_ELEMENT_ERROR (wav, STREAM, DEMUX, (NULL),
@@ -1924,7 +1941,6 @@ gst_wavparse_add_src_pad (GstWavParse * wav, GstBuffer * buf)
   }
 
   gst_pad_set_caps (wav->srcpad, wav->caps);
-  gst_caps_replace (&wav->caps, NULL);
 
   if (wav->start_segment) {
     GST_DEBUG_OBJECT (wav, "Send start segment event on newpad");
@@ -1956,7 +1972,7 @@ gst_wavparse_add_src_pad (GstWavParse * wav, GstBuffer * buf)
 }
 
 static GstFlowReturn
-gst_wavparse_stream_data (GstWavParse * wav)
+gst_wavparse_stream_data (GstWavParse * wav, gboolean flushing)
 {
   GstBuffer *buf = NULL;
   GstFlowReturn res = GST_FLOW_OK;
@@ -1969,9 +1985,31 @@ iterate_adapter:
       "offset: %" G_GINT64_FORMAT " , end: %" G_GINT64_FORMAT " , dataleft: %"
       G_GINT64_FORMAT, wav->offset, wav->end_offset, wav->dataleft);
 
-  /* Get the next n bytes and output them */
-  if (wav->dataleft == 0 || wav->dataleft < wav->blockalign)
-    goto found_eos;
+  if ((wav->dataleft == 0 || wav->dataleft < wav->blockalign)) {
+    /* In case chunk size is not declared in the begining get size from the
+     * file size directly */
+    if (wav->chunk_size == 0) {
+      gint64 upstream_size = 0;
+
+      /* Get the size of the file   */
+      if (!gst_pad_peer_query_duration (wav->sinkpad, GST_FORMAT_BYTES,
+              &upstream_size))
+        goto found_eos;
+
+      if (upstream_size < wav->offset + wav->datastart)
+        goto found_eos;
+
+      /* If file has updated since the beggining continue reading the file */
+      wav->dataleft = upstream_size - wav->offset - wav->datastart;
+      wav->end_offset = upstream_size;
+
+      /* Get the next n bytes and output them, if we can */
+      if (wav->dataleft == 0 || wav->dataleft < wav->blockalign)
+        goto found_eos;
+    } else {
+      goto found_eos;
+    }
+  }
 
   /* scale the amount of data by the segment rate so we get equal
    * amounts of data regardless of the playback rate */
@@ -2016,10 +2054,21 @@ iterate_adapter:
 
     if (avail < desired) {
       GST_LOG_OBJECT (wav, "Got only %u bytes of data from the sinkpad", avail);
-      return GST_FLOW_OK;
-    }
 
-    buf = gst_adapter_take_buffer (wav->adapter, desired);
+      /* If we are at the end of the stream, we need to flush whatever we have left */
+      if (avail > 0 && flushing) {
+        if (avail >= wav->blockalign && wav->blockalign > 0) {
+          avail -= (avail % wav->blockalign);
+          buf = gst_adapter_take_buffer (wav->adapter, avail);
+        } else {
+          return GST_FLOW_OK;
+        }
+      } else {
+        return GST_FLOW_OK;
+      }
+    } else {
+      buf = gst_adapter_take_buffer (wav->adapter, desired);
+    }
   } else {
     if ((res = gst_pad_pull_range (wav->sinkpad, wav->offset,
                 desired, &buf)) != GST_FLOW_OK)
@@ -2199,7 +2248,7 @@ gst_wavparse_loop (GstPad * pad)
       /* fall-through */
 
     case GST_WAVPARSE_DATA:
-      if ((ret = gst_wavparse_stream_data (wav)) != GST_FLOW_OK)
+      if ((ret = gst_wavparse_stream_data (wav, FALSE)) != GST_FLOW_OK)
         goto pause;
       break;
     default:
@@ -2226,7 +2275,7 @@ pause:
         else if (wav->segment.rate < 0.0)
           wav->segment.position = wav->segment.start;
       }
-      if (wav->state == GST_WAVPARSE_START) {
+      if (wav->state == GST_WAVPARSE_START || !wav->caps) {
         GST_ELEMENT_ERROR (wav, STREAM, WRONG_TYPE, (NULL),
             ("No valid input found before end of stream"));
         gst_pad_push_event (wav->srcpad, gst_event_new_eos ());
@@ -2256,9 +2305,7 @@ pause:
     } else if (ret == GST_FLOW_NOT_LINKED || ret < GST_FLOW_EOS) {
       /* for fatal errors we post an error message, post the error
        * first so the app knows about the error first. */
-      GST_ELEMENT_ERROR (wav, STREAM, FAILED,
-          (_("Internal data flow error.")),
-          ("streaming task paused, reason %s (%d)", reason, ret));
+      GST_ELEMENT_FLOW_ERROR (wav, ret);
       gst_pad_push_event (wav->srcpad, gst_event_new_eos ());
     }
     return;
@@ -2301,7 +2348,7 @@ gst_wavparse_chain (GstPad * pad, GstObject * parent, GstBuffer * buf)
     case GST_WAVPARSE_DATA:
       if (buf && GST_BUFFER_FLAG_IS_SET (buf, GST_BUFFER_FLAG_DISCONT))
         wav->discont = TRUE;
-      if ((ret = gst_wavparse_stream_data (wav)) != GST_FLOW_OK)
+      if ((ret = gst_wavparse_stream_data (wav, FALSE)) != GST_FLOW_OK)
         goto done;
       break;
     default:
@@ -2325,7 +2372,7 @@ gst_wavparse_flush_data (GstWavParse * wav)
   guint av;
 
   if ((av = gst_adapter_available (wav->adapter)) > 0) {
-    ret = gst_wavparse_stream_data (wav);
+    ret = gst_wavparse_stream_data (wav, TRUE);
   }
 
   return ret;
@@ -2439,7 +2486,7 @@ gst_wavparse_sink_event (GstPad * pad, GstObject * parent, GstEvent * event)
       break;
     }
     case GST_EVENT_EOS:
-      if (wav->state == GST_WAVPARSE_START) {
+      if (wav->state == GST_WAVPARSE_START || !wav->caps) {
         GST_ELEMENT_ERROR (wav, STREAM, WRONG_TYPE, (NULL),
             ("No valid input found before end of stream"));
       } else {
@@ -2447,10 +2494,10 @@ gst_wavparse_sink_event (GstPad * pad, GstObject * parent, GstEvent * event)
         if (G_UNLIKELY (wav->first)) {
           wav->first = FALSE;
           gst_wavparse_add_src_pad (wav, NULL);
-        } else {
-          /* stream leftover data in current segment */
-          gst_wavparse_flush_data (wav);
         }
+
+        /* stream leftover data in current segment */
+        gst_wavparse_flush_data (wav);
       }
 
       /* fall-through */
@@ -2458,7 +2505,8 @@ gst_wavparse_sink_event (GstPad * pad, GstObject * parent, GstEvent * event)
     {
       GstClockTime dur;
 
-      gst_adapter_clear (wav->adapter);
+      if (wav->adapter)
+        gst_adapter_clear (wav->adapter);
       wav->discont = TRUE;
       dur = wav->segment.duration;
       gst_segment_init (&wav->segment, wav->segment.format);
@@ -2711,6 +2759,25 @@ gst_wavparse_pad_query (GstPad * pad, GstObject * parent, GstQuery * query)
       }
       break;
     }
+    case GST_QUERY_SEGMENT:
+    {
+      GstFormat format;
+      gint64 start, stop;
+
+      format = wav->segment.format;
+
+      start =
+          gst_segment_to_stream_time (&wav->segment, format,
+          wav->segment.start);
+      if ((stop = wav->segment.stop) == -1)
+        stop = wav->segment.duration;
+      else
+        stop = gst_segment_to_stream_time (&wav->segment, format, stop);
+
+      gst_query_set_segment (query, wav->segment.rate, format, start, stop);
+      res = TRUE;
+      break;
+    }
     default:
       res = gst_pad_query_default (pad, parent, query);
       break;