Merge branch 'master' into 0.11
[platform/upstream/gst-plugins-good.git] / gst / rtp / gstrtpvrawdepay.c
1 /* GStreamer
2  * Copyright (C) <2008> Wim Taymans <wim.taymans@gmail.com>
3  *
4  * This library is free software; you can redistribute it and/or
5  * modify it under the terms of the GNU Library General Public
6  * License as published by the Free Software Foundation; either
7  * version 2 of the License, or (at your option) any later version.
8  *
9  * This library is distributed in the hope that it will be useful,
10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
12  * Library General Public License for more details.
13  *
14  * You should have received a copy of the GNU Library General Public
15  * License along with this library; if not, write to the
16  * Free Software Foundation, Inc., 59 Temple Place - Suite 330,
17  * Boston, MA 02111-1307, USA.
18  */
19
20 #ifdef HAVE_CONFIG_H
21 #  include "config.h"
22 #endif
23
24 #include <gst/rtp/gstrtpbuffer.h>
25
26 #include <string.h>
27 #include <stdlib.h>
28 #include "gstrtpvrawdepay.h"
29
30 GST_DEBUG_CATEGORY_STATIC (rtpvrawdepay_debug);
31 #define GST_CAT_DEFAULT (rtpvrawdepay_debug)
32
33 static GstStaticPadTemplate gst_rtp_vraw_depay_src_template =
34 GST_STATIC_PAD_TEMPLATE ("src",
35     GST_PAD_SRC,
36     GST_PAD_ALWAYS,
37     GST_STATIC_CAPS ("video/x-raw")
38     );
39
40 static GstStaticPadTemplate gst_rtp_vraw_depay_sink_template =
41 GST_STATIC_PAD_TEMPLATE ("sink",
42     GST_PAD_SINK,
43     GST_PAD_ALWAYS,
44     GST_STATIC_CAPS ("application/x-rtp, "
45         "media = (string) \"video\", "
46         "payload = (int) " GST_RTP_PAYLOAD_DYNAMIC_STRING ", "
47         "clock-rate = (int) 90000, " "encoding-name = (string) \"RAW\"")
48     );
49
50 #define gst_rtp_vraw_depay_parent_class parent_class
51 G_DEFINE_TYPE (GstRtpVRawDepay, gst_rtp_vraw_depay,
52     GST_TYPE_RTP_BASE_DEPAYLOAD);
53
54 static gboolean gst_rtp_vraw_depay_setcaps (GstRTPBaseDepayload * depayload,
55     GstCaps * caps);
56 static GstBuffer *gst_rtp_vraw_depay_process (GstRTPBaseDepayload * depayload,
57     GstBuffer * buf);
58
59 static GstStateChangeReturn gst_rtp_vraw_depay_change_state (GstElement *
60     element, GstStateChange transition);
61
62 static gboolean gst_rtp_vraw_depay_handle_event (GstRTPBaseDepayload * filter,
63     GstEvent * event);
64
65 static void
66 gst_rtp_vraw_depay_class_init (GstRtpVRawDepayClass * klass)
67 {
68   GstElementClass *gstelement_class;
69   GstRTPBaseDepayloadClass *gstrtpbasedepayload_class;
70
71   gstelement_class = (GstElementClass *) klass;
72   gstrtpbasedepayload_class = (GstRTPBaseDepayloadClass *) klass;
73
74   gstelement_class->change_state = gst_rtp_vraw_depay_change_state;
75
76   gstrtpbasedepayload_class->set_caps = gst_rtp_vraw_depay_setcaps;
77   gstrtpbasedepayload_class->process = gst_rtp_vraw_depay_process;
78   gstrtpbasedepayload_class->handle_event = gst_rtp_vraw_depay_handle_event;
79
80   gst_element_class_add_pad_template (gstelement_class,
81       gst_static_pad_template_get (&gst_rtp_vraw_depay_src_template));
82   gst_element_class_add_pad_template (gstelement_class,
83       gst_static_pad_template_get (&gst_rtp_vraw_depay_sink_template));
84
85   gst_element_class_set_details_simple (gstelement_class,
86       "RTP Raw Video depayloader", "Codec/Depayloader/Network/RTP",
87       "Extracts raw video from RTP packets (RFC 4175)",
88       "Wim Taymans <wim.taymans@gmail.com>");
89
90   GST_DEBUG_CATEGORY_INIT (rtpvrawdepay_debug, "rtpvrawdepay", 0,
91       "raw video RTP Depayloader");
92 }
93
94 static void
95 gst_rtp_vraw_depay_init (GstRtpVRawDepay * rtpvrawdepay)
96 {
97   /* needed because of GST_BOILERPLATE */
98 }
99
100 static void
101 gst_rtp_vraw_depay_reset (GstRtpVRawDepay * rtpvrawdepay)
102 {
103   if (rtpvrawdepay->outbuf) {
104     gst_buffer_unref (rtpvrawdepay->outbuf);
105     rtpvrawdepay->outbuf = NULL;
106   }
107   rtpvrawdepay->timestamp = -1;
108   if (rtpvrawdepay->pool) {
109     gst_buffer_pool_set_active (rtpvrawdepay->pool, FALSE);
110     gst_object_unref (rtpvrawdepay->pool);
111     rtpvrawdepay->pool = NULL;
112   }
113 }
114
115 static GstFlowReturn
116 gst_rtp_vraw_depay_negotiate_pool (GstRtpVRawDepay * depay, GstCaps * caps,
117     GstVideoInfo * info)
118 {
119   GstQuery *query;
120   GstBufferPool *pool = NULL;
121   guint size, min, max, prefix, alignment;
122   GstStructure *config;
123
124   /* find a pool for the negotiated caps now */
125   query = gst_query_new_allocation (caps, TRUE);
126
127   if (gst_pad_peer_query (GST_RTP_BASE_DEPAYLOAD_SRCPAD (depay), query)) {
128     GST_DEBUG_OBJECT (depay, "got downstream ALLOCATION hints");
129     /* we got configuration from our peer, parse them */
130     gst_query_parse_allocation_params (query, &size, &min, &max, &prefix,
131         &alignment, &pool);
132   } else {
133     GST_DEBUG_OBJECT (depay, "didn't get downstream ALLOCATION hints");
134     size = info->size;
135     min = max = 0;
136     prefix = 0;
137     alignment = 0;
138   }
139
140   if (pool == NULL) {
141     /* we did not get a pool, make one ourselves then */
142     pool = gst_buffer_pool_new ();
143   }
144
145   if (depay->pool)
146     gst_object_unref (depay->pool);
147   depay->pool = pool;
148
149   config = gst_buffer_pool_get_config (pool);
150   gst_buffer_pool_config_set (config, caps, size, min, max, prefix, alignment);
151   /* just set the metadata, if the pool can support it we will transparently use
152    * it through the video info API. We could also see if the pool support this
153    * metadata and only activate it then. */
154   gst_buffer_pool_config_add_option (config, GST_BUFFER_POOL_OPTION_VIDEO_META);
155
156   gst_buffer_pool_set_config (pool, config);
157   /* and activate */
158   gst_buffer_pool_set_active (pool, TRUE);
159
160   gst_query_unref (query);
161
162   return GST_FLOW_OK;
163 }
164
165 static gboolean
166 gst_rtp_vraw_depay_setcaps (GstRTPBaseDepayload * depayload, GstCaps * caps)
167 {
168   GstStructure *structure;
169   GstRtpVRawDepay *rtpvrawdepay;
170   gint clock_rate;
171   const gchar *str;
172   gint format, width, height, pgroup, xinc, yinc;
173   GstCaps *srccaps;
174   gboolean res;
175   GstFlowReturn ret;
176
177   rtpvrawdepay = GST_RTP_VRAW_DEPAY (depayload);
178
179   structure = gst_caps_get_structure (caps, 0);
180
181   xinc = yinc = 1;
182
183   if (!gst_structure_get_int (structure, "clock-rate", &clock_rate))
184     clock_rate = 90000;         /* default */
185   depayload->clock_rate = clock_rate;
186
187   if (!(str = gst_structure_get_string (structure, "width")))
188     goto no_width;
189   width = atoi (str);
190
191   if (!(str = gst_structure_get_string (structure, "height")))
192     goto no_height;
193   height = atoi (str);
194
195   /* optional interlace value but we don't handle interlaced
196    * formats yet */
197   if (gst_structure_get_string (structure, "interlace"))
198     goto interlaced;
199
200   if (!(str = gst_structure_get_string (structure, "sampling")))
201     goto no_sampling;
202
203   if (!strcmp (str, "RGB")) {
204     format = GST_VIDEO_FORMAT_RGB;
205     pgroup = 3;
206   } else if (!strcmp (str, "RGBA")) {
207     format = GST_VIDEO_FORMAT_RGBA;
208     pgroup = 4;
209   } else if (!strcmp (str, "BGR")) {
210     format = GST_VIDEO_FORMAT_BGR;
211     pgroup = 3;
212   } else if (!strcmp (str, "BGRA")) {
213     format = GST_VIDEO_FORMAT_BGRA;
214     pgroup = 4;
215   } else if (!strcmp (str, "YCbCr-4:4:4")) {
216     format = GST_VIDEO_FORMAT_AYUV;
217     pgroup = 3;
218   } else if (!strcmp (str, "YCbCr-4:2:2")) {
219     format = GST_VIDEO_FORMAT_UYVY;
220     pgroup = 4;
221     xinc = 2;
222   } else if (!strcmp (str, "YCbCr-4:2:0")) {
223     format = GST_VIDEO_FORMAT_I420;
224     pgroup = 6;
225     xinc = yinc = 2;
226   } else if (!strcmp (str, "YCbCr-4:1:1")) {
227     format = GST_VIDEO_FORMAT_Y41B;
228     pgroup = 6;
229     xinc = 4;
230   } else
231     goto unknown_format;
232
233   gst_video_info_init (&rtpvrawdepay->vinfo);
234   gst_video_info_set_format (&rtpvrawdepay->vinfo, format, width, height);
235   GST_VIDEO_INFO_FPS_N (&rtpvrawdepay->vinfo) = 0;
236   GST_VIDEO_INFO_FPS_D (&rtpvrawdepay->vinfo) = 1;
237
238   rtpvrawdepay->pgroup = pgroup;
239   rtpvrawdepay->xinc = xinc;
240   rtpvrawdepay->yinc = yinc;
241
242   srccaps = gst_video_info_to_caps (&rtpvrawdepay->vinfo);
243   res = gst_pad_set_caps (GST_RTP_BASE_DEPAYLOAD_SRCPAD (depayload), srccaps);
244   gst_caps_unref (srccaps);
245
246   GST_DEBUG_OBJECT (depayload, "width %d, height %d, format %d", width, height,
247       format);
248   GST_DEBUG_OBJECT (depayload, "xinc %d, yinc %d, pgroup %d",
249       xinc, yinc, pgroup);
250
251   /* negotiate a bufferpool */
252   if ((ret = gst_rtp_vraw_depay_negotiate_pool (rtpvrawdepay, caps,
253               &rtpvrawdepay->vinfo)) != GST_FLOW_OK)
254     goto no_bufferpool;
255
256   return res;
257
258   /* ERRORS */
259 no_width:
260   {
261     GST_ERROR_OBJECT (depayload, "no width specified");
262     return FALSE;
263   }
264 no_height:
265   {
266     GST_ERROR_OBJECT (depayload, "no height specified");
267     return FALSE;
268   }
269 interlaced:
270   {
271     GST_ERROR_OBJECT (depayload, "interlaced formats not supported yet");
272     return FALSE;
273   }
274 no_sampling:
275   {
276     GST_ERROR_OBJECT (depayload, "no sampling specified");
277     return FALSE;
278   }
279 unknown_format:
280   {
281     GST_ERROR_OBJECT (depayload, "unknown sampling format '%s'", str);
282     return FALSE;
283   }
284 no_bufferpool:
285   {
286     GST_DEBUG_OBJECT (depayload, "no bufferpool");
287     return FALSE;
288   }
289 }
290
291 static GstBuffer *
292 gst_rtp_vraw_depay_process (GstRTPBaseDepayload * depayload, GstBuffer * buf)
293 {
294   GstRtpVRawDepay *rtpvrawdepay;
295   guint8 *payload, *yp, *up, *vp, *headers;
296   guint32 timestamp;
297   guint cont, ystride, uvstride, pgroup, payload_len;
298   gint width, height, xinc, yinc;
299   GstRTPBuffer rtp = { NULL };
300   GstVideoFrame frame;
301
302   rtpvrawdepay = GST_RTP_VRAW_DEPAY (depayload);
303
304   gst_rtp_buffer_map (buf, GST_MAP_READ, &rtp);
305
306   timestamp = gst_rtp_buffer_get_timestamp (&rtp);
307
308   if (timestamp != rtpvrawdepay->timestamp || rtpvrawdepay->outbuf == NULL) {
309     GstBuffer *outbuf;
310     GstFlowReturn ret;
311
312     GST_LOG_OBJECT (depayload, "new frame with timestamp %u", timestamp);
313     /* new timestamp, flush old buffer and create new output buffer */
314     if (rtpvrawdepay->outbuf) {
315       gst_rtp_base_depayload_push (depayload, rtpvrawdepay->outbuf);
316       rtpvrawdepay->outbuf = NULL;
317     }
318
319     if (gst_pad_check_reconfigure (GST_RTP_BASE_DEPAYLOAD_SRCPAD (depayload))) {
320       GstCaps *caps;
321
322       caps =
323           gst_pad_get_current_caps (GST_RTP_BASE_DEPAYLOAD_SRCPAD (depayload));
324       gst_rtp_vraw_depay_negotiate_pool (rtpvrawdepay, caps,
325           &rtpvrawdepay->vinfo);
326       gst_caps_unref (caps);
327     }
328
329     ret = gst_buffer_pool_acquire_buffer (rtpvrawdepay->pool, &outbuf, NULL);
330     if (G_UNLIKELY (ret != GST_FLOW_OK))
331       goto alloc_failed;
332
333     /* clear timestamp from alloc... */
334     GST_BUFFER_TIMESTAMP (outbuf) = -1;
335
336     rtpvrawdepay->outbuf = outbuf;
337     rtpvrawdepay->timestamp = timestamp;
338   }
339
340   if (!gst_video_frame_map (&frame, &rtpvrawdepay->vinfo, rtpvrawdepay->outbuf,
341           GST_MAP_WRITE))
342     goto invalid_frame;
343
344   /* get pointer and strides of the planes */
345   yp = GST_VIDEO_FRAME_COMP_DATA (&frame, 0);
346   up = GST_VIDEO_FRAME_COMP_DATA (&frame, 1);
347   vp = GST_VIDEO_FRAME_COMP_DATA (&frame, 2);
348
349   ystride = GST_VIDEO_FRAME_COMP_STRIDE (&frame, 0);
350   uvstride = GST_VIDEO_FRAME_COMP_STRIDE (&frame, 1);
351
352   pgroup = rtpvrawdepay->pgroup;
353   width = GST_VIDEO_INFO_WIDTH (&rtpvrawdepay->vinfo);
354   height = GST_VIDEO_INFO_HEIGHT (&rtpvrawdepay->vinfo);
355   xinc = rtpvrawdepay->xinc;
356   yinc = rtpvrawdepay->yinc;
357
358   payload = gst_rtp_buffer_get_payload (&rtp);
359   payload_len = gst_rtp_buffer_get_payload_len (&rtp);
360
361   if (payload_len < 3)
362     goto short_packet;
363
364   /* skip extended seqnum */
365   payload += 2;
366   payload_len -= 2;
367
368   /* remember header position */
369   headers = payload;
370
371   /* find data start */
372   do {
373     if (payload_len < 6)
374       goto short_packet;
375
376     cont = payload[4] & 0x80;
377
378     payload += 6;
379     payload_len -= 6;
380   } while (cont);
381
382   while (TRUE) {
383     guint length, line, offs, plen;
384     guint8 *datap;
385
386     /* stop when we run out of data */
387     if (payload_len == 0)
388       break;
389
390     /* read length and cont. This should work because we iterated the headers
391      * above. */
392     length = (headers[0] << 8) | headers[1];
393     line = ((headers[2] & 0x7f) << 8) | headers[3];
394     offs = ((headers[4] & 0x7f) << 8) | headers[5];
395     cont = headers[4] & 0x80;
396     headers += 6;
397
398     /* length must be a multiple of pgroup */
399     if (length % pgroup != 0)
400       goto wrong_length;
401
402     if (length > payload_len)
403       length = payload_len;
404
405     /* sanity check */
406     if (line > (height - yinc)) {
407       GST_WARNING_OBJECT (depayload, "skipping line %d: out of range", line);
408       goto next;
409     }
410     if (offs > (width - xinc)) {
411       GST_WARNING_OBJECT (depayload, "skipping offset %d: out of range", offs);
412       goto next;
413     }
414
415     /* calculate the maximim amount of bytes we can use per line */
416     if (offs + ((length / pgroup) * xinc) > width) {
417       plen = ((width - offs) * pgroup) / xinc;
418       GST_WARNING_OBJECT (depayload, "clipping length %d, offset %d, plen %d",
419           length, offs, plen);
420     } else
421       plen = length;
422
423     GST_LOG_OBJECT (depayload,
424         "writing length %u/%u, line %u, offset %u, remaining %u", plen, length,
425         line, offs, payload_len);
426
427     switch (GST_VIDEO_INFO_FORMAT (&rtpvrawdepay->vinfo)) {
428       case GST_VIDEO_FORMAT_RGB:
429       case GST_VIDEO_FORMAT_RGBA:
430       case GST_VIDEO_FORMAT_BGR:
431       case GST_VIDEO_FORMAT_BGRA:
432       case GST_VIDEO_FORMAT_UYVY:
433         /* samples are packed just like gstreamer packs them */
434         offs /= xinc;
435         datap = yp + (line * ystride) + (offs * pgroup);
436
437         memcpy (datap, payload, plen);
438         break;
439       case GST_VIDEO_FORMAT_AYUV:
440       {
441         gint i;
442         guint8 *p;
443
444         datap = yp + (line * ystride) + (offs * 4);
445         p = payload;
446
447         /* samples are packed in order Cb-Y-Cr for both interlaced and
448          * progressive frames */
449         for (i = 0; i < plen; i += pgroup) {
450           *datap++ = 0;
451           *datap++ = p[1];
452           *datap++ = p[0];
453           *datap++ = p[2];
454           p += pgroup;
455         }
456         break;
457       }
458       case GST_VIDEO_FORMAT_I420:
459       {
460         gint i;
461         guint uvoff;
462         guint8 *yd1p, *yd2p, *udp, *vdp, *p;
463
464         yd1p = yp + (line * ystride) + (offs);
465         yd2p = yd1p + ystride;
466         uvoff = (line / yinc * uvstride) + (offs / xinc);
467
468         udp = up + uvoff;
469         vdp = vp + uvoff;
470         p = payload;
471
472         /* line 0/1: Y00-Y01-Y10-Y11-Cb00-Cr00 Y02-Y03-Y12-Y13-Cb01-Cr01 ...  */
473         for (i = 0; i < plen; i += pgroup) {
474           *yd1p++ = p[0];
475           *yd1p++ = p[1];
476           *yd2p++ = p[2];
477           *yd2p++ = p[3];
478           *udp++ = p[4];
479           *vdp++ = p[5];
480           p += pgroup;
481         }
482         break;
483       }
484       case GST_VIDEO_FORMAT_Y41B:
485       {
486         gint i;
487         guint uvoff;
488         guint8 *ydp, *udp, *vdp, *p;
489
490         ydp = yp + (line * ystride) + (offs);
491         uvoff = (line / yinc * uvstride) + (offs / xinc);
492
493         udp = up + uvoff;
494         vdp = vp + uvoff;
495         p = payload;
496
497         /* Samples are packed in order Cb0-Y0-Y1-Cr0-Y2-Y3 for both interlaced
498          * and progressive scan lines */
499         for (i = 0; i < plen; i += pgroup) {
500           *udp++ = p[0];
501           *ydp++ = p[1];
502           *ydp++ = p[2];
503           *vdp++ = p[3];
504           *ydp++ = p[4];
505           *ydp++ = p[5];
506           p += pgroup;
507         }
508         break;
509       }
510       default:
511         goto unknown_sampling;
512     }
513
514   next:
515     if (!cont)
516       break;
517
518     payload += length;
519     payload_len -= length;
520   }
521
522   gst_video_frame_unmap (&frame);
523   gst_rtp_buffer_unmap (&rtp);
524
525   if (gst_rtp_buffer_get_marker (&rtp)) {
526     GST_LOG_OBJECT (depayload, "marker, flushing frame");
527     if (rtpvrawdepay->outbuf) {
528       gst_rtp_base_depayload_push (depayload, rtpvrawdepay->outbuf);
529       rtpvrawdepay->outbuf = NULL;
530     }
531     rtpvrawdepay->timestamp = -1;
532   }
533   return NULL;
534
535   /* ERRORS */
536 unknown_sampling:
537   {
538     GST_ELEMENT_ERROR (depayload, STREAM, FORMAT,
539         (NULL), ("unimplemented sampling"));
540     gst_video_frame_unmap (&frame);
541     gst_rtp_buffer_unmap (&rtp);
542     return NULL;
543   }
544 alloc_failed:
545   {
546     GST_WARNING_OBJECT (depayload, "failed to alloc output buffer");
547     gst_rtp_buffer_unmap (&rtp);
548     return NULL;
549   }
550 invalid_frame:
551   {
552     GST_ERROR_OBJECT (depayload, "could not map video frame");
553     gst_rtp_buffer_unmap (&rtp);
554     return NULL;
555   }
556 wrong_length:
557   {
558     GST_WARNING_OBJECT (depayload, "length not multiple of pgroup");
559     gst_video_frame_unmap (&frame);
560     gst_rtp_buffer_unmap (&rtp);
561     return NULL;
562   }
563 short_packet:
564   {
565     GST_WARNING_OBJECT (depayload, "short packet");
566     gst_video_frame_unmap (&frame);
567     gst_rtp_buffer_unmap (&rtp);
568     return NULL;
569   }
570 }
571
572 static gboolean
573 gst_rtp_vraw_depay_handle_event (GstRTPBaseDepayload * filter, GstEvent * event)
574 {
575   gboolean ret;
576   GstRtpVRawDepay *rtpvrawdepay;
577
578   rtpvrawdepay = GST_RTP_VRAW_DEPAY (filter);
579
580   switch (GST_EVENT_TYPE (event)) {
581     case GST_EVENT_FLUSH_STOP:
582       gst_rtp_vraw_depay_reset (rtpvrawdepay);
583       break;
584     default:
585       break;
586   }
587
588   ret =
589       GST_RTP_BASE_DEPAYLOAD_CLASS (parent_class)->handle_event (filter, event);
590
591   return ret;
592 }
593
594 static GstStateChangeReturn
595 gst_rtp_vraw_depay_change_state (GstElement * element,
596     GstStateChange transition)
597 {
598   GstRtpVRawDepay *rtpvrawdepay;
599   GstStateChangeReturn ret;
600
601   rtpvrawdepay = GST_RTP_VRAW_DEPAY (element);
602
603   switch (transition) {
604     case GST_STATE_CHANGE_NULL_TO_READY:
605       break;
606     case GST_STATE_CHANGE_READY_TO_PAUSED:
607       gst_rtp_vraw_depay_reset (rtpvrawdepay);
608       break;
609     default:
610       break;
611   }
612
613   ret = GST_ELEMENT_CLASS (parent_class)->change_state (element, transition);
614
615   switch (transition) {
616     case GST_STATE_CHANGE_PAUSED_TO_READY:
617       gst_rtp_vraw_depay_reset (rtpvrawdepay);
618       break;
619     case GST_STATE_CHANGE_READY_TO_NULL:
620       break;
621     default:
622       break;
623   }
624   return ret;
625 }
626
627 gboolean
628 gst_rtp_vraw_depay_plugin_init (GstPlugin * plugin)
629 {
630   return gst_element_register (plugin, "rtpvrawdepay",
631       GST_RANK_SECONDARY, GST_TYPE_RTP_VRAW_DEPAY);
632 }