gst/rtp/gstrtpamrdepay.c

   1 /* GStreamer
   2  * Copyright (C) <2005> Wim Taymans <wim.taymans@gmail.com>
   3  *
   4  * This library is free software; you can redistribute it and/or
   5  * modify it under the terms of the GNU Library General Public
   6  * License as published by the Free Software Foundation; either
   7  * version 2 of the License, or (at your option) any later version.
   8  *
   9  * This library is distributed in the hope that it will be useful,
  10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  12  * Library General Public License for more details.
  13  *
  14  * You should have received a copy of the GNU Library General Public
  15  * License along with this library; if not, write to the
  16  * Free Software Foundation, Inc., 51 Franklin St, Fifth Floor,
  17  * Boston, MA 02110-1301, USA.
  18  */
  19
  20 /**
  21  * SECTION:element-rtpamrdepay
  22  * @see_also: rtpamrpay
  23  *
  24  * Extract AMR audio from RTP packets according to RFC 3267.
  25  * For detailed information see: http://www.rfc-editor.org/rfc/rfc3267.txt
  26  *
  27  * <refsect2>
  28  * <title>Example pipeline</title>
  29  * |[
  30  * gst-launch-1.0 udpsrc caps='application/x-rtp, media=(string)audio, clock-rate=(int)8000, encoding-name=(string)AMR, encoding-params=(string)1, octet-align=(string)1, payload=(int)96' ! rtpamrdepay ! amrnbdec ! pulsesink
  31  * ]| This example pipeline will depayload and decode an RTP AMR stream. Refer to
  32  * the rtpamrpay example to create the RTP stream.
  33  * </refsect2>
  34  */
  35
  36 /*
  37  * RFC 3267 - Real-Time Transport Protocol (RTP) Payload Format and File
  38  * Storage Format for the Adaptive Multi-Rate (AMR) and Adaptive Multi-Rate
  39  * Wideband (AMR-WB) Audio Codecs.
  40  *
  41  */
  42 #ifdef HAVE_CONFIG_H
  43 #  include "config.h"
  44 #endif
  45
  46 #include <gst/rtp/gstrtpbuffer.h>
  47 #include <gst/audio/audio.h>
  48
  49 #include <stdlib.h>
  50 #include <string.h>
  51 #include "gstrtpamrdepay.h"
  52 #include "gstrtputils.h"
  53
  54 GST_DEBUG_CATEGORY_STATIC (rtpamrdepay_debug);
  55 #define GST_CAT_DEFAULT (rtpamrdepay_debug)
  56
  57 /* RtpAMRDepay signals and args */
  58 enum
  59 {
  60   /* FILL ME */
  61   LAST_SIGNAL
  62 };
  63
  64 enum
  65 {
  66   PROP_0
  67 };
  68
  69 /* input is an RTP packet
  70  *
  71  * params see RFC 3267, section 8.1
  72  */
  73 static GstStaticPadTemplate gst_rtp_amr_depay_sink_template =
  74     GST_STATIC_PAD_TEMPLATE ("sink",
  75     GST_PAD_SINK,
  76     GST_PAD_ALWAYS,
  77     GST_STATIC_CAPS ("application/x-rtp, "
  78         "media = (string) \"audio\", "
  79         "clock-rate = (int) 8000, " "encoding-name = (string) \"AMR\", "
  80         /* This is the default, so the peer doesn't have to specify it
  81          * "encoding-params = (string) \"1\", " */
  82         /* NOTE that all values must be strings in orde to be able to do SDP <->
  83          * GstCaps mapping. */
  84         "octet-align = (string) \"1\";"
  85         /* following options are not needed for a decoder
  86          *
  87          "crc = (string) { \"0\", \"1\" }, "
  88          "robust-sorting = (string) \"0\", "
  89          "interleaving = (string) \"0\";"
  90          "mode-set = (int) [ 0, 7 ], "
  91          "mode-change-period = (int) [ 1, MAX ], "
  92          "mode-change-neighbor = (boolean) { TRUE, FALSE }, "
  93          "maxptime = (int) [ 20, MAX ], "
  94          "ptime = (int) [ 20, MAX ]"
  95          */
  96         "application/x-rtp, "
  97         "media = (string) \"audio\", "
  98         "clock-rate = (int) 16000, " "encoding-name = (string) \"AMR-WB\", "
  99         /* This is the default, so the peer doesn't have to specify it
 100          * "encoding-params = (string) \"1\", " */
 101         /* NOTE that all values must be strings in orde to be able to do SDP <->
 102          * GstCaps mapping. */
 103         "octet-align = (string) \"1\";"
 104         /* following options are not needed for a decoder
 105          *
 106          "crc = (string) { \"0\", \"1\" }, "
 107          "robust-sorting = (string) \"0\", "
 108          "interleaving = (string) \"0\""
 109          "mode-set = (int) [ 0, 7 ], "
 110          "mode-change-period = (int) [ 1, MAX ], "
 111          "mode-change-neighbor = (boolean) { TRUE, FALSE }, "
 112          "maxptime = (int) [ 20, MAX ], "
 113          "ptime = (int) [ 20, MAX ]"
 114          */
 115     )
 116     );
 117
 118 static GstStaticPadTemplate gst_rtp_amr_depay_src_template =
 119     GST_STATIC_PAD_TEMPLATE ("src",
 120     GST_PAD_SRC,
 121     GST_PAD_ALWAYS,
 122     GST_STATIC_CAPS ("audio/AMR, " "channels = (int) 1," "rate = (int) 8000;"
 123         "audio/AMR-WB, " "channels = (int) 1," "rate = (int) 16000")
 124     );
 125
 126 static gboolean gst_rtp_amr_depay_setcaps (GstRTPBaseDepayload * depayload,
 127     GstCaps * caps);
 128 static GstBuffer *gst_rtp_amr_depay_process (GstRTPBaseDepayload * depayload,
 129     GstRTPBuffer * rtp);
 130
 131 #define gst_rtp_amr_depay_parent_class parent_class
 132 G_DEFINE_TYPE (GstRtpAMRDepay, gst_rtp_amr_depay, GST_TYPE_RTP_BASE_DEPAYLOAD);
 133
 134 static void
 135 gst_rtp_amr_depay_class_init (GstRtpAMRDepayClass * klass)
 136 {
 137   GstElementClass *gstelement_class;
 138   GstRTPBaseDepayloadClass *gstrtpbasedepayload_class;
 139
 140   gstelement_class = (GstElementClass *) klass;
 141   gstrtpbasedepayload_class = (GstRTPBaseDepayloadClass *) klass;
 142
 143   gst_element_class_add_static_pad_template (gstelement_class,
 144       &gst_rtp_amr_depay_src_template);
 145   gst_element_class_add_static_pad_template (gstelement_class,
 146       &gst_rtp_amr_depay_sink_template);
 147
 148   gst_element_class_set_static_metadata (gstelement_class,
 149       "RTP AMR depayloader", "Codec/Depayloader/Network/RTP",
 150       "Extracts AMR or AMR-WB audio from RTP packets (RFC 3267)",
 151       "Wim Taymans <wim.taymans@gmail.com>");
 152
 153   gstrtpbasedepayload_class->process_rtp_packet = gst_rtp_amr_depay_process;
 154   gstrtpbasedepayload_class->set_caps = gst_rtp_amr_depay_setcaps;
 155
 156   GST_DEBUG_CATEGORY_INIT (rtpamrdepay_debug, "rtpamrdepay", 0,
 157       "AMR/AMR-WB RTP Depayloader");
 158 }
 159
 160 static void
 161 gst_rtp_amr_depay_init (GstRtpAMRDepay * rtpamrdepay)
 162 {
 163   GstRTPBaseDepayload *depayload;
 164
 165   depayload = GST_RTP_BASE_DEPAYLOAD (rtpamrdepay);
 166
 167   gst_pad_use_fixed_caps (GST_RTP_BASE_DEPAYLOAD_SRCPAD (depayload));
 168 }
 169
 170 static gboolean
 171 gst_rtp_amr_depay_setcaps (GstRTPBaseDepayload * depayload, GstCaps * caps)
 172 {
 173   GstStructure *structure;
 174   GstCaps *srccaps;
 175   GstRtpAMRDepay *rtpamrdepay;
 176   const gchar *params;
 177   const gchar *str, *type;
 178   gint clock_rate, need_clock_rate;
 179   gboolean res;
 180
 181   rtpamrdepay = GST_RTP_AMR_DEPAY (depayload);
 182
 183   structure = gst_caps_get_structure (caps, 0);
 184
 185   /* figure out the mode first and set the clock rates */
 186   if ((str = gst_structure_get_string (structure, "encoding-name"))) {
 187     if (strcmp (str, "AMR") == 0) {
 188       rtpamrdepay->mode = GST_RTP_AMR_DP_MODE_NB;
 189       need_clock_rate = 8000;
 190       type = "audio/AMR";
 191     } else if (strcmp (str, "AMR-WB") == 0) {
 192       rtpamrdepay->mode = GST_RTP_AMR_DP_MODE_WB;
 193       need_clock_rate = 16000;
 194       type = "audio/AMR-WB";
 195     } else
 196       goto invalid_mode;
 197   } else
 198     goto invalid_mode;
 199
 200   if (!(str = gst_structure_get_string (structure, "octet-align")))
 201     rtpamrdepay->octet_align = FALSE;
 202   else
 203     rtpamrdepay->octet_align = (atoi (str) == 1);
 204
 205   if (!(str = gst_structure_get_string (structure, "crc")))
 206     rtpamrdepay->crc = FALSE;
 207   else
 208     rtpamrdepay->crc = (atoi (str) == 1);
 209
 210   if (rtpamrdepay->crc) {
 211     /* crc mode implies octet aligned mode */
 212     rtpamrdepay->octet_align = TRUE;
 213   }
 214
 215   if (!(str = gst_structure_get_string (structure, "robust-sorting")))
 216     rtpamrdepay->robust_sorting = FALSE;
 217   else
 218     rtpamrdepay->robust_sorting = (atoi (str) == 1);
 219
 220   if (rtpamrdepay->robust_sorting) {
 221     /* robust_sorting mode implies octet aligned mode */
 222     rtpamrdepay->octet_align = TRUE;
 223   }
 224
 225   if (!(str = gst_structure_get_string (structure, "interleaving")))
 226     rtpamrdepay->interleaving = FALSE;
 227   else
 228     rtpamrdepay->interleaving = (atoi (str) == 1);
 229
 230   if (rtpamrdepay->interleaving) {
 231     /* interleaving mode implies octet aligned mode */
 232     rtpamrdepay->octet_align = TRUE;
 233   }
 234
 235   if (!(params = gst_structure_get_string (structure, "encoding-params")))
 236     rtpamrdepay->channels = 1;
 237   else {
 238     rtpamrdepay->channels = atoi (params);
 239   }
 240
 241   if (!gst_structure_get_int (structure, "clock-rate", &clock_rate))
 242     clock_rate = need_clock_rate;
 243   depayload->clock_rate = clock_rate;
 244
 245   /* we require 1 channel, 8000 Hz, octet aligned, no CRC,
 246    * no robust sorting, no interleaving for now */
 247   if (rtpamrdepay->channels != 1)
 248     return FALSE;
 249   if (clock_rate != need_clock_rate)
 250     return FALSE;
 251   if (rtpamrdepay->octet_align != TRUE)
 252     return FALSE;
 253   if (rtpamrdepay->robust_sorting != FALSE)
 254     return FALSE;
 255   if (rtpamrdepay->interleaving != FALSE)
 256     return FALSE;
 257
 258   srccaps = gst_caps_new_simple (type,
 259       "channels", G_TYPE_INT, rtpamrdepay->channels,
 260       "rate", G_TYPE_INT, clock_rate, NULL);
 261   res = gst_pad_set_caps (GST_RTP_BASE_DEPAYLOAD_SRCPAD (depayload), srccaps);
 262   gst_caps_unref (srccaps);
 263
 264   return res;
 265
 266   /* ERRORS */
 267 invalid_mode:
 268   {
 269     GST_ERROR_OBJECT (rtpamrdepay, "invalid encoding-name");
 270     return FALSE;
 271   }
 272 }
 273
 274 /* -1 is invalid */
 275 static const gint nb_frame_size[16] = {
 276   12, 13, 15, 17, 19, 20, 26, 31,
 277   5, -1, -1, -1, -1, -1, -1, 0
 278 };
 279
 280 static const gint wb_frame_size[16] = {
 281   17, 23, 32, 36, 40, 46, 50, 58,
 282   60, 5, -1, -1, -1, -1, -1, 0
 283 };
 284
 285 static GstBuffer *
 286 gst_rtp_amr_depay_process (GstRTPBaseDepayload * depayload, GstRTPBuffer * rtp)
 287 {
 288   GstRtpAMRDepay *rtpamrdepay;
 289   const gint *frame_size;
 290   GstBuffer *outbuf = NULL;
 291   gint payload_len;
 292   GstMapInfo map;
 293
 294   rtpamrdepay = GST_RTP_AMR_DEPAY (depayload);
 295
 296   /* setup frame size pointer */
 297   if (rtpamrdepay->mode == GST_RTP_AMR_DP_MODE_NB)
 298     frame_size = nb_frame_size;
 299   else
 300     frame_size = wb_frame_size;
 301
 302   /* when we get here, 1 channel, 8000/16000 Hz, octet aligned, no CRC,
 303    * no robust sorting, no interleaving data is to be depayloaded */
 304   {
 305     guint8 *payload, *p, *dp;
 306     gint i, num_packets, num_nonempty_packets;
 307     gint amr_len;
 308     gint ILL, ILP;
 309
 310     payload_len = gst_rtp_buffer_get_payload_len (rtp);
 311
 312     /* need at least 2 bytes for the header */
 313     if (payload_len < 2)
 314       goto too_small;
 315
 316     payload = gst_rtp_buffer_get_payload (rtp);
 317
 318     /* depay CMR. The CMR is used by the sender to request
 319      * a new encoding mode.
 320      *
 321      *  0 1 2 3 4 5 6 7
 322      * +-+-+-+-+-+-+-+-+
 323      * | CMR   |R|R|R|R|
 324      * +-+-+-+-+-+-+-+-+
 325      */
 326     /* CMR = (payload[0] & 0xf0) >> 4; */
 327
 328     /* strip CMR header now, pack FT and the data for the decoder */
 329     payload_len -= 1;
 330     payload += 1;
 331
 332     GST_DEBUG_OBJECT (rtpamrdepay, "payload len %d", payload_len);
 333
 334     if (rtpamrdepay->interleaving) {
 335       ILL = (payload[0] & 0xf0) >> 4;
 336       ILP = (payload[0] & 0x0f);
 337
 338       payload_len -= 1;
 339       payload += 1;
 340
 341       if (ILP > ILL)
 342         goto wrong_interleaving;
 343     }
 344
 345     /*
 346      *  0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6
 347      * +-+-+-+-+-+-+-+-+..
 348      * |F|  FT   |Q|P|P| more FT..
 349      * +-+-+-+-+-+-+-+-+..
 350      */
 351     /* count number of packets by counting the FTs. Also
 352      * count number of amr data bytes and number of non-empty
 353      * packets (this is also the number of CRCs if present). */
 354     amr_len = 0;
 355     num_nonempty_packets = 0;
 356     num_packets = 0;
 357     for (i = 0; i < payload_len; i++) {
 358       gint fr_size;
 359       guint8 FT;
 360
 361       FT = (payload[i] & 0x78) >> 3;
 362
 363       fr_size = frame_size[FT];
 364       GST_DEBUG_OBJECT (rtpamrdepay, "frame size %d", fr_size);
 365       if (fr_size == -1)
 366         goto wrong_framesize;
 367
 368       if (fr_size > 0) {
 369         amr_len += fr_size;
 370         num_nonempty_packets++;
 371       }
 372       num_packets++;
 373
 374       if ((payload[i] & 0x80) == 0)
 375         break;
 376     }
 377
 378     if (rtpamrdepay->crc) {
 379       /* data len + CRC len + header bytes should be smaller than payload_len */
 380       if (num_packets + num_nonempty_packets + amr_len > payload_len)
 381         goto wrong_length_1;
 382     } else {
 383       /* data len + header bytes should be smaller than payload_len */
 384       if (num_packets + amr_len > payload_len)
 385         goto wrong_length_2;
 386     }
 387
 388     outbuf = gst_buffer_new_and_alloc (payload_len);
 389
 390     /* point to destination */
 391     gst_buffer_map (outbuf, &map, GST_MAP_WRITE);
 392
 393     /* point to first data packet */
 394     p = map.data;
 395     dp = payload + num_packets;
 396     if (rtpamrdepay->crc) {
 397       /* skip CRC if present */
 398       dp += num_nonempty_packets;
 399     }
 400
 401     for (i = 0; i < num_packets; i++) {
 402       gint fr_size;
 403
 404       /* copy FT, clear F bit */
 405       *p++ = payload[i] & 0x7f;
 406
 407       fr_size = frame_size[(payload[i] & 0x78) >> 3];
 408       if (fr_size > 0) {
 409         /* copy data packet, FIXME, calc CRC here. */
 410         memcpy (p, dp, fr_size);
 411
 412         p += fr_size;
 413         dp += fr_size;
 414       }
 415     }
 416     gst_buffer_unmap (outbuf, &map);
 417
 418     /* we can set the duration because each packet is 20 milliseconds */
 419     GST_BUFFER_DURATION (outbuf) = num_packets * 20 * GST_MSECOND;
 420
 421     if (gst_rtp_buffer_get_marker (rtp)) {
 422       /* marker bit marks a buffer after a talkspurt. */
 423       GST_DEBUG_OBJECT (depayload, "marker bit was set");
 424       GST_BUFFER_FLAG_SET (outbuf, GST_BUFFER_FLAG_RESYNC);
 425     }
 426
 427     GST_DEBUG_OBJECT (depayload, "pushing buffer of size %" G_GSIZE_FORMAT,
 428         gst_buffer_get_size (outbuf));
 429
 430     gst_rtp_copy_audio_meta (rtpamrdepay, outbuf, rtp->buffer);
 431   }
 432
 433   return outbuf;
 434
 435   /* ERRORS */
 436 too_small:
 437   {
 438     GST_ELEMENT_WARNING (rtpamrdepay, STREAM, DECODE,
 439         (NULL), ("AMR RTP payload too small (%d)", payload_len));
 440     goto bad_packet;
 441   }
 442 wrong_interleaving:
 443   {
 444     GST_ELEMENT_WARNING (rtpamrdepay, STREAM, DECODE,
 445         (NULL), ("AMR RTP wrong interleaving"));
 446     goto bad_packet;
 447   }
 448 wrong_framesize:
 449   {
 450     GST_ELEMENT_WARNING (rtpamrdepay, STREAM, DECODE,
 451         (NULL), ("AMR RTP frame size == -1"));
 452     goto bad_packet;
 453   }
 454 wrong_length_1:
 455   {
 456     GST_ELEMENT_WARNING (rtpamrdepay, STREAM, DECODE,
 457         (NULL), ("AMR RTP wrong length 1"));
 458     goto bad_packet;
 459   }
 460 wrong_length_2:
 461   {
 462     GST_ELEMENT_WARNING (rtpamrdepay, STREAM, DECODE,
 463         (NULL), ("AMR RTP wrong length 2"));
 464     goto bad_packet;
 465   }
 466 bad_packet:
 467   {
 468     /* no fatal error */
 469     return NULL;
 470   }
 471 }
 472
 473 gboolean
 474 gst_rtp_amr_depay_plugin_init (GstPlugin * plugin)
 475 {
 476   return gst_element_register (plugin, "rtpamrdepay",
 477       GST_RANK_SECONDARY, GST_TYPE_RTP_AMR_DEPAY);
 478 }