gst/isomp4/gstqtmuxmap.c

   1 /* Quicktime muxer plugin for GStreamer
   2  * Copyright (C) 2008 Thiago Sousa Santos <thiagoss@embedded.ufcg.edu.br>
   3  * Copyright (C) 2008 Mark Nauwelaerts <mnauw@users.sf.net>
   4  *
   5  * This library is free software; you can redistribute it and/or
   6  * modify it under the terms of the GNU Library General Public
   7  * License as published by the Free Software Foundation; either
   8  * version 2 of the License, or (at your option) any later version.
   9  *
  10  * This library is distributed in the hope that it will be useful,
  11  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13  * Library General Public License for more details.
  14  *
  15  * You should have received a copy of the GNU Library General Public
  16  * License along with this library; if not, write to the
  17  * Free Software Foundation, Inc., 51 Franklin St, Fifth Floor,
  18  * Boston, MA 02110-1301, USA.
  19  */
  20 /*
  21  * Unless otherwise indicated, Source Code is licensed under MIT license.
  22  * See further explanation attached in License Statement (distributed in the file
  23  * LICENSE).
  24  *
  25  * Permission is hereby granted, free of charge, to any person obtaining a copy of
  26  * this software and associated documentation files (the "Software"), to deal in
  27  * the Software without restriction, including without limitation the rights to
  28  * use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies
  29  * of the Software, and to permit persons to whom the Software is furnished to do
  30  * so, subject to the following conditions:
  31  *
  32  * The above copyright notice and this permission notice shall be included in all
  33  * copies or substantial portions of the Software.
  34  *
  35  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
  36  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  37  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
  38  * AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
  39  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
  40  * OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
  41  * SOFTWARE.
  42  */
  43
  44 #include "gstqtmuxmap.h"
  45 #include "fourcc.h"
  46
  47 /* static info related to various format */
  48
  49 #define COMMON_VIDEO_CAPS \
  50   "width = (int) [ 16, MAX ], " \
  51   "height = (int) [ 16, MAX ]"
  52
  53 #define COMMON_VIDEO_CAPS_NO_FRAMERATE \
  54   "width = (int) [ 16, MAX ], " \
  55   "height = (int) [ 16, MAX ] "
  56
  57 #define H263_CAPS \
  58   "video/x-h263, " \
  59   COMMON_VIDEO_CAPS
  60
  61 #define H264_CAPS \
  62   "video/x-h264, " \
  63   "stream-format = (string) avc, " \
  64   "alignment = (string) au, " \
  65   COMMON_VIDEO_CAPS
  66
  67 #define H265_CAPS \
  68   "video/x-h265, " \
  69   "stream-format = (string) { hvc1, hev1 }, " \
  70   "alignment = (string) au, " \
  71   COMMON_VIDEO_CAPS
  72
  73 #define MPEG4V_CAPS \
  74   "video/mpeg, " \
  75   "mpegversion = (int) 4, "\
  76   "systemstream = (boolean) false, " \
  77   COMMON_VIDEO_CAPS "; " \
  78   "video/x-divx, " \
  79   "divxversion = (int) 5, "\
  80   COMMON_VIDEO_CAPS
  81
  82 #define PRORES_CAPS \
  83   "video/x-prores, " \
  84   "variant = (string) {standard, lt, hq, proxy, 4444, 4444xq}, " \
  85   COMMON_VIDEO_CAPS
  86
  87 #define CINEFORM_CAPS \
  88   "video/x-cineform, " \
  89   COMMON_VIDEO_CAPS
  90
  91 #define SVQ_CAPS \
  92   "video/x-svq, " \
  93   "svqversion = (int) 3, " \
  94   COMMON_VIDEO_CAPS
  95
  96 #define COMMON_AUDIO_CAPS(c, r) \
  97   "channels = (int) [ 1, " G_STRINGIFY (c) " ], " \
  98   "rate = (int) [ 1, " G_STRINGIFY (r) " ]"
  99
 100 #define PCM_CAPS \
 101   "audio/x-raw, " \
 102   "format = (string) { S16LE, S16BE, S8, U8 }, " \
 103   "layout = (string) interleaved, " \
 104   COMMON_AUDIO_CAPS (2, MAX)
 105
 106 #define PCM_CAPS_FULL \
 107   "audio/x-raw, " \
 108   "format = (string) { S32LE, S32BE, S24LE, S24BE, S16LE, S16BE, S8, U8 }, " \
 109   "layout = (string) interleaved, " \
 110   COMMON_AUDIO_CAPS (2, MAX)
 111
 112 #define PCM_CAPS_UNPOSITIONED \
 113   "audio/x-raw, " \
 114   "format = (string) { S32LE, S32BE, S24LE, S24BE, S16LE, S16BE, S8, U8 }, " \
 115   "layout = (string) interleaved, " \
 116   "channel-mask = (bitmask) 0, " \
 117   COMMON_AUDIO_CAPS (16, MAX)
 118
 119 #define MP3_CAPS \
 120   "audio/mpeg, " \
 121   "mpegversion = (int) 1, " \
 122   "layer = (int) 3, " \
 123   COMMON_AUDIO_CAPS (2, MAX)
 124
 125 #define MP123_CAPS \
 126   "audio/mpeg, " \
 127   "mpegversion = (int) 1, " \
 128   "layer = (int) [1, 3], " \
 129   COMMON_AUDIO_CAPS (2, MAX)
 130
 131 #define AAC_CAPS \
 132   "audio/mpeg, " \
 133   "mpegversion = (int) 4, " \
 134   "stream-format = (string) raw, " \
 135   COMMON_AUDIO_CAPS (8, MAX)
 136
 137 #define AC3_CAPS \
 138   "audio/x-ac3, " \
 139   COMMON_AUDIO_CAPS (6, MAX)
 140
 141 #define AMR_CAPS \
 142   "audio/AMR, " \
 143   "rate = (int) 8000, " \
 144   "channels = [ 1, 2 ]; " \
 145   "audio/AMR-WB, " \
 146   "rate = (int) 16000, " \
 147   "channels = [ 1, 2 ] "
 148
 149 #define ADPCM_CAPS  \
 150   "audio/x-adpcm, " \
 151   "layout = (string)dvi, " \
 152   "block_align = (int)[64, 8096], " \
 153   COMMON_AUDIO_CAPS(2, MAX)
 154
 155 #define ALAC_CAPS \
 156   "audio/x-alac, " \
 157   COMMON_AUDIO_CAPS(2, MAX)
 158
 159 #define OPUS_CAPS \
 160   "audio/x-opus, " \
 161   "channel-mapping-family = (int) [0, 255], " \
 162   COMMON_AUDIO_CAPS(8, MAX)
 163
 164
 165 #define TEXT_UTF8 \
 166   "text/x-raw, " \
 167   "format=(string)utf8"
 168
 169 #define CEA608_CAPS \
 170   "closedcaption/x-cea-608, format=(string)cc_data"
 171 #define CEA708_CAPS \
 172   "closedcaption/x-cea-708, format=(string)cdp"
 173
 174 /* FIXME 0.11 - take a look at bugs #580005 and #340375 */
 175 GstQTMuxFormatProp gst_qt_mux_format_list[] = {
 176   /* original QuickTime format; see Apple site (e.g. qtff.pdf) */
 177   {
 178         GST_QT_MUX_FORMAT_QT,
 179         GST_RANK_PRIMARY,
 180         "qtmux",
 181         "QuickTime",
 182         "GstQTMux",
 183         GST_STATIC_CAPS ("video/quicktime, variant = (string) apple; "
 184             "video/quicktime"),
 185         GST_STATIC_CAPS ("video/x-raw, "
 186             "format = (string) { RGB, UYVY, v210 }, "
 187             COMMON_VIDEO_CAPS "; "
 188             MPEG4V_CAPS "; "
 189             PRORES_CAPS "; "
 190             CINEFORM_CAPS "; "
 191             H263_CAPS "; "
 192             H264_CAPS "; "
 193             H265_CAPS "; "
 194             SVQ_CAPS "; "
 195             "video/x-dv, "
 196             "systemstream = (boolean) false, "
 197             COMMON_VIDEO_CAPS "; "
 198             "image/jpeg, "
 199             COMMON_VIDEO_CAPS_NO_FRAMERATE "; "
 200             "image/png, "
 201             COMMON_VIDEO_CAPS_NO_FRAMERATE "; "
 202             "video/x-vp8, "
 203             COMMON_VIDEO_CAPS "; "
 204             "video/x-vp9, "
 205             COMMON_VIDEO_CAPS "; "
 206             "video/x-dirac, "
 207             COMMON_VIDEO_CAPS "; " "video/x-qt-part, " COMMON_VIDEO_CAPS),
 208         GST_STATIC_CAPS (PCM_CAPS_FULL "; "
 209             PCM_CAPS_UNPOSITIONED " ; "
 210             MP123_CAPS " ; "
 211             AAC_CAPS " ; "
 212             AC3_CAPS " ; "
 213             ADPCM_CAPS " ; "
 214             "audio/x-alaw, " COMMON_AUDIO_CAPS (2, MAX) "; "
 215             "audio/x-mulaw, " COMMON_AUDIO_CAPS (2, MAX) "; "
 216             AMR_CAPS " ; " ALAC_CAPS " ; " OPUS_CAPS),
 217         GST_STATIC_CAPS (TEXT_UTF8),
 218       GST_STATIC_CAPS (CEA608_CAPS "; " CEA708_CAPS)}
 219   ,
 220   /* ISO 14496-14: mp42 as ISO base media extension
 221    * (supersedes original ISO 144996-1 mp41) */
 222   {
 223         GST_QT_MUX_FORMAT_MP4,
 224         GST_RANK_PRIMARY,
 225         "mp4mux",
 226         "MP4",
 227         "GstMP4Mux",
 228         GST_STATIC_CAPS ("video/quicktime, variant = (string) iso"),
 229         GST_STATIC_CAPS (MPEG4V_CAPS "; " H264_CAPS ";" H265_CAPS ";"
 230             "video/x-mp4-part," COMMON_VIDEO_CAPS),
 231         GST_STATIC_CAPS (MP123_CAPS "; "
 232             AAC_CAPS " ; " AC3_CAPS " ; " ALAC_CAPS " ; " OPUS_CAPS),
 233         GST_STATIC_CAPS (TEXT_UTF8),
 234       GST_STATIC_CAPS_NONE}
 235   ,
 236   /* Microsoft Smooth Streaming fmp4/isml */
 237   /* TODO add WMV/WMA support */
 238   {
 239         GST_QT_MUX_FORMAT_ISML,
 240         GST_RANK_PRIMARY,
 241         "ismlmux",
 242         "ISML",
 243         "GstISMLMux",
 244         GST_STATIC_CAPS ("video/quicktime, variant = (string) iso-fragmented"),
 245         GST_STATIC_CAPS (MPEG4V_CAPS "; " H264_CAPS),
 246         GST_STATIC_CAPS (MP3_CAPS "; " AAC_CAPS),
 247         GST_STATIC_CAPS_NONE,
 248       GST_STATIC_CAPS_NONE}
 249   ,
 250   /* 3GPP Technical Specification 26.244 V7.3.0
 251    * (extended in 3GPP2 File Formats for Multimedia Services) */
 252   {
 253         GST_QT_MUX_FORMAT_3GP,
 254         GST_RANK_PRIMARY,
 255         "3gppmux",
 256         "3GPP",
 257         "Gst3GPPMux",
 258         GST_STATIC_CAPS ("video/quicktime, variant = (string) 3gpp"),
 259         GST_STATIC_CAPS (H263_CAPS "; " MPEG4V_CAPS "; " H264_CAPS),
 260         GST_STATIC_CAPS (AMR_CAPS "; " MP3_CAPS "; " AAC_CAPS "; " AC3_CAPS),
 261         GST_STATIC_CAPS (TEXT_UTF8),
 262       GST_STATIC_CAPS_NONE}
 263   ,
 264   /* ISO 15444-3: Motion-JPEG-2000 (also ISO base media extension) */
 265   {
 266         GST_QT_MUX_FORMAT_MJ2,
 267         GST_RANK_PRIMARY,
 268         "mj2mux",
 269         "MJ2",
 270         "GstMJ2Mux",
 271         GST_STATIC_CAPS ("video/mj2"),
 272         GST_STATIC_CAPS ("image/x-j2c, " COMMON_VIDEO_CAPS "; "
 273             "image/x-jpc, " COMMON_VIDEO_CAPS),
 274         GST_STATIC_CAPS (PCM_CAPS),
 275         GST_STATIC_CAPS_NONE,
 276       GST_STATIC_CAPS_NONE}
 277   ,
 278   {
 279         GST_QT_MUX_FORMAT_NONE,
 280       }
 281 };
 282
 283 /* pretty static, but may turn out needed a few times */
 284 AtomsTreeFlavor
 285 gst_qt_mux_map_format_to_flavor (GstQTMuxFormat format)
 286 {
 287   if (format == GST_QT_MUX_FORMAT_QT)
 288     return ATOMS_TREE_FLAVOR_MOV;
 289   else if (format == GST_QT_MUX_FORMAT_3GP)
 290     return ATOMS_TREE_FLAVOR_3GP;
 291   else if (format == GST_QT_MUX_FORMAT_ISML)
 292     return ATOMS_TREE_FLAVOR_ISML;
 293   else
 294     return ATOMS_TREE_FLAVOR_ISOM;
 295 }
 296
 297 static void
 298 gst_qt_mux_map_check_tracks (AtomMOOV * moov, gint * _video, gint * _audio,
 299     gboolean * _has_h264)
 300 {
 301   GList *it;
 302   gint video = 0, audio = 0;
 303   gboolean has_h264 = FALSE;
 304
 305   for (it = moov->traks; it != NULL; it = g_list_next (it)) {
 306     AtomTRAK *track = it->data;
 307
 308     if (track->is_video) {
 309       video++;
 310       if (track->is_h264)
 311         has_h264 = TRUE;
 312     } else
 313       audio++;
 314   }
 315
 316   if (_video)
 317     *_video = video;
 318   if (_audio)
 319     *_audio = audio;
 320   if (_has_h264)
 321     *_has_h264 = has_h264;
 322 }
 323
 324 /* pretty static, but possibly dynamic format info */
 325
 326 /* notes:
 327  * - avc1 brand is not used, since the specific extensions indicated by it
 328  *   are not used (e.g. sample groupings, etc)
 329  * - TODO: maybe even more 3GPP brand fine-tuning ??
 330  *   (but that might need ftyp rewriting at the end) */
 331 void
 332 gst_qt_mux_map_format_to_header (GstQTMuxFormat format, GstBuffer ** _prefix,
 333     guint32 * _major, guint32 * _version, GList ** _compatible, AtomMOOV * moov,
 334     GstClockTime longest_chunk, gboolean faststart)
 335 {
 336   static const guint32 qt_brands[] = { 0 };
 337   static const guint32 mp4_brands[] =
 338       { FOURCC_mp41, FOURCC_isom, FOURCC_iso2, 0 };
 339   static const guint32 isml_brands[] = { FOURCC_iso2, 0 };
 340   static const guint32 gpp_brands[] = { FOURCC_isom, FOURCC_iso2, 0 };
 341   static const guint32 mjp2_brands[] = { FOURCC_isom, FOURCC_iso2, 0 };
 342   static const guint8 mjp2_prefix[] =
 343       { 0, 0, 0, 12, 'j', 'P', ' ', ' ', 0x0D, 0x0A, 0x87, 0x0A };
 344   const guint32 *comp = NULL;
 345   guint32 major = 0, version = 0;
 346   GstBuffer *prefix = NULL;
 347   GList *result = NULL;
 348
 349   g_return_if_fail (_prefix != NULL);
 350   g_return_if_fail (_major != NULL);
 351   g_return_if_fail (_version != NULL);
 352   g_return_if_fail (_compatible != NULL);
 353
 354   switch (format) {
 355     case GST_QT_MUX_FORMAT_QT:
 356       major = FOURCC_qt__;
 357       comp = qt_brands;
 358       version = 0x20050300;
 359       break;
 360     case GST_QT_MUX_FORMAT_MP4:
 361       major = FOURCC_mp42;
 362       comp = mp4_brands;
 363       break;
 364     case GST_QT_MUX_FORMAT_ISML:
 365       major = FOURCC_isml;
 366       comp = isml_brands;
 367       break;
 368     case GST_QT_MUX_FORMAT_3GP:
 369     {
 370       gint video, audio;
 371       gboolean has_h264;
 372
 373       gst_qt_mux_map_check_tracks (moov, &video, &audio, &has_h264);
 374       /* only track restriction really matters for Basic Profile */
 375       if (video <= 1 && audio <= 1) {
 376         /* it seems only newer spec knows about H264 */
 377         major = has_h264 ? FOURCC_3gp6 : FOURCC_3gp4;
 378         version = has_h264 ? 0x100 : 0x200;
 379       } else {
 380         major = FOURCC_3gg6;
 381         version = 0x100;
 382       }
 383       comp = gpp_brands;
 384
 385       /*
 386        * We assume that we have chunks in dts order
 387        */
 388       if (faststart && longest_chunk <= GST_SECOND) {
 389         /* add progressive download profile */
 390         result = g_list_append (result, GUINT_TO_POINTER (FOURCC_3gr6));
 391       }
 392       break;
 393     }
 394     case GST_QT_MUX_FORMAT_MJ2:
 395     {
 396       major = FOURCC_mjp2;
 397       comp = mjp2_brands;
 398       version = 0;
 399       prefix = gst_buffer_new_and_alloc (sizeof (mjp2_prefix));
 400       gst_buffer_fill (prefix, 0, mjp2_prefix, sizeof (mjp2_prefix));
 401       break;
 402     }
 403     default:
 404       g_assert_not_reached ();
 405       break;
 406   }
 407
 408   /* convert list to list, hm */
 409   while (comp && *comp != 0) {
 410     /* order matters over efficiency */
 411     result = g_list_append (result, GUINT_TO_POINTER (*comp));
 412     comp++;
 413   }
 414
 415   *_major = major;
 416   *_version = version;
 417   *_prefix = prefix;
 418   *_compatible = result;
 419
 420   /* TODO 3GPP may include mp42 as compatible if applicable */
 421   /* TODO 3GPP major brand 3gp7 if at most 1 video and audio track */
 422 }