Update docs
[platform/upstream/gst-plugins-good.git] / gst / isomp4 / gstqtmuxmap.c
1 /* Quicktime muxer plugin for GStreamer
2  * Copyright (C) 2008 Thiago Sousa Santos <thiagoss@embedded.ufcg.edu.br>
3  * Copyright (C) 2008 Mark Nauwelaerts <mnauw@users.sf.net>
4  *
5  * This library is free software; you can redistribute it and/or
6  * modify it under the terms of the GNU Library General Public
7  * License as published by the Free Software Foundation; either
8  * version 2 of the License, or (at your option) any later version.
9  *
10  * This library is distributed in the hope that it will be useful,
11  * but WITHOUT ANY WARRANTY; without even the implied warranty of
12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13  * Library General Public License for more details.
14  *
15  * You should have received a copy of the GNU Library General Public
16  * License along with this library; if not, write to the
17  * Free Software Foundation, Inc., 51 Franklin St, Fifth Floor,
18  * Boston, MA 02110-1301, USA.
19  */
20 /*
21  * Unless otherwise indicated, Source Code is licensed under MIT license.
22  * See further explanation attached in License Statement (distributed in the file
23  * LICENSE).
24  *
25  * Permission is hereby granted, free of charge, to any person obtaining a copy of
26  * this software and associated documentation files (the "Software"), to deal in
27  * the Software without restriction, including without limitation the rights to
28  * use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies
29  * of the Software, and to permit persons to whom the Software is furnished to do
30  * so, subject to the following conditions:
31  *
32  * The above copyright notice and this permission notice shall be included in all
33  * copies or substantial portions of the Software.
34  *
35  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
36  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
37  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
38  * AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
39  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
40  * OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
41  * SOFTWARE.
42  */
43
44 #include "gstqtmuxmap.h"
45 #include "fourcc.h"
46
47 /* static info related to various format */
48
49 #define COMMON_VIDEO_CAPS \
50   "width = (int) [ 16, MAX ], " \
51   "height = (int) [ 16, MAX ]"
52
53 #define COMMON_VIDEO_CAPS_NO_FRAMERATE \
54   "width = (int) [ 16, MAX ], " \
55   "height = (int) [ 16, MAX ] "
56
57 #define H263_CAPS \
58   "video/x-h263, " \
59   COMMON_VIDEO_CAPS
60
61 #define H264_CAPS \
62   "video/x-h264, " \
63   "stream-format = (string) avc, " \
64   "alignment = (string) au, " \
65   COMMON_VIDEO_CAPS
66
67 #define H265_CAPS \
68   "video/x-h265, " \
69   "stream-format = (string) { hvc1, hev1 }, " \
70   "alignment = (string) au, " \
71   COMMON_VIDEO_CAPS
72
73 #define MPEG4V_CAPS \
74   "video/mpeg, " \
75   "mpegversion = (int) 4, "\
76   "systemstream = (boolean) false, " \
77   COMMON_VIDEO_CAPS "; " \
78   "video/x-divx, " \
79   "divxversion = (int) 5, "\
80   COMMON_VIDEO_CAPS
81
82 #define PRORES_CAPS \
83   "video/x-prores, " \
84   "variant = (string) {standard, lt, hq, proxy, 4444, 4444xq}, " \
85   COMMON_VIDEO_CAPS
86
87 #define CINEFORM_CAPS \
88   "video/x-cineform, " \
89   COMMON_VIDEO_CAPS
90
91 #define SVQ_CAPS \
92   "video/x-svq, " \
93   "svqversion = (int) 3, " \
94   COMMON_VIDEO_CAPS
95
96 #define COMMON_AUDIO_CAPS(c, r) \
97   "channels = (int) [ 1, " G_STRINGIFY (c) " ], " \
98   "rate = (int) [ 1, " G_STRINGIFY (r) " ]"
99
100 #define PCM_CAPS \
101   "audio/x-raw, " \
102   "format = (string) { S16LE, S16BE, S8, U8 }, " \
103   "layout = (string) interleaved, " \
104   COMMON_AUDIO_CAPS (2, MAX)
105
106 #define PCM_CAPS_FULL \
107   "audio/x-raw, " \
108   "format = (string) { S32LE, S32BE, S24LE, S24BE, S16LE, S16BE, S8, U8 }, " \
109   "layout = (string) interleaved, " \
110   COMMON_AUDIO_CAPS (2, MAX)
111
112 #define PCM_CAPS_UNPOSITIONED \
113   "audio/x-raw, " \
114   "format = (string) { S32LE, S32BE, S24LE, S24BE, S16LE, S16BE, S8, U8 }, " \
115   "layout = (string) interleaved, " \
116   "channel-mask = (bitmask) 0, " \
117   COMMON_AUDIO_CAPS (16, MAX)
118
119 #define MP3_CAPS \
120   "audio/mpeg, " \
121   "mpegversion = (int) 1, " \
122   "layer = (int) 3, " \
123   COMMON_AUDIO_CAPS (2, MAX)
124
125 #define MP123_CAPS \
126   "audio/mpeg, " \
127   "mpegversion = (int) 1, " \
128   "layer = (int) [1, 3], " \
129   COMMON_AUDIO_CAPS (2, MAX)
130
131 #define AAC_CAPS \
132   "audio/mpeg, " \
133   "mpegversion = (int) 4, " \
134   "stream-format = (string) raw, " \
135   COMMON_AUDIO_CAPS (8, MAX)
136
137 #define AC3_CAPS \
138   "audio/x-ac3, " \
139   COMMON_AUDIO_CAPS (6, MAX)
140
141 #define AMR_CAPS \
142   "audio/AMR, " \
143   "rate = (int) 8000, " \
144   "channels = [ 1, 2 ]; " \
145   "audio/AMR-WB, " \
146   "rate = (int) 16000, " \
147   "channels = [ 1, 2 ] "
148
149 #define ADPCM_CAPS  \
150   "audio/x-adpcm, " \
151   "layout = (string)dvi, " \
152   "block_align = (int)[64, 8096], " \
153   COMMON_AUDIO_CAPS(2, MAX)
154
155 #define ALAC_CAPS \
156   "audio/x-alac, " \
157   COMMON_AUDIO_CAPS(2, MAX)
158
159 #define OPUS_CAPS \
160   "audio/x-opus, " \
161   "channel-mapping-family = (int) [0, 255], " \
162   COMMON_AUDIO_CAPS(8, MAX)
163
164
165 #define TEXT_UTF8 \
166   "text/x-raw, " \
167   "format=(string)utf8"
168
169 /* FIXME 0.11 - take a look at bugs #580005 and #340375 */
170 GstQTMuxFormatProp gst_qt_mux_format_list[] = {
171   /* original QuickTime format; see Apple site (e.g. qtff.pdf) */
172   {
173         GST_QT_MUX_FORMAT_QT,
174         GST_RANK_PRIMARY,
175         "qtmux",
176         "QuickTime",
177         "GstQTMux",
178         GST_STATIC_CAPS ("video/quicktime, variant = (string) apple; "
179             "video/quicktime"),
180         GST_STATIC_CAPS ("video/x-raw, "
181             "format = (string) { RGB, UYVY, v210 }, "
182             COMMON_VIDEO_CAPS "; "
183             MPEG4V_CAPS "; "
184             PRORES_CAPS "; "
185             CINEFORM_CAPS "; "
186             H263_CAPS "; "
187             H264_CAPS "; "
188             H265_CAPS "; "
189             SVQ_CAPS "; "
190             "video/x-dv, "
191             "systemstream = (boolean) false, "
192             COMMON_VIDEO_CAPS "; "
193             "image/jpeg, "
194             COMMON_VIDEO_CAPS_NO_FRAMERATE "; "
195             "image/png, "
196             COMMON_VIDEO_CAPS_NO_FRAMERATE "; "
197             "video/x-vp8, "
198             COMMON_VIDEO_CAPS "; "
199             "video/x-vp9, "
200             COMMON_VIDEO_CAPS "; "
201             "video/x-dirac, "
202             COMMON_VIDEO_CAPS "; " "video/x-qt-part, " COMMON_VIDEO_CAPS),
203         GST_STATIC_CAPS (PCM_CAPS_FULL "; "
204             PCM_CAPS_UNPOSITIONED " ; "
205             MP123_CAPS " ; "
206             AAC_CAPS " ; "
207             AC3_CAPS " ; "
208             ADPCM_CAPS " ; "
209             "audio/x-alaw, " COMMON_AUDIO_CAPS (2, MAX) "; "
210             "audio/x-mulaw, " COMMON_AUDIO_CAPS (2, MAX) "; "
211             AMR_CAPS " ; " ALAC_CAPS " ; " OPUS_CAPS),
212       GST_STATIC_CAPS (TEXT_UTF8)}
213   ,
214   /* ISO 14496-14: mp42 as ISO base media extension
215    * (supersedes original ISO 144996-1 mp41) */
216   {
217         GST_QT_MUX_FORMAT_MP4,
218         GST_RANK_PRIMARY,
219         "mp4mux",
220         "MP4",
221         "GstMP4Mux",
222         GST_STATIC_CAPS ("video/quicktime, variant = (string) iso"),
223         GST_STATIC_CAPS (MPEG4V_CAPS "; " H264_CAPS ";" H265_CAPS ";"
224             "video/x-mp4-part," COMMON_VIDEO_CAPS),
225         GST_STATIC_CAPS (MP123_CAPS "; "
226             AAC_CAPS " ; " AC3_CAPS " ; " ALAC_CAPS " ; " OPUS_CAPS),
227       GST_STATIC_CAPS (TEXT_UTF8)}
228   ,
229   /* Microsoft Smooth Streaming fmp4/isml */
230   /* TODO add WMV/WMA support */
231   {
232         GST_QT_MUX_FORMAT_ISML,
233         GST_RANK_PRIMARY,
234         "ismlmux",
235         "ISML",
236         "GstISMLMux",
237         GST_STATIC_CAPS ("video/quicktime, variant = (string) iso-fragmented"),
238         GST_STATIC_CAPS (MPEG4V_CAPS "; " H264_CAPS),
239         GST_STATIC_CAPS (MP3_CAPS "; " AAC_CAPS),
240       GST_STATIC_CAPS_NONE}
241   ,
242   /* 3GPP Technical Specification 26.244 V7.3.0
243    * (extended in 3GPP2 File Formats for Multimedia Services) */
244   {
245         GST_QT_MUX_FORMAT_3GP,
246         GST_RANK_PRIMARY,
247         "3gppmux",
248         "3GPP",
249         "Gst3GPPMux",
250         GST_STATIC_CAPS ("video/quicktime, variant = (string) 3gpp"),
251         GST_STATIC_CAPS (H263_CAPS "; " MPEG4V_CAPS "; " H264_CAPS),
252         GST_STATIC_CAPS (AMR_CAPS "; " MP3_CAPS "; " AAC_CAPS "; " AC3_CAPS),
253       GST_STATIC_CAPS (TEXT_UTF8)}
254   ,
255   /* ISO 15444-3: Motion-JPEG-2000 (also ISO base media extension) */
256   {
257         GST_QT_MUX_FORMAT_MJ2,
258         GST_RANK_PRIMARY,
259         "mj2mux",
260         "MJ2",
261         "GstMJ2Mux",
262         GST_STATIC_CAPS ("video/mj2"),
263         GST_STATIC_CAPS ("image/x-j2c, " COMMON_VIDEO_CAPS "; "
264             "image/x-jpc, " COMMON_VIDEO_CAPS),
265         GST_STATIC_CAPS (PCM_CAPS),
266       GST_STATIC_CAPS_NONE}
267   ,
268   {
269         GST_QT_MUX_FORMAT_NONE,
270       }
271 };
272
273 /* pretty static, but may turn out needed a few times */
274 AtomsTreeFlavor
275 gst_qt_mux_map_format_to_flavor (GstQTMuxFormat format)
276 {
277   if (format == GST_QT_MUX_FORMAT_QT)
278     return ATOMS_TREE_FLAVOR_MOV;
279   else if (format == GST_QT_MUX_FORMAT_3GP)
280     return ATOMS_TREE_FLAVOR_3GP;
281   else if (format == GST_QT_MUX_FORMAT_ISML)
282     return ATOMS_TREE_FLAVOR_ISML;
283   else
284     return ATOMS_TREE_FLAVOR_ISOM;
285 }
286
287 static void
288 gst_qt_mux_map_check_tracks (AtomMOOV * moov, gint * _video, gint * _audio,
289     gboolean * _has_h264)
290 {
291   GList *it;
292   gint video = 0, audio = 0;
293   gboolean has_h264 = FALSE;
294
295   for (it = moov->traks; it != NULL; it = g_list_next (it)) {
296     AtomTRAK *track = it->data;
297
298     if (track->is_video) {
299       video++;
300       if (track->is_h264)
301         has_h264 = TRUE;
302     } else
303       audio++;
304   }
305
306   if (_video)
307     *_video = video;
308   if (_audio)
309     *_audio = audio;
310   if (_has_h264)
311     *_has_h264 = has_h264;
312 }
313
314 /* pretty static, but possibly dynamic format info */
315
316 /* notes:
317  * - avc1 brand is not used, since the specific extensions indicated by it
318  *   are not used (e.g. sample groupings, etc)
319  * - TODO: maybe even more 3GPP brand fine-tuning ??
320  *   (but that might need ftyp rewriting at the end) */
321 void
322 gst_qt_mux_map_format_to_header (GstQTMuxFormat format, GstBuffer ** _prefix,
323     guint32 * _major, guint32 * _version, GList ** _compatible, AtomMOOV * moov,
324     GstClockTime longest_chunk, gboolean faststart)
325 {
326   static const guint32 qt_brands[] = { 0 };
327   static const guint32 mp4_brands[] =
328       { FOURCC_mp41, FOURCC_isom, FOURCC_iso2, 0 };
329   static const guint32 isml_brands[] = { FOURCC_iso2, 0 };
330   static const guint32 gpp_brands[] = { FOURCC_isom, FOURCC_iso2, 0 };
331   static const guint32 mjp2_brands[] = { FOURCC_isom, FOURCC_iso2, 0 };
332   static const guint8 mjp2_prefix[] =
333       { 0, 0, 0, 12, 'j', 'P', ' ', ' ', 0x0D, 0x0A, 0x87, 0x0A };
334   const guint32 *comp = NULL;
335   guint32 major = 0, version = 0;
336   GstBuffer *prefix = NULL;
337   GList *result = NULL;
338
339   g_return_if_fail (_prefix != NULL);
340   g_return_if_fail (_major != NULL);
341   g_return_if_fail (_version != NULL);
342   g_return_if_fail (_compatible != NULL);
343
344   switch (format) {
345     case GST_QT_MUX_FORMAT_QT:
346       major = FOURCC_qt__;
347       comp = qt_brands;
348       version = 0x20050300;
349       break;
350     case GST_QT_MUX_FORMAT_MP4:
351       major = FOURCC_mp42;
352       comp = mp4_brands;
353       break;
354     case GST_QT_MUX_FORMAT_ISML:
355       major = FOURCC_isml;
356       comp = isml_brands;
357       break;
358     case GST_QT_MUX_FORMAT_3GP:
359     {
360       gint video, audio;
361       gboolean has_h264;
362
363       gst_qt_mux_map_check_tracks (moov, &video, &audio, &has_h264);
364       /* only track restriction really matters for Basic Profile */
365       if (video <= 1 && audio <= 1) {
366         /* it seems only newer spec knows about H264 */
367         major = has_h264 ? FOURCC_3gp6 : FOURCC_3gp4;
368         version = has_h264 ? 0x100 : 0x200;
369       } else {
370         major = FOURCC_3gg6;
371         version = 0x100;
372       }
373       comp = gpp_brands;
374
375       /*
376        * We assume that we have chunks in dts order
377        */
378       if (faststart && longest_chunk <= GST_SECOND) {
379         /* add progressive download profile */
380         result = g_list_append (result, GUINT_TO_POINTER (FOURCC_3gr6));
381       }
382       break;
383     }
384     case GST_QT_MUX_FORMAT_MJ2:
385     {
386       major = FOURCC_mjp2;
387       comp = mjp2_brands;
388       version = 0;
389       prefix = gst_buffer_new_and_alloc (sizeof (mjp2_prefix));
390       gst_buffer_fill (prefix, 0, mjp2_prefix, sizeof (mjp2_prefix));
391       break;
392     }
393     default:
394       g_assert_not_reached ();
395       break;
396   }
397
398   /* convert list to list, hm */
399   while (comp && *comp != 0) {
400     /* order matters over efficiency */
401     result = g_list_append (result, GUINT_TO_POINTER (*comp));
402     comp++;
403   }
404
405   *_major = major;
406   *_version = version;
407   *_prefix = prefix;
408   *_compatible = result;
409
410   /* TODO 3GPP may include mp42 as compatible if applicable */
411   /* TODO 3GPP major brand 3gp7 if at most 1 video and audio track */
412 }