subprojects/gst-plugins-bad/gst/mxf/mxfvanc.c

   1 /* GStreamer
   2  * Copyright (C) 2020 Sebastian Dröge <sebastian@centricular.com>
   3  *
   4  * This library is free software; you can redistribute it and/or
   5  * modify it under the terms of the GNU Library General Public
   6  * License as published by the Free Software Foundation; either
   7  * version 2 of the License, or (at your option) any later version.
   8  *
   9  * This library is distributed in the hope that it will be useful,
  10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  12  * Library General Public License for more details.
  13  *
  14  * You should have received a copy of the GNU Library General Public
  15  * License along with this library; if not, write to the
  16  * Free Software Foundation, Inc., 51 Franklin St, Fifth Floor,
  17  * Boston, MA 02110-1301, USA.
  18  */
  19
  20 /* Implementation of SMPTE 436M - MXF Mappings for VBI Lines
  21  * and Ancillary Data Packets
  22  */
  23
  24 #ifdef HAVE_CONFIG_H
  25 #include "config.h"
  26 #endif
  27
  28 #include <gst/gst.h>
  29 #include <gst/base/base.h>
  30 #include <gst/video/video.h>
  31 #include <string.h>
  32
  33 #include "mxfvanc.h"
  34 #include "mxfessence.h"
  35
  36 GST_DEBUG_CATEGORY_EXTERN (mxf_debug);
  37 #define GST_CAT_DEFAULT mxf_debug
  38
  39 /* SMPTE S436M 7 */
  40 #define MXF_TYPE_METADATA_VANC_DESCRIPTOR \
  41   (mxf_metadata_vanc_descriptor_get_type())
  42 #define MXF_METADATA_VANC_DESCRIPTOR(obj) \
  43   (G_TYPE_CHECK_INSTANCE_CAST((obj),MXF_TYPE_METADATA_VANC_DESCRIPTOR, MXFMetadataVANCDescriptor))
  44 #define MXF_IS_METADATA_VANC_DESCRIPTOR(obj) \
  45   (G_TYPE_CHECK_INSTANCE_TYPE((obj),MXF_TYPE_METADATA_VANC_DESCRIPTOR))
  46 typedef struct _MXFMetadataVANCDescriptor MXFMetadataVANCDescriptor;
  47 typedef MXFMetadataClass MXFMetadataVANCDescriptorClass;
  48 GType mxf_metadata_vanc_descriptor_get_type (void);
  49
  50 struct _MXFMetadataVANCDescriptor
  51 {
  52   MXFMetadataGenericDataEssenceDescriptor parent;
  53 };
  54
  55 G_DEFINE_TYPE (MXFMetadataVANCDescriptor,
  56     mxf_metadata_vanc_descriptor,
  57     MXF_TYPE_METADATA_GENERIC_DATA_ESSENCE_DESCRIPTOR);
  58
  59 static void
  60 mxf_metadata_vanc_descriptor_init (MXFMetadataVANCDescriptor * self)
  61 {
  62 }
  63
  64 static void
  65     mxf_metadata_vanc_descriptor_class_init
  66     (MXFMetadataVANCDescriptorClass * klass)
  67 {
  68   MXFMetadataClass *metadata_class = (MXFMetadataClass *) klass;
  69
  70   metadata_class->type = 0x015c;
  71 }
  72
  73 static gboolean
  74 mxf_is_vanc_essence_track (const MXFMetadataTimelineTrack * track)
  75 {
  76   guint i;
  77
  78   g_return_val_if_fail (track != NULL, FALSE);
  79
  80   if (track->parent.descriptor == NULL)
  81     return FALSE;
  82
  83   for (i = 0; i < track->parent.n_descriptor; i++) {
  84     MXFMetadataFileDescriptor *d = track->parent.descriptor[i];
  85     MXFUL *key;
  86
  87     if (!d)
  88       continue;
  89
  90     key = &d->essence_container;
  91     /* SMPTE 436M 4.3 */
  92     if (mxf_is_generic_container_essence_container_label (key) &&
  93         key->u[12] == 0x02 && key->u[13] == 0x0e &&
  94         key->u[14] == 0x00 && key->u[15] == 0x00)
  95       return TRUE;
  96   }
  97
  98   return FALSE;
  99 }
 100
 101 static GstFlowReturn
 102 mxf_vanc_handle_essence_element (const MXFUL * key, GstBuffer * buffer,
 103     GstCaps * caps,
 104     MXFMetadataTimelineTrack * track,
 105     gpointer mapping_data, GstBuffer ** outbuf)
 106 {
 107   GstMapInfo map;
 108   GstByteReader reader;
 109   GstFlowReturn ret = GST_FLOW_ERROR;
 110   guint16 num_packets, i;
 111
 112   /* SMPTE 436M 6.1 */
 113   if (key->u[12] != 0x17 || key->u[14] != 0x02) {
 114     GST_ERROR ("Invalid VANC essence element");
 115     gst_buffer_unref (buffer);
 116     return GST_FLOW_ERROR;
 117   }
 118
 119   if (gst_buffer_get_size (buffer) < 2) {
 120     GST_ERROR ("Invalid VANC essence element size");
 121     gst_buffer_unref (buffer);
 122     return GST_FLOW_ERROR;
 123   }
 124
 125   gst_buffer_map (buffer, &map, GST_MAP_READ);
 126   gst_byte_reader_init (&reader, map.data, map.size);
 127
 128   num_packets = gst_byte_reader_get_uint16_be_unchecked (&reader);
 129   if (num_packets == 0) {
 130     /* SMPTE 436-1:2013 5.5 The Number of VI Lines or ANC Packets Property
 131      *
 132      * One of the properties in the VI Element is the “Number of Lines” which is
 133      * the number of the VI lines contained in this VI Element. This number can
 134      * be zero if the current VI Element does not have any VI lines in the
 135      * payload space. This capability can be used so every Content Package in a
 136      * file can have a VI Element even if the video stream does not have VI
 137      * lines with every frame (or field.)
 138      *
 139      * The same scheme can be used for ANC packets.
 140      */
 141     goto no_data;
 142   }
 143
 144   for (i = 0; i < num_packets; i++) {
 145     G_GNUC_UNUSED guint16 line_num;
 146     G_GNUC_UNUSED guint8 wrapping_type;
 147     guint8 payload_sample_coding;
 148     guint16 payload_sample_count;
 149     guint32 array_count;
 150     guint32 array_item_size;
 151     guint8 did, sdid;
 152     guint8 cdp_size;
 153
 154     if (gst_byte_reader_get_remaining (&reader) < 16)
 155       goto out;
 156
 157     line_num = gst_byte_reader_get_uint16_be_unchecked (&reader);
 158     wrapping_type = gst_byte_reader_get_uint8_unchecked (&reader);
 159     payload_sample_coding = gst_byte_reader_get_uint8_unchecked (&reader);
 160     payload_sample_count = gst_byte_reader_get_uint16_be_unchecked (&reader);
 161
 162     array_count = gst_byte_reader_get_uint32_be_unchecked (&reader);
 163     array_item_size = gst_byte_reader_get_uint32_be_unchecked (&reader);
 164
 165     /* Skip over anything that is not 8 bit VANC */
 166     if (payload_sample_coding != 4 && payload_sample_coding != 5
 167         && payload_sample_coding != 6) {
 168       if (!gst_byte_reader_skip (&reader, array_count * array_item_size))
 169         goto out;
 170       continue;
 171     }
 172
 173     if (gst_byte_reader_get_remaining (&reader) < array_count * array_item_size)
 174       goto out;
 175
 176     if (gst_byte_reader_get_remaining (&reader) < payload_sample_count)
 177       goto out;
 178
 179     if (payload_sample_count < 2) {
 180       if (!gst_byte_reader_skip (&reader, array_count * array_item_size))
 181         goto out;
 182       continue;
 183     }
 184
 185     did = gst_byte_reader_get_uint8_unchecked (&reader);
 186     sdid = gst_byte_reader_get_uint8_unchecked (&reader);
 187
 188     /* Not S334 EIA-708 */
 189     if (did != 0x61 && sdid != 0x01) {
 190       GST_TRACE ("Skipping VANC data with DID/SDID 0x%02X/0x%02X", did, sdid);
 191       if (!gst_byte_reader_skip (&reader, array_count * array_item_size - 2))
 192         goto out;
 193       continue;
 194     }
 195
 196     if (payload_sample_count < 2) {
 197       if (!gst_byte_reader_skip (&reader, array_count * array_item_size - 2))
 198         goto out;
 199       continue;
 200     }
 201
 202     cdp_size = gst_byte_reader_get_uint8_unchecked (&reader);
 203     if (payload_sample_count - 3 < cdp_size) {
 204       if (!gst_byte_reader_skip (&reader, array_count * array_item_size - 3))
 205         goto out;
 206       continue;
 207     }
 208
 209     gst_buffer_unmap (buffer, &map);
 210     *outbuf =
 211         gst_buffer_copy_region (buffer, GST_BUFFER_COPY_ALL,
 212         gst_byte_reader_get_pos (&reader), cdp_size);
 213     gst_buffer_unref (buffer);
 214     return GST_FLOW_OK;
 215   }
 216
 217 no_data:
 218
 219   /* No packets or we skipped over all packets */
 220   *outbuf = gst_buffer_new ();
 221   GST_BUFFER_FLAG_SET (*outbuf, GST_BUFFER_FLAG_GAP);
 222   ret = GST_FLOW_OK;
 223
 224 out:
 225   gst_buffer_unmap (buffer, &map);
 226   gst_buffer_unref (buffer);
 227
 228   return ret;
 229 }
 230
 231 static MXFEssenceWrapping
 232 mxf_vanc_get_track_wrapping (const MXFMetadataTimelineTrack * track)
 233 {
 234   g_return_val_if_fail (track != NULL, MXF_ESSENCE_WRAPPING_CUSTOM_WRAPPING);
 235
 236   if (track->parent.descriptor == NULL) {
 237     GST_ERROR ("No descriptor found for this track");
 238     return MXF_ESSENCE_WRAPPING_CUSTOM_WRAPPING;
 239   }
 240
 241   return MXF_ESSENCE_WRAPPING_FRAME_WRAPPING;
 242 }
 243
 244 static GstCaps *
 245 mxf_vanc_create_caps (MXFMetadataTimelineTrack * track, GstTagList ** tags,
 246     gboolean * intra_only, MXFEssenceElementHandleFunc * handler,
 247     gpointer * mapping_data)
 248 {
 249   GstCaps *caps = NULL;
 250   guint i;
 251   MXFMetadataFileDescriptor *f = NULL;
 252   MXFMetadataVANCDescriptor *p = NULL;
 253
 254   g_return_val_if_fail (track != NULL, NULL);
 255
 256   if (track->parent.descriptor == NULL) {
 257     GST_ERROR ("No descriptor found for this track");
 258     return NULL;
 259   }
 260
 261   for (i = 0; i < track->parent.n_descriptor; i++) {
 262     if (!track->parent.descriptor[i])
 263       continue;
 264
 265     if (MXF_IS_METADATA_VANC_DESCRIPTOR (track->parent.descriptor[i])) {
 266       p = (MXFMetadataVANCDescriptor *) track->parent.descriptor[i];
 267       f = track->parent.descriptor[i];
 268       break;
 269     } else if (MXF_IS_METADATA_FILE_DESCRIPTOR (track->parent.descriptor[i]) &&
 270         !MXF_IS_METADATA_MULTIPLE_DESCRIPTOR (track->parent.descriptor[i])) {
 271       f = track->parent.descriptor[i];
 272     }
 273   }
 274
 275   if (!f) {
 276     GST_ERROR ("No descriptor found for this track");
 277     return NULL;
 278   }
 279
 280   *handler = mxf_vanc_handle_essence_element;
 281
 282   caps =
 283       gst_caps_new_simple ("closedcaption/x-cea-708", "format",
 284       G_TYPE_STRING, "cdp", NULL);
 285
 286   if (p && p->parent.parent.sample_rate.d != 0) {
 287     gst_caps_set_simple (caps, "framerate", GST_TYPE_FRACTION,
 288         p->parent.parent.sample_rate.n, p->parent.parent.sample_rate.d, NULL);
 289   }
 290
 291   *intra_only = TRUE;
 292
 293   return caps;
 294 }
 295
 296 static const MXFEssenceElementHandler mxf_vanc_essence_element_handler = {
 297   mxf_is_vanc_essence_track,
 298   mxf_vanc_get_track_wrapping,
 299   mxf_vanc_create_caps
 300 };
 301
 302 static GstFlowReturn
 303 mxf_vanc_write_func (GstBuffer * buffer,
 304     gpointer mapping_data, GstAdapter * adapter, GstBuffer ** outbuf,
 305     gboolean flush)
 306 {
 307   GstMapInfo map;
 308   GstByteWriter writer;
 309   guint8 *data;
 310   guint size;
 311   guint i;
 312   guint8 checksum;
 313
 314   gst_buffer_map (buffer, &map, GST_MAP_READ);
 315
 316   size = GST_ROUND_UP_4 (map.size) + 20;
 317
 318   gst_byte_writer_init_with_size (&writer, size, TRUE);
 319
 320   gst_byte_writer_put_uint16_be_unchecked (&writer, 1);
 321   gst_byte_writer_put_uint16_be_unchecked (&writer, 9);
 322   gst_byte_writer_put_uint8_unchecked (&writer, 1);
 323   gst_byte_writer_put_uint8_unchecked (&writer, 4);
 324   gst_byte_writer_put_uint16_be_unchecked (&writer, map.size + 4);
 325   gst_byte_writer_put_uint32_be_unchecked (&writer,
 326       GST_ROUND_UP_4 (map.size + 4));
 327   gst_byte_writer_put_uint32_be_unchecked (&writer, 1);
 328
 329   gst_byte_writer_put_uint16_be_unchecked (&writer, 0x6101);
 330   gst_byte_writer_put_uint8_unchecked (&writer, map.size);
 331
 332   gst_byte_writer_put_data_unchecked (&writer, map.data, map.size);
 333
 334   checksum = 0x61 + 0x01 + map.size;
 335   for (i = 0; i < map.size; i++)
 336     checksum += map.data[i];
 337   gst_byte_writer_put_uint8_unchecked (&writer, checksum & 0xff);
 338
 339   if (GST_ROUND_UP_4 (map.size) != map.size) {
 340     gst_byte_writer_fill_unchecked (&writer, 0,
 341         GST_ROUND_UP_4 (map.size) - map.size);
 342   }
 343
 344   data = gst_byte_writer_reset_and_get_data (&writer);
 345
 346   gst_buffer_unmap (buffer, &map);
 347   gst_buffer_unref (buffer);
 348
 349   *outbuf = gst_buffer_new_wrapped (data, size);
 350
 351   return GST_FLOW_OK;
 352 }
 353
 354 static const guint8 vanc_essence_container_ul[] = {
 355   0x06, 0x0e, 0x2b, 0x34, 0x04, 0x01, 0x01, 0x09,
 356   0x0d, 0x01, 0x03, 0x01, 0x02, 0x0e, 0x00, 0x00
 357 };
 358
 359 static MXFMetadataFileDescriptor *
 360 mxf_vanc_get_descriptor (GstPadTemplate * tmpl, GstCaps * caps,
 361     MXFEssenceElementWriteFunc * handler, gpointer * mapping_data)
 362 {
 363   MXFMetadataVANCDescriptor *ret;
 364   GstStructure *s;
 365   const gchar *format;
 366   gint fps_n, fps_d;
 367
 368   s = gst_caps_get_structure (caps, 0);
 369   if (strcmp (gst_structure_get_name (s), "closedcaption/x-cea-708") != 0 ||
 370       !(format = gst_structure_get_string (s, "format")) ||
 371       strcmp (format, "cdp") != 0 ||
 372       !gst_structure_get_value (s, "framerate")) {
 373     GST_ERROR ("Invalid caps %" GST_PTR_FORMAT, caps);
 374     return NULL;
 375   }
 376
 377   gst_structure_get_fraction (s, "framerate", &fps_n, &fps_d);
 378
 379   ret = (MXFMetadataVANCDescriptor *)
 380       g_object_new (MXF_TYPE_METADATA_VANC_DESCRIPTOR, NULL);
 381
 382   memcpy (&ret->parent.parent.essence_container, &vanc_essence_container_ul,
 383       16);
 384
 385   *handler = mxf_vanc_write_func;
 386
 387   return (MXFMetadataFileDescriptor *) ret;
 388 }
 389
 390 static void
 391 mxf_vanc_update_descriptor (MXFMetadataFileDescriptor * d, GstCaps * caps,
 392     gpointer mapping_data, GstBuffer * buf)
 393 {
 394   return;
 395 }
 396
 397 static void
 398 mxf_vanc_get_edit_rate (MXFMetadataFileDescriptor * a, GstCaps * caps,
 399     gpointer mapping_data, GstBuffer * buf, MXFMetadataSourcePackage * package,
 400     MXFMetadataTimelineTrack * track, MXFFraction * edit_rate)
 401 {
 402   const GstStructure *s;
 403   gint fps_n, fps_d;
 404
 405   s = gst_caps_get_structure (caps, 0);
 406   if (!gst_structure_get_fraction (s, "framerate", &fps_n, &fps_d))
 407     return;
 408
 409   edit_rate->n = fps_n;
 410   edit_rate->d = fps_d;
 411 }
 412
 413 static guint32
 414 mxf_vanc_get_track_number_template (MXFMetadataFileDescriptor * a,
 415     GstCaps * caps, gpointer mapping_data)
 416 {
 417   return (0x17 << 24) | (0x02 << 8);
 418 }
 419
 420 static MXFEssenceElementWriter mxf_vanc_essence_element_writer = {
 421   mxf_vanc_get_descriptor,
 422   mxf_vanc_update_descriptor,
 423   mxf_vanc_get_edit_rate,
 424   mxf_vanc_get_track_number_template,
 425   NULL,
 426   {{0,}}
 427 };
 428
 429 /**
 430  * GstMXFMux!vanc_sink_%u:
 431  *
 432  * Since: 1.18
 433  */
 434
 435 void
 436 mxf_vanc_init (void)
 437 {
 438   mxf_metadata_register (MXF_TYPE_METADATA_VANC_DESCRIPTOR);
 439   mxf_essence_element_handler_register (&mxf_vanc_essence_element_handler);
 440
 441   mxf_vanc_essence_element_writer.pad_template =
 442       gst_pad_template_new ("vanc_sink_%u", GST_PAD_SINK,
 443       GST_PAD_REQUEST,
 444       gst_caps_from_string
 445       ("closedcaption/x-cea-708, format = (string) cdp, framerate = "
 446           GST_VIDEO_FPS_RANGE));
 447   memcpy (&mxf_vanc_essence_element_writer.data_definition,
 448       mxf_metadata_track_identifier_get (MXF_METADATA_TRACK_DATA_ESSENCE), 16);
 449   mxf_essence_element_writer_register (&mxf_vanc_essence_element_writer);
 450 }