avvidenc: Set colorimetry information in the context if known
[platform/upstream/gst-libav.git] / ext / libav / gstavcodecmap.c
index 8a9c0ba..f1587c5 100644 (file)
@@ -99,6 +99,9 @@ gst_ffmpeg_channel_positions_to_layout (GstAudioChannelPosition * pos,
   if (!pos)
     return 0;
 
+  if (channels == 1 && pos[0] == GST_AUDIO_CHANNEL_POSITION_MONO)
+    return AV_CH_LAYOUT_MONO;
+
   for (i = 0; i < channels; i++) {
     for (j = 0; j < G_N_ELEMENTS (_ff_to_gst_layout); j++) {
       if (_ff_to_gst_layout[j].gst == pos[i]) {
@@ -127,6 +130,15 @@ gst_ffmpeg_channel_layout_to_gst (guint64 channel_layout, gint channels,
   } else {
     guint i, j;
 
+    /* Special path for mono, as AV_CH_LAYOUT_MONO is the same
+     * as FRONT_CENTER but we distinguish between the two in
+     * GStreamer
+     */
+    if (channels == 1 && channel_layout == AV_CH_LAYOUT_MONO) {
+      pos[0] = GST_AUDIO_CHANNEL_POSITION_MONO;
+      return TRUE;
+    }
+
     for (i = 0; i < 64; i++) {
       if ((channel_layout & (G_GUINT64_CONSTANT (1) << i)) != 0) {
         nchannels++;
@@ -209,7 +221,7 @@ gst_ffmpeg_video_set_pix_fmts (GstCaps * caps, const enum AVPixelFormat *fmts)
 
     g_value_init (&va, GST_TYPE_LIST);
     g_value_init (&v, G_TYPE_STRING);
-    for (i = 0; i <= PIX_FMT_NB; i++) {
+    for (i = 0; i <= AV_PIX_FMT_NB; i++) {
       format = gst_ffmpeg_pixfmt_to_videoformat (i);
       if (format == GST_VIDEO_FORMAT_UNKNOWN)
         continue;
@@ -758,10 +770,6 @@ gst_ffmpeg_codecid_to_caps (enum AVCodecID codec_id,
       }
       break;
 
-    case AV_CODEC_ID_MPEG2VIDEO_XVMC:
-      /* this is a special ID - don't need it in GStreamer, I think */
-      break;
-
     case AV_CODEC_ID_H263:
       if (encode) {
         caps =
@@ -954,6 +962,18 @@ gst_ffmpeg_codecid_to_caps (enum AVCodecID codec_id,
           "parsed", G_TYPE_BOOLEAN, TRUE, NULL);
       break;
 
+    case AV_CODEC_ID_JPEG2000:
+      caps =
+          gst_ff_vid_caps_new (context, NULL, codec_id, encode, "image/x-j2c",
+          NULL);
+      if (!encode) {
+        gst_caps_append (caps, gst_ff_vid_caps_new (context, NULL, codec_id,
+                encode, "image/x-jpc", NULL));
+        gst_caps_append (caps, gst_ff_vid_caps_new (context, NULL, codec_id,
+                encode, "image/jp2", NULL));
+      }
+      break;
+
     case AV_CODEC_ID_SP5X:
       caps =
           gst_ff_vid_caps_new (context, NULL, codec_id, encode, "video/sp5x",
@@ -976,19 +996,9 @@ gst_ffmpeg_codecid_to_caps (enum AVCodecID codec_id,
                 gst_ff_vid_caps_new (context, NULL, codec_id, encode,
                 "video/x-divx", "divxversion", G_TYPE_INT, 5, NULL);
             break;
-          case GST_MAKE_FOURCC ('X', 'V', 'I', 'D'):
-            caps =
-                gst_ff_vid_caps_new (context, NULL, codec_id, encode,
-                "video/x-xvid", NULL);
-            break;
-          case GST_MAKE_FOURCC ('3', 'I', 'V', '1'):
-            caps =
-                gst_ff_vid_caps_new (context, NULL, codec_id, encode,
-                "video/x-3ivx", NULL);
-            break;
           case GST_MAKE_FOURCC ('m', 'p', '4', 'v'):
           default:
-            /* FIXME: bitrate */
+            /* FIXME: bitrate. libav doesn't expose the used profile and level */
             caps =
                 gst_ff_vid_caps_new (context, NULL, codec_id, encode,
                 "video/mpeg", "systemstream", G_TYPE_BOOLEAN, FALSE,
@@ -1001,17 +1011,28 @@ gst_ffmpeg_codecid_to_caps (enum AVCodecID codec_id,
             gst_ff_vid_caps_new (context, NULL, codec_id, encode, "video/mpeg",
             "mpegversion", G_TYPE_INT, 4, "systemstream", G_TYPE_BOOLEAN, FALSE,
             NULL);
-        gst_caps_append (caps, gst_ff_vid_caps_new (context, NULL, codec_id,
-                encode, "video/x-xvid", NULL));
+
         if (encode) {
+          GValue arr = { 0, };
+          GValue item = { 0, };
+
+          g_value_init (&arr, GST_TYPE_LIST);
+          g_value_init (&item, G_TYPE_STRING);
+          g_value_set_string (&item, "simple");
+          gst_value_list_append_value (&arr, &item);
+          g_value_set_string (&item, "advanced-simple");
+          gst_value_list_append_value (&arr, &item);
+          g_value_unset (&item);
+
+          gst_caps_set_value (caps, "profile", &arr);
+          g_value_unset (&arr);
+
           gst_caps_append (caps, gst_ff_vid_caps_new (context, NULL, codec_id,
                   encode, "video/x-divx", "divxversion", G_TYPE_INT, 5, NULL));
         } else {
           gst_caps_append (caps, gst_ff_vid_caps_new (context, NULL, codec_id,
                   encode, "video/x-divx", "divxversion", GST_TYPE_INT_RANGE, 4,
                   5, NULL));
-          gst_caps_append (caps, gst_ff_vid_caps_new (context, NULL, codec_id,
-                  encode, "video/x-3ivx", NULL));
         }
       }
       break;
@@ -1079,22 +1100,22 @@ gst_ffmpeg_codecid_to_caps (enum AVCodecID codec_id,
         const gchar *format;
 
         switch (context->pix_fmt) {
-          case PIX_FMT_YUYV422:
+          case AV_PIX_FMT_YUYV422:
             format = "YUY2";
             break;
-          case PIX_FMT_YUV420P:
+          case AV_PIX_FMT_YUV420P:
             format = "I420";
             break;
-          case PIX_FMT_YUVA420P:
+          case AV_PIX_FMT_YUVA420P:
             format = "A420";
             break;
-          case PIX_FMT_YUV411P:
+          case AV_PIX_FMT_YUV411P:
             format = "Y41B";
             break;
-          case PIX_FMT_YUV422P:
+          case AV_PIX_FMT_YUV422P:
             format = "Y42B";
             break;
-          case PIX_FMT_YUV410P:
+          case AV_PIX_FMT_YUV410P:
             format = "YUV9";
             break;
           default:
@@ -1125,8 +1146,8 @@ gst_ffmpeg_codecid_to_caps (enum AVCodecID codec_id,
         caps =
             gst_ff_aud_caps_new (context, NULL, codec_id, encode, "audio/x-wma",
             "wmaversion", G_TYPE_INT, version, "block_align", G_TYPE_INT,
-            context->block_align, "bitrate", G_TYPE_INT, context->bit_rate,
-            NULL);
+            context->block_align, "bitrate", G_TYPE_INT,
+            (guint) context->bit_rate, NULL);
       } else {
         caps =
             gst_ff_aud_caps_new (context, NULL, codec_id, encode, "audio/x-wma",
@@ -1292,6 +1313,12 @@ gst_ffmpeg_codecid_to_caps (enum AVCodecID codec_id,
           NULL);
       break;
 
+    case AV_CODEC_ID_VP9:
+      caps =
+          gst_ff_vid_caps_new (context, NULL, codec_id, encode, "video/x-vp9",
+          NULL);
+      break;
+
     case AV_CODEC_ID_THEORA:
       caps =
           gst_ff_vid_caps_new (context, NULL, codec_id, encode,
@@ -1711,6 +1738,12 @@ gst_ffmpeg_codecid_to_caps (enum AVCodecID codec_id,
           "video/x-apple-intermediate-codec", NULL);
       break;
 
+    case AV_CODEC_ID_CAVS:
+      caps =
+          gst_ff_vid_caps_new (context, NULL, codec_id, encode,
+          "video/x-cavs", NULL);
+      break;
+
     case AV_CODEC_ID_WS_VQA:
     case AV_CODEC_ID_IDCIN:
     case AV_CODEC_ID_8BPS:
@@ -1727,7 +1760,6 @@ gst_ffmpeg_codecid_to_caps (enum AVCodecID codec_id,
     case AV_CODEC_ID_WESTWOOD_SND1:
     case AV_CODEC_ID_MMVIDEO:
     case AV_CODEC_ID_AVS:
-    case AV_CODEC_ID_CAVS:
       buildcaps = TRUE;
       break;
 
@@ -1792,7 +1824,7 @@ gst_ffmpeg_codecid_to_caps (enum AVCodecID codec_id,
       if (context)
         gst_caps_set_simple (caps,
             "block_align", G_TYPE_INT, context->block_align,
-            "bitrate", G_TYPE_INT, context->bit_rate, NULL);
+            "bitrate", G_TYPE_INT, (guint) context->bit_rate, NULL);
       break;
 
     case AV_CODEC_ID_ADPCM_G726:
@@ -1804,7 +1836,7 @@ gst_ffmpeg_codecid_to_caps (enum AVCodecID codec_id,
       if (context)
         gst_caps_set_simple (caps,
             "block_align", G_TYPE_INT, context->block_align,
-            "bitrate", G_TYPE_INT, context->bit_rate, NULL);
+            "bitrate", G_TYPE_INT, (guint) context->bit_rate, NULL);
 
       if (!encode) {
         gst_caps_append (caps, gst_caps_new_simple ("audio/x-adpcm",
@@ -1938,7 +1970,7 @@ gst_ffmpeg_codecid_to_caps (enum AVCodecID codec_id,
       if (context)
         gst_caps_set_simple (caps,
             "block_align", G_TYPE_INT, context->block_align,
-            "bitrate", G_TYPE_INT, context->bit_rate, NULL);
+            "bitrate", G_TYPE_INT, (guint) context->bit_rate, NULL);
     }
       break;
 
@@ -1980,7 +2012,7 @@ gst_ffmpeg_codecid_to_caps (enum AVCodecID codec_id,
       if (context) {
         gst_caps_set_simple (caps,
             "leaf_size", G_TYPE_INT, context->block_align,
-            "bitrate", G_TYPE_INT, context->bit_rate, NULL);
+            "bitrate", G_TYPE_INT, (guint) context->bit_rate, NULL);
       }
     }
       break;
@@ -2012,7 +2044,7 @@ gst_ffmpeg_codecid_to_caps (enum AVCodecID codec_id,
       if (context) {
         gst_caps_set_simple (caps,
             "leaf_size", G_TYPE_INT, context->block_align,
-            "bitrate", G_TYPE_INT, context->bit_rate, NULL);
+            "bitrate", G_TYPE_INT, (guint) context->bit_rate, NULL);
       }
     }
       break;
@@ -2050,7 +2082,7 @@ gst_ffmpeg_codecid_to_caps (enum AVCodecID codec_id,
       if (context)
         gst_caps_set_simple (caps,
             "block_align", G_TYPE_INT, context->block_align,
-            "bitrate", G_TYPE_INT, context->bit_rate, NULL);
+            "bitrate", G_TYPE_INT, (guint) context->bit_rate, NULL);
     }
       break;
 
@@ -2076,6 +2108,16 @@ gst_ffmpeg_codecid_to_caps (enum AVCodecID codec_id,
       }
       break;
 
+    case AV_CODEC_ID_OPUS:
+      /* Note that ffmpeg has no encoder yet, but just for safety. In the
+       * encoder case, we want to add things like samplerate, channels... */
+      if (!encode) {
+        /* FIXME: can ffmpeg handle multichannel Opus? */
+        caps = gst_caps_new_simple ("audio/x-opus",
+            "channel-mapping-family", G_TYPE_INT, 0, NULL);
+      }
+      break;
+
     case AV_CODEC_ID_S302M:
       caps = gst_caps_new_empty_simple ("audio/x-smpte-302m");
       break;
@@ -2101,6 +2143,11 @@ gst_ffmpeg_codecid_to_caps (enum AVCodecID codec_id,
           gst_ff_aud_caps_new (context, NULL, codec_id, encode,
           "audio/x-twin-vq", NULL);
       break;
+    case AV_CODEC_ID_G729:
+      caps =
+          gst_ff_aud_caps_new (context, NULL, codec_id, encode, "audio/G729",
+          NULL);
+      break;
     default:
       GST_DEBUG ("Unknown codec ID %d, please add mapping here", codec_id);
       break;
@@ -2129,7 +2176,7 @@ gst_ffmpeg_codecid_to_caps (enum AVCodecID codec_id,
           if (context)
             gst_caps_set_simple (caps,
                 "block_align", G_TYPE_INT, context->block_align,
-                "bitrate", G_TYPE_INT, context->bit_rate, NULL);
+                "bitrate", G_TYPE_INT, (guint) context->bit_rate, NULL);
           g_free (mime);
           break;
         default:
@@ -2166,7 +2213,7 @@ gst_ffmpeg_codecid_to_caps (enum AVCodecID codec_id,
  */
 
 static GstCaps *
-gst_ffmpeg_pixfmt_to_caps (enum PixelFormat pix_fmt, AVCodecContext * context,
+gst_ffmpeg_pixfmt_to_caps (enum AVPixelFormat pix_fmt, AVCodecContext * context,
     enum AVCodecID codec_id)
 {
   GstCaps *caps = NULL;
@@ -2325,6 +2372,7 @@ gst_ffmpeg_caps_to_smpfmt (const GstCaps * caps,
   GstStructure *structure;
   const gchar *fmt;
   GstAudioFormat format = GST_AUDIO_FORMAT_UNKNOWN;
+  gint bitrate;
 
   g_return_if_fail (gst_caps_get_size (caps) == 1);
 
@@ -2333,7 +2381,8 @@ gst_ffmpeg_caps_to_smpfmt (const GstCaps * caps,
   gst_structure_get_int (structure, "channels", &context->channels);
   gst_structure_get_int (structure, "rate", &context->sample_rate);
   gst_structure_get_int (structure, "block_align", &context->block_align);
-  gst_structure_get_int (structure, "bitrate", &context->bit_rate);
+  if (gst_structure_get_int (structure, "bitrate", &bitrate))
+    context->bit_rate = bitrate;
 
   if (!raw)
     return;
@@ -2403,8 +2452,8 @@ gst_ffmpeg_caps_to_pixfmt (const GstCaps * caps,
           context->time_base.den, context->time_base.num,
           1. * context->time_base.den / context->time_base.num);
     } else {
-      GST_WARNING ("ignoring insane framerate %d/%d",
-          context->time_base.den, context->time_base.num);
+      GST_INFO ("ignoring framerate %d/%d (probably variable framerate)",
+          context->time_base.num, context->time_base.den);
     }
   }
 
@@ -2441,53 +2490,53 @@ gst_ffmpeg_caps_to_pixfmt (const GstCaps * caps,
 
   switch (format) {
     case GST_VIDEO_FORMAT_YUY2:
-      context->pix_fmt = PIX_FMT_YUYV422;
+      context->pix_fmt = AV_PIX_FMT_YUYV422;
       break;
     case GST_VIDEO_FORMAT_I420:
-      context->pix_fmt = PIX_FMT_YUV420P;
+      context->pix_fmt = AV_PIX_FMT_YUV420P;
       break;
     case GST_VIDEO_FORMAT_A420:
-      context->pix_fmt = PIX_FMT_YUVA420P;
+      context->pix_fmt = AV_PIX_FMT_YUVA420P;
       break;
     case GST_VIDEO_FORMAT_Y41B:
-      context->pix_fmt = PIX_FMT_YUV411P;
+      context->pix_fmt = AV_PIX_FMT_YUV411P;
       break;
     case GST_VIDEO_FORMAT_Y42B:
-      context->pix_fmt = PIX_FMT_YUV422P;
+      context->pix_fmt = AV_PIX_FMT_YUV422P;
       break;
     case GST_VIDEO_FORMAT_YUV9:
-      context->pix_fmt = PIX_FMT_YUV410P;
+      context->pix_fmt = AV_PIX_FMT_YUV410P;
       break;
     case GST_VIDEO_FORMAT_Y444:
-      context->pix_fmt = PIX_FMT_YUV444P;
+      context->pix_fmt = AV_PIX_FMT_YUV444P;
       break;
     case GST_VIDEO_FORMAT_GRAY8:
-      context->pix_fmt = PIX_FMT_GRAY8;
+      context->pix_fmt = AV_PIX_FMT_GRAY8;
       break;
     case GST_VIDEO_FORMAT_xRGB:
 #if (G_BYTE_ORDER == G_BIG_ENDIAN)
-      context->pix_fmt = PIX_FMT_RGB32;
+      context->pix_fmt = AV_PIX_FMT_RGB32;
 #endif
       break;
     case GST_VIDEO_FORMAT_BGRx:
 #if (G_BYTE_ORDER == G_LITTLE_ENDIAN)
-      context->pix_fmt = PIX_FMT_RGB32;
+      context->pix_fmt = AV_PIX_FMT_RGB32;
 #endif
       break;
     case GST_VIDEO_FORMAT_RGB:
-      context->pix_fmt = PIX_FMT_RGB24;
+      context->pix_fmt = AV_PIX_FMT_RGB24;
       break;
     case GST_VIDEO_FORMAT_BGR:
-      context->pix_fmt = PIX_FMT_BGR24;
+      context->pix_fmt = AV_PIX_FMT_BGR24;
       break;
     case GST_VIDEO_FORMAT_RGB16:
-      context->pix_fmt = PIX_FMT_RGB565;
+      context->pix_fmt = AV_PIX_FMT_RGB565;
       break;
     case GST_VIDEO_FORMAT_RGB15:
-      context->pix_fmt = PIX_FMT_RGB555;
+      context->pix_fmt = AV_PIX_FMT_RGB555;
       break;
     case GST_VIDEO_FORMAT_RGB8P:
-      context->pix_fmt = PIX_FMT_PAL8;
+      context->pix_fmt = AV_PIX_FMT_PAL8;
       break;
     default:
       break;
@@ -2497,93 +2546,99 @@ gst_ffmpeg_caps_to_pixfmt (const GstCaps * caps,
 typedef struct
 {
   GstVideoFormat format;
-  enum PixelFormat pixfmt;
+  enum AVPixelFormat pixfmt;
 } PixToFmt;
 
 /* FIXME : FILLME */
 static const PixToFmt pixtofmttable[] = {
   /* GST_VIDEO_FORMAT_I420, */
-  {GST_VIDEO_FORMAT_I420, PIX_FMT_YUV420P},
+  {GST_VIDEO_FORMAT_I420, AV_PIX_FMT_YUV420P},
   /* Note : this should use a different chroma placement */
-  {GST_VIDEO_FORMAT_I420, PIX_FMT_YUVJ420P},
+  {GST_VIDEO_FORMAT_I420, AV_PIX_FMT_YUVJ420P},
 
   /* GST_VIDEO_FORMAT_YV12, */
   /* GST_VIDEO_FORMAT_YUY2, */
-  {GST_VIDEO_FORMAT_YUY2, PIX_FMT_YUYV422},
+  {GST_VIDEO_FORMAT_YUY2, AV_PIX_FMT_YUYV422},
   /* GST_VIDEO_FORMAT_UYVY, */
-  {GST_VIDEO_FORMAT_UYVY, PIX_FMT_UYVY422},
+  {GST_VIDEO_FORMAT_UYVY, AV_PIX_FMT_UYVY422},
   /* GST_VIDEO_FORMAT_AYUV, */
   /* GST_VIDEO_FORMAT_RGBx, */
   /* GST_VIDEO_FORMAT_BGRx, */
   /* GST_VIDEO_FORMAT_xRGB, */
   /* GST_VIDEO_FORMAT_xBGR, */
   /* GST_VIDEO_FORMAT_RGBA, */
-  {GST_VIDEO_FORMAT_RGBA, PIX_FMT_RGBA},
+  {GST_VIDEO_FORMAT_RGBA, AV_PIX_FMT_RGBA},
   /* GST_VIDEO_FORMAT_BGRA, */
-  {GST_VIDEO_FORMAT_BGRA, PIX_FMT_BGRA},
+  {GST_VIDEO_FORMAT_BGRA, AV_PIX_FMT_BGRA},
   /* GST_VIDEO_FORMAT_ARGB, */
-  {GST_VIDEO_FORMAT_ARGB, PIX_FMT_ARGB},
+  {GST_VIDEO_FORMAT_ARGB, AV_PIX_FMT_ARGB},
   /* GST_VIDEO_FORMAT_ABGR, */
-  {GST_VIDEO_FORMAT_ABGR, PIX_FMT_ABGR},
+  {GST_VIDEO_FORMAT_ABGR, AV_PIX_FMT_ABGR},
   /* GST_VIDEO_FORMAT_RGB, */
-  {GST_VIDEO_FORMAT_RGB, PIX_FMT_RGB24},
+  {GST_VIDEO_FORMAT_RGB, AV_PIX_FMT_RGB24},
   /* GST_VIDEO_FORMAT_BGR, */
-  {GST_VIDEO_FORMAT_BGR, PIX_FMT_BGR24},
+  {GST_VIDEO_FORMAT_BGR, AV_PIX_FMT_BGR24},
   /* GST_VIDEO_FORMAT_Y41B, */
-  {GST_VIDEO_FORMAT_Y41B, PIX_FMT_YUV411P},
+  {GST_VIDEO_FORMAT_Y41B, AV_PIX_FMT_YUV411P},
   /* GST_VIDEO_FORMAT_Y42B, */
-  {GST_VIDEO_FORMAT_Y42B, PIX_FMT_YUV422P},
-  {GST_VIDEO_FORMAT_Y42B, PIX_FMT_YUVJ422P},
+  {GST_VIDEO_FORMAT_Y42B, AV_PIX_FMT_YUV422P},
+  {GST_VIDEO_FORMAT_Y42B, AV_PIX_FMT_YUVJ422P},
   /* GST_VIDEO_FORMAT_YVYU, */
   /* GST_VIDEO_FORMAT_Y444, */
-  {GST_VIDEO_FORMAT_Y444, PIX_FMT_YUV444P},
-  {GST_VIDEO_FORMAT_Y444, PIX_FMT_YUVJ444P},
+  {GST_VIDEO_FORMAT_Y444, AV_PIX_FMT_YUV444P},
+  {GST_VIDEO_FORMAT_Y444, AV_PIX_FMT_YUVJ444P},
   /* GST_VIDEO_FORMAT_v210, */
   /* GST_VIDEO_FORMAT_v216, */
   /* GST_VIDEO_FORMAT_NV12, */
-  {GST_VIDEO_FORMAT_NV12, PIX_FMT_NV12},
+  {GST_VIDEO_FORMAT_NV12, AV_PIX_FMT_NV12},
   /* GST_VIDEO_FORMAT_NV21, */
-  {GST_VIDEO_FORMAT_NV21, PIX_FMT_NV21},
+  {GST_VIDEO_FORMAT_NV21, AV_PIX_FMT_NV21},
   /* GST_VIDEO_FORMAT_GRAY8, */
-  {GST_VIDEO_FORMAT_GRAY8, PIX_FMT_GRAY8},
+  {GST_VIDEO_FORMAT_GRAY8, AV_PIX_FMT_GRAY8},
   /* GST_VIDEO_FORMAT_GRAY16_BE, */
-  {GST_VIDEO_FORMAT_GRAY16_BE, PIX_FMT_GRAY16BE},
+  {GST_VIDEO_FORMAT_GRAY16_BE, AV_PIX_FMT_GRAY16BE},
   /* GST_VIDEO_FORMAT_GRAY16_LE, */
-  {GST_VIDEO_FORMAT_GRAY16_LE, PIX_FMT_GRAY16LE},
+  {GST_VIDEO_FORMAT_GRAY16_LE, AV_PIX_FMT_GRAY16LE},
   /* GST_VIDEO_FORMAT_v308, */
   /* GST_VIDEO_FORMAT_Y800, */
   /* GST_VIDEO_FORMAT_Y16, */
   /* GST_VIDEO_FORMAT_RGB16, */
-  {GST_VIDEO_FORMAT_RGB16, PIX_FMT_RGB565},
+  {GST_VIDEO_FORMAT_RGB16, AV_PIX_FMT_RGB565},
   /* GST_VIDEO_FORMAT_BGR16, */
   /* GST_VIDEO_FORMAT_RGB15, */
-  {GST_VIDEO_FORMAT_RGB15, PIX_FMT_RGB555},
+  {GST_VIDEO_FORMAT_RGB15, AV_PIX_FMT_RGB555},
   /* GST_VIDEO_FORMAT_BGR15, */
   /* GST_VIDEO_FORMAT_UYVP, */
   /* GST_VIDEO_FORMAT_A420, */
-  {GST_VIDEO_FORMAT_A420, PIX_FMT_YUVA420P},
+  {GST_VIDEO_FORMAT_A420, AV_PIX_FMT_YUVA420P},
   /* GST_VIDEO_FORMAT_RGB8_PALETTED, */
-  {GST_VIDEO_FORMAT_RGB8P, PIX_FMT_PAL8},
+  {GST_VIDEO_FORMAT_RGB8P, AV_PIX_FMT_PAL8},
   /* GST_VIDEO_FORMAT_YUV9, */
-  {GST_VIDEO_FORMAT_YUV9, PIX_FMT_YUV410P},
+  {GST_VIDEO_FORMAT_YUV9, AV_PIX_FMT_YUV410P},
   /* GST_VIDEO_FORMAT_YVU9, */
   /* GST_VIDEO_FORMAT_IYU1, */
   /* GST_VIDEO_FORMAT_ARGB64, */
   /* GST_VIDEO_FORMAT_AYUV64, */
   /* GST_VIDEO_FORMAT_r210, */
-  {GST_VIDEO_FORMAT_I420_10LE, PIX_FMT_YUV420P10LE},
-  {GST_VIDEO_FORMAT_I420_10BE, PIX_FMT_YUV420P10BE},
-  {GST_VIDEO_FORMAT_I422_10LE, PIX_FMT_YUV422P10LE},
-  {GST_VIDEO_FORMAT_I422_10BE, PIX_FMT_YUV422P10BE},
-  {GST_VIDEO_FORMAT_Y444_10LE, PIX_FMT_YUV444P10LE},
-  {GST_VIDEO_FORMAT_Y444_10BE, PIX_FMT_YUV444P10BE},
-  {GST_VIDEO_FORMAT_GBR, PIX_FMT_GBRP},
-  {GST_VIDEO_FORMAT_GBR_10LE, PIX_FMT_GBRP10LE},
-  {GST_VIDEO_FORMAT_GBR_10BE, PIX_FMT_GBRP10BE},
+  {GST_VIDEO_FORMAT_I420_10LE, AV_PIX_FMT_YUV420P10LE},
+  {GST_VIDEO_FORMAT_I420_10BE, AV_PIX_FMT_YUV420P10BE},
+  {GST_VIDEO_FORMAT_I422_10LE, AV_PIX_FMT_YUV422P10LE},
+  {GST_VIDEO_FORMAT_I422_10BE, AV_PIX_FMT_YUV422P10BE},
+  {GST_VIDEO_FORMAT_Y444_10LE, AV_PIX_FMT_YUV444P10LE},
+  {GST_VIDEO_FORMAT_Y444_10BE, AV_PIX_FMT_YUV444P10BE},
+  {GST_VIDEO_FORMAT_GBR, AV_PIX_FMT_GBRP},
+  {GST_VIDEO_FORMAT_GBR_10LE, AV_PIX_FMT_GBRP10LE},
+  {GST_VIDEO_FORMAT_GBR_10BE, AV_PIX_FMT_GBRP10BE},
+  {GST_VIDEO_FORMAT_A420_10LE, AV_PIX_FMT_YUVA420P10LE},
+  {GST_VIDEO_FORMAT_A420_10BE, AV_PIX_FMT_YUVA420P10BE},
+  {GST_VIDEO_FORMAT_A422_10LE, AV_PIX_FMT_YUVA422P10LE},
+  {GST_VIDEO_FORMAT_A422_10BE, AV_PIX_FMT_YUVA422P10BE},
+  {GST_VIDEO_FORMAT_A444_10LE, AV_PIX_FMT_YUVA444P10LE},
+  {GST_VIDEO_FORMAT_A444_10BE, AV_PIX_FMT_YUVA444P10BE},
 };
 
 GstVideoFormat
-gst_ffmpeg_pixfmt_to_videoformat (enum PixelFormat pixfmt)
+gst_ffmpeg_pixfmt_to_videoformat (enum AVPixelFormat pixfmt)
 {
   guint i;
 
@@ -2595,15 +2650,34 @@ gst_ffmpeg_pixfmt_to_videoformat (enum PixelFormat pixfmt)
   return GST_VIDEO_FORMAT_UNKNOWN;
 }
 
-enum PixelFormat
-gst_ffmpeg_videoformat_to_pixfmt (GstVideoFormat format)
+static enum AVPixelFormat
+gst_ffmpeg_videoformat_to_pixfmt_for_codec (GstVideoFormat format,
+    const AVCodec * codec)
 {
   guint i;
 
-  for (i = 0; i < G_N_ELEMENTS (pixtofmttable); i++)
-    if (pixtofmttable[i].format == format)
-      return pixtofmttable[i].pixfmt;
-  return PIX_FMT_NONE;
+  for (i = 0; i < G_N_ELEMENTS (pixtofmttable); i++) {
+    if (pixtofmttable[i].format == format) {
+      gint j;
+
+      if (codec && codec->pix_fmts) {
+        for (j = 0; codec->pix_fmts[j] != -1; j++) {
+          if (pixtofmttable[i].pixfmt == codec->pix_fmts[j])
+            return pixtofmttable[i].pixfmt;
+        }
+      } else {
+        return pixtofmttable[i].pixfmt;
+      }
+    }
+  }
+
+  return AV_PIX_FMT_NONE;
+}
+
+enum AVPixelFormat
+gst_ffmpeg_videoformat_to_pixfmt (GstVideoFormat format)
+{
+  return gst_ffmpeg_videoformat_to_pixfmt_for_codec (format, NULL);
 }
 
 void
@@ -2631,7 +2705,109 @@ gst_ffmpeg_videoinfo_to_context (GstVideoInfo * info, AVCodecContext * context)
   context->sample_aspect_ratio.den = GST_VIDEO_INFO_PAR_D (info);
 
   context->pix_fmt =
-      gst_ffmpeg_videoformat_to_pixfmt (GST_VIDEO_INFO_FORMAT (info));
+      gst_ffmpeg_videoformat_to_pixfmt_for_codec (GST_VIDEO_INFO_FORMAT (info),
+      context->codec);
+
+  switch (info->chroma_site) {
+    case GST_VIDEO_CHROMA_SITE_MPEG2:
+      context->chroma_sample_location = AVCHROMA_LOC_LEFT;
+      break;
+    case GST_VIDEO_CHROMA_SITE_JPEG:
+      context->chroma_sample_location = AVCHROMA_LOC_CENTER;
+      break;
+    case GST_VIDEO_CHROMA_SITE_DV:
+      context->chroma_sample_location = AVCHROMA_LOC_TOPLEFT;
+      break;
+    case GST_VIDEO_CHROMA_SITE_V_COSITED:
+      context->chroma_sample_location = AVCHROMA_LOC_TOP;
+      break;
+    default:
+      break;
+  }
+
+  switch (info->colorimetry.primaries) {
+    case GST_VIDEO_COLOR_PRIMARIES_BT709:
+      context->color_primaries = AVCOL_PRI_BT709;
+      break;
+    case GST_VIDEO_COLOR_PRIMARIES_BT470M:
+      context->color_primaries = AVCOL_PRI_BT470M;
+      break;
+    case GST_VIDEO_COLOR_PRIMARIES_BT470BG:
+      context->color_primaries = AVCOL_PRI_BT470BG;
+      break;
+    case GST_VIDEO_COLOR_PRIMARIES_SMPTE170M:
+      context->color_primaries = AVCOL_PRI_SMPTE170M;
+      break;
+    case GST_VIDEO_COLOR_PRIMARIES_SMPTE240M:
+      context->color_primaries = AVCOL_PRI_SMPTE240M;
+      break;
+    case GST_VIDEO_COLOR_PRIMARIES_FILM:
+      context->color_primaries = AVCOL_PRI_FILM;
+      break;
+    case GST_VIDEO_COLOR_PRIMARIES_BT2020:
+      context->color_primaries = AVCOL_PRI_BT2020;
+      break;
+    default:
+      break;
+  }
+
+  switch (info->colorimetry.transfer) {
+    case GST_VIDEO_TRANSFER_BT709:
+      context->color_trc = AVCOL_TRC_BT709;
+      break;
+    case GST_VIDEO_TRANSFER_GAMMA22:
+      context->color_trc = AVCOL_TRC_GAMMA22;
+      break;
+    case GST_VIDEO_TRANSFER_GAMMA28:
+      context->color_trc = AVCOL_TRC_GAMMA28;
+      break;
+    case GST_VIDEO_TRANSFER_SMPTE240M:
+      context->color_trc = AVCOL_TRC_SMPTE240M;
+      break;
+    case GST_VIDEO_TRANSFER_GAMMA10:
+      context->color_trc = AVCOL_TRC_LINEAR;
+      break;
+    case GST_VIDEO_TRANSFER_LOG100:
+      context->color_trc = AVCOL_TRC_LOG;
+      break;
+    case GST_VIDEO_TRANSFER_LOG316:
+      context->color_trc = AVCOL_TRC_LOG_SQRT;
+      break;
+    case GST_VIDEO_TRANSFER_BT2020_12:
+      context->color_trc = AVCOL_TRC_BT2020_12;
+      break;
+    default:
+      break;
+  }
+
+  switch (info->colorimetry.matrix) {
+    case GST_VIDEO_COLOR_MATRIX_RGB:
+      context->colorspace = AVCOL_SPC_RGB;
+      break;
+    case GST_VIDEO_COLOR_MATRIX_BT709:
+      context->colorspace = AVCOL_SPC_BT709;
+      break;
+    case GST_VIDEO_COLOR_MATRIX_FCC:
+      context->colorspace = AVCOL_SPC_FCC;
+      break;
+    case GST_VIDEO_COLOR_MATRIX_BT601:
+      context->colorspace = AVCOL_SPC_BT470BG;
+      break;
+    case GST_VIDEO_COLOR_MATRIX_SMPTE240M:
+      context->colorspace = AVCOL_SPC_SMPTE240M;
+      break;
+    case GST_VIDEO_COLOR_MATRIX_BT2020:
+      context->colorspace = AVCOL_SPC_BT2020_NCL;
+      break;
+    default:
+      break;
+  }
+
+  if (info->colorimetry.range == GST_VIDEO_COLOR_RANGE_0_255) {
+    context->color_range = AVCOL_RANGE_JPEG;
+  } else {
+    context->color_range = AVCOL_RANGE_MPEG;
+  }
 }
 
 void
@@ -2929,12 +3105,8 @@ gst_ffmpeg_caps_with_codecid (enum AVCodecID codec_id,
     GST_DEBUG ("have codec data of size %" G_GSIZE_FORMAT, map.size);
 
     gst_buffer_unmap (buf, &map);
-  } else if (context->extradata == NULL && codec_id != AV_CODEC_ID_AAC_LATM &&
-      codec_id != AV_CODEC_ID_FLAC) {
-    /* no extradata, alloc dummy with 0 sized, some codecs insist on reading
-     * extradata anyway which makes then segfault. */
-    context->extradata =
-        av_mallocz (GST_ROUND_UP_16 (FF_INPUT_BUFFER_PADDING_SIZE));
+  } else {
+    context->extradata = NULL;
     context->extradata_size = 0;
     GST_DEBUG ("no codec data");
   }
@@ -2948,12 +3120,6 @@ gst_ffmpeg_caps_with_codecid (enum AVCodecID codec_id,
 
       if (!strcmp (mime, "video/x-divx"))
         context->codec_tag = GST_MAKE_FOURCC ('D', 'I', 'V', 'X');
-      else if (!strcmp (mime, "video/x-xvid")) {
-        context->codec_tag = GST_MAKE_FOURCC ('X', 'V', 'I', 'D');
-        /* Advanced Simple Profile */
-        context->flags |= CODEC_FLAG_GMC | CODEC_FLAG_QPEL;
-      } else if (!strcmp (mime, "video/x-3ivx"))
-        context->codec_tag = GST_MAKE_FOURCC ('3', 'I', 'V', '1');
       else if (!strcmp (mime, "video/mpeg")) {
         const gchar *profile;
 
@@ -3044,17 +3210,17 @@ gst_ffmpeg_caps_with_codecid (enum AVCodecID codec_id,
       if ((format = gst_structure_get_string (str, "format"))) {
 
         if (g_str_equal (format, "YUY2"))
-          context->pix_fmt = PIX_FMT_YUYV422;
+          context->pix_fmt = AV_PIX_FMT_YUYV422;
         else if (g_str_equal (format, "I420"))
-          context->pix_fmt = PIX_FMT_YUV420P;
+          context->pix_fmt = AV_PIX_FMT_YUV420P;
         else if (g_str_equal (format, "A420"))
-          context->pix_fmt = PIX_FMT_YUVA420P;
+          context->pix_fmt = AV_PIX_FMT_YUVA420P;
         else if (g_str_equal (format, "Y41B"))
-          context->pix_fmt = PIX_FMT_YUV411P;
+          context->pix_fmt = AV_PIX_FMT_YUV411P;
         else if (g_str_equal (format, "Y42B"))
-          context->pix_fmt = PIX_FMT_YUV422P;
+          context->pix_fmt = AV_PIX_FMT_YUV422P;
         else if (g_str_equal (format, "YUV9"))
-          context->pix_fmt = PIX_FMT_YUV410P;
+          context->pix_fmt = AV_PIX_FMT_YUV410P;
         else {
           GST_WARNING ("couldn't convert format %s" " to a pixel format",
               format);
@@ -3216,6 +3382,8 @@ gst_ffmpeg_formatid_to_caps (const gchar * format_name)
         "y4mversion", G_TYPE_INT, 2, NULL);
   } else if (!strcmp (format_name, "mpc")) {
     caps = gst_caps_from_string ("audio/x-musepack, streamversion = (int) 7");
+  } else if (!strcmp (format_name, "mpc8")) {
+    caps = gst_caps_from_string ("audio/x-musepack, streamversion = (int) 8");
   } else if (!strcmp (format_name, "vqf")) {
     caps = gst_caps_from_string ("audio/x-vqf");
   } else if (!strcmp (format_name, "nsv")) {
@@ -3717,6 +3885,9 @@ gst_ffmpeg_caps_to_codecid (const GstCaps * caps, AVCodecContext * context)
   } else if (!strcmp (mimetype, "video/x-vp8")) {
     id = AV_CODEC_ID_VP8;
     video = TRUE;
+  } else if (!strcmp (mimetype, "video/x-vp9")) {
+    id = AV_CODEC_ID_VP9;
+    video = TRUE;
   } else if (!strcmp (mimetype, "video/x-flash-screen")) {
     id = AV_CODEC_ID_FLASHSV;
     video = TRUE;
@@ -3757,12 +3928,6 @@ gst_ffmpeg_caps_to_codecid (const GstCaps * caps, AVCodecContext * context)
     }
     if (id != AV_CODEC_ID_NONE)
       video = TRUE;
-  } else if (!strcmp (mimetype, "video/x-3ivx")) {
-    id = AV_CODEC_ID_MPEG4;
-    video = TRUE;
-  } else if (!strcmp (mimetype, "video/x-xvid")) {
-    id = AV_CODEC_ID_MPEG4;
-    video = TRUE;
   } else if (!strcmp (mimetype, "video/x-ffv")) {
     gint ffvversion = 0;