avvidenc: Set colorimetry information in the context if known
[platform/upstream/gst-libav.git] / ext / libav / gstavcodecmap.c
index 88d19a0..f1587c5 100644 (file)
@@ -66,6 +66,28 @@ static const struct
   AV_CH_STEREO_RIGHT, GST_AUDIO_CHANNEL_POSITION_FRONT_RIGHT}
 };
 
+GType
+gst_ffmpeg_compliance_get_type (void)
+{
+  static GType ffmpeg_compliance_type = 0;
+  static const GEnumValue compliance_types[] = {
+    {GST_FFMPEG_VERY_STRICT, "Strictly conform to older spec",
+        "verystrict"},
+    {GST_FFMPEG_STRICT, "Strictly conform to current spec", "strict"},
+    {GST_FFMPEG_NORMAL, "Normal behavior", "normal"},
+    {GST_FFMPEG_UNOFFICIAL, "Allow unofficial extensions", "unofficial"},
+    {GST_FFMPEG_EXPERIMENTAL, "Allow nonstandardized experimental things",
+        "experimental"},
+    {0, NULL, NULL}
+  };
+
+  if (!ffmpeg_compliance_type) {
+    ffmpeg_compliance_type =
+        g_enum_register_static ("GstFFMpegCompliance", compliance_types);
+  }
+  return ffmpeg_compliance_type;
+}
+
 static guint64
 gst_ffmpeg_channel_positions_to_layout (GstAudioChannelPosition * pos,
     gint channels)
@@ -77,6 +99,9 @@ gst_ffmpeg_channel_positions_to_layout (GstAudioChannelPosition * pos,
   if (!pos)
     return 0;
 
+  if (channels == 1 && pos[0] == GST_AUDIO_CHANNEL_POSITION_MONO)
+    return AV_CH_LAYOUT_MONO;
+
   for (i = 0; i < channels; i++) {
     for (j = 0; j < G_N_ELEMENTS (_ff_to_gst_layout); j++) {
       if (_ff_to_gst_layout[j].gst == pos[i]) {
@@ -105,6 +130,15 @@ gst_ffmpeg_channel_layout_to_gst (guint64 channel_layout, gint channels,
   } else {
     guint i, j;
 
+    /* Special path for mono, as AV_CH_LAYOUT_MONO is the same
+     * as FRONT_CENTER but we distinguish between the two in
+     * GStreamer
+     */
+    if (channels == 1 && channel_layout == AV_CH_LAYOUT_MONO) {
+      pos[0] = GST_AUDIO_CHANNEL_POSITION_MONO;
+      return TRUE;
+    }
+
     for (i = 0; i < 64; i++) {
       if ((channel_layout & (G_GUINT64_CONSTANT (1) << i)) != 0) {
         nchannels++;
@@ -159,6 +193,22 @@ gst_ffmpeg_channel_layout_to_gst (guint64 channel_layout, gint channels,
   return TRUE;
 }
 
+static gboolean
+_gst_value_list_contains (const GValue * list, const GValue * value)
+{
+  guint i, n;
+  const GValue *tmp;
+
+  n = gst_value_list_get_size (list);
+  for (i = 0; i < n; i++) {
+    tmp = gst_value_list_get_value (list, i);
+    if (gst_value_compare (value, tmp) == GST_VALUE_EQUAL)
+      return TRUE;
+  }
+
+  return FALSE;
+}
+
 static void
 gst_ffmpeg_video_set_pix_fmts (GstCaps * caps, const enum AVPixelFormat *fmts)
 {
@@ -171,7 +221,7 @@ gst_ffmpeg_video_set_pix_fmts (GstCaps * caps, const enum AVPixelFormat *fmts)
 
     g_value_init (&va, GST_TYPE_LIST);
     g_value_init (&v, G_TYPE_STRING);
-    for (i = 0; i <= PIX_FMT_NB; i++) {
+    for (i = 0; i <= AV_PIX_FMT_NB; i++) {
       format = gst_ffmpeg_pixfmt_to_videoformat (i);
       if (format == GST_VIDEO_FORMAT_UNKNOWN)
         continue;
@@ -191,7 +241,9 @@ gst_ffmpeg_video_set_pix_fmts (GstCaps * caps, const enum AVPixelFormat *fmts)
     format = gst_ffmpeg_pixfmt_to_videoformat (*fmts);
     if (format != GST_VIDEO_FORMAT_UNKNOWN) {
       g_value_set_string (&v, gst_video_format_to_string (format));
-      gst_value_list_append_value (&va, &v);
+      /* Only append values we don't have yet */
+      if (!_gst_value_list_contains (&va, &v))
+        gst_value_list_append_value (&va, &v);
     }
     fmts++;
   }
@@ -215,7 +267,7 @@ gst_ffmpeg_video_set_pix_fmts (GstCaps * caps, const enum AVPixelFormat *fmts)
  */
 static GstCaps *
 gst_ff_vid_caps_new (AVCodecContext * context, AVCodec * codec,
-    enum CodecID codec_id, gboolean encode, const char *mimetype,
+    enum AVCodecID codec_id, gboolean encode, const char *mimetype,
     const char *fieldname, ...)
 {
   GstCaps *caps = NULL;
@@ -452,7 +504,9 @@ gst_ffmpeg_audio_set_sample_fmts (GstCaps * caps,
     format = gst_ffmpeg_smpfmt_to_audioformat (*fmts);
     if (format != GST_AUDIO_FORMAT_UNKNOWN) {
       g_value_set_string (&v, gst_audio_format_to_string (format));
-      gst_value_list_append_value (&va, &v);
+      /* Only append values we don't have yet */
+      if (!_gst_value_list_contains (&va, &v))
+        gst_value_list_append_value (&va, &v);
     }
     fmts++;
   }
@@ -470,7 +524,7 @@ gst_ffmpeg_audio_set_sample_fmts (GstCaps * caps,
  */
 static GstCaps *
 gst_ff_aud_caps_new (AVCodecContext * context, AVCodec * codec,
-    enum CodecID codec_id, gboolean encode, const char *mimetype,
+    enum AVCodecID codec_id, gboolean encode, const char *mimetype,
     const char *fieldname, ...)
 {
   GstCaps *caps = NULL;
@@ -480,20 +534,18 @@ gst_ff_aud_caps_new (AVCodecContext * context, AVCodec * codec,
   /* fixed, non-probing context */
   if (context != NULL && context->channels != -1) {
     GstAudioChannelPosition pos[64];
+    guint64 mask;
 
     caps = gst_caps_new_simple (mimetype,
         "rate", G_TYPE_INT, context->sample_rate,
         "channels", G_TYPE_INT, context->channels, NULL);
 
-    if (gst_ffmpeg_channel_layout_to_gst (context->channel_layout,
-            context->channels, pos)) {
-      guint64 mask;
-
-      if (gst_audio_channel_positions_to_mask (pos, context->channels, FALSE,
-              &mask)) {
-        gst_caps_set_simple (caps, "channel-mask", GST_TYPE_BITMASK, mask,
-            NULL);
-      }
+    if (context->channels > 1 &&
+        gst_ffmpeg_channel_layout_to_gst (context->channel_layout,
+            context->channels, pos) &&
+        gst_audio_channel_positions_to_mask (pos, context->channels, FALSE,
+            &mask)) {
+      gst_caps_set_simple (caps, "channel-mask", GST_TYPE_BITMASK, mask, NULL);
     }
   } else if (encode) {
     gint maxchannels = 2;
@@ -686,7 +738,7 @@ gst_ff_aud_caps_new (AVCodecContext * context, AVCodec * codec,
  */
 
 GstCaps *
-gst_ffmpeg_codecid_to_caps (enum CodecID codec_id,
+gst_ffmpeg_codecid_to_caps (enum AVCodecID codec_id,
     AVCodecContext * context, gboolean encode)
 {
   GstCaps *caps = NULL;
@@ -718,10 +770,6 @@ gst_ffmpeg_codecid_to_caps (enum CodecID codec_id,
       }
       break;
 
-    case AV_CODEC_ID_MPEG2VIDEO_XVMC:
-      /* this is a special ID - don't need it in GStreamer, I think */
-      break;
-
     case AV_CODEC_ID_H263:
       if (encode) {
         caps =
@@ -788,12 +836,10 @@ gst_ffmpeg_codecid_to_caps (enum CodecID codec_id,
           break;
       }
 
-      /* FIXME: context->sub_id must be filled in during decoding */
       caps =
           gst_ff_vid_caps_new (context, NULL, codec_id, encode,
           "video/x-pn-realvideo", "rmversion", G_TYPE_INT, version, NULL);
       if (context) {
-        gst_caps_set_simple (caps, "format", G_TYPE_INT, context->sub_id, NULL);
         if (context->extradata_size >= 8) {
           gst_caps_set_simple (caps,
               "subformat", G_TYPE_INT, GST_READ_UINT32_BE (context->extradata),
@@ -913,7 +959,19 @@ gst_ffmpeg_codecid_to_caps (enum CodecID codec_id,
     case AV_CODEC_ID_LJPEG:
       caps =
           gst_ff_vid_caps_new (context, NULL, codec_id, encode, "image/jpeg",
+          "parsed", G_TYPE_BOOLEAN, TRUE, NULL);
+      break;
+
+    case AV_CODEC_ID_JPEG2000:
+      caps =
+          gst_ff_vid_caps_new (context, NULL, codec_id, encode, "image/x-j2c",
           NULL);
+      if (!encode) {
+        gst_caps_append (caps, gst_ff_vid_caps_new (context, NULL, codec_id,
+                encode, "image/x-jpc", NULL));
+        gst_caps_append (caps, gst_ff_vid_caps_new (context, NULL, codec_id,
+                encode, "image/jp2", NULL));
+      }
       break;
 
     case AV_CODEC_ID_SP5X:
@@ -940,7 +998,7 @@ gst_ffmpeg_codecid_to_caps (enum CodecID codec_id,
             break;
           case GST_MAKE_FOURCC ('m', 'p', '4', 'v'):
           default:
-            /* FIXME: bitrate */
+            /* FIXME: bitrate. libav doesn't expose the used profile and level */
             caps =
                 gst_ff_vid_caps_new (context, NULL, codec_id, encode,
                 "video/mpeg", "systemstream", G_TYPE_BOOLEAN, FALSE,
@@ -953,17 +1011,28 @@ gst_ffmpeg_codecid_to_caps (enum CodecID codec_id,
             gst_ff_vid_caps_new (context, NULL, codec_id, encode, "video/mpeg",
             "mpegversion", G_TYPE_INT, 4, "systemstream", G_TYPE_BOOLEAN, FALSE,
             NULL);
+
         if (encode) {
+          GValue arr = { 0, };
+          GValue item = { 0, };
+
+          g_value_init (&arr, GST_TYPE_LIST);
+          g_value_init (&item, G_TYPE_STRING);
+          g_value_set_string (&item, "simple");
+          gst_value_list_append_value (&arr, &item);
+          g_value_set_string (&item, "advanced-simple");
+          gst_value_list_append_value (&arr, &item);
+          g_value_unset (&item);
+
+          gst_caps_set_value (caps, "profile", &arr);
+          g_value_unset (&arr);
+
           gst_caps_append (caps, gst_ff_vid_caps_new (context, NULL, codec_id,
                   encode, "video/x-divx", "divxversion", G_TYPE_INT, 5, NULL));
         } else {
           gst_caps_append (caps, gst_ff_vid_caps_new (context, NULL, codec_id,
                   encode, "video/x-divx", "divxversion", GST_TYPE_INT_RANGE, 4,
                   5, NULL));
-          gst_caps_append (caps, gst_ff_vid_caps_new (context, NULL, codec_id,
-                  encode, "video/x-xvid", NULL));
-          gst_caps_append (caps, gst_ff_vid_caps_new (context, NULL, codec_id,
-                  encode, "video/x-3ivx", NULL));
         }
       }
       break;
@@ -1031,22 +1100,22 @@ gst_ffmpeg_codecid_to_caps (enum CodecID codec_id,
         const gchar *format;
 
         switch (context->pix_fmt) {
-          case PIX_FMT_YUYV422:
+          case AV_PIX_FMT_YUYV422:
             format = "YUY2";
             break;
-          case PIX_FMT_YUV420P:
+          case AV_PIX_FMT_YUV420P:
             format = "I420";
             break;
-          case PIX_FMT_YUVA420P:
+          case AV_PIX_FMT_YUVA420P:
             format = "A420";
             break;
-          case PIX_FMT_YUV411P:
+          case AV_PIX_FMT_YUV411P:
             format = "Y41B";
             break;
-          case PIX_FMT_YUV422P:
+          case AV_PIX_FMT_YUV422P:
             format = "Y42B";
             break;
-          case PIX_FMT_YUV410P:
+          case AV_PIX_FMT_YUV410P:
             format = "YUV9";
             break;
           default:
@@ -1077,8 +1146,8 @@ gst_ffmpeg_codecid_to_caps (enum CodecID codec_id,
         caps =
             gst_ff_aud_caps_new (context, NULL, codec_id, encode, "audio/x-wma",
             "wmaversion", G_TYPE_INT, version, "block_align", G_TYPE_INT,
-            context->block_align, "bitrate", G_TYPE_INT, context->bit_rate,
-            NULL);
+            context->block_align, "bitrate", G_TYPE_INT,
+            (guint) context->bit_rate, NULL);
       } else {
         caps =
             gst_ff_aud_caps_new (context, NULL, codec_id, encode, "audio/x-wma",
@@ -1142,6 +1211,40 @@ gst_ffmpeg_codecid_to_caps (enum CodecID codec_id,
       caps =
           gst_ff_vid_caps_new (context, NULL, codec_id, encode, "video/x-h264",
           "alignment", G_TYPE_STRING, "au", NULL);
+      if (!encode) {
+        GValue arr = { 0, };
+        GValue item = { 0, };
+        g_value_init (&arr, GST_TYPE_LIST);
+        g_value_init (&item, G_TYPE_STRING);
+        g_value_set_string (&item, "avc");
+        gst_value_list_append_value (&arr, &item);
+        g_value_set_string (&item, "byte-stream");
+        gst_value_list_append_value (&arr, &item);
+        g_value_unset (&item);
+        gst_caps_set_value (caps, "stream-format", &arr);
+        g_value_unset (&arr);
+      }
+      break;
+
+    case AV_CODEC_ID_HEVC:
+      caps =
+          gst_ff_vid_caps_new (context, NULL, codec_id, encode, "video/x-h265",
+          "alignment", G_TYPE_STRING, "au", NULL);
+      if (!encode) {
+        GValue arr = { 0, };
+        GValue item = { 0, };
+        g_value_init (&arr, GST_TYPE_LIST);
+        g_value_init (&item, G_TYPE_STRING);
+        g_value_set_string (&item, "hvc1");
+        gst_value_list_append_value (&arr, &item);
+        g_value_set_string (&item, "hev1");
+        gst_value_list_append_value (&arr, &item);
+        g_value_set_string (&item, "byte-stream");
+        gst_value_list_append_value (&arr, &item);
+        g_value_unset (&item);
+        gst_caps_set_value (caps, "stream-format", &arr);
+        g_value_unset (&arr);
+      }
       break;
 
     case AV_CODEC_ID_INDEO5:
@@ -1210,6 +1313,12 @@ gst_ffmpeg_codecid_to_caps (enum CodecID codec_id,
           NULL);
       break;
 
+    case AV_CODEC_ID_VP9:
+      caps =
+          gst_ff_vid_caps_new (context, NULL, codec_id, encode, "video/x-vp9",
+          NULL);
+      break;
+
     case AV_CODEC_ID_THEORA:
       caps =
           gst_ff_vid_caps_new (context, NULL, codec_id, encode,
@@ -1365,6 +1474,18 @@ gst_ffmpeg_codecid_to_caps (enum CodecID codec_id,
           "video/x-msvideocodec", "msvideoversion", G_TYPE_INT, 1, NULL);
       break;
 
+    case AV_CODEC_ID_MSS1:
+      caps =
+          gst_ff_vid_caps_new (context, NULL, codec_id, encode, "video/x-wmv",
+          "wmvversion", G_TYPE_INT, 1, "format", G_TYPE_STRING, "MSS1", NULL);
+      break;
+
+    case AV_CODEC_ID_MSS2:
+      caps =
+          gst_ff_vid_caps_new (context, NULL, codec_id, encode, "video/x-wmv",
+          "wmvversion", G_TYPE_INT, 3, "format", G_TYPE_STRING, "MSS2", NULL);
+      break;
+
     case AV_CODEC_ID_WMV3:
       caps =
           gst_ff_vid_caps_new (context, NULL, codec_id, encode, "video/x-wmv",
@@ -1373,7 +1494,22 @@ gst_ffmpeg_codecid_to_caps (enum CodecID codec_id,
     case AV_CODEC_ID_VC1:
       caps =
           gst_ff_vid_caps_new (context, NULL, codec_id, encode, "video/x-wmv",
-          "wmvversion", G_TYPE_INT, 3, "format", G_TYPE_STRING, "WVC1", NULL);
+          "wmvversion", G_TYPE_INT, 3, NULL);
+      if (!context && !encode) {
+        GValue arr = { 0, };
+        GValue item = { 0, };
+
+        g_value_init (&arr, GST_TYPE_LIST);
+        g_value_init (&item, G_TYPE_STRING);
+        g_value_set_string (&item, "WVC1");
+        gst_value_list_append_value (&arr, &item);
+        g_value_set_string (&item, "WMVA");
+        gst_value_list_append_and_take_value (&arr, &item);
+        gst_caps_set_value (caps, "format", &arr);
+        g_value_unset (&arr);
+      } else {
+        gst_caps_set_simple (caps, "format", G_TYPE_STRING, "WVC1", NULL);
+      }
       break;
     case AV_CODEC_ID_QDM2:
       caps =
@@ -1422,6 +1558,12 @@ gst_ffmpeg_codecid_to_caps (enum CodecID codec_id,
       }
       break;
 
+    case AV_CODEC_ID_TSCC2:
+      caps =
+          gst_ff_vid_caps_new (context, NULL, codec_id, encode,
+          "video/x-tscc", "tsccversion", G_TYPE_INT, 2, NULL);
+      break;
+
     case AV_CODEC_ID_KMVC:
       caps =
           gst_ff_vid_caps_new (context, NULL, codec_id, encode, "video/x-kmvc",
@@ -1590,13 +1732,24 @@ gst_ffmpeg_codecid_to_caps (enum CodecID codec_id,
       }
       break;
 
+    case AV_CODEC_ID_AIC:
+      caps =
+          gst_ff_vid_caps_new (context, NULL, codec_id, encode,
+          "video/x-apple-intermediate-codec", NULL);
+      break;
+
+    case AV_CODEC_ID_CAVS:
+      caps =
+          gst_ff_vid_caps_new (context, NULL, codec_id, encode,
+          "video/x-cavs", NULL);
+      break;
+
     case AV_CODEC_ID_WS_VQA:
     case AV_CODEC_ID_IDCIN:
     case AV_CODEC_ID_8BPS:
     case AV_CODEC_ID_FLIC:
     case AV_CODEC_ID_VMDVIDEO:
     case AV_CODEC_ID_VMDAUDIO:
-    case AV_CODEC_ID_SNOW:
     case AV_CODEC_ID_VIXL:
     case AV_CODEC_ID_QPEG:
     case AV_CODEC_ID_PGMYUV:
@@ -1607,7 +1760,6 @@ gst_ffmpeg_codecid_to_caps (enum CodecID codec_id,
     case AV_CODEC_ID_WESTWOOD_SND1:
     case AV_CODEC_ID_MMVIDEO:
     case AV_CODEC_ID_AVS:
-    case AV_CODEC_ID_CAVS:
       buildcaps = TRUE;
       break;
 
@@ -1641,6 +1793,7 @@ gst_ffmpeg_codecid_to_caps (enum CodecID codec_id,
           format = GST_AUDIO_FORMAT_U8;
           break;
         default:
+          format = 0;
           g_assert (0);         /* don't worry, we never get here */
           break;
       }
@@ -1671,7 +1824,7 @@ gst_ffmpeg_codecid_to_caps (enum CodecID codec_id,
       if (context)
         gst_caps_set_simple (caps,
             "block_align", G_TYPE_INT, context->block_align,
-            "bitrate", G_TYPE_INT, context->bit_rate, NULL);
+            "bitrate", G_TYPE_INT, (guint) context->bit_rate, NULL);
       break;
 
     case AV_CODEC_ID_ADPCM_G726:
@@ -1683,7 +1836,7 @@ gst_ffmpeg_codecid_to_caps (enum CodecID codec_id,
       if (context)
         gst_caps_set_simple (caps,
             "block_align", G_TYPE_INT, context->block_align,
-            "bitrate", G_TYPE_INT, context->bit_rate, NULL);
+            "bitrate", G_TYPE_INT, (guint) context->bit_rate, NULL);
 
       if (!encode) {
         gst_caps_append (caps, gst_caps_new_simple ("audio/x-adpcm",
@@ -1817,7 +1970,7 @@ gst_ffmpeg_codecid_to_caps (enum CodecID codec_id,
       if (context)
         gst_caps_set_simple (caps,
             "block_align", G_TYPE_INT, context->block_align,
-            "bitrate", G_TYPE_INT, context->bit_rate, NULL);
+            "bitrate", G_TYPE_INT, (guint) context->bit_rate, NULL);
     }
       break;
 
@@ -1859,7 +2012,7 @@ gst_ffmpeg_codecid_to_caps (enum CodecID codec_id,
       if (context) {
         gst_caps_set_simple (caps,
             "leaf_size", G_TYPE_INT, context->block_align,
-            "bitrate", G_TYPE_INT, context->bit_rate, NULL);
+            "bitrate", G_TYPE_INT, (guint) context->bit_rate, NULL);
       }
     }
       break;
@@ -1891,7 +2044,7 @@ gst_ffmpeg_codecid_to_caps (enum CodecID codec_id,
       if (context) {
         gst_caps_set_simple (caps,
             "leaf_size", G_TYPE_INT, context->block_align,
-            "bitrate", G_TYPE_INT, context->bit_rate, NULL);
+            "bitrate", G_TYPE_INT, (guint) context->bit_rate, NULL);
       }
     }
       break;
@@ -1929,7 +2082,7 @@ gst_ffmpeg_codecid_to_caps (enum CodecID codec_id,
       if (context)
         gst_caps_set_simple (caps,
             "block_align", G_TYPE_INT, context->block_align,
-            "bitrate", G_TYPE_INT, context->bit_rate, NULL);
+            "bitrate", G_TYPE_INT, (guint) context->bit_rate, NULL);
     }
       break;
 
@@ -1955,6 +2108,16 @@ gst_ffmpeg_codecid_to_caps (enum CodecID codec_id,
       }
       break;
 
+    case AV_CODEC_ID_OPUS:
+      /* Note that ffmpeg has no encoder yet, but just for safety. In the
+       * encoder case, we want to add things like samplerate, channels... */
+      if (!encode) {
+        /* FIXME: can ffmpeg handle multichannel Opus? */
+        caps = gst_caps_new_simple ("audio/x-opus",
+            "channel-mapping-family", G_TYPE_INT, 0, NULL);
+      }
+      break;
+
     case AV_CODEC_ID_S302M:
       caps = gst_caps_new_empty_simple ("audio/x-smpte-302m");
       break;
@@ -1980,6 +2143,11 @@ gst_ffmpeg_codecid_to_caps (enum CodecID codec_id,
           gst_ff_aud_caps_new (context, NULL, codec_id, encode,
           "audio/x-twin-vq", NULL);
       break;
+    case AV_CODEC_ID_G729:
+      caps =
+          gst_ff_aud_caps_new (context, NULL, codec_id, encode, "audio/G729",
+          NULL);
+      break;
     default:
       GST_DEBUG ("Unknown codec ID %d, please add mapping here", codec_id);
       break;
@@ -2008,7 +2176,7 @@ gst_ffmpeg_codecid_to_caps (enum CodecID codec_id,
           if (context)
             gst_caps_set_simple (caps,
                 "block_align", G_TYPE_INT, context->block_align,
-                "bitrate", G_TYPE_INT, context->bit_rate, NULL);
+                "bitrate", G_TYPE_INT, (guint) context->bit_rate, NULL);
           g_free (mime);
           break;
         default:
@@ -2045,8 +2213,8 @@ gst_ffmpeg_codecid_to_caps (enum CodecID codec_id,
  */
 
 static GstCaps *
-gst_ffmpeg_pixfmt_to_caps (enum PixelFormat pix_fmt, AVCodecContext * context,
-    enum CodecID codec_id)
+gst_ffmpeg_pixfmt_to_caps (enum AVPixelFormat pix_fmt, AVCodecContext * context,
+    enum AVCodecID codec_id)
 {
   GstCaps *caps = NULL;
   GstVideoFormat format;
@@ -2107,7 +2275,7 @@ gst_ffmpeg_smpfmt_to_audioformat (enum AVSampleFormat sample_fmt)
 
 static GstCaps *
 gst_ffmpeg_smpfmt_to_caps (enum AVSampleFormat sample_fmt,
-    AVCodecContext * context, AVCodec * codec, enum CodecID codec_id)
+    AVCodecContext * context, AVCodec * codec, enum AVCodecID codec_id)
 {
   GstCaps *caps = NULL;
   GstAudioFormat format;
@@ -2144,7 +2312,7 @@ caps_has_field (GstCaps * caps, const gchar * field)
 
 GstCaps *
 gst_ffmpeg_codectype_to_audio_caps (AVCodecContext * context,
-    enum CodecID codec_id, gboolean encode, AVCodec * codec)
+    enum AVCodecID codec_id, gboolean encode, AVCodec * codec)
 {
   GstCaps *caps = NULL;
 
@@ -2172,7 +2340,7 @@ gst_ffmpeg_codectype_to_audio_caps (AVCodecContext * context,
 
 GstCaps *
 gst_ffmpeg_codectype_to_video_caps (AVCodecContext * context,
-    enum CodecID codec_id, gboolean encode, AVCodec * codec)
+    enum AVCodecID codec_id, gboolean encode, AVCodec * codec)
 {
   GstCaps *caps;
 
@@ -2204,6 +2372,7 @@ gst_ffmpeg_caps_to_smpfmt (const GstCaps * caps,
   GstStructure *structure;
   const gchar *fmt;
   GstAudioFormat format = GST_AUDIO_FORMAT_UNKNOWN;
+  gint bitrate;
 
   g_return_if_fail (gst_caps_get_size (caps) == 1);
 
@@ -2212,7 +2381,8 @@ gst_ffmpeg_caps_to_smpfmt (const GstCaps * caps,
   gst_structure_get_int (structure, "channels", &context->channels);
   gst_structure_get_int (structure, "rate", &context->sample_rate);
   gst_structure_get_int (structure, "block_align", &context->block_align);
-  gst_structure_get_int (structure, "bitrate", &context->bit_rate);
+  if (gst_structure_get_int (structure, "bitrate", &bitrate))
+    context->bit_rate = bitrate;
 
   if (!raw)
     return;
@@ -2268,26 +2438,43 @@ gst_ffmpeg_caps_to_pixfmt (const GstCaps * caps,
   fps = gst_structure_get_value (structure, "framerate");
   if (fps != NULL && GST_VALUE_HOLDS_FRACTION (fps)) {
 
-    /* somehow these seem mixed up.. */
-    context->time_base.den = gst_value_get_fraction_numerator (fps);
-    context->time_base.num = gst_value_get_fraction_denominator (fps);
-    context->ticks_per_frame = 1;
+    int num = gst_value_get_fraction_numerator (fps);
+    int den = gst_value_get_fraction_denominator (fps);
+
+    if (num > 0 && den > 0) {
+      /* somehow these seem mixed up.. */
+      /* they're fine, this is because it does period=1/frequency */
+      context->time_base.den = gst_value_get_fraction_numerator (fps);
+      context->time_base.num = gst_value_get_fraction_denominator (fps);
+      context->ticks_per_frame = 1;
 
-    GST_DEBUG ("setting framerate %d/%d = %lf",
-        context->time_base.den, context->time_base.num,
-        1. * context->time_base.den / context->time_base.num);
+      GST_DEBUG ("setting framerate %d/%d = %lf",
+          context->time_base.den, context->time_base.num,
+          1. * context->time_base.den / context->time_base.num);
+    } else {
+      GST_INFO ("ignoring framerate %d/%d (probably variable framerate)",
+          context->time_base.num, context->time_base.den);
+    }
   }
 
   par = gst_structure_get_value (structure, "pixel-aspect-ratio");
   if (par && GST_VALUE_HOLDS_FRACTION (par)) {
 
-    context->sample_aspect_ratio.num = gst_value_get_fraction_numerator (par);
-    context->sample_aspect_ratio.den = gst_value_get_fraction_denominator (par);
+    int num = gst_value_get_fraction_numerator (par);
+    int den = gst_value_get_fraction_denominator (par);
 
-    GST_DEBUG ("setting pixel-aspect-ratio %d/%d = %lf",
-        context->sample_aspect_ratio.den, context->sample_aspect_ratio.num,
-        1. * context->sample_aspect_ratio.den /
-        context->sample_aspect_ratio.num);
+    if (num > 0 && den > 0) {
+      context->sample_aspect_ratio.num = num;
+      context->sample_aspect_ratio.den = den;
+
+      GST_DEBUG ("setting pixel-aspect-ratio %d/%d = %lf",
+          context->sample_aspect_ratio.num, context->sample_aspect_ratio.den,
+          1. * context->sample_aspect_ratio.num /
+          context->sample_aspect_ratio.den);
+    } else {
+      GST_WARNING ("ignoring insane pixel-aspect-ratio %d/%d",
+          context->sample_aspect_ratio.num, context->sample_aspect_ratio.den);
+    }
   }
 
   if (!raw)
@@ -2303,53 +2490,53 @@ gst_ffmpeg_caps_to_pixfmt (const GstCaps * caps,
 
   switch (format) {
     case GST_VIDEO_FORMAT_YUY2:
-      context->pix_fmt = PIX_FMT_YUYV422;
+      context->pix_fmt = AV_PIX_FMT_YUYV422;
       break;
     case GST_VIDEO_FORMAT_I420:
-      context->pix_fmt = PIX_FMT_YUV420P;
+      context->pix_fmt = AV_PIX_FMT_YUV420P;
       break;
     case GST_VIDEO_FORMAT_A420:
-      context->pix_fmt = PIX_FMT_YUVA420P;
+      context->pix_fmt = AV_PIX_FMT_YUVA420P;
       break;
     case GST_VIDEO_FORMAT_Y41B:
-      context->pix_fmt = PIX_FMT_YUV411P;
+      context->pix_fmt = AV_PIX_FMT_YUV411P;
       break;
     case GST_VIDEO_FORMAT_Y42B:
-      context->pix_fmt = PIX_FMT_YUV422P;
+      context->pix_fmt = AV_PIX_FMT_YUV422P;
       break;
     case GST_VIDEO_FORMAT_YUV9:
-      context->pix_fmt = PIX_FMT_YUV410P;
+      context->pix_fmt = AV_PIX_FMT_YUV410P;
       break;
     case GST_VIDEO_FORMAT_Y444:
-      context->pix_fmt = PIX_FMT_YUV444P;
+      context->pix_fmt = AV_PIX_FMT_YUV444P;
       break;
     case GST_VIDEO_FORMAT_GRAY8:
-      context->pix_fmt = PIX_FMT_GRAY8;
+      context->pix_fmt = AV_PIX_FMT_GRAY8;
       break;
     case GST_VIDEO_FORMAT_xRGB:
 #if (G_BYTE_ORDER == G_BIG_ENDIAN)
-      context->pix_fmt = PIX_FMT_RGB32;
+      context->pix_fmt = AV_PIX_FMT_RGB32;
 #endif
       break;
     case GST_VIDEO_FORMAT_BGRx:
 #if (G_BYTE_ORDER == G_LITTLE_ENDIAN)
-      context->pix_fmt = PIX_FMT_RGB32;
+      context->pix_fmt = AV_PIX_FMT_RGB32;
 #endif
       break;
     case GST_VIDEO_FORMAT_RGB:
-      context->pix_fmt = PIX_FMT_RGB24;
+      context->pix_fmt = AV_PIX_FMT_RGB24;
       break;
     case GST_VIDEO_FORMAT_BGR:
-      context->pix_fmt = PIX_FMT_BGR24;
+      context->pix_fmt = AV_PIX_FMT_BGR24;
       break;
     case GST_VIDEO_FORMAT_RGB16:
-      context->pix_fmt = PIX_FMT_RGB565;
+      context->pix_fmt = AV_PIX_FMT_RGB565;
       break;
     case GST_VIDEO_FORMAT_RGB15:
-      context->pix_fmt = PIX_FMT_RGB555;
+      context->pix_fmt = AV_PIX_FMT_RGB555;
       break;
     case GST_VIDEO_FORMAT_RGB8P:
-      context->pix_fmt = PIX_FMT_PAL8;
+      context->pix_fmt = AV_PIX_FMT_PAL8;
       break;
     default:
       break;
@@ -2359,93 +2546,99 @@ gst_ffmpeg_caps_to_pixfmt (const GstCaps * caps,
 typedef struct
 {
   GstVideoFormat format;
-  enum PixelFormat pixfmt;
+  enum AVPixelFormat pixfmt;
 } PixToFmt;
 
 /* FIXME : FILLME */
 static const PixToFmt pixtofmttable[] = {
   /* GST_VIDEO_FORMAT_I420, */
-  {GST_VIDEO_FORMAT_I420, PIX_FMT_YUV420P},
+  {GST_VIDEO_FORMAT_I420, AV_PIX_FMT_YUV420P},
   /* Note : this should use a different chroma placement */
-  {GST_VIDEO_FORMAT_I420, PIX_FMT_YUVJ420P},
+  {GST_VIDEO_FORMAT_I420, AV_PIX_FMT_YUVJ420P},
 
   /* GST_VIDEO_FORMAT_YV12, */
   /* GST_VIDEO_FORMAT_YUY2, */
-  {GST_VIDEO_FORMAT_YUY2, PIX_FMT_YUYV422},
+  {GST_VIDEO_FORMAT_YUY2, AV_PIX_FMT_YUYV422},
   /* GST_VIDEO_FORMAT_UYVY, */
-  {GST_VIDEO_FORMAT_UYVY, PIX_FMT_UYVY422},
+  {GST_VIDEO_FORMAT_UYVY, AV_PIX_FMT_UYVY422},
   /* GST_VIDEO_FORMAT_AYUV, */
   /* GST_VIDEO_FORMAT_RGBx, */
   /* GST_VIDEO_FORMAT_BGRx, */
   /* GST_VIDEO_FORMAT_xRGB, */
   /* GST_VIDEO_FORMAT_xBGR, */
   /* GST_VIDEO_FORMAT_RGBA, */
-  {GST_VIDEO_FORMAT_RGBA, PIX_FMT_RGBA},
+  {GST_VIDEO_FORMAT_RGBA, AV_PIX_FMT_RGBA},
   /* GST_VIDEO_FORMAT_BGRA, */
-  {GST_VIDEO_FORMAT_BGRA, PIX_FMT_BGRA},
+  {GST_VIDEO_FORMAT_BGRA, AV_PIX_FMT_BGRA},
   /* GST_VIDEO_FORMAT_ARGB, */
-  {GST_VIDEO_FORMAT_ARGB, PIX_FMT_ARGB},
+  {GST_VIDEO_FORMAT_ARGB, AV_PIX_FMT_ARGB},
   /* GST_VIDEO_FORMAT_ABGR, */
-  {GST_VIDEO_FORMAT_ABGR, PIX_FMT_ABGR},
+  {GST_VIDEO_FORMAT_ABGR, AV_PIX_FMT_ABGR},
   /* GST_VIDEO_FORMAT_RGB, */
-  {GST_VIDEO_FORMAT_RGB, PIX_FMT_RGB24},
+  {GST_VIDEO_FORMAT_RGB, AV_PIX_FMT_RGB24},
   /* GST_VIDEO_FORMAT_BGR, */
-  {GST_VIDEO_FORMAT_BGR, PIX_FMT_BGR24},
+  {GST_VIDEO_FORMAT_BGR, AV_PIX_FMT_BGR24},
   /* GST_VIDEO_FORMAT_Y41B, */
-  {GST_VIDEO_FORMAT_Y41B, PIX_FMT_YUV411P},
+  {GST_VIDEO_FORMAT_Y41B, AV_PIX_FMT_YUV411P},
   /* GST_VIDEO_FORMAT_Y42B, */
-  {GST_VIDEO_FORMAT_Y42B, PIX_FMT_YUV422P},
-  {GST_VIDEO_FORMAT_Y42B, PIX_FMT_YUVJ422P},
+  {GST_VIDEO_FORMAT_Y42B, AV_PIX_FMT_YUV422P},
+  {GST_VIDEO_FORMAT_Y42B, AV_PIX_FMT_YUVJ422P},
   /* GST_VIDEO_FORMAT_YVYU, */
   /* GST_VIDEO_FORMAT_Y444, */
-  {GST_VIDEO_FORMAT_Y444, PIX_FMT_YUV444P},
-  {GST_VIDEO_FORMAT_Y444, PIX_FMT_YUVJ444P},
+  {GST_VIDEO_FORMAT_Y444, AV_PIX_FMT_YUV444P},
+  {GST_VIDEO_FORMAT_Y444, AV_PIX_FMT_YUVJ444P},
   /* GST_VIDEO_FORMAT_v210, */
   /* GST_VIDEO_FORMAT_v216, */
   /* GST_VIDEO_FORMAT_NV12, */
-  {GST_VIDEO_FORMAT_NV12, PIX_FMT_NV12},
+  {GST_VIDEO_FORMAT_NV12, AV_PIX_FMT_NV12},
   /* GST_VIDEO_FORMAT_NV21, */
-  {GST_VIDEO_FORMAT_NV21, PIX_FMT_NV21},
+  {GST_VIDEO_FORMAT_NV21, AV_PIX_FMT_NV21},
   /* GST_VIDEO_FORMAT_GRAY8, */
-  {GST_VIDEO_FORMAT_GRAY8, PIX_FMT_GRAY8},
+  {GST_VIDEO_FORMAT_GRAY8, AV_PIX_FMT_GRAY8},
   /* GST_VIDEO_FORMAT_GRAY16_BE, */
-  {GST_VIDEO_FORMAT_GRAY16_BE, PIX_FMT_GRAY16BE},
+  {GST_VIDEO_FORMAT_GRAY16_BE, AV_PIX_FMT_GRAY16BE},
   /* GST_VIDEO_FORMAT_GRAY16_LE, */
-  {GST_VIDEO_FORMAT_GRAY16_LE, PIX_FMT_GRAY16LE},
+  {GST_VIDEO_FORMAT_GRAY16_LE, AV_PIX_FMT_GRAY16LE},
   /* GST_VIDEO_FORMAT_v308, */
   /* GST_VIDEO_FORMAT_Y800, */
   /* GST_VIDEO_FORMAT_Y16, */
   /* GST_VIDEO_FORMAT_RGB16, */
-  {GST_VIDEO_FORMAT_RGB16, PIX_FMT_RGB565},
+  {GST_VIDEO_FORMAT_RGB16, AV_PIX_FMT_RGB565},
   /* GST_VIDEO_FORMAT_BGR16, */
   /* GST_VIDEO_FORMAT_RGB15, */
-  {GST_VIDEO_FORMAT_RGB15, PIX_FMT_RGB555},
+  {GST_VIDEO_FORMAT_RGB15, AV_PIX_FMT_RGB555},
   /* GST_VIDEO_FORMAT_BGR15, */
   /* GST_VIDEO_FORMAT_UYVP, */
   /* GST_VIDEO_FORMAT_A420, */
-  {GST_VIDEO_FORMAT_A420, PIX_FMT_YUVA420P},
+  {GST_VIDEO_FORMAT_A420, AV_PIX_FMT_YUVA420P},
   /* GST_VIDEO_FORMAT_RGB8_PALETTED, */
-  {GST_VIDEO_FORMAT_RGB8P, PIX_FMT_PAL8},
+  {GST_VIDEO_FORMAT_RGB8P, AV_PIX_FMT_PAL8},
   /* GST_VIDEO_FORMAT_YUV9, */
-  {GST_VIDEO_FORMAT_YUV9, PIX_FMT_YUV410P},
+  {GST_VIDEO_FORMAT_YUV9, AV_PIX_FMT_YUV410P},
   /* GST_VIDEO_FORMAT_YVU9, */
   /* GST_VIDEO_FORMAT_IYU1, */
   /* GST_VIDEO_FORMAT_ARGB64, */
   /* GST_VIDEO_FORMAT_AYUV64, */
   /* GST_VIDEO_FORMAT_r210, */
-  {GST_VIDEO_FORMAT_I420_10LE, PIX_FMT_YUV420P10LE},
-  {GST_VIDEO_FORMAT_I420_10BE, PIX_FMT_YUV420P10BE},
-  {GST_VIDEO_FORMAT_I422_10LE, PIX_FMT_YUV422P10LE},
-  {GST_VIDEO_FORMAT_I422_10BE, PIX_FMT_YUV422P10BE},
-  {GST_VIDEO_FORMAT_Y444_10LE, PIX_FMT_YUV444P10LE},
-  {GST_VIDEO_FORMAT_Y444_10BE, PIX_FMT_YUV444P10BE},
-  {GST_VIDEO_FORMAT_GBR, PIX_FMT_GBRP},
-  {GST_VIDEO_FORMAT_GBR_10LE, PIX_FMT_GBRP10LE},
-  {GST_VIDEO_FORMAT_GBR_10BE, PIX_FMT_GBRP10BE},
+  {GST_VIDEO_FORMAT_I420_10LE, AV_PIX_FMT_YUV420P10LE},
+  {GST_VIDEO_FORMAT_I420_10BE, AV_PIX_FMT_YUV420P10BE},
+  {GST_VIDEO_FORMAT_I422_10LE, AV_PIX_FMT_YUV422P10LE},
+  {GST_VIDEO_FORMAT_I422_10BE, AV_PIX_FMT_YUV422P10BE},
+  {GST_VIDEO_FORMAT_Y444_10LE, AV_PIX_FMT_YUV444P10LE},
+  {GST_VIDEO_FORMAT_Y444_10BE, AV_PIX_FMT_YUV444P10BE},
+  {GST_VIDEO_FORMAT_GBR, AV_PIX_FMT_GBRP},
+  {GST_VIDEO_FORMAT_GBR_10LE, AV_PIX_FMT_GBRP10LE},
+  {GST_VIDEO_FORMAT_GBR_10BE, AV_PIX_FMT_GBRP10BE},
+  {GST_VIDEO_FORMAT_A420_10LE, AV_PIX_FMT_YUVA420P10LE},
+  {GST_VIDEO_FORMAT_A420_10BE, AV_PIX_FMT_YUVA420P10BE},
+  {GST_VIDEO_FORMAT_A422_10LE, AV_PIX_FMT_YUVA422P10LE},
+  {GST_VIDEO_FORMAT_A422_10BE, AV_PIX_FMT_YUVA422P10BE},
+  {GST_VIDEO_FORMAT_A444_10LE, AV_PIX_FMT_YUVA444P10LE},
+  {GST_VIDEO_FORMAT_A444_10BE, AV_PIX_FMT_YUVA444P10BE},
 };
 
 GstVideoFormat
-gst_ffmpeg_pixfmt_to_videoformat (enum PixelFormat pixfmt)
+gst_ffmpeg_pixfmt_to_videoformat (enum AVPixelFormat pixfmt)
 {
   guint i;
 
@@ -2457,15 +2650,34 @@ gst_ffmpeg_pixfmt_to_videoformat (enum PixelFormat pixfmt)
   return GST_VIDEO_FORMAT_UNKNOWN;
 }
 
-enum PixelFormat
-gst_ffmpeg_videoformat_to_pixfmt (GstVideoFormat format)
+static enum AVPixelFormat
+gst_ffmpeg_videoformat_to_pixfmt_for_codec (GstVideoFormat format,
+    const AVCodec * codec)
 {
   guint i;
 
-  for (i = 0; i < G_N_ELEMENTS (pixtofmttable); i++)
-    if (pixtofmttable[i].format == format)
-      return pixtofmttable[i].pixfmt;
-  return PIX_FMT_NONE;
+  for (i = 0; i < G_N_ELEMENTS (pixtofmttable); i++) {
+    if (pixtofmttable[i].format == format) {
+      gint j;
+
+      if (codec && codec->pix_fmts) {
+        for (j = 0; codec->pix_fmts[j] != -1; j++) {
+          if (pixtofmttable[i].pixfmt == codec->pix_fmts[j])
+            return pixtofmttable[i].pixfmt;
+        }
+      } else {
+        return pixtofmttable[i].pixfmt;
+      }
+    }
+  }
+
+  return AV_PIX_FMT_NONE;
+}
+
+enum AVPixelFormat
+gst_ffmpeg_videoformat_to_pixfmt (GstVideoFormat format)
+{
+  return gst_ffmpeg_videoformat_to_pixfmt_for_codec (format, NULL);
 }
 
 void
@@ -2480,14 +2692,122 @@ gst_ffmpeg_videoinfo_to_context (GstVideoInfo * info, AVCodecContext * context)
   context->bits_per_coded_sample = bpp;
 
   context->ticks_per_frame = 1;
-  context->time_base.den = GST_VIDEO_INFO_FPS_N (info);
-  context->time_base.num = GST_VIDEO_INFO_FPS_D (info);
+  if (GST_VIDEO_INFO_FPS_N (info) == 0) {
+    GST_DEBUG ("Using 25/1 framerate");
+    context->time_base.den = 25;
+    context->time_base.num = 1;
+  } else {
+    context->time_base.den = GST_VIDEO_INFO_FPS_N (info);
+    context->time_base.num = GST_VIDEO_INFO_FPS_D (info);
+  }
 
   context->sample_aspect_ratio.num = GST_VIDEO_INFO_PAR_N (info);
   context->sample_aspect_ratio.den = GST_VIDEO_INFO_PAR_D (info);
 
   context->pix_fmt =
-      gst_ffmpeg_videoformat_to_pixfmt (GST_VIDEO_INFO_FORMAT (info));
+      gst_ffmpeg_videoformat_to_pixfmt_for_codec (GST_VIDEO_INFO_FORMAT (info),
+      context->codec);
+
+  switch (info->chroma_site) {
+    case GST_VIDEO_CHROMA_SITE_MPEG2:
+      context->chroma_sample_location = AVCHROMA_LOC_LEFT;
+      break;
+    case GST_VIDEO_CHROMA_SITE_JPEG:
+      context->chroma_sample_location = AVCHROMA_LOC_CENTER;
+      break;
+    case GST_VIDEO_CHROMA_SITE_DV:
+      context->chroma_sample_location = AVCHROMA_LOC_TOPLEFT;
+      break;
+    case GST_VIDEO_CHROMA_SITE_V_COSITED:
+      context->chroma_sample_location = AVCHROMA_LOC_TOP;
+      break;
+    default:
+      break;
+  }
+
+  switch (info->colorimetry.primaries) {
+    case GST_VIDEO_COLOR_PRIMARIES_BT709:
+      context->color_primaries = AVCOL_PRI_BT709;
+      break;
+    case GST_VIDEO_COLOR_PRIMARIES_BT470M:
+      context->color_primaries = AVCOL_PRI_BT470M;
+      break;
+    case GST_VIDEO_COLOR_PRIMARIES_BT470BG:
+      context->color_primaries = AVCOL_PRI_BT470BG;
+      break;
+    case GST_VIDEO_COLOR_PRIMARIES_SMPTE170M:
+      context->color_primaries = AVCOL_PRI_SMPTE170M;
+      break;
+    case GST_VIDEO_COLOR_PRIMARIES_SMPTE240M:
+      context->color_primaries = AVCOL_PRI_SMPTE240M;
+      break;
+    case GST_VIDEO_COLOR_PRIMARIES_FILM:
+      context->color_primaries = AVCOL_PRI_FILM;
+      break;
+    case GST_VIDEO_COLOR_PRIMARIES_BT2020:
+      context->color_primaries = AVCOL_PRI_BT2020;
+      break;
+    default:
+      break;
+  }
+
+  switch (info->colorimetry.transfer) {
+    case GST_VIDEO_TRANSFER_BT709:
+      context->color_trc = AVCOL_TRC_BT709;
+      break;
+    case GST_VIDEO_TRANSFER_GAMMA22:
+      context->color_trc = AVCOL_TRC_GAMMA22;
+      break;
+    case GST_VIDEO_TRANSFER_GAMMA28:
+      context->color_trc = AVCOL_TRC_GAMMA28;
+      break;
+    case GST_VIDEO_TRANSFER_SMPTE240M:
+      context->color_trc = AVCOL_TRC_SMPTE240M;
+      break;
+    case GST_VIDEO_TRANSFER_GAMMA10:
+      context->color_trc = AVCOL_TRC_LINEAR;
+      break;
+    case GST_VIDEO_TRANSFER_LOG100:
+      context->color_trc = AVCOL_TRC_LOG;
+      break;
+    case GST_VIDEO_TRANSFER_LOG316:
+      context->color_trc = AVCOL_TRC_LOG_SQRT;
+      break;
+    case GST_VIDEO_TRANSFER_BT2020_12:
+      context->color_trc = AVCOL_TRC_BT2020_12;
+      break;
+    default:
+      break;
+  }
+
+  switch (info->colorimetry.matrix) {
+    case GST_VIDEO_COLOR_MATRIX_RGB:
+      context->colorspace = AVCOL_SPC_RGB;
+      break;
+    case GST_VIDEO_COLOR_MATRIX_BT709:
+      context->colorspace = AVCOL_SPC_BT709;
+      break;
+    case GST_VIDEO_COLOR_MATRIX_FCC:
+      context->colorspace = AVCOL_SPC_FCC;
+      break;
+    case GST_VIDEO_COLOR_MATRIX_BT601:
+      context->colorspace = AVCOL_SPC_BT470BG;
+      break;
+    case GST_VIDEO_COLOR_MATRIX_SMPTE240M:
+      context->colorspace = AVCOL_SPC_SMPTE240M;
+      break;
+    case GST_VIDEO_COLOR_MATRIX_BT2020:
+      context->colorspace = AVCOL_SPC_BT2020_NCL;
+      break;
+    default:
+      break;
+  }
+
+  if (info->colorimetry.range == GST_VIDEO_COLOR_RANGE_0_255) {
+    context->color_range = AVCOL_RANGE_JPEG;
+  } else {
+    context->color_range = AVCOL_RANGE_MPEG;
+  }
 }
 
 void
@@ -2721,7 +3041,7 @@ full_copy:
  */
 
 void
-gst_ffmpeg_caps_with_codecid (enum CodecID codec_id,
+gst_ffmpeg_caps_with_codecid (enum AVCodecID codec_id,
     enum AVMediaType codec_type, const GstCaps * caps, AVCodecContext * context)
 {
   GstStructure *str;
@@ -2785,12 +3105,8 @@ gst_ffmpeg_caps_with_codecid (enum CodecID codec_id,
     GST_DEBUG ("have codec data of size %" G_GSIZE_FORMAT, map.size);
 
     gst_buffer_unmap (buf, &map);
-  } else if (context->extradata == NULL && codec_id != AV_CODEC_ID_AAC_LATM &&
-      codec_id != AV_CODEC_ID_FLAC) {
-    /* no extradata, alloc dummy with 0 sized, some codecs insist on reading
-     * extradata anyway which makes then segfault. */
-    context->extradata =
-        av_mallocz (GST_ROUND_UP_16 (FF_INPUT_BUFFER_PADDING_SIZE));
+  } else {
+    context->extradata = NULL;
     context->extradata_size = 0;
     GST_DEBUG ("no codec data");
   }
@@ -2800,16 +3116,23 @@ gst_ffmpeg_caps_with_codecid (enum CodecID codec_id,
     {
       const gchar *mime = gst_structure_get_name (str);
 
+      context->flags |= CODEC_FLAG_4MV;
+
       if (!strcmp (mime, "video/x-divx"))
         context->codec_tag = GST_MAKE_FOURCC ('D', 'I', 'V', 'X');
-      else if (!strcmp (mime, "video/x-xvid"))
-        context->codec_tag = GST_MAKE_FOURCC ('X', 'V', 'I', 'D');
-      else if (!strcmp (mime, "video/x-3ivx"))
-        context->codec_tag = GST_MAKE_FOURCC ('3', 'I', 'V', '1');
-      else if (!strcmp (mime, "video/mpeg"))
+      else if (!strcmp (mime, "video/mpeg")) {
+        const gchar *profile;
+
         context->codec_tag = GST_MAKE_FOURCC ('m', 'p', '4', 'v');
-    }
+
+        profile = gst_structure_get_string (str, "profile");
+        if (profile) {
+          if (g_strcmp0 (profile, "advanced-simple") == 0)
+            context->flags |= CODEC_FLAG_GMC | CODEC_FLAG_QPEL;
+        }
+      }
       break;
+    }
 
     case AV_CODEC_ID_SVQ3:
       /* FIXME: this is a workaround for older gst-plugins releases
@@ -2819,9 +3142,9 @@ gst_ffmpeg_caps_with_codecid (enum CodecID codec_id,
         gint halfpel_flag, thirdpel_flag, low_delay, unknown_svq3_flag;
         guint16 flags;
 
-        if (gst_structure_get_int (str, "halfpel_flag", &halfpel_flag) ||
-            gst_structure_get_int (str, "thirdpel_flag", &thirdpel_flag) ||
-            gst_structure_get_int (str, "low_delay", &low_delay) ||
+        if (gst_structure_get_int (str, "halfpel_flag", &halfpel_flag) &&
+            gst_structure_get_int (str, "thirdpel_flag", &thirdpel_flag) &&
+            gst_structure_get_int (str, "low_delay", &low_delay) &&
             gst_structure_get_int (str, "unknown_svq3_flag",
                 &unknown_svq3_flag)) {
           context->extradata = (guint8 *) av_mallocz (0x64);
@@ -2861,18 +3184,6 @@ gst_ffmpeg_caps_with_codecid (enum CodecID codec_id,
     }
       break;
 
-    case AV_CODEC_ID_RV10:
-    case AV_CODEC_ID_RV20:
-    case AV_CODEC_ID_RV30:
-    case AV_CODEC_ID_RV40:
-    {
-      gint format;
-
-      if (gst_structure_get_int (str, "format", &format))
-        context->sub_id = format;
-
-      break;
-    }
     case AV_CODEC_ID_COOK:
     case AV_CODEC_ID_RA_288:
     case AV_CODEC_ID_RA_144:
@@ -2886,6 +3197,7 @@ gst_ffmpeg_caps_with_codecid (enum CodecID codec_id,
       if (gst_structure_get_int (str, "bitrate", &bitrate))
         context->bit_rate = bitrate;
     }
+      break;
     case AV_CODEC_ID_ALAC:
       gst_structure_get_int (str, "samplesize",
           &context->bits_per_coded_sample);
@@ -2898,17 +3210,17 @@ gst_ffmpeg_caps_with_codecid (enum CodecID codec_id,
       if ((format = gst_structure_get_string (str, "format"))) {
 
         if (g_str_equal (format, "YUY2"))
-          context->pix_fmt = PIX_FMT_YUYV422;
+          context->pix_fmt = AV_PIX_FMT_YUYV422;
         else if (g_str_equal (format, "I420"))
-          context->pix_fmt = PIX_FMT_YUV420P;
+          context->pix_fmt = AV_PIX_FMT_YUV420P;
         else if (g_str_equal (format, "A420"))
-          context->pix_fmt = PIX_FMT_YUVA420P;
+          context->pix_fmt = AV_PIX_FMT_YUVA420P;
         else if (g_str_equal (format, "Y41B"))
-          context->pix_fmt = PIX_FMT_YUV411P;
+          context->pix_fmt = AV_PIX_FMT_YUV411P;
         else if (g_str_equal (format, "Y42B"))
-          context->pix_fmt = PIX_FMT_YUV422P;
+          context->pix_fmt = AV_PIX_FMT_YUV422P;
         else if (g_str_equal (format, "YUV9"))
-          context->pix_fmt = PIX_FMT_YUV410P;
+          context->pix_fmt = AV_PIX_FMT_YUV410P;
         else {
           GST_WARNING ("couldn't convert format %s" " to a pixel format",
               format);
@@ -3070,6 +3382,8 @@ gst_ffmpeg_formatid_to_caps (const gchar * format_name)
         "y4mversion", G_TYPE_INT, 2, NULL);
   } else if (!strcmp (format_name, "mpc")) {
     caps = gst_caps_from_string ("audio/x-musepack, streamversion = (int) 7");
+  } else if (!strcmp (format_name, "mpc8")) {
+    caps = gst_caps_from_string ("audio/x-musepack, streamversion = (int) 8");
   } else if (!strcmp (format_name, "vqf")) {
     caps = gst_caps_from_string ("audio/x-vqf");
   } else if (!strcmp (format_name, "nsv")) {
@@ -3080,6 +3394,8 @@ gst_ffmpeg_formatid_to_caps (const gchar * format_name)
     caps = gst_caps_from_string ("video/webm");
   } else if (!strcmp (format_name, "voc")) {
     caps = gst_caps_from_string ("audio/x-voc");
+  } else if (!strcmp (format_name, "pva")) {
+    caps = gst_caps_from_string ("video/x-pva");
   } else {
     gchar *name;
 
@@ -3094,14 +3410,14 @@ gst_ffmpeg_formatid_to_caps (const gchar * format_name)
 
 gboolean
 gst_ffmpeg_formatid_get_codecids (const gchar * format_name,
-    enum CodecID ** video_codec_list, enum CodecID ** audio_codec_list,
+    enum AVCodecID ** video_codec_list, enum AVCodecID ** audio_codec_list,
     AVOutputFormat * plugin)
 {
-  static enum CodecID tmp_vlist[] = {
+  static enum AVCodecID tmp_vlist[] = {
     AV_CODEC_ID_NONE,
     AV_CODEC_ID_NONE
   };
-  static enum CodecID tmp_alist[] = {
+  static enum AVCodecID tmp_alist[] = {
     AV_CODEC_ID_NONE,
     AV_CODEC_ID_NONE
   };
@@ -3109,12 +3425,12 @@ gst_ffmpeg_formatid_get_codecids (const gchar * format_name,
   GST_LOG ("format_name : %s", format_name);
 
   if (!strcmp (format_name, "mp4")) {
-    static enum CodecID mp4_video_list[] = {
+    static enum AVCodecID mp4_video_list[] = {
       AV_CODEC_ID_MPEG4, AV_CODEC_ID_H264,
       AV_CODEC_ID_MJPEG,
       AV_CODEC_ID_NONE
     };
-    static enum CodecID mp4_audio_list[] = {
+    static enum AVCodecID mp4_audio_list[] = {
       AV_CODEC_ID_AAC, AV_CODEC_ID_MP3,
       AV_CODEC_ID_NONE
     };
@@ -3122,12 +3438,12 @@ gst_ffmpeg_formatid_get_codecids (const gchar * format_name,
     *video_codec_list = mp4_video_list;
     *audio_codec_list = mp4_audio_list;
   } else if (!strcmp (format_name, "mpeg")) {
-    static enum CodecID mpeg_video_list[] = { AV_CODEC_ID_MPEG1VIDEO,
+    static enum AVCodecID mpeg_video_list[] = { AV_CODEC_ID_MPEG1VIDEO,
       AV_CODEC_ID_MPEG2VIDEO,
       AV_CODEC_ID_H264,
       AV_CODEC_ID_NONE
     };
-    static enum CodecID mpeg_audio_list[] = { AV_CODEC_ID_MP1,
+    static enum AVCodecID mpeg_audio_list[] = { AV_CODEC_ID_MP1,
       AV_CODEC_ID_MP2,
       AV_CODEC_ID_MP3,
       AV_CODEC_ID_NONE
@@ -3136,10 +3452,10 @@ gst_ffmpeg_formatid_get_codecids (const gchar * format_name,
     *video_codec_list = mpeg_video_list;
     *audio_codec_list = mpeg_audio_list;
   } else if (!strcmp (format_name, "dvd")) {
-    static enum CodecID mpeg_video_list[] = { AV_CODEC_ID_MPEG2VIDEO,
+    static enum AVCodecID mpeg_video_list[] = { AV_CODEC_ID_MPEG2VIDEO,
       AV_CODEC_ID_NONE
     };
-    static enum CodecID mpeg_audio_list[] = { AV_CODEC_ID_MP2,
+    static enum AVCodecID mpeg_audio_list[] = { AV_CODEC_ID_MP2,
       AV_CODEC_ID_AC3,
       AV_CODEC_ID_DTS,
       AV_CODEC_ID_PCM_S16BE,
@@ -3149,12 +3465,12 @@ gst_ffmpeg_formatid_get_codecids (const gchar * format_name,
     *video_codec_list = mpeg_video_list;
     *audio_codec_list = mpeg_audio_list;
   } else if (!strcmp (format_name, "mpegts")) {
-    static enum CodecID mpegts_video_list[] = { AV_CODEC_ID_MPEG1VIDEO,
+    static enum AVCodecID mpegts_video_list[] = { AV_CODEC_ID_MPEG1VIDEO,
       AV_CODEC_ID_MPEG2VIDEO,
       AV_CODEC_ID_H264,
       AV_CODEC_ID_NONE
     };
-    static enum CodecID mpegts_audio_list[] = { AV_CODEC_ID_MP2,
+    static enum AVCodecID mpegts_audio_list[] = { AV_CODEC_ID_MP2,
       AV_CODEC_ID_MP3,
       AV_CODEC_ID_AC3,
       AV_CODEC_ID_DTS,
@@ -3165,28 +3481,28 @@ gst_ffmpeg_formatid_get_codecids (const gchar * format_name,
     *video_codec_list = mpegts_video_list;
     *audio_codec_list = mpegts_audio_list;
   } else if (!strcmp (format_name, "vob")) {
-    static enum CodecID vob_video_list[] =
+    static enum AVCodecID vob_video_list[] =
         { AV_CODEC_ID_MPEG2VIDEO, AV_CODEC_ID_NONE };
-    static enum CodecID vob_audio_list[] = { AV_CODEC_ID_MP2, AV_CODEC_ID_AC3,
+    static enum AVCodecID vob_audio_list[] = { AV_CODEC_ID_MP2, AV_CODEC_ID_AC3,
       AV_CODEC_ID_DTS, AV_CODEC_ID_NONE
     };
 
     *video_codec_list = vob_video_list;
     *audio_codec_list = vob_audio_list;
   } else if (!strcmp (format_name, "flv")) {
-    static enum CodecID flv_video_list[] =
+    static enum AVCodecID flv_video_list[] =
         { AV_CODEC_ID_FLV1, AV_CODEC_ID_NONE };
-    static enum CodecID flv_audio_list[] =
+    static enum AVCodecID flv_audio_list[] =
         { AV_CODEC_ID_MP3, AV_CODEC_ID_NONE };
 
     *video_codec_list = flv_video_list;
     *audio_codec_list = flv_audio_list;
   } else if (!strcmp (format_name, "asf")) {
-    static enum CodecID asf_video_list[] =
+    static enum AVCodecID asf_video_list[] =
         { AV_CODEC_ID_WMV1, AV_CODEC_ID_WMV2, AV_CODEC_ID_MSMPEG4V3,
       AV_CODEC_ID_NONE
     };
-    static enum CodecID asf_audio_list[] =
+    static enum AVCodecID asf_audio_list[] =
         { AV_CODEC_ID_WMAV1, AV_CODEC_ID_WMAV2, AV_CODEC_ID_MP3,
       AV_CODEC_ID_NONE
     };
@@ -3194,22 +3510,22 @@ gst_ffmpeg_formatid_get_codecids (const gchar * format_name,
     *video_codec_list = asf_video_list;
     *audio_codec_list = asf_audio_list;
   } else if (!strcmp (format_name, "dv")) {
-    static enum CodecID dv_video_list[] =
+    static enum AVCodecID dv_video_list[] =
         { AV_CODEC_ID_DVVIDEO, AV_CODEC_ID_NONE };
-    static enum CodecID dv_audio_list[] =
+    static enum AVCodecID dv_audio_list[] =
         { AV_CODEC_ID_PCM_S16LE, AV_CODEC_ID_NONE };
 
     *video_codec_list = dv_video_list;
     *audio_codec_list = dv_audio_list;
   } else if (!strcmp (format_name, "mov")) {
-    static enum CodecID mov_video_list[] = {
+    static enum AVCodecID mov_video_list[] = {
       AV_CODEC_ID_SVQ1, AV_CODEC_ID_SVQ3, AV_CODEC_ID_MPEG4,
       AV_CODEC_ID_H263, AV_CODEC_ID_H263P,
       AV_CODEC_ID_H264, AV_CODEC_ID_DVVIDEO,
       AV_CODEC_ID_MJPEG,
       AV_CODEC_ID_NONE
     };
-    static enum CodecID mov_audio_list[] = {
+    static enum AVCodecID mov_audio_list[] = {
       AV_CODEC_ID_PCM_MULAW, AV_CODEC_ID_PCM_ALAW, AV_CODEC_ID_ADPCM_IMA_QT,
       AV_CODEC_ID_MACE3, AV_CODEC_ID_MACE6, AV_CODEC_ID_AAC,
       AV_CODEC_ID_AMR_NB, AV_CODEC_ID_AMR_WB,
@@ -3220,11 +3536,11 @@ gst_ffmpeg_formatid_get_codecids (const gchar * format_name,
     *video_codec_list = mov_video_list;
     *audio_codec_list = mov_audio_list;
   } else if ((!strcmp (format_name, "3gp") || !strcmp (format_name, "3g2"))) {
-    static enum CodecID tgp_video_list[] = {
+    static enum AVCodecID tgp_video_list[] = {
       AV_CODEC_ID_MPEG4, AV_CODEC_ID_H263, AV_CODEC_ID_H263P, AV_CODEC_ID_H264,
       AV_CODEC_ID_NONE
     };
-    static enum CodecID tgp_audio_list[] = {
+    static enum AVCodecID tgp_audio_list[] = {
       AV_CODEC_ID_AMR_NB, AV_CODEC_ID_AMR_WB,
       AV_CODEC_ID_AAC,
       AV_CODEC_ID_NONE
@@ -3233,20 +3549,20 @@ gst_ffmpeg_formatid_get_codecids (const gchar * format_name,
     *video_codec_list = tgp_video_list;
     *audio_codec_list = tgp_audio_list;
   } else if (!strcmp (format_name, "mmf")) {
-    static enum CodecID mmf_audio_list[] = {
+    static enum AVCodecID mmf_audio_list[] = {
       AV_CODEC_ID_ADPCM_YAMAHA, AV_CODEC_ID_NONE
     };
     *video_codec_list = NULL;
     *audio_codec_list = mmf_audio_list;
   } else if (!strcmp (format_name, "amr")) {
-    static enum CodecID amr_audio_list[] = {
+    static enum AVCodecID amr_audio_list[] = {
       AV_CODEC_ID_AMR_NB, AV_CODEC_ID_AMR_WB,
       AV_CODEC_ID_NONE
     };
     *video_codec_list = NULL;
     *audio_codec_list = amr_audio_list;
   } else if (!strcmp (format_name, "gif")) {
-    static enum CodecID gif_image_list[] = {
+    static enum AVCodecID gif_image_list[] = {
       AV_CODEC_ID_RAWVIDEO, AV_CODEC_ID_NONE
     };
     *video_codec_list = gif_image_list;
@@ -3258,6 +3574,18 @@ gst_ffmpeg_formatid_get_codecids (const gchar * format_name,
 
     *video_codec_list = tmp_vlist;
     *audio_codec_list = tmp_alist;
+  } else if ((!strcmp (format_name, "pva"))) {
+    static enum AVCodecID tgp_video_list[] = {
+      AV_CODEC_ID_MPEG2VIDEO,
+      AV_CODEC_ID_NONE
+    };
+    static enum AVCodecID tgp_audio_list[] = {
+      AV_CODEC_ID_MP2,
+      AV_CODEC_ID_NONE
+    };
+
+    *video_codec_list = tgp_video_list;
+    *audio_codec_list = tgp_audio_list;
   } else {
     GST_LOG ("Format %s not found", format_name);
     return FALSE;
@@ -3273,10 +3601,10 @@ gst_ffmpeg_formatid_get_codecids (const gchar * format_name,
  * optional extra info
  */
 
-enum CodecID
+enum AVCodecID
 gst_ffmpeg_caps_to_codecid (const GstCaps * caps, AVCodecContext * context)
 {
-  enum CodecID id = AV_CODEC_ID_NONE;
+  enum AVCodecID id = AV_CODEC_ID_NONE;
   const gchar *mimetype;
   const GstStructure *structure;
   gboolean video = FALSE, audio = FALSE;        /* we want to be sure! */
@@ -3557,6 +3885,9 @@ gst_ffmpeg_caps_to_codecid (const GstCaps * caps, AVCodecContext * context)
   } else if (!strcmp (mimetype, "video/x-vp8")) {
     id = AV_CODEC_ID_VP8;
     video = TRUE;
+  } else if (!strcmp (mimetype, "video/x-vp9")) {
+    id = AV_CODEC_ID_VP9;
+    video = TRUE;
   } else if (!strcmp (mimetype, "video/x-flash-screen")) {
     id = AV_CODEC_ID_FLASHSV;
     video = TRUE;
@@ -3597,12 +3928,6 @@ gst_ffmpeg_caps_to_codecid (const GstCaps * caps, AVCodecContext * context)
     }
     if (id != AV_CODEC_ID_NONE)
       video = TRUE;
-  } else if (!strcmp (mimetype, "video/x-3ivx")) {
-    id = AV_CODEC_ID_MPEG4;
-    video = TRUE;
-  } else if (!strcmp (mimetype, "video/x-xvid")) {
-    id = AV_CODEC_ID_MPEG4;
-    video = TRUE;
   } else if (!strcmp (mimetype, "video/x-ffv")) {
     gint ffvversion = 0;
 
@@ -3611,6 +3936,9 @@ gst_ffmpeg_caps_to_codecid (const GstCaps * caps, AVCodecContext * context)
       id = AV_CODEC_ID_FFV1;
       video = TRUE;
     }
+  } else if (!strcmp (mimetype, "video/x-apple-intermediate-codec")) {
+    id = AV_CODEC_ID_AIC;
+    video = TRUE;
   } else if (!strcmp (mimetype, "audio/x-adpcm")) {
     const gchar *layout;
 
@@ -3772,6 +4100,9 @@ gst_ffmpeg_caps_to_codecid (const GstCaps * caps, AVCodecContext * context)
   } else if (!strcmp (mimetype, "video/x-h264")) {
     id = AV_CODEC_ID_H264;
     video = TRUE;
+  } else if (!strcmp (mimetype, "video/x-h265")) {
+    id = AV_CODEC_ID_HEVC;
+    video = TRUE;
   } else if (!strcmp (mimetype, "video/x-flash-video")) {
     gint flvversion = 0;