ext/libav/gstavviddec.c

   1 /* GStreamer
   2  * Copyright (C) <1999> Erik Walthinsen <omega@cse.ogi.edu>
   3  *
   4  * This library is free software; you can redistribute it and/or
   5  * modify it under the terms of the GNU Library General Public
   6  * License as published by the Free Software Foundation; either
   7  * version 2 of the License, or (at your option) any later version.
   8  *
   9  * This library is distributed in the hope that it will be useful,
  10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  12  * Library General Public License for more details.
  13  *
  14  * You should have received a copy of the GNU Library General Public
  15  * License along with this library; if not, write to the
  16  * Free Software Foundation, Inc., 51 Franklin St, Fifth Floor,
  17  * Boston, MA 02110-1301, USA.
  18  */
  19
  20 #ifdef HAVE_CONFIG_H
  21 #include "config.h"
  22 #endif
  23
  24 #include <assert.h>
  25 #include <string.h>
  26
  27 #include <libavcodec/avcodec.h>
  28 #include <libavutil/stereo3d.h>
  29 #include <libavutil/mastering_display_metadata.h>
  30
  31 #include "gstav.h"
  32 #include "gstavcodecmap.h"
  33 #include "gstavutils.h"
  34 #include "gstavviddec.h"
  35
  36 GST_DEBUG_CATEGORY_STATIC (GST_CAT_PERFORMANCE);
  37
  38 #define MAX_TS_MASK 0xff
  39
  40 #define DEFAULT_LOWRES                  0
  41 #define DEFAULT_SKIPFRAME               0
  42 #define DEFAULT_DIRECT_RENDERING        TRUE
  43 #define DEFAULT_DEBUG_MV                FALSE
  44 #define DEFAULT_MAX_THREADS             0
  45 #define DEFAULT_OUTPUT_CORRUPT          TRUE
  46 #define REQUIRED_POOL_MAX_BUFFERS       32
  47 #define DEFAULT_STRIDE_ALIGN            31
  48 #define DEFAULT_ALLOC_PARAM             { 0, DEFAULT_STRIDE_ALIGN, 0, 0, }
  49 #define DEFAULT_THREAD_TYPE             0
  50
  51 enum
  52 {
  53   PROP_0,
  54   PROP_LOWRES,
  55   PROP_SKIPFRAME,
  56   PROP_DIRECT_RENDERING,
  57   PROP_DEBUG_MV,
  58   PROP_MAX_THREADS,
  59   PROP_OUTPUT_CORRUPT,
  60   PROP_THREAD_TYPE,
  61   PROP_LAST
  62 };
  63
  64 /* A number of function prototypes are given so we can refer to them later. */
  65 static void gst_ffmpegviddec_base_init (GstFFMpegVidDecClass * klass);
  66 static void gst_ffmpegviddec_class_init (GstFFMpegVidDecClass * klass);
  67 static void gst_ffmpegviddec_init (GstFFMpegVidDec * ffmpegdec);
  68 static void gst_ffmpegviddec_finalize (GObject * object);
  69
  70 static gboolean gst_ffmpegviddec_set_format (GstVideoDecoder * decoder,
  71     GstVideoCodecState * state);
  72 static GstFlowReturn gst_ffmpegviddec_handle_frame (GstVideoDecoder * decoder,
  73     GstVideoCodecFrame * frame);
  74 static gboolean gst_ffmpegviddec_start (GstVideoDecoder * decoder);
  75 static gboolean gst_ffmpegviddec_stop (GstVideoDecoder * decoder);
  76 static gboolean gst_ffmpegviddec_flush (GstVideoDecoder * decoder);
  77 static gboolean gst_ffmpegviddec_decide_allocation (GstVideoDecoder * decoder,
  78     GstQuery * query);
  79 static gboolean gst_ffmpegviddec_propose_allocation (GstVideoDecoder * decoder,
  80     GstQuery * query);
  81
  82 static void gst_ffmpegviddec_set_property (GObject * object,
  83     guint prop_id, const GValue * value, GParamSpec * pspec);
  84 static void gst_ffmpegviddec_get_property (GObject * object,
  85     guint prop_id, GValue * value, GParamSpec * pspec);
  86
  87 static gboolean gst_ffmpegviddec_negotiate (GstFFMpegVidDec * ffmpegdec,
  88     AVCodecContext * context, AVFrame * picture);
  89
  90 /* some sort of bufferpool handling, but different */
  91 static int gst_ffmpegviddec_get_buffer2 (AVCodecContext * context,
  92     AVFrame * picture, int flags);
  93
  94 static GstFlowReturn gst_ffmpegviddec_finish (GstVideoDecoder * decoder);
  95 static GstFlowReturn gst_ffmpegviddec_drain (GstVideoDecoder * decoder);
  96
  97 static gboolean picture_changed (GstFFMpegVidDec * ffmpegdec,
  98     AVFrame * picture);
  99 static gboolean context_changed (GstFFMpegVidDec * ffmpegdec,
 100     AVCodecContext * context);
 101
 102 #define GST_FFDEC_PARAMS_QDATA g_quark_from_static_string("avdec-params")
 103
 104 static GstElementClass *parent_class = NULL;
 105
 106 #define GST_FFMPEGVIDDEC_TYPE_LOWRES (gst_ffmpegviddec_lowres_get_type())
 107 static GType
 108 gst_ffmpegviddec_lowres_get_type (void)
 109 {
 110   static GType ffmpegdec_lowres_type = 0;
 111
 112   if (!ffmpegdec_lowres_type) {
 113     static const GEnumValue ffmpegdec_lowres[] = {
 114       {0, "0", "full"},
 115       {1, "1", "1/2-size"},
 116       {2, "2", "1/4-size"},
 117       {0, NULL, NULL},
 118     };
 119
 120     ffmpegdec_lowres_type =
 121         g_enum_register_static ("GstLibAVVidDecLowres", ffmpegdec_lowres);
 122   }
 123
 124   return ffmpegdec_lowres_type;
 125 }
 126
 127 #define GST_FFMPEGVIDDEC_TYPE_SKIPFRAME (gst_ffmpegviddec_skipframe_get_type())
 128 static GType
 129 gst_ffmpegviddec_skipframe_get_type (void)
 130 {
 131   static GType ffmpegdec_skipframe_type = 0;
 132
 133   if (!ffmpegdec_skipframe_type) {
 134     static const GEnumValue ffmpegdec_skipframe[] = {
 135       {0, "0", "Skip nothing"},
 136       {1, "1", "Skip B-frames"},
 137       {2, "2", "Skip IDCT/Dequantization"},
 138       {5, "5", "Skip everything"},
 139       {0, NULL, NULL},
 140     };
 141
 142     ffmpegdec_skipframe_type =
 143         g_enum_register_static ("GstLibAVVidDecSkipFrame", ffmpegdec_skipframe);
 144   }
 145
 146   return ffmpegdec_skipframe_type;
 147 }
 148
 149 static const GFlagsValue ffmpegdec_thread_types[] = {
 150   {0x0, "Auto", "auto"},
 151   {0x1, "Frame", "frame"},
 152   {0x2, "Slice", "slice"},
 153   {0, NULL, NULL},
 154 };
 155
 156 #define GST_FFMPEGVIDDEC_TYPE_THREAD_TYPE (gst_ffmpegviddec_thread_type_get_type())
 157 static GType
 158 gst_ffmpegviddec_thread_type_get_type (void)
 159 {
 160   static GType ffmpegdec_thread_type_type = 0;
 161
 162   if (!ffmpegdec_thread_type_type) {
 163     ffmpegdec_thread_type_type =
 164         g_flags_register_static ("GstLibAVVidDecThreadType",
 165         ffmpegdec_thread_types);
 166   }
 167   return ffmpegdec_thread_type_type;
 168 }
 169
 170 static void
 171 gst_ffmpegviddec_base_init (GstFFMpegVidDecClass * klass)
 172 {
 173   GstElementClass *element_class = GST_ELEMENT_CLASS (klass);
 174   GstPadTemplate *sinktempl, *srctempl;
 175   GstCaps *sinkcaps, *srccaps;
 176   AVCodec *in_plugin;
 177   gchar *longname, *description;
 178
 179   in_plugin =
 180       (AVCodec *) g_type_get_qdata (G_OBJECT_CLASS_TYPE (klass),
 181       GST_FFDEC_PARAMS_QDATA);
 182   g_assert (in_plugin != NULL);
 183
 184   /* construct the element details struct */
 185   longname = g_strdup_printf ("libav %s decoder", in_plugin->long_name);
 186   description = g_strdup_printf ("libav %s decoder", in_plugin->name);
 187   gst_element_class_set_metadata (element_class, longname,
 188       "Codec/Decoder/Video", description,
 189       "Wim Taymans <wim.taymans@gmail.com>, "
 190       "Ronald Bultje <rbultje@ronald.bitfreak.net>, "
 191       "Edward Hervey <bilboed@bilboed.com>");
 192   g_free (longname);
 193   g_free (description);
 194
 195   /* get the caps */
 196   sinkcaps = gst_ffmpeg_codecid_to_caps (in_plugin->id, NULL, FALSE);
 197   if (!sinkcaps) {
 198     GST_DEBUG ("Couldn't get sink caps for decoder '%s'", in_plugin->name);
 199     sinkcaps = gst_caps_new_empty_simple ("unknown/unknown");
 200   }
 201   srccaps = gst_ffmpeg_codectype_to_video_caps (NULL,
 202       in_plugin->id, FALSE, in_plugin);
 203   if (!srccaps) {
 204     GST_DEBUG ("Couldn't get source caps for decoder '%s'", in_plugin->name);
 205     srccaps = gst_caps_from_string ("video/x-raw");
 206   }
 207
 208   /* pad templates */
 209   sinktempl = gst_pad_template_new ("sink", GST_PAD_SINK,
 210       GST_PAD_ALWAYS, sinkcaps);
 211   srctempl = gst_pad_template_new ("src", GST_PAD_SRC, GST_PAD_ALWAYS, srccaps);
 212
 213   gst_element_class_add_pad_template (element_class, srctempl);
 214   gst_element_class_add_pad_template (element_class, sinktempl);
 215
 216   gst_caps_unref (sinkcaps);
 217   gst_caps_unref (srccaps);
 218
 219   klass->in_plugin = in_plugin;
 220 }
 221
 222 static void
 223 gst_ffmpegviddec_class_init (GstFFMpegVidDecClass * klass)
 224 {
 225   GObjectClass *gobject_class = G_OBJECT_CLASS (klass);
 226   GstVideoDecoderClass *viddec_class = GST_VIDEO_DECODER_CLASS (klass);
 227   int caps;
 228
 229   parent_class = g_type_class_peek_parent (klass);
 230
 231   gobject_class->finalize = gst_ffmpegviddec_finalize;
 232
 233   gobject_class->set_property = gst_ffmpegviddec_set_property;
 234   gobject_class->get_property = gst_ffmpegviddec_get_property;
 235
 236   g_object_class_install_property (gobject_class, PROP_SKIPFRAME,
 237       g_param_spec_enum ("skip-frame", "Skip frames",
 238           "Which types of frames to skip during decoding",
 239           GST_FFMPEGVIDDEC_TYPE_SKIPFRAME, 0,
 240           G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
 241   g_object_class_install_property (gobject_class, PROP_LOWRES,
 242       g_param_spec_enum ("lowres", "Low resolution",
 243           "At which resolution to decode images",
 244           GST_FFMPEGVIDDEC_TYPE_LOWRES, 0,
 245           G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
 246   g_object_class_install_property (gobject_class, PROP_DIRECT_RENDERING,
 247       g_param_spec_boolean ("direct-rendering", "Direct Rendering",
 248           "Enable direct rendering", DEFAULT_DIRECT_RENDERING,
 249           G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
 250   g_object_class_install_property (gobject_class, PROP_DEBUG_MV,
 251       g_param_spec_boolean ("debug-mv", "Debug motion vectors",
 252           "Whether libav should print motion vectors on top of the image",
 253           DEFAULT_DEBUG_MV, G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
 254   g_object_class_install_property (gobject_class, PROP_OUTPUT_CORRUPT,
 255       g_param_spec_boolean ("output-corrupt", "Output corrupt buffers",
 256           "Whether libav should output frames even if corrupted",
 257           DEFAULT_OUTPUT_CORRUPT, G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
 258
 259   caps = klass->in_plugin->capabilities;
 260   if (caps & (AV_CODEC_CAP_FRAME_THREADS | AV_CODEC_CAP_SLICE_THREADS)) {
 261     g_object_class_install_property (G_OBJECT_CLASS (klass), PROP_MAX_THREADS,
 262         g_param_spec_int ("max-threads", "Maximum decode threads",
 263             "Maximum number of worker threads to spawn. (0 = auto)",
 264             0, G_MAXINT, DEFAULT_MAX_THREADS,
 265             G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
 266     g_object_class_install_property (G_OBJECT_CLASS (klass), PROP_THREAD_TYPE,
 267         g_param_spec_flags ("thread-type", "Thread type",
 268             "Multithreading methods to use",
 269             GST_FFMPEGVIDDEC_TYPE_THREAD_TYPE,
 270             DEFAULT_THREAD_TYPE, G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
 271   }
 272
 273   viddec_class->set_format = gst_ffmpegviddec_set_format;
 274   viddec_class->handle_frame = gst_ffmpegviddec_handle_frame;
 275   viddec_class->start = gst_ffmpegviddec_start;
 276   viddec_class->stop = gst_ffmpegviddec_stop;
 277   viddec_class->flush = gst_ffmpegviddec_flush;
 278   viddec_class->finish = gst_ffmpegviddec_finish;
 279   viddec_class->drain = gst_ffmpegviddec_drain;
 280   viddec_class->decide_allocation = gst_ffmpegviddec_decide_allocation;
 281   viddec_class->propose_allocation = gst_ffmpegviddec_propose_allocation;
 282
 283   GST_DEBUG_CATEGORY_GET (GST_CAT_PERFORMANCE, "GST_PERFORMANCE");
 284 }
 285
 286 static void
 287 gst_ffmpegviddec_init (GstFFMpegVidDec * ffmpegdec)
 288 {
 289   GstFFMpegVidDecClass *klass =
 290       (GstFFMpegVidDecClass *) G_OBJECT_GET_CLASS (ffmpegdec);
 291
 292   /* some ffmpeg data */
 293   ffmpegdec->context = avcodec_alloc_context3 (klass->in_plugin);
 294   ffmpegdec->context->opaque = ffmpegdec;
 295   ffmpegdec->picture = av_frame_alloc ();
 296   ffmpegdec->opened = FALSE;
 297   ffmpegdec->skip_frame = ffmpegdec->lowres = 0;
 298   ffmpegdec->direct_rendering = DEFAULT_DIRECT_RENDERING;
 299   ffmpegdec->debug_mv = DEFAULT_DEBUG_MV;
 300   ffmpegdec->max_threads = DEFAULT_MAX_THREADS;
 301   ffmpegdec->output_corrupt = DEFAULT_OUTPUT_CORRUPT;
 302   ffmpegdec->thread_type = DEFAULT_THREAD_TYPE;
 303
 304   GST_PAD_SET_ACCEPT_TEMPLATE (GST_VIDEO_DECODER_SINK_PAD (ffmpegdec));
 305   gst_video_decoder_set_use_default_pad_acceptcaps (GST_VIDEO_DECODER_CAST
 306       (ffmpegdec), TRUE);
 307
 308   gst_video_decoder_set_needs_format (GST_VIDEO_DECODER (ffmpegdec), TRUE);
 309 }
 310
 311 static void
 312 gst_ffmpegviddec_finalize (GObject * object)
 313 {
 314   GstFFMpegVidDec *ffmpegdec = (GstFFMpegVidDec *) object;
 315
 316   av_frame_free (&ffmpegdec->picture);
 317
 318   if (ffmpegdec->context != NULL) {
 319     gst_ffmpeg_avcodec_close (ffmpegdec->context);
 320     av_free (ffmpegdec->context);
 321     ffmpegdec->context = NULL;
 322   }
 323
 324   G_OBJECT_CLASS (parent_class)->finalize (object);
 325 }
 326
 327 static void
 328 gst_ffmpegviddec_context_set_flags (AVCodecContext * context, guint flags,
 329     gboolean enable)
 330 {
 331   g_return_if_fail (context != NULL);
 332
 333   if (enable)
 334     context->flags |= flags;
 335   else
 336     context->flags &= ~flags;
 337 }
 338
 339 /* with LOCK */
 340 static gboolean
 341 gst_ffmpegviddec_close (GstFFMpegVidDec * ffmpegdec, gboolean reset)
 342 {
 343   GstFFMpegVidDecClass *oclass;
 344   guint i;
 345
 346   oclass = (GstFFMpegVidDecClass *) (G_OBJECT_GET_CLASS (ffmpegdec));
 347
 348   GST_LOG_OBJECT (ffmpegdec, "closing ffmpeg codec");
 349
 350   gst_caps_replace (&ffmpegdec->last_caps, NULL);
 351
 352   gst_ffmpeg_avcodec_close (ffmpegdec->context);
 353   ffmpegdec->opened = FALSE;
 354
 355   for (i = 0; i < G_N_ELEMENTS (ffmpegdec->stride); i++)
 356     ffmpegdec->stride[i] = -1;
 357
 358   gst_buffer_replace (&ffmpegdec->palette, NULL);
 359
 360   if (ffmpegdec->context->extradata) {
 361     av_free (ffmpegdec->context->extradata);
 362     ffmpegdec->context->extradata = NULL;
 363   }
 364   if (reset) {
 365     if (avcodec_get_context_defaults3 (ffmpegdec->context,
 366             oclass->in_plugin) < 0) {
 367       GST_DEBUG_OBJECT (ffmpegdec, "Failed to set context defaults");
 368       return FALSE;
 369     }
 370     ffmpegdec->context->opaque = ffmpegdec;
 371   }
 372   return TRUE;
 373 }
 374
 375 /* with LOCK */
 376 static gboolean
 377 gst_ffmpegviddec_open (GstFFMpegVidDec * ffmpegdec)
 378 {
 379   GstFFMpegVidDecClass *oclass;
 380   guint i;
 381
 382   oclass = (GstFFMpegVidDecClass *) (G_OBJECT_GET_CLASS (ffmpegdec));
 383
 384   if (gst_ffmpeg_avcodec_open (ffmpegdec->context, oclass->in_plugin) < 0)
 385     goto could_not_open;
 386
 387   for (i = 0; i < G_N_ELEMENTS (ffmpegdec->stride); i++)
 388     ffmpegdec->stride[i] = -1;
 389
 390   ffmpegdec->opened = TRUE;
 391
 392   GST_LOG_OBJECT (ffmpegdec, "Opened libav codec %s, id %d",
 393       oclass->in_plugin->name, oclass->in_plugin->id);
 394
 395   gst_ffmpegviddec_context_set_flags (ffmpegdec->context,
 396       AV_CODEC_FLAG_OUTPUT_CORRUPT, ffmpegdec->output_corrupt);
 397
 398   return TRUE;
 399
 400   /* ERRORS */
 401 could_not_open:
 402   {
 403     gst_ffmpegviddec_close (ffmpegdec, TRUE);
 404     GST_DEBUG_OBJECT (ffmpegdec, "avdec_%s: Failed to open libav codec",
 405         oclass->in_plugin->name);
 406     return FALSE;
 407   }
 408 }
 409
 410 static void
 411 gst_ffmpegviddec_get_palette (GstFFMpegVidDec * ffmpegdec,
 412     GstVideoCodecState * state)
 413 {
 414   GstStructure *str = gst_caps_get_structure (state->caps, 0);
 415   const GValue *palette_v;
 416   GstBuffer *palette;
 417
 418   /* do we have a palette? */
 419   if ((palette_v = gst_structure_get_value (str, "palette_data"))) {
 420     palette = gst_value_get_buffer (palette_v);
 421     GST_DEBUG ("got palette data %p", palette);
 422     if (gst_buffer_get_size (palette) >= AVPALETTE_SIZE) {
 423       gst_buffer_replace (&ffmpegdec->palette, palette);
 424     }
 425   }
 426 }
 427
 428
 429 static gboolean
 430 gst_ffmpegviddec_set_format (GstVideoDecoder * decoder,
 431     GstVideoCodecState * state)
 432 {
 433   GstFFMpegVidDec *ffmpegdec;
 434   GstFFMpegVidDecClass *oclass;
 435   GstClockTime latency = GST_CLOCK_TIME_NONE;
 436   gboolean ret = FALSE;
 437
 438   ffmpegdec = (GstFFMpegVidDec *) decoder;
 439   oclass = (GstFFMpegVidDecClass *) (G_OBJECT_GET_CLASS (ffmpegdec));
 440
 441   if (ffmpegdec->last_caps != NULL &&
 442       gst_caps_is_equal (ffmpegdec->last_caps, state->caps)) {
 443     return TRUE;
 444   }
 445
 446   GST_DEBUG_OBJECT (ffmpegdec, "setcaps called");
 447
 448   GST_OBJECT_LOCK (ffmpegdec);
 449   /* stupid check for VC1 */
 450   if ((oclass->in_plugin->id == AV_CODEC_ID_WMV3) ||
 451       (oclass->in_plugin->id == AV_CODEC_ID_VC1))
 452     oclass->in_plugin->id = gst_ffmpeg_caps_to_codecid (state->caps, NULL);
 453
 454   /* close old session */
 455   if (ffmpegdec->opened) {
 456     GST_OBJECT_UNLOCK (ffmpegdec);
 457     gst_ffmpegviddec_finish (decoder);
 458     GST_OBJECT_LOCK (ffmpegdec);
 459     if (!gst_ffmpegviddec_close (ffmpegdec, TRUE)) {
 460       GST_OBJECT_UNLOCK (ffmpegdec);
 461       return FALSE;
 462     }
 463     ffmpegdec->pic_pix_fmt = 0;
 464     ffmpegdec->pic_width = 0;
 465     ffmpegdec->pic_height = 0;
 466     ffmpegdec->pic_par_n = 0;
 467     ffmpegdec->pic_par_d = 0;
 468     ffmpegdec->pic_interlaced = 0;
 469     ffmpegdec->pic_field_order = 0;
 470     ffmpegdec->pic_field_order_changed = FALSE;
 471     ffmpegdec->ctx_ticks = 0;
 472     ffmpegdec->ctx_time_n = 0;
 473     ffmpegdec->ctx_time_d = 0;
 474     ffmpegdec->cur_multiview_mode = GST_VIDEO_MULTIVIEW_MODE_NONE;
 475     ffmpegdec->cur_multiview_flags = GST_VIDEO_MULTIVIEW_FLAGS_NONE;
 476   }
 477
 478   gst_caps_replace (&ffmpegdec->last_caps, state->caps);
 479
 480   /* set buffer functions */
 481   ffmpegdec->context->get_buffer2 = gst_ffmpegviddec_get_buffer2;
 482   ffmpegdec->context->draw_horiz_band = NULL;
 483
 484   /* reset coded_width/_height to prevent it being reused from last time when
 485    * the codec is opened again, causing a mismatch and possible
 486    * segfault/corruption. (Common scenario when renegotiating caps) */
 487   ffmpegdec->context->coded_width = 0;
 488   ffmpegdec->context->coded_height = 0;
 489
 490   GST_LOG_OBJECT (ffmpegdec, "size %dx%d", ffmpegdec->context->width,
 491       ffmpegdec->context->height);
 492
 493   /* FIXME : Create a method that takes GstVideoCodecState instead */
 494   /* get size and so */
 495   gst_ffmpeg_caps_with_codecid (oclass->in_plugin->id,
 496       oclass->in_plugin->type, state->caps, ffmpegdec->context);
 497
 498   GST_LOG_OBJECT (ffmpegdec, "size after %dx%d", ffmpegdec->context->width,
 499       ffmpegdec->context->height);
 500
 501   gst_ffmpegviddec_get_palette (ffmpegdec, state);
 502
 503   if (!ffmpegdec->context->time_base.den || !ffmpegdec->context->time_base.num) {
 504     GST_DEBUG_OBJECT (ffmpegdec, "forcing 25/1 framerate");
 505     ffmpegdec->context->time_base.num = 1;
 506     ffmpegdec->context->time_base.den = 25;
 507   }
 508
 509   /* workaround encoder bugs */
 510   ffmpegdec->context->workaround_bugs |= FF_BUG_AUTODETECT;
 511   ffmpegdec->context->err_recognition = 1;
 512
 513   /* for slow cpus */
 514   ffmpegdec->context->lowres = ffmpegdec->lowres;
 515   ffmpegdec->context->skip_frame = ffmpegdec->skip_frame;
 516
 517   /* ffmpeg can draw motion vectors on top of the image (not every decoder
 518    * supports it) */
 519   ffmpegdec->context->debug_mv = ffmpegdec->debug_mv;
 520
 521   if (ffmpegdec->thread_type) {
 522     GST_DEBUG_OBJECT (ffmpegdec, "Use requested thread type 0x%x",
 523         ffmpegdec->thread_type);
 524     ffmpegdec->context->thread_type = ffmpegdec->thread_type;
 525   } else {
 526     GstQuery *query;
 527     gboolean is_live;
 528
 529     query = gst_query_new_latency ();
 530     is_live = FALSE;
 531     /* Check if upstream is live. If it isn't we can enable frame based
 532      * threading, which is adding latency */
 533     if (gst_pad_peer_query (GST_VIDEO_DECODER_SINK_PAD (ffmpegdec), query)) {
 534       gst_query_parse_latency (query, &is_live, NULL, NULL);
 535     }
 536     gst_query_unref (query);
 537
 538     if (is_live)
 539       ffmpegdec->context->thread_type = FF_THREAD_SLICE;
 540     else
 541       ffmpegdec->context->thread_type = FF_THREAD_SLICE | FF_THREAD_FRAME;
 542   }
 543
 544   if (ffmpegdec->max_threads == 0) {
 545     /* When thread type is FF_THREAD_FRAME, extra latency is introduced equal
 546      * to one frame per thread. We thus need to calculate the thread count ourselves */
 547     if ((!(oclass->in_plugin->capabilities & AV_CODEC_CAP_AUTO_THREADS)) ||
 548         (ffmpegdec->context->thread_type & FF_THREAD_FRAME))
 549       ffmpegdec->context->thread_count = gst_ffmpeg_auto_max_threads ();
 550     else
 551       ffmpegdec->context->thread_count = 0;
 552   } else
 553     ffmpegdec->context->thread_count = ffmpegdec->max_threads;
 554
 555   /* open codec - we don't select an output pix_fmt yet,
 556    * simply because we don't know! We only get it
 557    * during playback... */
 558   if (!gst_ffmpegviddec_open (ffmpegdec))
 559     goto open_failed;
 560
 561   if (ffmpegdec->input_state)
 562     gst_video_codec_state_unref (ffmpegdec->input_state);
 563   ffmpegdec->input_state = gst_video_codec_state_ref (state);
 564
 565   if (ffmpegdec->input_state->info.fps_n) {
 566     GstVideoInfo *info = &ffmpegdec->input_state->info;
 567     latency = gst_util_uint64_scale_ceil (
 568         (ffmpegdec->context->has_b_frames) * GST_SECOND, info->fps_d,
 569         info->fps_n);
 570
 571     if (ffmpegdec->context->thread_type & FF_THREAD_FRAME) {
 572       latency +=
 573           gst_util_uint64_scale_ceil (ffmpegdec->context->thread_count *
 574           GST_SECOND, info->fps_d, info->fps_n);
 575     }
 576   }
 577
 578   ret = TRUE;
 579
 580 done:
 581   GST_OBJECT_UNLOCK (ffmpegdec);
 582
 583   if (GST_CLOCK_TIME_IS_VALID (latency))
 584     gst_video_decoder_set_latency (decoder, latency, latency);
 585
 586   return ret;
 587
 588   /* ERRORS */
 589 open_failed:
 590   {
 591     GST_DEBUG_OBJECT (ffmpegdec, "Failed to open");
 592     goto done;
 593   }
 594 }
 595
 596 typedef struct
 597 {
 598   GstFFMpegVidDec *ffmpegdec;
 599   GstVideoCodecFrame *frame;
 600   gboolean mapped;
 601   GstVideoFrame vframe;
 602   GstBuffer *buffer;
 603   AVBufferRef *avbuffer;
 604 } GstFFMpegVidDecVideoFrame;
 605
 606 static GstFFMpegVidDecVideoFrame *
 607 gst_ffmpegviddec_video_frame_new (GstFFMpegVidDec * ffmpegdec,
 608     GstVideoCodecFrame * frame)
 609 {
 610   GstFFMpegVidDecVideoFrame *dframe;
 611
 612   dframe = g_slice_new0 (GstFFMpegVidDecVideoFrame);
 613   dframe->ffmpegdec = ffmpegdec;
 614   dframe->frame = frame;
 615
 616   GST_DEBUG_OBJECT (ffmpegdec, "new video frame %p", dframe);
 617
 618   return dframe;
 619 }
 620
 621 static void
 622 gst_ffmpegviddec_video_frame_free (GstFFMpegVidDec * ffmpegdec,
 623     GstFFMpegVidDecVideoFrame * frame)
 624 {
 625   GST_DEBUG_OBJECT (ffmpegdec, "free video frame %p", frame);
 626
 627   if (frame->mapped)
 628     gst_video_frame_unmap (&frame->vframe);
 629   gst_video_decoder_release_frame (GST_VIDEO_DECODER (ffmpegdec), frame->frame);
 630   gst_buffer_replace (&frame->buffer, NULL);
 631   if (frame->avbuffer) {
 632     av_buffer_unref (&frame->avbuffer);
 633   }
 634   g_slice_free (GstFFMpegVidDecVideoFrame, frame);
 635 }
 636
 637 static void
 638 dummy_free_buffer (void *opaque, uint8_t * data)
 639 {
 640   GstFFMpegVidDecVideoFrame *frame = opaque;
 641
 642   gst_ffmpegviddec_video_frame_free (frame->ffmpegdec, frame);
 643 }
 644
 645 /* This function prepares the pool configuration for direct rendering. To use
 646  * this method, the codec should support direct rendering and the pool should
 647  * support video meta and video alignment */
 648 static void
 649 gst_ffmpegvideodec_prepare_dr_pool (GstFFMpegVidDec * ffmpegdec,
 650     GstBufferPool * pool, GstVideoInfo * info, GstStructure * config)
 651 {
 652   GstAllocationParams params;
 653   GstVideoAlignment align;
 654   GstAllocator *allocator = NULL;
 655   gint width, height;
 656   gint linesize_align[4];
 657   gint i;
 658   gsize max_align;
 659
 660   width = GST_VIDEO_INFO_WIDTH (info);
 661   height = GST_VIDEO_INFO_HEIGHT (info);
 662
 663   /* let ffmpeg find the alignment and padding */
 664   avcodec_align_dimensions2 (ffmpegdec->context, &width, &height,
 665       linesize_align);
 666
 667   align.padding_top = 0;
 668   align.padding_left = 0;
 669   align.padding_right = width - GST_VIDEO_INFO_WIDTH (info);
 670   align.padding_bottom = height - GST_VIDEO_INFO_HEIGHT (info);
 671
 672   /* add extra padding to match libav buffer allocation sizes */
 673   align.padding_bottom++;
 674
 675   gst_buffer_pool_config_get_allocator (config, &allocator, &params);
 676
 677   max_align = DEFAULT_STRIDE_ALIGN;
 678   max_align |= params.align;
 679
 680   for (i = 0; i < GST_VIDEO_MAX_PLANES; i++) {
 681     if (linesize_align[i] > 0)
 682       max_align |= linesize_align[i] - 1;
 683   }
 684
 685   for (i = 0; i < GST_VIDEO_MAX_PLANES; i++)
 686     align.stride_align[i] = max_align;
 687
 688   params.align = max_align;
 689
 690   gst_buffer_pool_config_set_allocator (config, allocator, &params);
 691
 692   GST_DEBUG_OBJECT (ffmpegdec, "aligned dimension %dx%d -> %dx%d "
 693       "padding t:%u l:%u r:%u b:%u, stride_align %d:%d:%d:%d",
 694       GST_VIDEO_INFO_WIDTH (info),
 695       GST_VIDEO_INFO_HEIGHT (info), width, height, align.padding_top,
 696       align.padding_left, align.padding_right, align.padding_bottom,
 697       align.stride_align[0], align.stride_align[1], align.stride_align[2],
 698       align.stride_align[3]);
 699
 700   gst_buffer_pool_config_add_option (config,
 701       GST_BUFFER_POOL_OPTION_VIDEO_ALIGNMENT);
 702   gst_buffer_pool_config_set_video_alignment (config, &align);
 703 }
 704
 705 static void
 706 gst_ffmpegviddec_ensure_internal_pool (GstFFMpegVidDec * ffmpegdec,
 707     AVFrame * picture)
 708 {
 709   GstAllocationParams params = DEFAULT_ALLOC_PARAM;
 710   GstVideoInfo info;
 711   GstVideoFormat format;
 712   GstCaps *caps;
 713   GstStructure *config;
 714   guint i;
 715
 716   if (ffmpegdec->internal_pool != NULL &&
 717       ffmpegdec->pool_width == picture->width &&
 718       ffmpegdec->pool_height == picture->height &&
 719       ffmpegdec->pool_format == picture->format)
 720     return;
 721
 722   GST_DEBUG_OBJECT (ffmpegdec, "Updating internal pool (%i, %i)",
 723       picture->width, picture->height);
 724
 725   format = gst_ffmpeg_pixfmt_to_videoformat (picture->format);
 726   gst_video_info_set_format (&info, format, picture->width, picture->height);
 727
 728   /* If we have not yet been negotiated, a NONE format here would
 729    * result in invalid initial dimension alignments, and potential
 730    * out of bounds writes.
 731    */
 732   ffmpegdec->context->pix_fmt = picture->format;
 733
 734   for (i = 0; i < G_N_ELEMENTS (ffmpegdec->stride); i++)
 735     ffmpegdec->stride[i] = -1;
 736
 737   if (ffmpegdec->internal_pool)
 738     gst_object_unref (ffmpegdec->internal_pool);
 739
 740   ffmpegdec->internal_pool = gst_video_buffer_pool_new ();
 741   config = gst_buffer_pool_get_config (ffmpegdec->internal_pool);
 742
 743   caps = gst_video_info_to_caps (&info);
 744   gst_buffer_pool_config_set_params (config, caps, info.size, 2, 0);
 745   gst_buffer_pool_config_set_allocator (config, NULL, &params);
 746   gst_buffer_pool_config_add_option (config, GST_BUFFER_POOL_OPTION_VIDEO_META);
 747
 748   gst_ffmpegvideodec_prepare_dr_pool (ffmpegdec,
 749       ffmpegdec->internal_pool, &info, config);
 750   /* generic video pool never fails */
 751   gst_buffer_pool_set_config (ffmpegdec->internal_pool, config);
 752   gst_caps_unref (caps);
 753
 754   gst_buffer_pool_set_active (ffmpegdec->internal_pool, TRUE);
 755
 756   /* Remember pool size so we can detect changes */
 757   ffmpegdec->pool_width = picture->width;
 758   ffmpegdec->pool_height = picture->height;
 759   ffmpegdec->pool_format = picture->format;
 760   ffmpegdec->pool_info = info;
 761 }
 762
 763 static gboolean
 764 gst_ffmpegviddec_can_direct_render (GstFFMpegVidDec * ffmpegdec)
 765 {
 766   GstFFMpegVidDecClass *oclass;
 767
 768   if (!ffmpegdec->direct_rendering)
 769     return FALSE;
 770
 771   oclass = (GstFFMpegVidDecClass *) (G_OBJECT_GET_CLASS (ffmpegdec));
 772   return ((oclass->in_plugin->capabilities & AV_CODEC_CAP_DR1) ==
 773       AV_CODEC_CAP_DR1);
 774 }
 775
 776 /* called when ffmpeg wants us to allocate a buffer to write the decoded frame
 777  * into. We try to give it memory from our pool */
 778 static int
 779 gst_ffmpegviddec_get_buffer2 (AVCodecContext * context, AVFrame * picture,
 780     int flags)
 781 {
 782   GstVideoCodecFrame *frame;
 783   GstFFMpegVidDecVideoFrame *dframe;
 784   GstFFMpegVidDec *ffmpegdec;
 785   guint c;
 786   GstFlowReturn ret;
 787
 788   ffmpegdec = (GstFFMpegVidDec *) context->opaque;
 789
 790   GST_DEBUG_OBJECT (ffmpegdec, "getting buffer picture %p", picture);
 791
 792   /* apply the last info we have seen to this picture, when we get the
 793    * picture back from ffmpeg we can use this to correctly timestamp the output
 794    * buffer */
 795   GST_DEBUG_OBJECT (ffmpegdec, "opaque value SN %d",
 796       (gint32) picture->reordered_opaque);
 797
 798   frame =
 799       gst_video_decoder_get_frame (GST_VIDEO_DECODER (ffmpegdec),
 800       picture->reordered_opaque);
 801   if (G_UNLIKELY (frame == NULL))
 802     goto no_frame;
 803
 804   /* now it has a buffer allocated, so it is real and will also
 805    * be _released */
 806   GST_VIDEO_CODEC_FRAME_FLAG_UNSET (frame,
 807       GST_VIDEO_CODEC_FRAME_FLAG_DECODE_ONLY);
 808
 809   if (G_UNLIKELY (frame->output_buffer != NULL))
 810     goto duplicate_frame;
 811
 812   /* GstFFMpegVidDecVideoFrame receives the frame ref */
 813   if (picture->opaque) {
 814     dframe = picture->opaque;
 815     dframe->frame = frame;
 816   } else {
 817     picture->opaque = dframe =
 818         gst_ffmpegviddec_video_frame_new (ffmpegdec, frame);
 819   }
 820
 821   GST_DEBUG_OBJECT (ffmpegdec, "storing opaque %p", dframe);
 822
 823   if (!gst_ffmpegviddec_can_direct_render (ffmpegdec))
 824     goto no_dr;
 825
 826   gst_ffmpegviddec_ensure_internal_pool (ffmpegdec, picture);
 827
 828   ret = gst_buffer_pool_acquire_buffer (ffmpegdec->internal_pool,
 829       &frame->output_buffer, NULL);
 830   if (ret != GST_FLOW_OK)
 831     goto alloc_failed;
 832
 833   /* piggy-backed alloc'ed on the frame,
 834    * and there was much rejoicing and we are grateful.
 835    * Now take away buffer from frame, we will give it back later when decoded.
 836    * This allows multiple request for a buffer per frame; unusual but possible. */
 837   gst_buffer_replace (&dframe->buffer, frame->output_buffer);
 838   gst_buffer_replace (&frame->output_buffer, NULL);
 839
 840   /* Fill avpicture */
 841   if (!gst_video_frame_map (&dframe->vframe, &ffmpegdec->pool_info,
 842           dframe->buffer, GST_MAP_READWRITE))
 843     goto map_failed;
 844   dframe->mapped = TRUE;
 845
 846   for (c = 0; c < AV_NUM_DATA_POINTERS; c++) {
 847     if (c < GST_VIDEO_INFO_N_PLANES (&ffmpegdec->pool_info)) {
 848       picture->data[c] = GST_VIDEO_FRAME_PLANE_DATA (&dframe->vframe, c);
 849       picture->linesize[c] = GST_VIDEO_FRAME_PLANE_STRIDE (&dframe->vframe, c);
 850
 851       if (ffmpegdec->stride[c] == -1)
 852         ffmpegdec->stride[c] = picture->linesize[c];
 853
 854       /* libav does not allow stride changes, decide allocation should check
 855        * before replacing the internal pool with a downstream pool.
 856        * https://bugzilla.gnome.org/show_bug.cgi?id=704769
 857        * https://bugzilla.libav.org/show_bug.cgi?id=556
 858        */
 859       g_assert (picture->linesize[c] == ffmpegdec->stride[c]);
 860     } else {
 861       picture->data[c] = NULL;
 862       picture->linesize[c] = 0;
 863     }
 864     GST_LOG_OBJECT (ffmpegdec, "linesize %d, data %p", picture->linesize[c],
 865         picture->data[c]);
 866   }
 867
 868   picture->buf[0] = av_buffer_create (NULL, 0, dummy_free_buffer, dframe, 0);
 869
 870   GST_LOG_OBJECT (ffmpegdec, "returned frame %p", dframe->buffer);
 871
 872   return 0;
 873
 874 no_dr:
 875   {
 876     int c;
 877     int ret = avcodec_default_get_buffer2 (context, picture, flags);
 878
 879     GST_LOG_OBJECT (ffmpegdec, "direct rendering disabled, fallback alloc");
 880
 881     for (c = 0; c < AV_NUM_DATA_POINTERS; c++) {
 882       ffmpegdec->stride[c] = picture->linesize[c];
 883     }
 884     /* Wrap our buffer around the default one to be able to have a callback
 885      * when our data can be freed. Just putting our data into the first free
 886      * buffer might not work if there are too many allocated already
 887      */
 888     if (picture->buf[0]) {
 889       dframe->avbuffer = picture->buf[0];
 890       picture->buf[0] =
 891           av_buffer_create (picture->buf[0]->data, picture->buf[0]->size,
 892           dummy_free_buffer, dframe, 0);
 893     } else {
 894       picture->buf[0] =
 895           av_buffer_create (NULL, 0, dummy_free_buffer, dframe, 0);
 896     }
 897
 898     return ret;
 899   }
 900 alloc_failed:
 901   {
 902     GST_ELEMENT_ERROR (ffmpegdec, RESOURCE, FAILED,
 903         ("Unable to allocate memory"),
 904         ("The downstream pool failed to allocated buffer."));
 905     return -1;
 906   }
 907 map_failed:
 908   {
 909     GST_ELEMENT_ERROR (ffmpegdec, RESOURCE, OPEN_READ_WRITE,
 910         ("Cannot access memory for read and write operation."),
 911         ("The video memory allocated from downstream pool could not mapped for"
 912             "read and write."));
 913     return -1;
 914   }
 915 duplicate_frame:
 916   {
 917     GST_WARNING_OBJECT (ffmpegdec, "already alloc'ed output buffer for frame");
 918     gst_video_codec_frame_unref (frame);
 919     return -1;
 920   }
 921 no_frame:
 922   {
 923     GST_WARNING_OBJECT (ffmpegdec, "Couldn't get codec frame !");
 924     return -1;
 925   }
 926 }
 927
 928 static gboolean
 929 picture_changed (GstFFMpegVidDec * ffmpegdec, AVFrame * picture)
 930 {
 931   gint pic_field_order = 0;
 932
 933   if (picture->interlaced_frame) {
 934     if (picture->repeat_pict)
 935       pic_field_order |= GST_VIDEO_BUFFER_FLAG_RFF;
 936     if (picture->top_field_first)
 937       pic_field_order |= GST_VIDEO_BUFFER_FLAG_TFF;
 938   }
 939
 940   return !(ffmpegdec->pic_width == picture->width
 941       && ffmpegdec->pic_height == picture->height
 942       && ffmpegdec->pic_pix_fmt == picture->format
 943       && ffmpegdec->pic_par_n == picture->sample_aspect_ratio.num
 944       && ffmpegdec->pic_par_d == picture->sample_aspect_ratio.den
 945       && ffmpegdec->pic_interlaced == picture->interlaced_frame
 946       && ffmpegdec->pic_field_order == pic_field_order
 947       && ffmpegdec->cur_multiview_mode == ffmpegdec->picture_multiview_mode
 948       && ffmpegdec->cur_multiview_flags == ffmpegdec->picture_multiview_flags);
 949 }
 950
 951 static gboolean
 952 context_changed (GstFFMpegVidDec * ffmpegdec, AVCodecContext * context)
 953 {
 954   return !(ffmpegdec->ctx_ticks == context->ticks_per_frame
 955       && ffmpegdec->ctx_time_n == context->time_base.num
 956       && ffmpegdec->ctx_time_d == context->time_base.den);
 957 }
 958
 959 static gboolean
 960 update_video_context (GstFFMpegVidDec * ffmpegdec, AVCodecContext * context,
 961     AVFrame * picture)
 962 {
 963   gint pic_field_order = 0;
 964
 965   if (picture->interlaced_frame) {
 966     if (picture->repeat_pict)
 967       pic_field_order |= GST_VIDEO_BUFFER_FLAG_RFF;
 968     if (picture->top_field_first)
 969       pic_field_order |= GST_VIDEO_BUFFER_FLAG_TFF;
 970   }
 971
 972   if (!picture_changed (ffmpegdec, picture)
 973       && !context_changed (ffmpegdec, context))
 974     return FALSE;
 975
 976   GST_DEBUG_OBJECT (ffmpegdec,
 977       "Renegotiating video from %dx%d@ %d:%d PAR %d/%d fps pixfmt %d to %dx%d@ %d:%d PAR %d/%d fps pixfmt %d",
 978       ffmpegdec->pic_width, ffmpegdec->pic_height,
 979       ffmpegdec->pic_par_n, ffmpegdec->pic_par_d,
 980       ffmpegdec->ctx_time_n, ffmpegdec->ctx_time_d,
 981       ffmpegdec->pic_pix_fmt,
 982       picture->width, picture->height,
 983       picture->sample_aspect_ratio.num,
 984       picture->sample_aspect_ratio.den,
 985       context->time_base.num, context->time_base.den, picture->format);
 986
 987   ffmpegdec->pic_pix_fmt = picture->format;
 988   ffmpegdec->pic_width = picture->width;
 989   ffmpegdec->pic_height = picture->height;
 990   ffmpegdec->pic_par_n = picture->sample_aspect_ratio.num;
 991   ffmpegdec->pic_par_d = picture->sample_aspect_ratio.den;
 992   ffmpegdec->cur_multiview_mode = ffmpegdec->picture_multiview_mode;
 993   ffmpegdec->cur_multiview_flags = ffmpegdec->picture_multiview_flags;
 994
 995   /* Remember if we have interlaced content and the field order changed
 996    * at least once. If that happens, we must be interlace-mode=mixed
 997    */
 998   if (ffmpegdec->pic_field_order_changed ||
 999       (ffmpegdec->pic_field_order != pic_field_order &&
1000           ffmpegdec->pic_interlaced))
1001     ffmpegdec->pic_field_order_changed = TRUE;
1002
1003   ffmpegdec->pic_field_order = pic_field_order;
1004   ffmpegdec->pic_interlaced = picture->interlaced_frame;
1005
1006   if (!ffmpegdec->pic_interlaced)
1007     ffmpegdec->pic_field_order_changed = FALSE;
1008
1009   ffmpegdec->ctx_ticks = context->ticks_per_frame;
1010   ffmpegdec->ctx_time_n = context->time_base.num;
1011   ffmpegdec->ctx_time_d = context->time_base.den;
1012
1013   return TRUE;
1014 }
1015
1016 static void
1017 gst_ffmpegviddec_update_par (GstFFMpegVidDec * ffmpegdec,
1018     GstVideoInfo * in_info, GstVideoInfo * out_info)
1019 {
1020   gboolean demuxer_par_set = FALSE;
1021   gboolean decoder_par_set = FALSE;
1022   gint demuxer_num = 1, demuxer_denom = 1;
1023   gint decoder_num = 1, decoder_denom = 1;
1024
1025   if (in_info->par_n && in_info->par_d) {
1026     demuxer_num = in_info->par_n;
1027     demuxer_denom = in_info->par_d;
1028     demuxer_par_set = TRUE;
1029     GST_DEBUG_OBJECT (ffmpegdec, "Demuxer PAR: %d:%d", demuxer_num,
1030         demuxer_denom);
1031   }
1032
1033   if (ffmpegdec->pic_par_n && ffmpegdec->pic_par_d) {
1034     decoder_num = ffmpegdec->pic_par_n;
1035     decoder_denom = ffmpegdec->pic_par_d;
1036     decoder_par_set = TRUE;
1037     GST_DEBUG_OBJECT (ffmpegdec, "Decoder PAR: %d:%d", decoder_num,
1038         decoder_denom);
1039   }
1040
1041   if (!demuxer_par_set && !decoder_par_set)
1042     goto no_par;
1043
1044   if (demuxer_par_set && !decoder_par_set)
1045     goto use_demuxer_par;
1046
1047   if (decoder_par_set && !demuxer_par_set)
1048     goto use_decoder_par;
1049
1050   /* Both the demuxer and the decoder provide a PAR. If one of
1051    * the two PARs is 1:1 and the other one is not, use the one
1052    * that is not 1:1. */
1053   if (demuxer_num == demuxer_denom && decoder_num != decoder_denom)
1054     goto use_decoder_par;
1055
1056   if (decoder_num == decoder_denom && demuxer_num != demuxer_denom)
1057     goto use_demuxer_par;
1058
1059   /* Both PARs are non-1:1, so use the PAR provided by the demuxer */
1060   goto use_demuxer_par;
1061
1062 use_decoder_par:
1063   {
1064     GST_DEBUG_OBJECT (ffmpegdec,
1065         "Setting decoder provided pixel-aspect-ratio of %u:%u", decoder_num,
1066         decoder_denom);
1067     out_info->par_n = decoder_num;
1068     out_info->par_d = decoder_denom;
1069     return;
1070   }
1071 use_demuxer_par:
1072   {
1073     GST_DEBUG_OBJECT (ffmpegdec,
1074         "Setting demuxer provided pixel-aspect-ratio of %u:%u", demuxer_num,
1075         demuxer_denom);
1076     out_info->par_n = demuxer_num;
1077     out_info->par_d = demuxer_denom;
1078     return;
1079   }
1080 no_par:
1081   {
1082     GST_DEBUG_OBJECT (ffmpegdec,
1083         "Neither demuxer nor codec provide a pixel-aspect-ratio");
1084     out_info->par_n = 1;
1085     out_info->par_d = 1;
1086     return;
1087   }
1088 }
1089
1090 static GstVideoMultiviewMode
1091 stereo_av_to_gst (enum AVStereo3DType type)
1092 {
1093   switch (type) {
1094     case AV_STEREO3D_SIDEBYSIDE:
1095       return GST_VIDEO_MULTIVIEW_MODE_SIDE_BY_SIDE;
1096     case AV_STEREO3D_TOPBOTTOM:
1097       return GST_VIDEO_MULTIVIEW_MODE_TOP_BOTTOM;
1098     case AV_STEREO3D_FRAMESEQUENCE:
1099       return GST_VIDEO_MULTIVIEW_MODE_FRAME_BY_FRAME;
1100     case AV_STEREO3D_CHECKERBOARD:
1101       return GST_VIDEO_MULTIVIEW_MODE_CHECKERBOARD;
1102     case AV_STEREO3D_SIDEBYSIDE_QUINCUNX:
1103       return GST_VIDEO_MULTIVIEW_MODE_SIDE_BY_SIDE_QUINCUNX;
1104     case AV_STEREO3D_LINES:
1105       return GST_VIDEO_MULTIVIEW_MODE_ROW_INTERLEAVED;
1106     case AV_STEREO3D_COLUMNS:
1107       return GST_VIDEO_MULTIVIEW_MODE_COLUMN_INTERLEAVED;
1108     default:
1109       break;
1110   }
1111
1112   return GST_VIDEO_MULTIVIEW_MODE_NONE;
1113 }
1114
1115 static gboolean
1116 mastering_display_metadata_av_to_gst (AVMasteringDisplayMetadata * av,
1117     GstVideoMasteringDisplayInfo * gst)
1118 {
1119   /* Use only complete mastering meta */
1120   if (!av->has_primaries || !av->has_luminance)
1121     return FALSE;
1122
1123   gst->Wx_n = av->white_point[0].num;
1124   gst->Wx_d = av->white_point[0].den;
1125
1126   gst->Wy_n = av->white_point[1].num;
1127   gst->Wy_d = av->white_point[1].den;
1128
1129   gst->Rx_n = av->display_primaries[0][0].num;
1130   gst->Rx_d = av->display_primaries[0][0].den;
1131
1132   gst->Ry_n = av->display_primaries[0][1].num;
1133   gst->Ry_d = av->display_primaries[0][1].den;
1134
1135   gst->Gx_n = av->display_primaries[1][0].num;
1136   gst->Gx_d = av->display_primaries[1][0].den;
1137
1138   gst->Gy_n = av->display_primaries[1][1].num;
1139   gst->Gy_d = av->display_primaries[1][1].den;
1140
1141   gst->Bx_n = av->display_primaries[2][0].num;
1142   gst->Bx_d = av->display_primaries[2][0].den;
1143
1144   gst->By_n = av->display_primaries[2][1].num;
1145   gst->By_d = av->display_primaries[2][1].den;
1146
1147   gst->max_luma_n = av->max_luminance.num;
1148   gst->max_luma_d = av->max_luminance.den;
1149
1150   gst->min_luma_n = av->min_luminance.num;
1151   gst->min_luma_d = av->min_luminance.den;
1152
1153   return TRUE;
1154 }
1155
1156 static gboolean
1157 content_light_metadata_av_to_gst (AVContentLightMetadata * av,
1158     GstVideoContentLightLevel * gst)
1159 {
1160   gst->maxCLL_n = av->MaxCLL;
1161   gst->maxCLL_d = 1;
1162
1163   gst->maxFALL_n = av->MaxFALL;
1164   gst->maxFALL_d = 1;
1165
1166   return TRUE;
1167 }
1168
1169 static gboolean
1170 gst_ffmpegviddec_negotiate (GstFFMpegVidDec * ffmpegdec,
1171     AVCodecContext * context, AVFrame * picture)
1172 {
1173   GstVideoFormat fmt;
1174   GstVideoInfo *in_info, *out_info;
1175   GstVideoCodecState *output_state;
1176   gint fps_n, fps_d;
1177   GstClockTime latency;
1178   GstStructure *in_s;
1179
1180   if (!update_video_context (ffmpegdec, context, picture))
1181     return TRUE;
1182
1183   fmt = gst_ffmpeg_pixfmt_to_videoformat (ffmpegdec->pic_pix_fmt);
1184   if (G_UNLIKELY (fmt == GST_VIDEO_FORMAT_UNKNOWN))
1185     goto unknown_format;
1186
1187   output_state =
1188       gst_video_decoder_set_output_state (GST_VIDEO_DECODER (ffmpegdec), fmt,
1189       ffmpegdec->pic_width, ffmpegdec->pic_height, ffmpegdec->input_state);
1190   if (ffmpegdec->output_state)
1191     gst_video_codec_state_unref (ffmpegdec->output_state);
1192   ffmpegdec->output_state = output_state;
1193
1194   in_info = &ffmpegdec->input_state->info;
1195   out_info = &ffmpegdec->output_state->info;
1196
1197   /* set the interlaced flag */
1198   in_s = gst_caps_get_structure (ffmpegdec->input_state->caps, 0);
1199
1200   if (!gst_structure_has_field (in_s, "interlace-mode")) {
1201     if (ffmpegdec->pic_interlaced) {
1202       if (ffmpegdec->pic_field_order_changed ||
1203           (ffmpegdec->pic_field_order & GST_VIDEO_BUFFER_FLAG_RFF)) {
1204         out_info->interlace_mode = GST_VIDEO_INTERLACE_MODE_MIXED;
1205       } else {
1206         out_info->interlace_mode = GST_VIDEO_INTERLACE_MODE_INTERLEAVED;
1207         if ((ffmpegdec->pic_field_order & GST_VIDEO_BUFFER_FLAG_TFF))
1208           GST_VIDEO_INFO_FIELD_ORDER (out_info) =
1209               GST_VIDEO_FIELD_ORDER_TOP_FIELD_FIRST;
1210         else
1211           GST_VIDEO_INFO_FIELD_ORDER (out_info) =
1212               GST_VIDEO_FIELD_ORDER_BOTTOM_FIELD_FIRST;
1213       }
1214     } else {
1215       out_info->interlace_mode = GST_VIDEO_INTERLACE_MODE_PROGRESSIVE;
1216     }
1217   }
1218
1219   if (!gst_structure_has_field (in_s, "chroma-site")) {
1220     switch (context->chroma_sample_location) {
1221       case AVCHROMA_LOC_LEFT:
1222         out_info->chroma_site = GST_VIDEO_CHROMA_SITE_MPEG2;
1223         break;
1224       case AVCHROMA_LOC_CENTER:
1225         out_info->chroma_site = GST_VIDEO_CHROMA_SITE_JPEG;
1226         break;
1227       case AVCHROMA_LOC_TOPLEFT:
1228         out_info->chroma_site = GST_VIDEO_CHROMA_SITE_DV;
1229         break;
1230       case AVCHROMA_LOC_TOP:
1231         out_info->chroma_site = GST_VIDEO_CHROMA_SITE_V_COSITED;
1232         break;
1233       default:
1234         break;
1235     }
1236   }
1237
1238   if (!gst_structure_has_field (in_s, "colorimetry")
1239       || in_info->colorimetry.primaries == GST_VIDEO_COLOR_PRIMARIES_UNKNOWN) {
1240     switch (context->color_primaries) {
1241       case AVCOL_PRI_BT709:
1242         out_info->colorimetry.primaries = GST_VIDEO_COLOR_PRIMARIES_BT709;
1243         break;
1244       case AVCOL_PRI_BT470M:
1245         out_info->colorimetry.primaries = GST_VIDEO_COLOR_PRIMARIES_BT470M;
1246         break;
1247       case AVCOL_PRI_BT470BG:
1248         out_info->colorimetry.primaries = GST_VIDEO_COLOR_PRIMARIES_BT470BG;
1249         break;
1250       case AVCOL_PRI_SMPTE170M:
1251         out_info->colorimetry.primaries = GST_VIDEO_COLOR_PRIMARIES_SMPTE170M;
1252         break;
1253       case AVCOL_PRI_SMPTE240M:
1254         out_info->colorimetry.primaries = GST_VIDEO_COLOR_PRIMARIES_SMPTE240M;
1255         break;
1256       case AVCOL_PRI_FILM:
1257         out_info->colorimetry.primaries = GST_VIDEO_COLOR_PRIMARIES_FILM;
1258         break;
1259       case AVCOL_PRI_BT2020:
1260         out_info->colorimetry.primaries = GST_VIDEO_COLOR_PRIMARIES_BT2020;
1261         break;
1262       default:
1263         break;
1264     }
1265   }
1266
1267   if (!gst_structure_has_field (in_s, "colorimetry")
1268       || in_info->colorimetry.transfer == GST_VIDEO_TRANSFER_UNKNOWN) {
1269     switch (context->color_trc) {
1270       case AVCOL_TRC_BT709:
1271       case AVCOL_TRC_SMPTE170M:
1272         out_info->colorimetry.transfer = GST_VIDEO_TRANSFER_BT709;
1273         break;
1274       case AVCOL_TRC_GAMMA22:
1275         out_info->colorimetry.transfer = GST_VIDEO_TRANSFER_GAMMA22;
1276         break;
1277       case AVCOL_TRC_GAMMA28:
1278         out_info->colorimetry.transfer = GST_VIDEO_TRANSFER_GAMMA28;
1279         break;
1280       case AVCOL_TRC_SMPTE240M:
1281         out_info->colorimetry.transfer = GST_VIDEO_TRANSFER_SMPTE240M;
1282         break;
1283       case AVCOL_TRC_LINEAR:
1284         out_info->colorimetry.transfer = GST_VIDEO_TRANSFER_GAMMA10;
1285         break;
1286       case AVCOL_TRC_LOG:
1287         out_info->colorimetry.transfer = GST_VIDEO_TRANSFER_LOG100;
1288         break;
1289       case AVCOL_TRC_LOG_SQRT:
1290         out_info->colorimetry.transfer = GST_VIDEO_TRANSFER_LOG316;
1291         break;
1292       case AVCOL_TRC_BT2020_10:
1293         out_info->colorimetry.transfer = GST_VIDEO_TRANSFER_BT2020_10;
1294         break;
1295       case AVCOL_TRC_BT2020_12:
1296         out_info->colorimetry.transfer = GST_VIDEO_TRANSFER_BT2020_12;
1297         break;
1298       case AVCOL_TRC_SMPTE2084:
1299         out_info->colorimetry.transfer = GST_VIDEO_TRANSFER_SMPTE2084;
1300         break;
1301       case AVCOL_TRC_ARIB_STD_B67:
1302         out_info->colorimetry.transfer = GST_VIDEO_TRANSFER_ARIB_STD_B67;
1303         break;
1304       default:
1305         break;
1306     }
1307   }
1308
1309   if (!gst_structure_has_field (in_s, "colorimetry")
1310       || in_info->colorimetry.matrix == GST_VIDEO_COLOR_MATRIX_UNKNOWN) {
1311     switch (context->colorspace) {
1312       case AVCOL_SPC_RGB:
1313         out_info->colorimetry.matrix = GST_VIDEO_COLOR_MATRIX_RGB;
1314         break;
1315       case AVCOL_SPC_BT709:
1316         out_info->colorimetry.matrix = GST_VIDEO_COLOR_MATRIX_BT709;
1317         break;
1318       case AVCOL_SPC_FCC:
1319         out_info->colorimetry.matrix = GST_VIDEO_COLOR_MATRIX_FCC;
1320         break;
1321       case AVCOL_SPC_BT470BG:
1322       case AVCOL_SPC_SMPTE170M:
1323         out_info->colorimetry.matrix = GST_VIDEO_COLOR_MATRIX_BT601;
1324         break;
1325       case AVCOL_SPC_SMPTE240M:
1326         out_info->colorimetry.matrix = GST_VIDEO_COLOR_MATRIX_SMPTE240M;
1327         break;
1328       case AVCOL_SPC_BT2020_NCL:
1329         out_info->colorimetry.matrix = GST_VIDEO_COLOR_MATRIX_BT2020;
1330         break;
1331       default:
1332         break;
1333     }
1334   }
1335
1336   if (!gst_structure_has_field (in_s, "colorimetry")
1337       || in_info->colorimetry.range == GST_VIDEO_COLOR_RANGE_UNKNOWN) {
1338     if (context->color_range == AVCOL_RANGE_JPEG) {
1339       out_info->colorimetry.range = GST_VIDEO_COLOR_RANGE_0_255;
1340     } else {
1341       out_info->colorimetry.range = GST_VIDEO_COLOR_RANGE_16_235;
1342     }
1343   }
1344
1345   /* try to find a good framerate */
1346   if ((in_info->fps_d && in_info->fps_n) ||
1347       GST_VIDEO_INFO_FLAG_IS_SET (in_info, GST_VIDEO_FLAG_VARIABLE_FPS)) {
1348     /* take framerate from input when it was specified (#313970) */
1349     fps_n = in_info->fps_n;
1350     fps_d = in_info->fps_d;
1351   } else {
1352     fps_n = ffmpegdec->ctx_time_d / ffmpegdec->ctx_ticks;
1353     fps_d = ffmpegdec->ctx_time_n;
1354
1355     if (!fps_d) {
1356       GST_LOG_OBJECT (ffmpegdec, "invalid framerate: %d/0, -> %d/1", fps_n,
1357           fps_n);
1358       fps_d = 1;
1359     }
1360     if (gst_util_fraction_compare (fps_n, fps_d, 1000, 1) > 0) {
1361       GST_LOG_OBJECT (ffmpegdec, "excessive framerate: %d/%d, -> 0/1", fps_n,
1362           fps_d);
1363       fps_n = 0;
1364       fps_d = 1;
1365     }
1366   }
1367
1368   GST_LOG_OBJECT (ffmpegdec, "setting framerate: %d/%d", fps_n, fps_d);
1369   out_info->fps_n = fps_n;
1370   out_info->fps_d = fps_d;
1371
1372   /* calculate and update par now */
1373   gst_ffmpegviddec_update_par (ffmpegdec, in_info, out_info);
1374
1375   GST_VIDEO_INFO_MULTIVIEW_MODE (out_info) = ffmpegdec->cur_multiview_mode;
1376   GST_VIDEO_INFO_MULTIVIEW_FLAGS (out_info) = ffmpegdec->cur_multiview_flags;
1377
1378   /* To passing HDR information to caps directly */
1379   if (output_state->caps == NULL) {
1380     output_state->caps = gst_video_info_to_caps (out_info);
1381   } else {
1382     output_state->caps = gst_caps_make_writable (output_state->caps);
1383   }
1384
1385   if (!gst_structure_has_field (in_s, "mastering-display-info")) {
1386     AVFrameSideData *sd = av_frame_get_side_data (picture,
1387         AV_FRAME_DATA_MASTERING_DISPLAY_METADATA);
1388     GstVideoMasteringDisplayInfo mastering;
1389
1390     if (sd
1391         && mastering_display_metadata_av_to_gst ((AVMasteringDisplayMetadata *)
1392             sd->data, &mastering)) {
1393       GST_LOG_OBJECT (ffmpegdec, "update mastering display info");
1394       GST_LOG_OBJECT (ffmpegdec, "\tRed  (%u/%u, %u/%u)", mastering.Rx_n,
1395           mastering.Rx_d, mastering.Ry_n, mastering.Ry_d);
1396       GST_LOG_OBJECT (ffmpegdec, "\tGreen(%u/%u, %u/%u)", mastering.Gx_n,
1397           mastering.Gx_d, mastering.Gy_n, mastering.Gy_d);
1398       GST_LOG_OBJECT (ffmpegdec, "\tBlue (%u/%u, %u/%u)", mastering.Bx_n,
1399           mastering.Bx_d, mastering.By_n, mastering.By_d);
1400       GST_LOG_OBJECT (ffmpegdec, "\tWhite(%u/%u, %u/%u)", mastering.Wx_n,
1401           mastering.Wx_d, mastering.Wy_n, mastering.Wy_d);
1402       GST_LOG_OBJECT (ffmpegdec,
1403           "\tmax_luminance:(%u/%u), min_luminance:(%u/%u)",
1404           mastering.max_luma_n, mastering.max_luma_d, mastering.min_luma_n,
1405           mastering.min_luma_d);
1406
1407       if (!gst_video_mastering_display_info_add_to_caps (&mastering,
1408               output_state->caps)) {
1409         GST_WARNING_OBJECT (ffmpegdec,
1410             "Couldn't set mastering display info to caps");
1411       }
1412     }
1413   }
1414
1415   if (!gst_structure_has_field (in_s, "content-light-level")) {
1416     AVFrameSideData *sd = av_frame_get_side_data (picture,
1417         AV_FRAME_DATA_CONTENT_LIGHT_LEVEL);
1418     GstVideoContentLightLevel level;
1419
1420     if (sd && content_light_metadata_av_to_gst ((AVContentLightMetadata *)
1421             sd->data, &level)) {
1422       GST_LOG_OBJECT (ffmpegdec, "update content light level");
1423       GST_LOG_OBJECT (ffmpegdec,
1424           "\tmaxCLL:(%u/%u), maxFALL:(%u/%u)", level.maxCLL_n, level.maxCLL_d,
1425           level.maxFALL_n, level.maxFALL_d);
1426
1427       if (!gst_video_content_light_level_add_to_caps (&level,
1428               output_state->caps)) {
1429         GST_WARNING_OBJECT (ffmpegdec,
1430             "Couldn't set content light level to caps");
1431       }
1432     }
1433   }
1434
1435   if (!gst_video_decoder_negotiate (GST_VIDEO_DECODER (ffmpegdec)))
1436     goto negotiate_failed;
1437
1438   /* The decoder is configured, we now know the true latency */
1439   if (fps_n) {
1440     latency =
1441         gst_util_uint64_scale_ceil (ffmpegdec->context->has_b_frames *
1442         GST_SECOND, fps_d, fps_n);
1443     if (ffmpegdec->context->thread_type & FF_THREAD_FRAME) {
1444       latency +=
1445           gst_util_uint64_scale_ceil (ffmpegdec->context->thread_count *
1446           GST_SECOND, fps_d, fps_n);
1447     }
1448     gst_video_decoder_set_latency (GST_VIDEO_DECODER (ffmpegdec), latency,
1449         latency);
1450   }
1451
1452   return TRUE;
1453
1454   /* ERRORS */
1455 unknown_format:
1456   {
1457     GST_ERROR_OBJECT (ffmpegdec,
1458         "decoder requires a video format unsupported by GStreamer");
1459     return FALSE;
1460   }
1461 negotiate_failed:
1462   {
1463     /* Reset so we try again next time even if force==FALSE */
1464     ffmpegdec->pic_pix_fmt = 0;
1465     ffmpegdec->pic_width = 0;
1466     ffmpegdec->pic_height = 0;
1467     ffmpegdec->pic_par_n = 0;
1468     ffmpegdec->pic_par_d = 0;
1469     ffmpegdec->pic_interlaced = 0;
1470     ffmpegdec->pic_field_order = 0;
1471     ffmpegdec->pic_field_order_changed = FALSE;
1472     ffmpegdec->ctx_ticks = 0;
1473     ffmpegdec->ctx_time_n = 0;
1474     ffmpegdec->ctx_time_d = 0;
1475
1476     GST_ERROR_OBJECT (ffmpegdec, "negotiation failed");
1477     return FALSE;
1478   }
1479 }
1480
1481 /* perform qos calculations before decoding the next frame.
1482  *
1483  * Sets the skip_frame flag and if things are really bad, skips to the next
1484  * keyframe.
1485  *
1486  */
1487 static void
1488 gst_ffmpegviddec_do_qos (GstFFMpegVidDec * ffmpegdec,
1489     GstVideoCodecFrame * frame, gboolean * mode_switch)
1490 {
1491   GstClockTimeDiff diff;
1492   GstSegmentFlags skip_flags =
1493       GST_VIDEO_DECODER_INPUT_SEGMENT (ffmpegdec).flags;
1494
1495   *mode_switch = FALSE;
1496
1497   if (frame == NULL)
1498     return;
1499
1500   if (skip_flags & GST_SEGMENT_FLAG_TRICKMODE_KEY_UNITS) {
1501     ffmpegdec->context->skip_frame = AVDISCARD_NONKEY;
1502     *mode_switch = TRUE;
1503   } else if (skip_flags & GST_SEGMENT_FLAG_TRICKMODE) {
1504     ffmpegdec->context->skip_frame = AVDISCARD_NONREF;
1505     *mode_switch = TRUE;
1506   }
1507
1508   if (*mode_switch == TRUE) {
1509     /* We've already switched mode, we can return straight away
1510      * without any further calculation */
1511     return;
1512   }
1513
1514   diff =
1515       gst_video_decoder_get_max_decode_time (GST_VIDEO_DECODER (ffmpegdec),
1516       frame);
1517
1518   /* if we don't have timing info, then we don't do QoS */
1519   if (G_UNLIKELY (diff == G_MAXINT64)) {
1520     /* Ensure the skipping strategy is the default one */
1521     ffmpegdec->context->skip_frame = ffmpegdec->skip_frame;
1522     return;
1523   }
1524
1525   GST_DEBUG_OBJECT (ffmpegdec, "decoding time %" G_GINT64_FORMAT, diff);
1526
1527   if (diff > 0 && ffmpegdec->context->skip_frame != AVDISCARD_DEFAULT) {
1528     ffmpegdec->context->skip_frame = AVDISCARD_DEFAULT;
1529     *mode_switch = TRUE;
1530     GST_DEBUG_OBJECT (ffmpegdec, "QOS: normal mode");
1531   }
1532
1533   else if (diff <= 0 && ffmpegdec->context->skip_frame != AVDISCARD_NONREF) {
1534     ffmpegdec->context->skip_frame = AVDISCARD_NONREF;
1535     *mode_switch = TRUE;
1536     GST_DEBUG_OBJECT (ffmpegdec,
1537         "QOS: hurry up, diff %" G_GINT64_FORMAT " >= 0", diff);
1538   }
1539 }
1540
1541 /* get an outbuf buffer with the current picture */
1542 static GstFlowReturn
1543 get_output_buffer (GstFFMpegVidDec * ffmpegdec, GstVideoCodecFrame * frame)
1544 {
1545   GstFlowReturn ret = GST_FLOW_OK;
1546   AVFrame pic, *outpic;
1547   GstVideoFrame vframe;
1548   GstVideoInfo *info;
1549   guint c;
1550
1551   GST_LOG_OBJECT (ffmpegdec, "get output buffer");
1552
1553   if (!ffmpegdec->output_state)
1554     goto not_negotiated;
1555
1556   ret =
1557       gst_video_decoder_allocate_output_frame (GST_VIDEO_DECODER (ffmpegdec),
1558       frame);
1559   if (G_UNLIKELY (ret != GST_FLOW_OK))
1560     goto alloc_failed;
1561
1562   /* original ffmpeg code does not handle odd sizes correctly.
1563    * This patched up version does */
1564   /* Fill avpicture */
1565   info = &ffmpegdec->output_state->info;
1566   if (!gst_video_frame_map (&vframe, info, frame->output_buffer,
1567           GST_MAP_READ | GST_MAP_WRITE))
1568     goto map_failed;
1569
1570   memset (&pic, 0, sizeof (pic));
1571   pic.format = ffmpegdec->pic_pix_fmt;
1572   pic.width = GST_VIDEO_FRAME_WIDTH (&vframe);
1573   pic.height = GST_VIDEO_FRAME_HEIGHT (&vframe);
1574   for (c = 0; c < AV_NUM_DATA_POINTERS; c++) {
1575     if (c < GST_VIDEO_INFO_N_PLANES (info)) {
1576       pic.data[c] = GST_VIDEO_FRAME_PLANE_DATA (&vframe, c);
1577       pic.linesize[c] = GST_VIDEO_FRAME_PLANE_STRIDE (&vframe, c);
1578       GST_LOG_OBJECT (ffmpegdec, "[%i] linesize %d, data %p", c,
1579           pic.linesize[c], pic.data[c]);
1580     } else {
1581       pic.data[c] = NULL;
1582       pic.linesize[c] = 0;
1583     }
1584   }
1585
1586   outpic = ffmpegdec->picture;
1587
1588   if (av_frame_copy (&pic, outpic) != 0) {
1589     GST_ERROR_OBJECT (ffmpegdec, "Failed to copy output frame");
1590     ret = GST_FLOW_ERROR;
1591   }
1592
1593   gst_video_frame_unmap (&vframe);
1594
1595   ffmpegdec->picture->reordered_opaque = -1;
1596
1597   return ret;
1598
1599   /* special cases */
1600 alloc_failed:
1601   {
1602     GST_ELEMENT_ERROR (ffmpegdec, RESOURCE, FAILED,
1603         ("Unable to allocate memory"),
1604         ("The downstream pool failed to allocated buffer."));
1605     return ret;
1606   }
1607 map_failed:
1608   {
1609     GST_ELEMENT_ERROR (ffmpegdec, RESOURCE, OPEN_READ_WRITE,
1610         ("Cannot access memory for read and write operation."),
1611         ("The video memory allocated from downstream pool could not mapped for"
1612             "read and write."));
1613     return ret;
1614   }
1615 not_negotiated:
1616   {
1617     GST_DEBUG_OBJECT (ffmpegdec, "not negotiated");
1618     return GST_FLOW_NOT_NEGOTIATED;
1619   }
1620 }
1621
1622 static void
1623 gst_avpacket_init (AVPacket * packet, guint8 * data, guint size)
1624 {
1625   memset (packet, 0, sizeof (AVPacket));
1626   packet->data = data;
1627   packet->size = size;
1628 }
1629
1630 /*
1631  * Returns: whether a frame was decoded
1632  */
1633 static gboolean
1634 gst_ffmpegviddec_video_frame (GstFFMpegVidDec * ffmpegdec,
1635     GstVideoCodecFrame * frame, GstFlowReturn * ret)
1636 {
1637   gint res;
1638   gboolean got_frame = FALSE;
1639   gboolean mode_switch;
1640   GstVideoCodecFrame *out_frame;
1641   GstFFMpegVidDecVideoFrame *out_dframe;
1642   GstBufferPool *pool;
1643
1644   *ret = GST_FLOW_OK;
1645
1646   /* in case we skip frames */
1647   ffmpegdec->picture->pict_type = -1;
1648
1649   /* run QoS code, we don't stop decoding the frame when we are late because
1650    * else we might skip a reference frame */
1651   gst_ffmpegviddec_do_qos (ffmpegdec, frame, &mode_switch);
1652
1653   res = avcodec_receive_frame (ffmpegdec->context, ffmpegdec->picture);
1654
1655   /* No frames available at this time */
1656   if (res == AVERROR (EAGAIN))
1657     goto beach;
1658   else if (res == AVERROR_EOF) {
1659     *ret = GST_FLOW_EOS;
1660     GST_DEBUG_OBJECT (ffmpegdec, "Context was entirely flushed");
1661     goto beach;
1662   } else if (res < 0) {
1663     *ret = GST_FLOW_OK;
1664     GST_WARNING_OBJECT (ffmpegdec, "Legitimate decoding error");
1665     goto beach;
1666   }
1667
1668   got_frame = TRUE;
1669
1670   /* get the output picture timing info again */
1671   out_dframe = ffmpegdec->picture->opaque;
1672   out_frame = gst_video_codec_frame_ref (out_dframe->frame);
1673
1674   /* also give back a buffer allocated by the frame, if any */
1675   gst_buffer_replace (&out_frame->output_buffer, out_dframe->buffer);
1676   gst_buffer_replace (&out_dframe->buffer, NULL);
1677
1678   /* Extract auxilliary info not stored in the main AVframe */
1679   {
1680     GstVideoInfo *in_info = &ffmpegdec->input_state->info;
1681     /* Take multiview mode from upstream if present */
1682     ffmpegdec->picture_multiview_mode = GST_VIDEO_INFO_MULTIVIEW_MODE (in_info);
1683     ffmpegdec->picture_multiview_flags =
1684         GST_VIDEO_INFO_MULTIVIEW_FLAGS (in_info);
1685
1686     /* Otherwise, see if there's info in the frame */
1687     if (ffmpegdec->picture_multiview_mode == GST_VIDEO_MULTIVIEW_MODE_NONE) {
1688       AVFrameSideData *side_data =
1689           av_frame_get_side_data (ffmpegdec->picture, AV_FRAME_DATA_STEREO3D);
1690       if (side_data) {
1691         AVStereo3D *stereo = (AVStereo3D *) side_data->data;
1692         ffmpegdec->picture_multiview_mode = stereo_av_to_gst (stereo->type);
1693         if (stereo->flags & AV_STEREO3D_FLAG_INVERT) {
1694           ffmpegdec->picture_multiview_flags =
1695               GST_VIDEO_MULTIVIEW_FLAGS_RIGHT_VIEW_FIRST;
1696         } else {
1697           ffmpegdec->picture_multiview_flags = GST_VIDEO_MULTIVIEW_FLAGS_NONE;
1698         }
1699       }
1700     }
1701   }
1702
1703   GST_DEBUG_OBJECT (ffmpegdec,
1704       "pts %" G_GUINT64_FORMAT " duration %" G_GUINT64_FORMAT,
1705       out_frame->pts, out_frame->duration);
1706   GST_DEBUG_OBJECT (ffmpegdec, "picture: pts %" G_GUINT64_FORMAT,
1707       (guint64) ffmpegdec->picture->pts);
1708   GST_DEBUG_OBJECT (ffmpegdec, "picture: num %d",
1709       ffmpegdec->picture->coded_picture_number);
1710   GST_DEBUG_OBJECT (ffmpegdec, "picture: display %d",
1711       ffmpegdec->picture->display_picture_number);
1712   GST_DEBUG_OBJECT (ffmpegdec, "picture: opaque %p",
1713       ffmpegdec->picture->opaque);
1714   GST_DEBUG_OBJECT (ffmpegdec, "picture: reordered opaque %" G_GUINT64_FORMAT,
1715       (guint64) ffmpegdec->picture->reordered_opaque);
1716   GST_DEBUG_OBJECT (ffmpegdec, "repeat_pict:%d",
1717       ffmpegdec->picture->repeat_pict);
1718   GST_DEBUG_OBJECT (ffmpegdec, "corrupted frame: %d",
1719       ! !(ffmpegdec->picture->flags & AV_FRAME_FLAG_CORRUPT));
1720
1721   if (!gst_ffmpegviddec_negotiate (ffmpegdec, ffmpegdec->context,
1722           ffmpegdec->picture))
1723     goto negotiation_error;
1724
1725   pool = gst_video_decoder_get_buffer_pool (GST_VIDEO_DECODER (ffmpegdec));
1726   if (G_UNLIKELY (out_frame->output_buffer == NULL)) {
1727     *ret = get_output_buffer (ffmpegdec, out_frame);
1728   } else if (G_UNLIKELY (out_frame->output_buffer->pool != pool)) {
1729     GstBuffer *tmp = out_frame->output_buffer;
1730     out_frame->output_buffer = NULL;
1731     *ret = get_output_buffer (ffmpegdec, out_frame);
1732     gst_buffer_unref (tmp);
1733   }
1734 #ifndef G_DISABLE_ASSERT
1735   else {
1736     GstVideoMeta *vmeta = gst_buffer_get_video_meta (out_frame->output_buffer);
1737     if (vmeta) {
1738       GstVideoInfo *info = &ffmpegdec->output_state->info;
1739       g_assert ((gint) vmeta->width == GST_VIDEO_INFO_WIDTH (info));
1740       g_assert ((gint) vmeta->height == GST_VIDEO_INFO_HEIGHT (info));
1741     }
1742   }
1743 #endif
1744   gst_object_unref (pool);
1745
1746   if (G_UNLIKELY (*ret != GST_FLOW_OK))
1747     goto no_output;
1748
1749   /* Mark corrupted frames as corrupted */
1750   if (ffmpegdec->picture->flags & AV_FRAME_FLAG_CORRUPT)
1751     GST_BUFFER_FLAG_SET (out_frame->output_buffer, GST_BUFFER_FLAG_CORRUPTED);
1752
1753   if (ffmpegdec->pic_interlaced) {
1754     /* set interlaced flags */
1755     if (ffmpegdec->picture->repeat_pict)
1756       GST_BUFFER_FLAG_SET (out_frame->output_buffer, GST_VIDEO_BUFFER_FLAG_RFF);
1757     if (ffmpegdec->picture->top_field_first)
1758       GST_BUFFER_FLAG_SET (out_frame->output_buffer, GST_VIDEO_BUFFER_FLAG_TFF);
1759     if (ffmpegdec->picture->interlaced_frame)
1760       GST_BUFFER_FLAG_SET (out_frame->output_buffer,
1761           GST_VIDEO_BUFFER_FLAG_INTERLACED);
1762   }
1763
1764   {
1765     AVFrameSideData *side_data =
1766         av_frame_get_side_data (ffmpegdec->picture, AV_FRAME_DATA_A53_CC);
1767     if (side_data) {
1768       GstVideoCaptionMeta *cc_meta = NULL;
1769       gpointer iter = NULL;
1770       gboolean found_708_raw_meta = FALSE;
1771
1772       GST_LOG_OBJECT (ffmpegdec,
1773           "Found CC side data of type AV_FRAME_DATA_A53_CC, size %d",
1774           side_data->size);
1775       GST_MEMDUMP ("A53 CC", side_data->data, side_data->size);
1776
1777       while ((cc_meta = (GstVideoCaptionMeta *)
1778               gst_buffer_iterate_meta_filtered (out_frame->input_buffer, &iter,
1779                   GST_VIDEO_CAPTION_META_API_TYPE))) {
1780         if (cc_meta->caption_type != GST_VIDEO_CAPTION_TYPE_CEA708_RAW)
1781           continue;
1782         found_708_raw_meta = TRUE;
1783         break;
1784       }
1785
1786       /* do not add CEA 708 caption meta if it already exists */
1787       if (!found_708_raw_meta) {
1788         out_frame->output_buffer =
1789             gst_buffer_make_writable (out_frame->output_buffer);
1790         gst_buffer_add_video_caption_meta (out_frame->output_buffer,
1791             GST_VIDEO_CAPTION_TYPE_CEA708_RAW, side_data->data,
1792             side_data->size);
1793       } else {
1794         GST_LOG_OBJECT (ffmpegdec,
1795             "CEA 708 caption meta already exists: will not add new caption meta");
1796       }
1797     }
1798   }
1799
1800   /* cleaning time */
1801   /* so we decoded this frame, frames preceding it in decoding order
1802    * that still do not have a buffer allocated seem rather useless,
1803    * and can be discarded, due to e.g. misparsed bogus frame
1804    * or non-keyframe in skipped decoding, ...
1805    * In any case, not likely to be seen again, so discard those,
1806    * before they pile up and/or mess with timestamping */
1807   {
1808     GList *l, *ol;
1809     GstVideoDecoder *dec = GST_VIDEO_DECODER (ffmpegdec);
1810     gboolean old = TRUE;
1811
1812     ol = l = gst_video_decoder_get_frames (dec);
1813     while (l) {
1814       GstVideoCodecFrame *tmp = l->data;
1815
1816       if (tmp == frame)
1817         old = FALSE;
1818
1819       if (old && GST_VIDEO_CODEC_FRAME_IS_DECODE_ONLY (tmp)) {
1820         GST_LOG_OBJECT (dec,
1821             "discarding ghost frame %p (#%d) PTS:%" GST_TIME_FORMAT " DTS:%"
1822             GST_TIME_FORMAT, tmp, tmp->system_frame_number,
1823             GST_TIME_ARGS (tmp->pts), GST_TIME_ARGS (tmp->dts));
1824         /* drop extra ref and remove from frame list */
1825         gst_video_decoder_release_frame (dec, tmp);
1826       } else {
1827         /* drop extra ref we got */
1828         gst_video_codec_frame_unref (tmp);
1829       }
1830       l = l->next;
1831     }
1832     g_list_free (ol);
1833   }
1834
1835   av_frame_unref (ffmpegdec->picture);
1836
1837   /* FIXME: Ideally we would remap the buffer read-only now before pushing but
1838    * libav might still have a reference to it!
1839    */
1840   *ret =
1841       gst_video_decoder_finish_frame (GST_VIDEO_DECODER (ffmpegdec), out_frame);
1842
1843 beach:
1844   GST_DEBUG_OBJECT (ffmpegdec, "return flow %s, got frame: %d",
1845       gst_flow_get_name (*ret), got_frame);
1846   return got_frame;
1847
1848   /* special cases */
1849 no_output:
1850   {
1851     GST_DEBUG_OBJECT (ffmpegdec, "no output buffer");
1852     gst_video_decoder_drop_frame (GST_VIDEO_DECODER (ffmpegdec), out_frame);
1853     goto beach;
1854   }
1855
1856 negotiation_error:
1857   {
1858     if (GST_PAD_IS_FLUSHING (GST_VIDEO_DECODER_SRC_PAD (ffmpegdec))) {
1859       *ret = GST_FLOW_FLUSHING;
1860       goto beach;
1861     }
1862     GST_WARNING_OBJECT (ffmpegdec, "Error negotiating format");
1863     *ret = GST_FLOW_NOT_NEGOTIATED;
1864     goto beach;
1865   }
1866 }
1867
1868
1869  /* Returns: Whether a frame was decoded */
1870 static gboolean
1871 gst_ffmpegviddec_frame (GstFFMpegVidDec * ffmpegdec, GstVideoCodecFrame * frame,
1872     GstFlowReturn * ret)
1873 {
1874   gboolean got_frame = FALSE;
1875
1876   if (G_UNLIKELY (ffmpegdec->context->codec == NULL))
1877     goto no_codec;
1878
1879   *ret = GST_FLOW_OK;
1880   ffmpegdec->context->frame_number++;
1881
1882   got_frame = gst_ffmpegviddec_video_frame (ffmpegdec, frame, ret);
1883
1884   return got_frame;
1885
1886   /* ERRORS */
1887 no_codec:
1888   {
1889     GST_ERROR_OBJECT (ffmpegdec, "no codec context");
1890     *ret = GST_FLOW_NOT_NEGOTIATED;
1891     return -1;
1892   }
1893 }
1894
1895 static GstFlowReturn
1896 gst_ffmpegviddec_drain (GstVideoDecoder * decoder)
1897 {
1898   GstFFMpegVidDec *ffmpegdec = (GstFFMpegVidDec *) decoder;
1899   GstFlowReturn ret;
1900   gboolean got_frame = FALSE;
1901
1902   if (!ffmpegdec->opened)
1903     return GST_FLOW_OK;
1904
1905   if (avcodec_send_packet (ffmpegdec->context, NULL))
1906     goto send_packet_failed;
1907
1908   do {
1909     got_frame = gst_ffmpegviddec_frame (ffmpegdec, NULL, &ret);
1910   } while (got_frame && ret == GST_FLOW_OK);
1911   avcodec_flush_buffers (ffmpegdec->context);
1912
1913 done:
1914   return GST_FLOW_OK;
1915
1916 send_packet_failed:
1917   GST_WARNING_OBJECT (ffmpegdec, "send packet failed, could not drain decoder");
1918   goto done;
1919 }
1920
1921 static GstFlowReturn
1922 gst_ffmpegviddec_handle_frame (GstVideoDecoder * decoder,
1923     GstVideoCodecFrame * frame)
1924 {
1925   GstFFMpegVidDec *ffmpegdec = (GstFFMpegVidDec *) decoder;
1926   guint8 *data;
1927   gint size;
1928   gboolean got_frame;
1929   GstMapInfo minfo;
1930   GstFlowReturn ret = GST_FLOW_OK;
1931   AVPacket packet;
1932
1933   GST_LOG_OBJECT (ffmpegdec,
1934       "Received new data of size %" G_GSIZE_FORMAT ", dts %" GST_TIME_FORMAT
1935       ", pts:%" GST_TIME_FORMAT ", dur:%" GST_TIME_FORMAT,
1936       gst_buffer_get_size (frame->input_buffer), GST_TIME_ARGS (frame->dts),
1937       GST_TIME_ARGS (frame->pts), GST_TIME_ARGS (frame->duration));
1938
1939   if (!gst_buffer_map (frame->input_buffer, &minfo, GST_MAP_READ)) {
1940     GST_ELEMENT_ERROR (ffmpegdec, STREAM, DECODE, ("Decoding problem"),
1941         ("Failed to map buffer for reading"));
1942     return GST_FLOW_ERROR;
1943   }
1944
1945   /* treat frame as void until a buffer is requested for it */
1946   GST_VIDEO_CODEC_FRAME_FLAG_SET (frame,
1947       GST_VIDEO_CODEC_FRAME_FLAG_DECODE_ONLY);
1948
1949   data = minfo.data;
1950   size = minfo.size;
1951
1952   if (size > 0 && (!GST_MEMORY_IS_ZERO_PADDED (minfo.memory)
1953           || (minfo.maxsize - minfo.size) < AV_INPUT_BUFFER_PADDING_SIZE)) {
1954     /* add padding */
1955     if (ffmpegdec->padded_size < size + AV_INPUT_BUFFER_PADDING_SIZE) {
1956       ffmpegdec->padded_size = size + AV_INPUT_BUFFER_PADDING_SIZE;
1957       ffmpegdec->padded = g_realloc (ffmpegdec->padded, ffmpegdec->padded_size);
1958       GST_LOG_OBJECT (ffmpegdec, "resized padding buffer to %d",
1959           ffmpegdec->padded_size);
1960     }
1961     GST_CAT_TRACE_OBJECT (GST_CAT_PERFORMANCE, ffmpegdec,
1962         "Copy input to add padding");
1963     memcpy (ffmpegdec->padded, data, size);
1964     memset (ffmpegdec->padded + size, 0, AV_INPUT_BUFFER_PADDING_SIZE);
1965
1966     data = ffmpegdec->padded;
1967   }
1968
1969   /* now decode the frame */
1970   gst_avpacket_init (&packet, data, size);
1971
1972   if (ffmpegdec->palette) {
1973     guint8 *pal;
1974
1975     pal = av_packet_new_side_data (&packet, AV_PKT_DATA_PALETTE,
1976         AVPALETTE_SIZE);
1977     gst_buffer_extract (ffmpegdec->palette, 0, pal, AVPALETTE_SIZE);
1978     GST_DEBUG_OBJECT (ffmpegdec, "copy pal %p %p", &packet, pal);
1979   }
1980
1981   if (!packet.size)
1982     goto done;
1983
1984   /* save reference to the timing info */
1985   ffmpegdec->context->reordered_opaque = (gint64) frame->system_frame_number;
1986   ffmpegdec->picture->reordered_opaque = (gint64) frame->system_frame_number;
1987
1988   GST_DEBUG_OBJECT (ffmpegdec, "stored opaque values idx %d",
1989       frame->system_frame_number);
1990
1991   /* This might call into get_buffer() from another thread,
1992    * which would cause a deadlock. Release the lock here
1993    * and taking it again later seems safe
1994    * See https://bugzilla.gnome.org/show_bug.cgi?id=726020
1995    */
1996   GST_VIDEO_DECODER_STREAM_UNLOCK (ffmpegdec);
1997   if (avcodec_send_packet (ffmpegdec->context, &packet) < 0) {
1998     GST_VIDEO_DECODER_STREAM_LOCK (ffmpegdec);
1999     goto send_packet_failed;
2000   }
2001   GST_VIDEO_DECODER_STREAM_LOCK (ffmpegdec);
2002
2003   do {
2004     /* decode a frame of audio/video now */
2005     got_frame = gst_ffmpegviddec_frame (ffmpegdec, frame, &ret);
2006
2007     if (ret != GST_FLOW_OK) {
2008       GST_LOG_OBJECT (ffmpegdec, "breaking because of flow ret %s",
2009           gst_flow_get_name (ret));
2010       break;
2011     }
2012   } while (got_frame);
2013
2014 done:
2015   gst_buffer_unmap (frame->input_buffer, &minfo);
2016   gst_video_codec_frame_unref (frame);
2017
2018   return ret;
2019
2020 send_packet_failed:
2021   {
2022     GST_WARNING_OBJECT (ffmpegdec, "Failed to send data for decoding");
2023     goto done;
2024   }
2025 }
2026
2027 static gboolean
2028 gst_ffmpegviddec_start (GstVideoDecoder * decoder)
2029 {
2030   GstFFMpegVidDec *ffmpegdec = (GstFFMpegVidDec *) decoder;
2031   GstFFMpegVidDecClass *oclass;
2032
2033   oclass = (GstFFMpegVidDecClass *) (G_OBJECT_GET_CLASS (ffmpegdec));
2034
2035   GST_OBJECT_LOCK (ffmpegdec);
2036   gst_ffmpeg_avcodec_close (ffmpegdec->context);
2037   if (avcodec_get_context_defaults3 (ffmpegdec->context, oclass->in_plugin) < 0) {
2038     GST_DEBUG_OBJECT (ffmpegdec, "Failed to set context defaults");
2039     GST_OBJECT_UNLOCK (ffmpegdec);
2040     return FALSE;
2041   }
2042   ffmpegdec->context->opaque = ffmpegdec;
2043   GST_OBJECT_UNLOCK (ffmpegdec);
2044
2045   return TRUE;
2046 }
2047
2048 static gboolean
2049 gst_ffmpegviddec_stop (GstVideoDecoder * decoder)
2050 {
2051   GstFFMpegVidDec *ffmpegdec = (GstFFMpegVidDec *) decoder;
2052
2053   GST_OBJECT_LOCK (ffmpegdec);
2054   gst_ffmpegviddec_close (ffmpegdec, FALSE);
2055   GST_OBJECT_UNLOCK (ffmpegdec);
2056   g_free (ffmpegdec->padded);
2057   ffmpegdec->padded = NULL;
2058   ffmpegdec->padded_size = 0;
2059   if (ffmpegdec->input_state)
2060     gst_video_codec_state_unref (ffmpegdec->input_state);
2061   ffmpegdec->input_state = NULL;
2062   if (ffmpegdec->output_state)
2063     gst_video_codec_state_unref (ffmpegdec->output_state);
2064   ffmpegdec->output_state = NULL;
2065
2066   if (ffmpegdec->internal_pool)
2067     gst_object_unref (ffmpegdec->internal_pool);
2068   ffmpegdec->internal_pool = NULL;
2069
2070   ffmpegdec->pic_pix_fmt = 0;
2071   ffmpegdec->pic_width = 0;
2072   ffmpegdec->pic_height = 0;
2073   ffmpegdec->pic_par_n = 0;
2074   ffmpegdec->pic_par_d = 0;
2075   ffmpegdec->pic_interlaced = 0;
2076   ffmpegdec->pic_field_order = 0;
2077   ffmpegdec->pic_field_order_changed = FALSE;
2078   ffmpegdec->ctx_ticks = 0;
2079   ffmpegdec->ctx_time_n = 0;
2080   ffmpegdec->ctx_time_d = 0;
2081
2082   ffmpegdec->pool_width = 0;
2083   ffmpegdec->pool_height = 0;
2084   ffmpegdec->pool_format = 0;
2085
2086   return TRUE;
2087 }
2088
2089 static GstFlowReturn
2090 gst_ffmpegviddec_finish (GstVideoDecoder * decoder)
2091 {
2092   gst_ffmpegviddec_drain (decoder);
2093   /* note that finish can and should clean up more drastically,
2094    * but drain is also invoked on e.g. packet loss in GAP handling */
2095   gst_ffmpegviddec_flush (decoder);
2096
2097   return GST_FLOW_OK;
2098 }
2099
2100 static gboolean
2101 gst_ffmpegviddec_flush (GstVideoDecoder * decoder)
2102 {
2103   GstFFMpegVidDec *ffmpegdec = (GstFFMpegVidDec *) decoder;
2104
2105   if (ffmpegdec->opened) {
2106     GST_LOG_OBJECT (decoder, "flushing buffers");
2107     avcodec_flush_buffers (ffmpegdec->context);
2108   }
2109
2110   return TRUE;
2111 }
2112
2113 static gboolean
2114 gst_ffmpegviddec_decide_allocation (GstVideoDecoder * decoder, GstQuery * query)
2115 {
2116   GstFFMpegVidDec *ffmpegdec = (GstFFMpegVidDec *) decoder;
2117   GstVideoCodecState *state;
2118   GstBufferPool *pool;
2119   guint size, min, max;
2120   GstStructure *config;
2121   gboolean have_pool, have_videometa, have_alignment, update_pool = FALSE;
2122   GstAllocator *allocator = NULL;
2123   GstAllocationParams params = DEFAULT_ALLOC_PARAM;
2124
2125   have_pool = (gst_query_get_n_allocation_pools (query) != 0);
2126
2127   if (!GST_VIDEO_DECODER_CLASS (parent_class)->decide_allocation (decoder,
2128           query))
2129     return FALSE;
2130
2131   state = gst_video_decoder_get_output_state (decoder);
2132
2133   if (gst_query_get_n_allocation_params (query) > 0) {
2134     gst_query_parse_nth_allocation_param (query, 0, &allocator, &params);
2135     params.align = MAX (params.align, DEFAULT_STRIDE_ALIGN);
2136   } else {
2137     gst_query_add_allocation_param (query, allocator, &params);
2138   }
2139
2140   gst_query_parse_nth_allocation_pool (query, 0, &pool, &size, &min, &max);
2141
2142   /* Don't use pool that can't grow, as we don't know how many buffer we'll
2143    * need, otherwise we may stall */
2144   if (max != 0 && max < REQUIRED_POOL_MAX_BUFFERS) {
2145     gst_object_unref (pool);
2146     pool = gst_video_buffer_pool_new ();
2147     max = 0;
2148     update_pool = TRUE;
2149     have_pool = FALSE;
2150
2151     /* if there is an allocator, also drop it, as it might be the reason we
2152      * have this limit. Default will be used */
2153     if (allocator) {
2154       gst_object_unref (allocator);
2155       allocator = NULL;
2156     }
2157   }
2158
2159   config = gst_buffer_pool_get_config (pool);
2160   gst_buffer_pool_config_set_params (config, state->caps, size, min, max);
2161   gst_buffer_pool_config_set_allocator (config, allocator, &params);
2162
2163   have_videometa =
2164       gst_query_find_allocation_meta (query, GST_VIDEO_META_API_TYPE, NULL);
2165
2166   if (have_videometa)
2167     gst_buffer_pool_config_add_option (config,
2168         GST_BUFFER_POOL_OPTION_VIDEO_META);
2169
2170   have_alignment =
2171       gst_buffer_pool_has_option (pool, GST_BUFFER_POOL_OPTION_VIDEO_ALIGNMENT);
2172
2173   /* If we have videometa, we never have to copy */
2174   if (have_videometa && have_pool && have_alignment &&
2175       gst_ffmpegviddec_can_direct_render (ffmpegdec)) {
2176     GstStructure *config_copy = gst_structure_copy (config);
2177
2178     gst_ffmpegvideodec_prepare_dr_pool (ffmpegdec, pool, &state->info,
2179         config_copy);
2180
2181     /* FIXME validate and retry */
2182     if (gst_buffer_pool_set_config (pool, config_copy)) {
2183       GstFlowReturn ret;
2184       GstBuffer *tmp;
2185
2186       gst_buffer_pool_set_active (pool, TRUE);
2187       ret = gst_buffer_pool_acquire_buffer (pool, &tmp, NULL);
2188       if (ret == GST_FLOW_OK) {
2189         GstVideoMeta *vmeta = gst_buffer_get_video_meta (tmp);
2190         gboolean same_stride = TRUE;
2191         guint i;
2192
2193         for (i = 0; i < vmeta->n_planes; i++) {
2194           if (vmeta->stride[i] != ffmpegdec->stride[i]) {
2195             same_stride = FALSE;
2196             break;
2197           }
2198         }
2199
2200         gst_buffer_unref (tmp);
2201
2202         if (same_stride) {
2203           if (ffmpegdec->internal_pool)
2204             gst_object_unref (ffmpegdec->internal_pool);
2205           ffmpegdec->internal_pool = gst_object_ref (pool);
2206           ffmpegdec->pool_info = state->info;
2207           gst_structure_free (config);
2208           goto done;
2209         }
2210       }
2211     }
2212   }
2213
2214   if (have_videometa && ffmpegdec->internal_pool
2215       && ffmpegdec->pool_width == state->info.width
2216       && ffmpegdec->pool_height == state->info.height) {
2217     update_pool = TRUE;
2218     gst_object_unref (pool);
2219     pool = gst_object_ref (ffmpegdec->internal_pool);
2220     gst_structure_free (config);
2221     goto done;
2222   }
2223
2224   /* configure */
2225   if (!gst_buffer_pool_set_config (pool, config)) {
2226     gboolean working_pool = FALSE;
2227     config = gst_buffer_pool_get_config (pool);
2228
2229     if (gst_buffer_pool_config_validate_params (config, state->caps, size, min,
2230             max)) {
2231       working_pool = gst_buffer_pool_set_config (pool, config);
2232     } else {
2233       gst_structure_free (config);
2234     }
2235
2236     if (!working_pool) {
2237       gst_object_unref (pool);
2238       pool = gst_video_buffer_pool_new ();
2239       config = gst_buffer_pool_get_config (pool);
2240       gst_buffer_pool_config_set_params (config, state->caps, size, min, max);
2241       gst_buffer_pool_config_set_allocator (config, NULL, &params);
2242       gst_buffer_pool_set_config (pool, config);
2243       update_pool = TRUE;
2244     }
2245   }
2246
2247 done:
2248   /* and store */
2249   if (update_pool)
2250     gst_query_set_nth_allocation_pool (query, 0, pool, size, min, max);
2251
2252   gst_object_unref (pool);
2253   if (allocator)
2254     gst_object_unref (allocator);
2255   gst_video_codec_state_unref (state);
2256
2257   return TRUE;
2258 }
2259
2260 static gboolean
2261 gst_ffmpegviddec_propose_allocation (GstVideoDecoder * decoder,
2262     GstQuery * query)
2263 {
2264   GstAllocationParams params;
2265
2266   gst_allocation_params_init (&params);
2267   params.flags = GST_MEMORY_FLAG_ZERO_PADDED;
2268   params.align = DEFAULT_STRIDE_ALIGN;
2269   params.padding = AV_INPUT_BUFFER_PADDING_SIZE;
2270   /* we would like to have some padding so that we don't have to
2271    * memcpy. We don't suggest an allocator. */
2272   gst_query_add_allocation_param (query, NULL, &params);
2273
2274   return GST_VIDEO_DECODER_CLASS (parent_class)->propose_allocation (decoder,
2275       query);
2276 }
2277
2278 static void
2279 gst_ffmpegviddec_set_property (GObject * object,
2280     guint prop_id, const GValue * value, GParamSpec * pspec)
2281 {
2282   GstFFMpegVidDec *ffmpegdec = (GstFFMpegVidDec *) object;
2283
2284   switch (prop_id) {
2285     case PROP_LOWRES:
2286       ffmpegdec->lowres = ffmpegdec->context->lowres = g_value_get_enum (value);
2287       break;
2288     case PROP_SKIPFRAME:
2289       ffmpegdec->skip_frame = ffmpegdec->context->skip_frame =
2290           g_value_get_enum (value);
2291       break;
2292     case PROP_DIRECT_RENDERING:
2293       ffmpegdec->direct_rendering = g_value_get_boolean (value);
2294       break;
2295     case PROP_DEBUG_MV:
2296       ffmpegdec->debug_mv = ffmpegdec->context->debug_mv =
2297           g_value_get_boolean (value);
2298       break;
2299     case PROP_MAX_THREADS:
2300       ffmpegdec->max_threads = g_value_get_int (value);
2301       break;
2302     case PROP_OUTPUT_CORRUPT:
2303       ffmpegdec->output_corrupt = g_value_get_boolean (value);
2304       break;
2305     case PROP_THREAD_TYPE:
2306       ffmpegdec->thread_type = g_value_get_flags (value);
2307       break;
2308     default:
2309       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
2310       break;
2311   }
2312 }
2313
2314 static void
2315 gst_ffmpegviddec_get_property (GObject * object,
2316     guint prop_id, GValue * value, GParamSpec * pspec)
2317 {
2318   GstFFMpegVidDec *ffmpegdec = (GstFFMpegVidDec *) object;
2319
2320   switch (prop_id) {
2321     case PROP_LOWRES:
2322       g_value_set_enum (value, ffmpegdec->context->lowres);
2323       break;
2324     case PROP_SKIPFRAME:
2325       g_value_set_enum (value, ffmpegdec->context->skip_frame);
2326       break;
2327     case PROP_DIRECT_RENDERING:
2328       g_value_set_boolean (value, ffmpegdec->direct_rendering);
2329       break;
2330     case PROP_DEBUG_MV:
2331       g_value_set_boolean (value, ffmpegdec->context->debug_mv);
2332       break;
2333     case PROP_MAX_THREADS:
2334       g_value_set_int (value, ffmpegdec->max_threads);
2335       break;
2336     case PROP_OUTPUT_CORRUPT:
2337       g_value_set_boolean (value, ffmpegdec->output_corrupt);
2338       break;
2339     case PROP_THREAD_TYPE:
2340       g_value_set_flags (value, ffmpegdec->thread_type);
2341       break;
2342     default:
2343       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
2344       break;
2345   }
2346 }
2347
2348 gboolean
2349 gst_ffmpegviddec_register (GstPlugin * plugin)
2350 {
2351   GTypeInfo typeinfo = {
2352     sizeof (GstFFMpegVidDecClass),
2353     (GBaseInitFunc) gst_ffmpegviddec_base_init,
2354     NULL,
2355     (GClassInitFunc) gst_ffmpegviddec_class_init,
2356     NULL,
2357     NULL,
2358     sizeof (GstFFMpegVidDec),
2359     0,
2360     (GInstanceInitFunc) gst_ffmpegviddec_init,
2361   };
2362   GType type;
2363   AVCodec *in_plugin;
2364   gint rank;
2365   void *i = 0;
2366
2367   GST_LOG ("Registering decoders");
2368
2369   while ((in_plugin = (AVCodec *) av_codec_iterate (&i))) {
2370     gchar *type_name;
2371     gchar *plugin_name;
2372
2373     /* only video decoders */
2374     if (!av_codec_is_decoder (in_plugin)
2375         || in_plugin->type != AVMEDIA_TYPE_VIDEO)
2376       continue;
2377
2378     /* no quasi codecs, please */
2379     if (in_plugin->id == AV_CODEC_ID_RAWVIDEO ||
2380         in_plugin->id == AV_CODEC_ID_V210 ||
2381         in_plugin->id == AV_CODEC_ID_V210X ||
2382         in_plugin->id == AV_CODEC_ID_V308 ||
2383         in_plugin->id == AV_CODEC_ID_V408 ||
2384         in_plugin->id == AV_CODEC_ID_V410 ||
2385         in_plugin->id == AV_CODEC_ID_R210
2386         || in_plugin->id == AV_CODEC_ID_AYUV
2387         || in_plugin->id == AV_CODEC_ID_Y41P
2388         || in_plugin->id == AV_CODEC_ID_012V
2389         || in_plugin->id == AV_CODEC_ID_YUV4
2390 #if AV_VERSION_INT (LIBAVCODEC_VERSION_MAJOR, LIBAVCODEC_VERSION_MINOR, LIBAVCODEC_VERSION_MICRO) >= \
2391         AV_VERSION_INT (57,4,0)
2392         || in_plugin->id == AV_CODEC_ID_WRAPPED_AVFRAME
2393 #endif
2394         || in_plugin->id == AV_CODEC_ID_ZLIB) {
2395       continue;
2396     }
2397
2398     /* No decoders depending on external libraries (we don't build them, but
2399      * people who build against an external ffmpeg might have them.
2400      * We have native gstreamer plugins for all of those libraries anyway. */
2401     if (!strncmp (in_plugin->name, "lib", 3)) {
2402       GST_DEBUG
2403           ("Not using external library decoder %s. Use the gstreamer-native ones instead.",
2404           in_plugin->name);
2405       continue;
2406     }
2407
2408     /* No vdpau plugins until we can figure out how to properly use them
2409      * outside of ffmpeg. */
2410     if (g_str_has_suffix (in_plugin->name, "_vdpau")) {
2411       GST_DEBUG
2412           ("Ignoring VDPAU decoder %s. We can't handle this outside of ffmpeg",
2413           in_plugin->name);
2414       continue;
2415     }
2416
2417     if (g_str_has_suffix (in_plugin->name, "_xvmc")) {
2418       GST_DEBUG
2419           ("Ignoring XVMC decoder %s. We can't handle this outside of ffmpeg",
2420           in_plugin->name);
2421       continue;
2422     }
2423
2424     if (strstr (in_plugin->name, "vaapi")) {
2425       GST_DEBUG
2426           ("Ignoring VAAPI decoder %s. We can't handle this outside of ffmpeg",
2427           in_plugin->name);
2428       continue;
2429     }
2430
2431     if (g_str_has_suffix (in_plugin->name, "_qsv")) {
2432       GST_DEBUG
2433           ("Ignoring qsv decoder %s. We can't handle this outside of ffmpeg",
2434           in_plugin->name);
2435       continue;
2436     }
2437
2438     if (g_str_has_suffix (in_plugin->name, "_cuvid")) {
2439       GST_DEBUG
2440           ("Ignoring CUVID decoder %s. We can't handle this outside of ffmpeg",
2441           in_plugin->name);
2442       continue;
2443     }
2444
2445     if (g_str_has_suffix (in_plugin->name, "_v4l2m2m")) {
2446       GST_DEBUG
2447           ("Ignoring V4L2 mem-to-mem decoder %s. We can't handle this outside of ffmpeg",
2448           in_plugin->name);
2449       continue;
2450     }
2451
2452     GST_DEBUG ("Trying plugin %s [%s]", in_plugin->name, in_plugin->long_name);
2453
2454     /* no codecs for which we're GUARANTEED to have better alternatives */
2455     /* MPEG1VIDEO : the mpeg2video decoder is preferred */
2456     /* MP1 : Use MP3 for decoding */
2457     /* MP2 : Use MP3 for decoding */
2458     /* Theora: Use libtheora based theoradec */
2459     /* CDG: use cdgdec */
2460     if (!strcmp (in_plugin->name, "theora") ||
2461         !strcmp (in_plugin->name, "mpeg1video") ||
2462         strstr (in_plugin->name, "crystalhd") != NULL ||
2463         !strcmp (in_plugin->name, "ass") ||
2464         !strcmp (in_plugin->name, "srt") ||
2465         !strcmp (in_plugin->name, "pgssub") ||
2466         !strcmp (in_plugin->name, "dvdsub") ||
2467         !strcmp (in_plugin->name, "dvbsub") ||
2468         !strcmp (in_plugin->name, "cdgraphics")) {
2469       GST_LOG ("Ignoring decoder %s", in_plugin->name);
2470       continue;
2471     }
2472
2473     /* construct the type */
2474     if (!strcmp (in_plugin->name, "hevc")) {
2475       plugin_name = g_strdup ("h265");
2476     } else {
2477       plugin_name = g_strdup ((gchar *) in_plugin->name);
2478     }
2479     g_strdelimit (plugin_name, NULL, '_');
2480     type_name = g_strdup_printf ("avdec_%s", plugin_name);
2481     g_free (plugin_name);
2482
2483     type = g_type_from_name (type_name);
2484
2485     if (!type) {
2486       /* create the gtype now */
2487       type =
2488           g_type_register_static (GST_TYPE_VIDEO_DECODER, type_name, &typeinfo,
2489           0);
2490       g_type_set_qdata (type, GST_FFDEC_PARAMS_QDATA, (gpointer) in_plugin);
2491     }
2492
2493     /* (Ronald) MPEG-4 gets a higher priority because it has been well-
2494      * tested and by far outperforms divxdec/xviddec - so we prefer it.
2495      * msmpeg4v3 same, as it outperforms divxdec for divx3 playback.
2496      * VC1/WMV3 are not working and thus unpreferred for now. */
2497     switch (in_plugin->id) {
2498       case AV_CODEC_ID_MPEG1VIDEO:
2499       case AV_CODEC_ID_MPEG2VIDEO:
2500       case AV_CODEC_ID_MPEG4:
2501       case AV_CODEC_ID_MSMPEG4V3:
2502       case AV_CODEC_ID_H264:
2503       case AV_CODEC_ID_HEVC:
2504       case AV_CODEC_ID_RV10:
2505       case AV_CODEC_ID_RV20:
2506       case AV_CODEC_ID_RV30:
2507       case AV_CODEC_ID_RV40:
2508         rank = GST_RANK_PRIMARY;
2509         break;
2510         /* DVVIDEO: we have a good dv decoder, fast on both ppc as well as x86.
2511          * They say libdv's quality is better though. leave as secondary.
2512          * note: if you change this, see the code in gstdv.c in good/ext/dv.
2513          */
2514       case AV_CODEC_ID_DVVIDEO:
2515         rank = GST_RANK_SECONDARY;
2516         break;
2517       default:
2518         rank = GST_RANK_MARGINAL;
2519         break;
2520     }
2521     if (!gst_element_register (plugin, type_name, rank, type)) {
2522       g_warning ("Failed to register %s", type_name);
2523       g_free (type_name);
2524       return FALSE;
2525     }
2526
2527     g_free (type_name);
2528   }
2529
2530   GST_LOG ("Finished Registering decoders");
2531
2532   return TRUE;
2533 }