ext/libav/gstavviddec.c

   1 /* GStreamer
   2  * Copyright (C) <1999> Erik Walthinsen <omega@cse.ogi.edu>
   3  *
   4  * This library is free software; you can redistribute it and/or
   5  * modify it under the terms of the GNU Library General Public
   6  * License as published by the Free Software Foundation; either
   7  * version 2 of the License, or (at your option) any later version.
   8  *
   9  * This library is distributed in the hope that it will be useful,
  10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  12  * Library General Public License for more details.
  13  *
  14  * You should have received a copy of the GNU Library General Public
  15  * License along with this library; if not, write to the
  16  * Free Software Foundation, Inc., 51 Franklin St, Fifth Floor,
  17  * Boston, MA 02110-1301, USA.
  18  */
  19
  20 #ifdef HAVE_CONFIG_H
  21 #include "config.h"
  22 #endif
  23
  24 #include <assert.h>
  25 #include <string.h>
  26
  27 #include <libavcodec/avcodec.h>
  28 #include <libavutil/stereo3d.h>
  29 #include <libavutil/mastering_display_metadata.h>
  30
  31 #include "gstav.h"
  32 #include "gstavcodecmap.h"
  33 #include "gstavutils.h"
  34 #include "gstavviddec.h"
  35
  36 GST_DEBUG_CATEGORY_STATIC (GST_CAT_PERFORMANCE);
  37
  38 #define MAX_TS_MASK 0xff
  39
  40 #define DEFAULT_LOWRES                  0
  41 #define DEFAULT_SKIPFRAME               0
  42 #define DEFAULT_DIRECT_RENDERING        TRUE
  43 #define DEFAULT_DEBUG_MV                FALSE
  44 #define DEFAULT_MAX_THREADS             0
  45 #define DEFAULT_OUTPUT_CORRUPT          TRUE
  46 #define REQUIRED_POOL_MAX_BUFFERS       32
  47 #define DEFAULT_STRIDE_ALIGN            31
  48 #define DEFAULT_ALLOC_PARAM             { 0, DEFAULT_STRIDE_ALIGN, 0, 0, }
  49 #define DEFAULT_THREAD_TYPE             0
  50
  51 enum
  52 {
  53   PROP_0,
  54   PROP_LOWRES,
  55   PROP_SKIPFRAME,
  56   PROP_DIRECT_RENDERING,
  57   PROP_DEBUG_MV,
  58   PROP_MAX_THREADS,
  59   PROP_OUTPUT_CORRUPT,
  60   PROP_THREAD_TYPE,
  61   PROP_LAST
  62 };
  63
  64 /* A number of function prototypes are given so we can refer to them later. */
  65 static void gst_ffmpegviddec_base_init (GstFFMpegVidDecClass * klass);
  66 static void gst_ffmpegviddec_class_init (GstFFMpegVidDecClass * klass);
  67 static void gst_ffmpegviddec_init (GstFFMpegVidDec * ffmpegdec);
  68 static void gst_ffmpegviddec_finalize (GObject * object);
  69
  70 static gboolean gst_ffmpegviddec_set_format (GstVideoDecoder * decoder,
  71     GstVideoCodecState * state);
  72 static GstFlowReturn gst_ffmpegviddec_handle_frame (GstVideoDecoder * decoder,
  73     GstVideoCodecFrame * frame);
  74 static gboolean gst_ffmpegviddec_start (GstVideoDecoder * decoder);
  75 static gboolean gst_ffmpegviddec_stop (GstVideoDecoder * decoder);
  76 static gboolean gst_ffmpegviddec_flush (GstVideoDecoder * decoder);
  77 static gboolean gst_ffmpegviddec_decide_allocation (GstVideoDecoder * decoder,
  78     GstQuery * query);
  79 static gboolean gst_ffmpegviddec_propose_allocation (GstVideoDecoder * decoder,
  80     GstQuery * query);
  81
  82 static void gst_ffmpegviddec_set_property (GObject * object,
  83     guint prop_id, const GValue * value, GParamSpec * pspec);
  84 static void gst_ffmpegviddec_get_property (GObject * object,
  85     guint prop_id, GValue * value, GParamSpec * pspec);
  86
  87 static gboolean gst_ffmpegviddec_negotiate (GstFFMpegVidDec * ffmpegdec,
  88     AVCodecContext * context, AVFrame * picture);
  89
  90 /* some sort of bufferpool handling, but different */
  91 static int gst_ffmpegviddec_get_buffer2 (AVCodecContext * context,
  92     AVFrame * picture, int flags);
  93
  94 static GstFlowReturn gst_ffmpegviddec_finish (GstVideoDecoder * decoder);
  95 static GstFlowReturn gst_ffmpegviddec_drain (GstVideoDecoder * decoder);
  96
  97 static gboolean picture_changed (GstFFMpegVidDec * ffmpegdec,
  98     AVFrame * picture);
  99 static gboolean context_changed (GstFFMpegVidDec * ffmpegdec,
 100     AVCodecContext * context);
 101
 102 #define GST_FFDEC_PARAMS_QDATA g_quark_from_static_string("avdec-params")
 103
 104 static GstElementClass *parent_class = NULL;
 105
 106 #define GST_FFMPEGVIDDEC_TYPE_LOWRES (gst_ffmpegviddec_lowres_get_type())
 107 static GType
 108 gst_ffmpegviddec_lowres_get_type (void)
 109 {
 110   static GType ffmpegdec_lowres_type = 0;
 111
 112   if (!ffmpegdec_lowres_type) {
 113     static const GEnumValue ffmpegdec_lowres[] = {
 114       {0, "0", "full"},
 115       {1, "1", "1/2-size"},
 116       {2, "2", "1/4-size"},
 117       {0, NULL, NULL},
 118     };
 119
 120     ffmpegdec_lowres_type =
 121         g_enum_register_static ("GstLibAVVidDecLowres", ffmpegdec_lowres);
 122   }
 123
 124   return ffmpegdec_lowres_type;
 125 }
 126
 127 #define GST_FFMPEGVIDDEC_TYPE_SKIPFRAME (gst_ffmpegviddec_skipframe_get_type())
 128 static GType
 129 gst_ffmpegviddec_skipframe_get_type (void)
 130 {
 131   static GType ffmpegdec_skipframe_type = 0;
 132
 133   if (!ffmpegdec_skipframe_type) {
 134     static const GEnumValue ffmpegdec_skipframe[] = {
 135       {0, "0", "Skip nothing"},
 136       {1, "1", "Skip B-frames"},
 137       {2, "2", "Skip IDCT/Dequantization"},
 138       {5, "5", "Skip everything"},
 139       {0, NULL, NULL},
 140     };
 141
 142     ffmpegdec_skipframe_type =
 143         g_enum_register_static ("GstLibAVVidDecSkipFrame", ffmpegdec_skipframe);
 144   }
 145
 146   return ffmpegdec_skipframe_type;
 147 }
 148
 149 static const GFlagsValue ffmpegdec_thread_types[] = {
 150   {0x0, "Auto", "auto"},
 151   {0x1, "Frame", "frame"},
 152   {0x2, "Slice", "slice"},
 153   {0, NULL, NULL},
 154 };
 155
 156 #define GST_FFMPEGVIDDEC_TYPE_THREAD_TYPE (gst_ffmpegviddec_thread_type_get_type())
 157 static GType
 158 gst_ffmpegviddec_thread_type_get_type (void)
 159 {
 160   static GType ffmpegdec_thread_type_type = 0;
 161
 162   if (!ffmpegdec_thread_type_type) {
 163     ffmpegdec_thread_type_type =
 164         g_flags_register_static ("GstLibAVVidDecThreadType",
 165         ffmpegdec_thread_types);
 166   }
 167   return ffmpegdec_thread_type_type;
 168 }
 169
 170 static void
 171 gst_ffmpegviddec_base_init (GstFFMpegVidDecClass * klass)
 172 {
 173   GstElementClass *element_class = GST_ELEMENT_CLASS (klass);
 174   GstPadTemplate *sinktempl, *srctempl;
 175   GstCaps *sinkcaps, *srccaps;
 176   AVCodec *in_plugin;
 177   gchar *longname, *description;
 178
 179   in_plugin =
 180       (AVCodec *) g_type_get_qdata (G_OBJECT_CLASS_TYPE (klass),
 181       GST_FFDEC_PARAMS_QDATA);
 182   g_assert (in_plugin != NULL);
 183
 184   /* construct the element details struct */
 185   longname = g_strdup_printf ("libav %s decoder", in_plugin->long_name);
 186   description = g_strdup_printf ("libav %s decoder", in_plugin->name);
 187   gst_element_class_set_metadata (element_class, longname,
 188       "Codec/Decoder/Video", description,
 189       "Wim Taymans <wim.taymans@gmail.com>, "
 190       "Ronald Bultje <rbultje@ronald.bitfreak.net>, "
 191       "Edward Hervey <bilboed@bilboed.com>");
 192   g_free (longname);
 193   g_free (description);
 194
 195   /* get the caps */
 196   sinkcaps = gst_ffmpeg_codecid_to_caps (in_plugin->id, NULL, FALSE);
 197   if (!sinkcaps) {
 198     GST_DEBUG ("Couldn't get sink caps for decoder '%s'", in_plugin->name);
 199     sinkcaps = gst_caps_new_empty_simple ("unknown/unknown");
 200   }
 201   srccaps = gst_ffmpeg_codectype_to_video_caps (NULL,
 202       in_plugin->id, FALSE, in_plugin);
 203   if (!srccaps) {
 204     GST_DEBUG ("Couldn't get source caps for decoder '%s'", in_plugin->name);
 205     srccaps = gst_caps_from_string ("video/x-raw");
 206   }
 207
 208   /* pad templates */
 209   sinktempl = gst_pad_template_new ("sink", GST_PAD_SINK,
 210       GST_PAD_ALWAYS, sinkcaps);
 211   srctempl = gst_pad_template_new ("src", GST_PAD_SRC, GST_PAD_ALWAYS, srccaps);
 212
 213   gst_element_class_add_pad_template (element_class, srctempl);
 214   gst_element_class_add_pad_template (element_class, sinktempl);
 215
 216   gst_caps_unref (sinkcaps);
 217   gst_caps_unref (srccaps);
 218
 219   klass->in_plugin = in_plugin;
 220 }
 221
 222 static void
 223 gst_ffmpegviddec_class_init (GstFFMpegVidDecClass * klass)
 224 {
 225   GObjectClass *gobject_class = G_OBJECT_CLASS (klass);
 226   GstVideoDecoderClass *viddec_class = GST_VIDEO_DECODER_CLASS (klass);
 227   int caps;
 228
 229   parent_class = g_type_class_peek_parent (klass);
 230
 231   gobject_class->finalize = gst_ffmpegviddec_finalize;
 232
 233   gobject_class->set_property = gst_ffmpegviddec_set_property;
 234   gobject_class->get_property = gst_ffmpegviddec_get_property;
 235
 236   g_object_class_install_property (gobject_class, PROP_SKIPFRAME,
 237       g_param_spec_enum ("skip-frame", "Skip frames",
 238           "Which types of frames to skip during decoding",
 239           GST_FFMPEGVIDDEC_TYPE_SKIPFRAME, 0,
 240           G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
 241   g_object_class_install_property (gobject_class, PROP_LOWRES,
 242       g_param_spec_enum ("lowres", "Low resolution",
 243           "At which resolution to decode images",
 244           GST_FFMPEGVIDDEC_TYPE_LOWRES, 0,
 245           G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
 246   g_object_class_install_property (gobject_class, PROP_DIRECT_RENDERING,
 247       g_param_spec_boolean ("direct-rendering", "Direct Rendering",
 248           "Enable direct rendering", DEFAULT_DIRECT_RENDERING,
 249           G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
 250   g_object_class_install_property (gobject_class, PROP_DEBUG_MV,
 251       g_param_spec_boolean ("debug-mv", "Debug motion vectors",
 252           "Whether libav should print motion vectors on top of the image",
 253           DEFAULT_DEBUG_MV, G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
 254   g_object_class_install_property (gobject_class, PROP_OUTPUT_CORRUPT,
 255       g_param_spec_boolean ("output-corrupt", "Output corrupt buffers",
 256           "Whether libav should output frames even if corrupted",
 257           DEFAULT_OUTPUT_CORRUPT, G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
 258
 259   caps = klass->in_plugin->capabilities;
 260   if (caps & (AV_CODEC_CAP_FRAME_THREADS | AV_CODEC_CAP_SLICE_THREADS)) {
 261     g_object_class_install_property (G_OBJECT_CLASS (klass), PROP_MAX_THREADS,
 262         g_param_spec_int ("max-threads", "Maximum decode threads",
 263             "Maximum number of worker threads to spawn. (0 = auto)",
 264             0, G_MAXINT, DEFAULT_MAX_THREADS,
 265             G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
 266     g_object_class_install_property (G_OBJECT_CLASS (klass), PROP_THREAD_TYPE,
 267         g_param_spec_flags ("thread-type", "Thread type",
 268             "Multithreading methods to use",
 269             GST_FFMPEGVIDDEC_TYPE_THREAD_TYPE,
 270             DEFAULT_THREAD_TYPE, G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
 271   }
 272
 273   viddec_class->set_format = gst_ffmpegviddec_set_format;
 274   viddec_class->handle_frame = gst_ffmpegviddec_handle_frame;
 275   viddec_class->start = gst_ffmpegviddec_start;
 276   viddec_class->stop = gst_ffmpegviddec_stop;
 277   viddec_class->flush = gst_ffmpegviddec_flush;
 278   viddec_class->finish = gst_ffmpegviddec_finish;
 279   viddec_class->drain = gst_ffmpegviddec_drain;
 280   viddec_class->decide_allocation = gst_ffmpegviddec_decide_allocation;
 281   viddec_class->propose_allocation = gst_ffmpegviddec_propose_allocation;
 282
 283   GST_DEBUG_CATEGORY_GET (GST_CAT_PERFORMANCE, "GST_PERFORMANCE");
 284
 285   gst_type_mark_as_plugin_api (GST_FFMPEGVIDDEC_TYPE_LOWRES, 0);
 286   gst_type_mark_as_plugin_api (GST_FFMPEGVIDDEC_TYPE_SKIPFRAME, 0);
 287   gst_type_mark_as_plugin_api (GST_FFMPEGVIDDEC_TYPE_THREAD_TYPE, 0);
 288 }
 289
 290 static void
 291 gst_ffmpegviddec_init (GstFFMpegVidDec * ffmpegdec)
 292 {
 293   GstFFMpegVidDecClass *klass =
 294       (GstFFMpegVidDecClass *) G_OBJECT_GET_CLASS (ffmpegdec);
 295
 296   /* some ffmpeg data */
 297   ffmpegdec->context = avcodec_alloc_context3 (klass->in_plugin);
 298   ffmpegdec->context->opaque = ffmpegdec;
 299   ffmpegdec->picture = av_frame_alloc ();
 300   ffmpegdec->opened = FALSE;
 301   ffmpegdec->skip_frame = ffmpegdec->lowres = 0;
 302   ffmpegdec->direct_rendering = DEFAULT_DIRECT_RENDERING;
 303   ffmpegdec->debug_mv = DEFAULT_DEBUG_MV;
 304   ffmpegdec->max_threads = DEFAULT_MAX_THREADS;
 305   ffmpegdec->output_corrupt = DEFAULT_OUTPUT_CORRUPT;
 306   ffmpegdec->thread_type = DEFAULT_THREAD_TYPE;
 307
 308   GST_PAD_SET_ACCEPT_TEMPLATE (GST_VIDEO_DECODER_SINK_PAD (ffmpegdec));
 309   gst_video_decoder_set_use_default_pad_acceptcaps (GST_VIDEO_DECODER_CAST
 310       (ffmpegdec), TRUE);
 311
 312   gst_video_decoder_set_needs_format (GST_VIDEO_DECODER (ffmpegdec), TRUE);
 313 }
 314
 315 static void
 316 gst_ffmpegviddec_finalize (GObject * object)
 317 {
 318   GstFFMpegVidDec *ffmpegdec = (GstFFMpegVidDec *) object;
 319
 320   av_frame_free (&ffmpegdec->picture);
 321
 322   if (ffmpegdec->context != NULL) {
 323     gst_ffmpeg_avcodec_close (ffmpegdec->context);
 324     av_free (ffmpegdec->context);
 325     ffmpegdec->context = NULL;
 326   }
 327
 328   G_OBJECT_CLASS (parent_class)->finalize (object);
 329 }
 330
 331 static void
 332 gst_ffmpegviddec_context_set_flags (AVCodecContext * context, guint flags,
 333     gboolean enable)
 334 {
 335   g_return_if_fail (context != NULL);
 336
 337   if (enable)
 338     context->flags |= flags;
 339   else
 340     context->flags &= ~flags;
 341 }
 342
 343 /* with LOCK */
 344 static gboolean
 345 gst_ffmpegviddec_close (GstFFMpegVidDec * ffmpegdec, gboolean reset)
 346 {
 347   GstFFMpegVidDecClass *oclass;
 348   guint i;
 349
 350   oclass = (GstFFMpegVidDecClass *) (G_OBJECT_GET_CLASS (ffmpegdec));
 351
 352   GST_LOG_OBJECT (ffmpegdec, "closing ffmpeg codec");
 353
 354   gst_caps_replace (&ffmpegdec->last_caps, NULL);
 355
 356   gst_ffmpeg_avcodec_close (ffmpegdec->context);
 357   ffmpegdec->opened = FALSE;
 358
 359   for (i = 0; i < G_N_ELEMENTS (ffmpegdec->stride); i++)
 360     ffmpegdec->stride[i] = -1;
 361
 362   gst_buffer_replace (&ffmpegdec->palette, NULL);
 363
 364   if (ffmpegdec->context->extradata) {
 365     av_free (ffmpegdec->context->extradata);
 366     ffmpegdec->context->extradata = NULL;
 367   }
 368   if (reset) {
 369     if (avcodec_get_context_defaults3 (ffmpegdec->context,
 370             oclass->in_plugin) < 0) {
 371       GST_DEBUG_OBJECT (ffmpegdec, "Failed to set context defaults");
 372       return FALSE;
 373     }
 374     ffmpegdec->context->opaque = ffmpegdec;
 375   }
 376   return TRUE;
 377 }
 378
 379 /* with LOCK */
 380 static gboolean
 381 gst_ffmpegviddec_open (GstFFMpegVidDec * ffmpegdec)
 382 {
 383   GstFFMpegVidDecClass *oclass;
 384   guint i;
 385
 386   oclass = (GstFFMpegVidDecClass *) (G_OBJECT_GET_CLASS (ffmpegdec));
 387
 388   if (gst_ffmpeg_avcodec_open (ffmpegdec->context, oclass->in_plugin) < 0)
 389     goto could_not_open;
 390
 391   for (i = 0; i < G_N_ELEMENTS (ffmpegdec->stride); i++)
 392     ffmpegdec->stride[i] = -1;
 393
 394   ffmpegdec->opened = TRUE;
 395
 396   GST_LOG_OBJECT (ffmpegdec, "Opened libav codec %s, id %d",
 397       oclass->in_plugin->name, oclass->in_plugin->id);
 398
 399   gst_ffmpegviddec_context_set_flags (ffmpegdec->context,
 400       AV_CODEC_FLAG_OUTPUT_CORRUPT, ffmpegdec->output_corrupt);
 401
 402   return TRUE;
 403
 404   /* ERRORS */
 405 could_not_open:
 406   {
 407     gst_ffmpegviddec_close (ffmpegdec, TRUE);
 408     GST_DEBUG_OBJECT (ffmpegdec, "avdec_%s: Failed to open libav codec",
 409         oclass->in_plugin->name);
 410     return FALSE;
 411   }
 412 }
 413
 414 static void
 415 gst_ffmpegviddec_get_palette (GstFFMpegVidDec * ffmpegdec,
 416     GstVideoCodecState * state)
 417 {
 418   GstStructure *str = gst_caps_get_structure (state->caps, 0);
 419   const GValue *palette_v;
 420   GstBuffer *palette;
 421
 422   /* do we have a palette? */
 423   if ((palette_v = gst_structure_get_value (str, "palette_data"))) {
 424     palette = gst_value_get_buffer (palette_v);
 425     GST_DEBUG ("got palette data %p", palette);
 426     if (gst_buffer_get_size (palette) >= AVPALETTE_SIZE) {
 427       gst_buffer_replace (&ffmpegdec->palette, palette);
 428     }
 429   }
 430 }
 431
 432
 433 static gboolean
 434 gst_ffmpegviddec_set_format (GstVideoDecoder * decoder,
 435     GstVideoCodecState * state)
 436 {
 437   GstFFMpegVidDec *ffmpegdec;
 438   GstFFMpegVidDecClass *oclass;
 439   GstClockTime latency = GST_CLOCK_TIME_NONE;
 440   gboolean ret = FALSE;
 441
 442   ffmpegdec = (GstFFMpegVidDec *) decoder;
 443   oclass = (GstFFMpegVidDecClass *) (G_OBJECT_GET_CLASS (ffmpegdec));
 444
 445   if (ffmpegdec->last_caps != NULL &&
 446       gst_caps_is_equal (ffmpegdec->last_caps, state->caps)) {
 447     return TRUE;
 448   }
 449
 450   GST_DEBUG_OBJECT (ffmpegdec, "setcaps called");
 451
 452   GST_OBJECT_LOCK (ffmpegdec);
 453   /* stupid check for VC1 */
 454   if ((oclass->in_plugin->id == AV_CODEC_ID_WMV3) ||
 455       (oclass->in_plugin->id == AV_CODEC_ID_VC1))
 456     oclass->in_plugin->id = gst_ffmpeg_caps_to_codecid (state->caps, NULL);
 457
 458   /* close old session */
 459   if (ffmpegdec->opened) {
 460     GST_OBJECT_UNLOCK (ffmpegdec);
 461     gst_ffmpegviddec_finish (decoder);
 462     GST_OBJECT_LOCK (ffmpegdec);
 463     if (!gst_ffmpegviddec_close (ffmpegdec, TRUE)) {
 464       GST_OBJECT_UNLOCK (ffmpegdec);
 465       return FALSE;
 466     }
 467     ffmpegdec->pic_pix_fmt = 0;
 468     ffmpegdec->pic_width = 0;
 469     ffmpegdec->pic_height = 0;
 470     ffmpegdec->pic_par_n = 0;
 471     ffmpegdec->pic_par_d = 0;
 472     ffmpegdec->pic_interlaced = 0;
 473     ffmpegdec->pic_field_order = 0;
 474     ffmpegdec->pic_field_order_changed = FALSE;
 475     ffmpegdec->ctx_ticks = 0;
 476     ffmpegdec->ctx_time_n = 0;
 477     ffmpegdec->ctx_time_d = 0;
 478     ffmpegdec->cur_multiview_mode = GST_VIDEO_MULTIVIEW_MODE_NONE;
 479     ffmpegdec->cur_multiview_flags = GST_VIDEO_MULTIVIEW_FLAGS_NONE;
 480   }
 481
 482   gst_caps_replace (&ffmpegdec->last_caps, state->caps);
 483
 484   /* set buffer functions */
 485   ffmpegdec->context->get_buffer2 = gst_ffmpegviddec_get_buffer2;
 486   ffmpegdec->context->draw_horiz_band = NULL;
 487
 488   /* reset coded_width/_height to prevent it being reused from last time when
 489    * the codec is opened again, causing a mismatch and possible
 490    * segfault/corruption. (Common scenario when renegotiating caps) */
 491   ffmpegdec->context->coded_width = 0;
 492   ffmpegdec->context->coded_height = 0;
 493
 494   GST_LOG_OBJECT (ffmpegdec, "size %dx%d", ffmpegdec->context->width,
 495       ffmpegdec->context->height);
 496
 497   /* FIXME : Create a method that takes GstVideoCodecState instead */
 498   /* get size and so */
 499   gst_ffmpeg_caps_with_codecid (oclass->in_plugin->id,
 500       oclass->in_plugin->type, state->caps, ffmpegdec->context);
 501
 502   GST_LOG_OBJECT (ffmpegdec, "size after %dx%d", ffmpegdec->context->width,
 503       ffmpegdec->context->height);
 504
 505   gst_ffmpegviddec_get_palette (ffmpegdec, state);
 506
 507   if (!ffmpegdec->context->time_base.den || !ffmpegdec->context->time_base.num) {
 508     GST_DEBUG_OBJECT (ffmpegdec, "forcing 25/1 framerate");
 509     ffmpegdec->context->time_base.num = 1;
 510     ffmpegdec->context->time_base.den = 25;
 511   }
 512
 513   /* workaround encoder bugs */
 514   ffmpegdec->context->workaround_bugs |= FF_BUG_AUTODETECT;
 515   ffmpegdec->context->err_recognition = 1;
 516
 517   /* for slow cpus */
 518   ffmpegdec->context->lowres = ffmpegdec->lowres;
 519   ffmpegdec->context->skip_frame = ffmpegdec->skip_frame;
 520
 521   /* ffmpeg can draw motion vectors on top of the image (not every decoder
 522    * supports it) */
 523   ffmpegdec->context->debug_mv = ffmpegdec->debug_mv;
 524
 525   if (ffmpegdec->thread_type) {
 526     GST_DEBUG_OBJECT (ffmpegdec, "Use requested thread type 0x%x",
 527         ffmpegdec->thread_type);
 528     ffmpegdec->context->thread_type = ffmpegdec->thread_type;
 529   } else {
 530     GstQuery *query;
 531     gboolean is_live;
 532
 533     query = gst_query_new_latency ();
 534     is_live = FALSE;
 535     /* Check if upstream is live. If it isn't we can enable frame based
 536      * threading, which is adding latency */
 537     if (gst_pad_peer_query (GST_VIDEO_DECODER_SINK_PAD (ffmpegdec), query)) {
 538       gst_query_parse_latency (query, &is_live, NULL, NULL);
 539     }
 540     gst_query_unref (query);
 541
 542     if (is_live)
 543       ffmpegdec->context->thread_type = FF_THREAD_SLICE;
 544     else
 545       ffmpegdec->context->thread_type = FF_THREAD_SLICE | FF_THREAD_FRAME;
 546   }
 547
 548   if (ffmpegdec->max_threads == 0) {
 549     /* When thread type is FF_THREAD_FRAME, extra latency is introduced equal
 550      * to one frame per thread. We thus need to calculate the thread count ourselves */
 551     if ((!(oclass->in_plugin->capabilities & AV_CODEC_CAP_AUTO_THREADS)) ||
 552         (ffmpegdec->context->thread_type & FF_THREAD_FRAME))
 553       ffmpegdec->context->thread_count =
 554           MIN (gst_ffmpeg_auto_max_threads (), 16);
 555     else
 556       ffmpegdec->context->thread_count = 0;
 557   } else
 558     ffmpegdec->context->thread_count = ffmpegdec->max_threads;
 559
 560   /* open codec - we don't select an output pix_fmt yet,
 561    * simply because we don't know! We only get it
 562    * during playback... */
 563   if (!gst_ffmpegviddec_open (ffmpegdec))
 564     goto open_failed;
 565
 566   if (ffmpegdec->input_state)
 567     gst_video_codec_state_unref (ffmpegdec->input_state);
 568   ffmpegdec->input_state = gst_video_codec_state_ref (state);
 569
 570   if (ffmpegdec->input_state->info.fps_n) {
 571     GstVideoInfo *info = &ffmpegdec->input_state->info;
 572     latency = gst_util_uint64_scale_ceil (
 573         (ffmpegdec->context->has_b_frames) * GST_SECOND, info->fps_d,
 574         info->fps_n);
 575
 576     if (ffmpegdec->context->thread_type & FF_THREAD_FRAME) {
 577       latency +=
 578           gst_util_uint64_scale_ceil (ffmpegdec->context->thread_count *
 579           GST_SECOND, info->fps_d, info->fps_n);
 580     }
 581   }
 582
 583   ret = TRUE;
 584
 585 done:
 586   GST_OBJECT_UNLOCK (ffmpegdec);
 587
 588   if (GST_CLOCK_TIME_IS_VALID (latency))
 589     gst_video_decoder_set_latency (decoder, latency, latency);
 590
 591   return ret;
 592
 593   /* ERRORS */
 594 open_failed:
 595   {
 596     GST_DEBUG_OBJECT (ffmpegdec, "Failed to open");
 597     goto done;
 598   }
 599 }
 600
 601 typedef struct
 602 {
 603   GstFFMpegVidDec *ffmpegdec;
 604   GstVideoCodecFrame *frame;
 605   gboolean mapped;
 606   GstVideoFrame vframe;
 607   GstBuffer *buffer;
 608   AVBufferRef *avbuffer;
 609 } GstFFMpegVidDecVideoFrame;
 610
 611 static GstFFMpegVidDecVideoFrame *
 612 gst_ffmpegviddec_video_frame_new (GstFFMpegVidDec * ffmpegdec,
 613     GstVideoCodecFrame * frame)
 614 {
 615   GstFFMpegVidDecVideoFrame *dframe;
 616
 617   dframe = g_slice_new0 (GstFFMpegVidDecVideoFrame);
 618   dframe->ffmpegdec = ffmpegdec;
 619   dframe->frame = frame;
 620
 621   GST_DEBUG_OBJECT (ffmpegdec, "new video frame %p", dframe);
 622
 623   return dframe;
 624 }
 625
 626 static void
 627 gst_ffmpegviddec_video_frame_free (GstFFMpegVidDec * ffmpegdec,
 628     GstFFMpegVidDecVideoFrame * frame)
 629 {
 630   GST_DEBUG_OBJECT (ffmpegdec, "free video frame %p", frame);
 631
 632   if (frame->mapped)
 633     gst_video_frame_unmap (&frame->vframe);
 634   gst_video_decoder_release_frame (GST_VIDEO_DECODER (ffmpegdec), frame->frame);
 635   gst_buffer_replace (&frame->buffer, NULL);
 636   if (frame->avbuffer) {
 637     av_buffer_unref (&frame->avbuffer);
 638   }
 639   g_slice_free (GstFFMpegVidDecVideoFrame, frame);
 640 }
 641
 642 static void
 643 dummy_free_buffer (void *opaque, uint8_t * data)
 644 {
 645   GstFFMpegVidDecVideoFrame *frame = opaque;
 646
 647   gst_ffmpegviddec_video_frame_free (frame->ffmpegdec, frame);
 648 }
 649
 650 /* This function prepares the pool configuration for direct rendering. To use
 651  * this method, the codec should support direct rendering and the pool should
 652  * support video meta and video alignment */
 653 static void
 654 gst_ffmpegvideodec_prepare_dr_pool (GstFFMpegVidDec * ffmpegdec,
 655     GstBufferPool * pool, GstVideoInfo * info, GstStructure * config)
 656 {
 657   GstAllocationParams params;
 658   GstVideoAlignment align;
 659   GstAllocator *allocator = NULL;
 660   gint width, height;
 661   gint linesize_align[4];
 662   gint i;
 663   gsize max_align;
 664
 665   width = GST_VIDEO_INFO_WIDTH (info);
 666   height = GST_VIDEO_INFO_HEIGHT (info);
 667
 668   /* let ffmpeg find the alignment and padding */
 669   avcodec_align_dimensions2 (ffmpegdec->context, &width, &height,
 670       linesize_align);
 671
 672   align.padding_top = 0;
 673   align.padding_left = 0;
 674   align.padding_right = width - GST_VIDEO_INFO_WIDTH (info);
 675   align.padding_bottom = height - GST_VIDEO_INFO_HEIGHT (info);
 676
 677   /* add extra padding to match libav buffer allocation sizes */
 678   align.padding_bottom++;
 679
 680   gst_buffer_pool_config_get_allocator (config, &allocator, &params);
 681
 682   max_align = DEFAULT_STRIDE_ALIGN;
 683   max_align |= params.align;
 684
 685   for (i = 0; i < GST_VIDEO_MAX_PLANES; i++) {
 686     if (linesize_align[i] > 0)
 687       max_align |= linesize_align[i] - 1;
 688   }
 689
 690   for (i = 0; i < GST_VIDEO_MAX_PLANES; i++)
 691     align.stride_align[i] = max_align;
 692
 693   params.align = max_align;
 694
 695   gst_buffer_pool_config_set_allocator (config, allocator, &params);
 696
 697   GST_DEBUG_OBJECT (ffmpegdec, "aligned dimension %dx%d -> %dx%d "
 698       "padding t:%u l:%u r:%u b:%u, stride_align %d:%d:%d:%d",
 699       GST_VIDEO_INFO_WIDTH (info),
 700       GST_VIDEO_INFO_HEIGHT (info), width, height, align.padding_top,
 701       align.padding_left, align.padding_right, align.padding_bottom,
 702       align.stride_align[0], align.stride_align[1], align.stride_align[2],
 703       align.stride_align[3]);
 704
 705   gst_buffer_pool_config_add_option (config,
 706       GST_BUFFER_POOL_OPTION_VIDEO_ALIGNMENT);
 707   gst_buffer_pool_config_set_video_alignment (config, &align);
 708 }
 709
 710 static void
 711 gst_ffmpegviddec_ensure_internal_pool (GstFFMpegVidDec * ffmpegdec,
 712     AVFrame * picture)
 713 {
 714   GstAllocationParams params = DEFAULT_ALLOC_PARAM;
 715   GstVideoInfo info;
 716   GstVideoFormat format;
 717   GstCaps *caps;
 718   GstStructure *config;
 719   guint i;
 720
 721   if (ffmpegdec->internal_pool != NULL &&
 722       ffmpegdec->pool_width == picture->width &&
 723       ffmpegdec->pool_height == picture->height &&
 724       ffmpegdec->pool_format == picture->format)
 725     return;
 726
 727   GST_DEBUG_OBJECT (ffmpegdec, "Updating internal pool (%i, %i)",
 728       picture->width, picture->height);
 729
 730   format = gst_ffmpeg_pixfmt_to_videoformat (picture->format);
 731   gst_video_info_set_format (&info, format, picture->width, picture->height);
 732
 733   /* If we have not yet been negotiated, a NONE format here would
 734    * result in invalid initial dimension alignments, and potential
 735    * out of bounds writes.
 736    */
 737   ffmpegdec->context->pix_fmt = picture->format;
 738
 739   for (i = 0; i < G_N_ELEMENTS (ffmpegdec->stride); i++)
 740     ffmpegdec->stride[i] = -1;
 741
 742   if (ffmpegdec->internal_pool)
 743     gst_object_unref (ffmpegdec->internal_pool);
 744
 745   ffmpegdec->internal_pool = gst_video_buffer_pool_new ();
 746   config = gst_buffer_pool_get_config (ffmpegdec->internal_pool);
 747
 748   caps = gst_video_info_to_caps (&info);
 749   gst_buffer_pool_config_set_params (config, caps, info.size, 2, 0);
 750   gst_buffer_pool_config_set_allocator (config, NULL, &params);
 751   gst_buffer_pool_config_add_option (config, GST_BUFFER_POOL_OPTION_VIDEO_META);
 752
 753   gst_ffmpegvideodec_prepare_dr_pool (ffmpegdec,
 754       ffmpegdec->internal_pool, &info, config);
 755   /* generic video pool never fails */
 756   gst_buffer_pool_set_config (ffmpegdec->internal_pool, config);
 757   gst_caps_unref (caps);
 758
 759   gst_buffer_pool_set_active (ffmpegdec->internal_pool, TRUE);
 760
 761   /* Remember pool size so we can detect changes */
 762   ffmpegdec->pool_width = picture->width;
 763   ffmpegdec->pool_height = picture->height;
 764   ffmpegdec->pool_format = picture->format;
 765   ffmpegdec->pool_info = info;
 766 }
 767
 768 static gboolean
 769 gst_ffmpegviddec_can_direct_render (GstFFMpegVidDec * ffmpegdec)
 770 {
 771   GstFFMpegVidDecClass *oclass;
 772
 773   if (!ffmpegdec->direct_rendering)
 774     return FALSE;
 775
 776   oclass = (GstFFMpegVidDecClass *) (G_OBJECT_GET_CLASS (ffmpegdec));
 777   return ((oclass->in_plugin->capabilities & AV_CODEC_CAP_DR1) ==
 778       AV_CODEC_CAP_DR1);
 779 }
 780
 781 /* called when ffmpeg wants us to allocate a buffer to write the decoded frame
 782  * into. We try to give it memory from our pool */
 783 static int
 784 gst_ffmpegviddec_get_buffer2 (AVCodecContext * context, AVFrame * picture,
 785     int flags)
 786 {
 787   GstVideoCodecFrame *frame;
 788   GstFFMpegVidDecVideoFrame *dframe;
 789   GstFFMpegVidDec *ffmpegdec;
 790   guint c;
 791   GstFlowReturn ret;
 792   int create_buffer_flags = 0;
 793
 794   ffmpegdec = (GstFFMpegVidDec *) context->opaque;
 795
 796   GST_DEBUG_OBJECT (ffmpegdec, "getting buffer picture %p", picture);
 797
 798   /* apply the last info we have seen to this picture, when we get the
 799    * picture back from ffmpeg we can use this to correctly timestamp the output
 800    * buffer */
 801   GST_DEBUG_OBJECT (ffmpegdec, "opaque value SN %d",
 802       (gint32) picture->reordered_opaque);
 803
 804   frame =
 805       gst_video_decoder_get_frame (GST_VIDEO_DECODER (ffmpegdec),
 806       picture->reordered_opaque);
 807   if (G_UNLIKELY (frame == NULL))
 808     goto no_frame;
 809
 810   /* now it has a buffer allocated, so it is real and will also
 811    * be _released */
 812   GST_VIDEO_CODEC_FRAME_FLAG_UNSET (frame,
 813       GST_VIDEO_CODEC_FRAME_FLAG_DECODE_ONLY);
 814
 815   if (G_UNLIKELY (frame->output_buffer != NULL))
 816     goto duplicate_frame;
 817
 818   /* GstFFMpegVidDecVideoFrame receives the frame ref */
 819   if (picture->opaque) {
 820     dframe = picture->opaque;
 821     dframe->frame = frame;
 822   } else {
 823     picture->opaque = dframe =
 824         gst_ffmpegviddec_video_frame_new (ffmpegdec, frame);
 825   }
 826
 827   GST_DEBUG_OBJECT (ffmpegdec, "storing opaque %p", dframe);
 828
 829   if (!gst_ffmpegviddec_can_direct_render (ffmpegdec))
 830     goto no_dr;
 831
 832   gst_ffmpegviddec_ensure_internal_pool (ffmpegdec, picture);
 833
 834   ret = gst_buffer_pool_acquire_buffer (ffmpegdec->internal_pool,
 835       &frame->output_buffer, NULL);
 836   if (ret != GST_FLOW_OK)
 837     goto alloc_failed;
 838
 839   /* piggy-backed alloc'ed on the frame,
 840    * and there was much rejoicing and we are grateful.
 841    * Now take away buffer from frame, we will give it back later when decoded.
 842    * This allows multiple request for a buffer per frame; unusual but possible. */
 843   gst_buffer_replace (&dframe->buffer, frame->output_buffer);
 844   gst_buffer_replace (&frame->output_buffer, NULL);
 845
 846   /* Fill avpicture */
 847   if (!gst_video_frame_map (&dframe->vframe, &ffmpegdec->pool_info,
 848           dframe->buffer, GST_MAP_READWRITE))
 849     goto map_failed;
 850   dframe->mapped = TRUE;
 851
 852   for (c = 0; c < AV_NUM_DATA_POINTERS; c++) {
 853     if (c < GST_VIDEO_INFO_N_PLANES (&ffmpegdec->pool_info)) {
 854       picture->data[c] = GST_VIDEO_FRAME_PLANE_DATA (&dframe->vframe, c);
 855       picture->linesize[c] = GST_VIDEO_FRAME_PLANE_STRIDE (&dframe->vframe, c);
 856
 857       if (ffmpegdec->stride[c] == -1)
 858         ffmpegdec->stride[c] = picture->linesize[c];
 859
 860       /* libav does not allow stride changes, decide allocation should check
 861        * before replacing the internal pool with a downstream pool.
 862        * https://bugzilla.gnome.org/show_bug.cgi?id=704769
 863        * https://bugzilla.libav.org/show_bug.cgi?id=556
 864        */
 865       g_assert (picture->linesize[c] == ffmpegdec->stride[c]);
 866     } else {
 867       picture->data[c] = NULL;
 868       picture->linesize[c] = 0;
 869     }
 870     GST_LOG_OBJECT (ffmpegdec, "linesize %d, data %p", picture->linesize[c],
 871         picture->data[c]);
 872   }
 873
 874   if ((flags & AV_GET_BUFFER_FLAG_REF) == AV_GET_BUFFER_FLAG_REF) {
 875     /* decoder might reuse this AVFrame and it would result to no more
 876      * get_buffer() call if the AVFrame's AVBuffer is writable
 877      * (meaning that the refcount of AVBuffer == 1).
 878      * To enforce get_buffer() for the every output frame, set read-only flag here
 879      */
 880     create_buffer_flags = AV_BUFFER_FLAG_READONLY;
 881   }
 882   picture->buf[0] = av_buffer_create (NULL,
 883       0, dummy_free_buffer, dframe, create_buffer_flags);
 884
 885   GST_LOG_OBJECT (ffmpegdec, "returned frame %p", dframe->buffer);
 886
 887   return 0;
 888
 889 no_dr:
 890   {
 891     int c;
 892     int ret = avcodec_default_get_buffer2 (context, picture, flags);
 893
 894     GST_LOG_OBJECT (ffmpegdec, "direct rendering disabled, fallback alloc");
 895
 896     for (c = 0; c < AV_NUM_DATA_POINTERS; c++) {
 897       ffmpegdec->stride[c] = picture->linesize[c];
 898     }
 899     /* Wrap our buffer around the default one to be able to have a callback
 900      * when our data can be freed. Just putting our data into the first free
 901      * buffer might not work if there are too many allocated already
 902      */
 903     if (picture->buf[0]) {
 904       dframe->avbuffer = picture->buf[0];
 905       picture->buf[0] =
 906           av_buffer_create (picture->buf[0]->data, picture->buf[0]->size,
 907           dummy_free_buffer, dframe, 0);
 908     } else {
 909       picture->buf[0] =
 910           av_buffer_create (NULL, 0, dummy_free_buffer, dframe, 0);
 911     }
 912
 913     return ret;
 914   }
 915 alloc_failed:
 916   {
 917     GST_ELEMENT_ERROR (ffmpegdec, RESOURCE, FAILED,
 918         ("Unable to allocate memory"),
 919         ("The downstream pool failed to allocated buffer."));
 920     return -1;
 921   }
 922 map_failed:
 923   {
 924     GST_ELEMENT_ERROR (ffmpegdec, RESOURCE, OPEN_READ_WRITE,
 925         ("Cannot access memory for read and write operation."),
 926         ("The video memory allocated from downstream pool could not mapped for"
 927             "read and write."));
 928     return -1;
 929   }
 930 duplicate_frame:
 931   {
 932     GST_WARNING_OBJECT (ffmpegdec, "already alloc'ed output buffer for frame");
 933     gst_video_codec_frame_unref (frame);
 934     return -1;
 935   }
 936 no_frame:
 937   {
 938     GST_WARNING_OBJECT (ffmpegdec, "Couldn't get codec frame !");
 939     return -1;
 940   }
 941 }
 942
 943 static gboolean
 944 picture_changed (GstFFMpegVidDec * ffmpegdec, AVFrame * picture)
 945 {
 946   gint pic_field_order = 0;
 947
 948   if (picture->interlaced_frame) {
 949     if (picture->repeat_pict)
 950       pic_field_order |= GST_VIDEO_BUFFER_FLAG_RFF;
 951     if (picture->top_field_first)
 952       pic_field_order |= GST_VIDEO_BUFFER_FLAG_TFF;
 953   }
 954
 955   return !(ffmpegdec->pic_width == picture->width
 956       && ffmpegdec->pic_height == picture->height
 957       && ffmpegdec->pic_pix_fmt == picture->format
 958       && ffmpegdec->pic_par_n == picture->sample_aspect_ratio.num
 959       && ffmpegdec->pic_par_d == picture->sample_aspect_ratio.den
 960       && ffmpegdec->pic_interlaced == picture->interlaced_frame
 961       && ffmpegdec->pic_field_order == pic_field_order
 962       && ffmpegdec->cur_multiview_mode == ffmpegdec->picture_multiview_mode
 963       && ffmpegdec->cur_multiview_flags == ffmpegdec->picture_multiview_flags);
 964 }
 965
 966 static gboolean
 967 context_changed (GstFFMpegVidDec * ffmpegdec, AVCodecContext * context)
 968 {
 969   return !(ffmpegdec->ctx_ticks == context->ticks_per_frame
 970       && ffmpegdec->ctx_time_n == context->time_base.num
 971       && ffmpegdec->ctx_time_d == context->time_base.den);
 972 }
 973
 974 static gboolean
 975 update_video_context (GstFFMpegVidDec * ffmpegdec, AVCodecContext * context,
 976     AVFrame * picture)
 977 {
 978   gint pic_field_order = 0;
 979
 980   if (picture->interlaced_frame) {
 981     if (picture->repeat_pict)
 982       pic_field_order |= GST_VIDEO_BUFFER_FLAG_RFF;
 983     if (picture->top_field_first)
 984       pic_field_order |= GST_VIDEO_BUFFER_FLAG_TFF;
 985   }
 986
 987   if (!picture_changed (ffmpegdec, picture)
 988       && !context_changed (ffmpegdec, context))
 989     return FALSE;
 990
 991   GST_DEBUG_OBJECT (ffmpegdec,
 992       "Renegotiating video from %dx%d@ %d:%d PAR %d/%d fps pixfmt %d to %dx%d@ %d:%d PAR %d/%d fps pixfmt %d",
 993       ffmpegdec->pic_width, ffmpegdec->pic_height,
 994       ffmpegdec->pic_par_n, ffmpegdec->pic_par_d,
 995       ffmpegdec->ctx_time_n, ffmpegdec->ctx_time_d,
 996       ffmpegdec->pic_pix_fmt,
 997       picture->width, picture->height,
 998       picture->sample_aspect_ratio.num,
 999       picture->sample_aspect_ratio.den,
1000       context->time_base.num, context->time_base.den, picture->format);
1001
1002   ffmpegdec->pic_pix_fmt = picture->format;
1003   ffmpegdec->pic_width = picture->width;
1004   ffmpegdec->pic_height = picture->height;
1005   ffmpegdec->pic_par_n = picture->sample_aspect_ratio.num;
1006   ffmpegdec->pic_par_d = picture->sample_aspect_ratio.den;
1007   ffmpegdec->cur_multiview_mode = ffmpegdec->picture_multiview_mode;
1008   ffmpegdec->cur_multiview_flags = ffmpegdec->picture_multiview_flags;
1009
1010   /* Remember if we have interlaced content and the field order changed
1011    * at least once. If that happens, we must be interlace-mode=mixed
1012    */
1013   if (ffmpegdec->pic_field_order_changed ||
1014       (ffmpegdec->pic_field_order != pic_field_order &&
1015           ffmpegdec->pic_interlaced))
1016     ffmpegdec->pic_field_order_changed = TRUE;
1017
1018   ffmpegdec->pic_field_order = pic_field_order;
1019   ffmpegdec->pic_interlaced = picture->interlaced_frame;
1020
1021   if (!ffmpegdec->pic_interlaced)
1022     ffmpegdec->pic_field_order_changed = FALSE;
1023
1024   ffmpegdec->ctx_ticks = context->ticks_per_frame;
1025   ffmpegdec->ctx_time_n = context->time_base.num;
1026   ffmpegdec->ctx_time_d = context->time_base.den;
1027
1028   return TRUE;
1029 }
1030
1031 static void
1032 gst_ffmpegviddec_update_par (GstFFMpegVidDec * ffmpegdec,
1033     GstVideoInfo * in_info, GstVideoInfo * out_info)
1034 {
1035   gboolean demuxer_par_set = FALSE;
1036   gboolean decoder_par_set = FALSE;
1037   gint demuxer_num = 1, demuxer_denom = 1;
1038   gint decoder_num = 1, decoder_denom = 1;
1039
1040   if (in_info->par_n && in_info->par_d) {
1041     demuxer_num = in_info->par_n;
1042     demuxer_denom = in_info->par_d;
1043     demuxer_par_set = TRUE;
1044     GST_DEBUG_OBJECT (ffmpegdec, "Demuxer PAR: %d:%d", demuxer_num,
1045         demuxer_denom);
1046   }
1047
1048   if (ffmpegdec->pic_par_n && ffmpegdec->pic_par_d) {
1049     decoder_num = ffmpegdec->pic_par_n;
1050     decoder_denom = ffmpegdec->pic_par_d;
1051     decoder_par_set = TRUE;
1052     GST_DEBUG_OBJECT (ffmpegdec, "Decoder PAR: %d:%d", decoder_num,
1053         decoder_denom);
1054   }
1055
1056   if (!demuxer_par_set && !decoder_par_set)
1057     goto no_par;
1058
1059   if (demuxer_par_set && !decoder_par_set)
1060     goto use_demuxer_par;
1061
1062   if (decoder_par_set && !demuxer_par_set)
1063     goto use_decoder_par;
1064
1065   /* Both the demuxer and the decoder provide a PAR. If one of
1066    * the two PARs is 1:1 and the other one is not, use the one
1067    * that is not 1:1. */
1068   if (demuxer_num == demuxer_denom && decoder_num != decoder_denom)
1069     goto use_decoder_par;
1070
1071   if (decoder_num == decoder_denom && demuxer_num != demuxer_denom)
1072     goto use_demuxer_par;
1073
1074   /* Both PARs are non-1:1, so use the PAR provided by the demuxer */
1075   goto use_demuxer_par;
1076
1077 use_decoder_par:
1078   {
1079     GST_DEBUG_OBJECT (ffmpegdec,
1080         "Setting decoder provided pixel-aspect-ratio of %u:%u", decoder_num,
1081         decoder_denom);
1082     out_info->par_n = decoder_num;
1083     out_info->par_d = decoder_denom;
1084     return;
1085   }
1086 use_demuxer_par:
1087   {
1088     GST_DEBUG_OBJECT (ffmpegdec,
1089         "Setting demuxer provided pixel-aspect-ratio of %u:%u", demuxer_num,
1090         demuxer_denom);
1091     out_info->par_n = demuxer_num;
1092     out_info->par_d = demuxer_denom;
1093     return;
1094   }
1095 no_par:
1096   {
1097     GST_DEBUG_OBJECT (ffmpegdec,
1098         "Neither demuxer nor codec provide a pixel-aspect-ratio");
1099     out_info->par_n = 1;
1100     out_info->par_d = 1;
1101     return;
1102   }
1103 }
1104
1105 static GstVideoMultiviewMode
1106 stereo_av_to_gst (enum AVStereo3DType type)
1107 {
1108   switch (type) {
1109     case AV_STEREO3D_SIDEBYSIDE:
1110       return GST_VIDEO_MULTIVIEW_MODE_SIDE_BY_SIDE;
1111     case AV_STEREO3D_TOPBOTTOM:
1112       return GST_VIDEO_MULTIVIEW_MODE_TOP_BOTTOM;
1113     case AV_STEREO3D_FRAMESEQUENCE:
1114       return GST_VIDEO_MULTIVIEW_MODE_FRAME_BY_FRAME;
1115     case AV_STEREO3D_CHECKERBOARD:
1116       return GST_VIDEO_MULTIVIEW_MODE_CHECKERBOARD;
1117     case AV_STEREO3D_SIDEBYSIDE_QUINCUNX:
1118       return GST_VIDEO_MULTIVIEW_MODE_SIDE_BY_SIDE_QUINCUNX;
1119     case AV_STEREO3D_LINES:
1120       return GST_VIDEO_MULTIVIEW_MODE_ROW_INTERLEAVED;
1121     case AV_STEREO3D_COLUMNS:
1122       return GST_VIDEO_MULTIVIEW_MODE_COLUMN_INTERLEAVED;
1123     default:
1124       break;
1125   }
1126
1127   return GST_VIDEO_MULTIVIEW_MODE_NONE;
1128 }
1129
1130 static gboolean
1131 mastering_display_metadata_av_to_gst (AVMasteringDisplayMetadata * av,
1132     GstVideoMasteringDisplayInfo * gst)
1133 {
1134   const guint64 chroma_scale = 50000;
1135   const guint64 luma_scale = 10000;
1136   gint i;
1137
1138   /* Use only complete mastering meta */
1139   if (!av->has_primaries || !av->has_luminance)
1140     return FALSE;
1141
1142   for (i = 0; i < G_N_ELEMENTS (gst->display_primaries); i++) {
1143     gst->display_primaries[i].x = (guint16) gst_util_uint64_scale (chroma_scale,
1144         av->display_primaries[i][0].num, av->display_primaries[i][0].den);
1145     gst->display_primaries[i].y = (guint16) gst_util_uint64_scale (chroma_scale,
1146         av->display_primaries[i][1].num, av->display_primaries[i][1].den);
1147   }
1148
1149   gst->white_point.x = (guint16) gst_util_uint64_scale (chroma_scale,
1150       av->white_point[0].num, av->white_point[0].den);
1151   gst->white_point.y = (guint16) gst_util_uint64_scale (chroma_scale,
1152       av->white_point[1].num, av->white_point[1].den);
1153
1154
1155   gst->max_display_mastering_luminance =
1156       (guint32) gst_util_uint64_scale (luma_scale,
1157       av->max_luminance.num, av->max_luminance.den);
1158   gst->min_display_mastering_luminance =
1159       (guint32) gst_util_uint64_scale (luma_scale,
1160       av->min_luminance.num, av->min_luminance.den);
1161
1162   return TRUE;
1163 }
1164
1165 static gboolean
1166 content_light_metadata_av_to_gst (AVContentLightMetadata * av,
1167     GstVideoContentLightLevel * gst)
1168 {
1169   gst->max_content_light_level = av->MaxCLL;
1170   gst->max_frame_average_light_level = av->MaxFALL;
1171
1172   return TRUE;
1173 }
1174
1175 static gboolean
1176 gst_ffmpegviddec_negotiate (GstFFMpegVidDec * ffmpegdec,
1177     AVCodecContext * context, AVFrame * picture)
1178 {
1179   GstVideoFormat fmt;
1180   GstVideoInfo *in_info, *out_info;
1181   GstVideoCodecState *output_state;
1182   gint fps_n, fps_d;
1183   GstClockTime latency;
1184   GstStructure *in_s;
1185
1186   if (!update_video_context (ffmpegdec, context, picture))
1187     return TRUE;
1188
1189   fmt = gst_ffmpeg_pixfmt_to_videoformat (ffmpegdec->pic_pix_fmt);
1190   if (G_UNLIKELY (fmt == GST_VIDEO_FORMAT_UNKNOWN))
1191     goto unknown_format;
1192
1193   output_state =
1194       gst_video_decoder_set_output_state (GST_VIDEO_DECODER (ffmpegdec), fmt,
1195       ffmpegdec->pic_width, ffmpegdec->pic_height, ffmpegdec->input_state);
1196   if (ffmpegdec->output_state)
1197     gst_video_codec_state_unref (ffmpegdec->output_state);
1198   ffmpegdec->output_state = output_state;
1199
1200   in_info = &ffmpegdec->input_state->info;
1201   out_info = &ffmpegdec->output_state->info;
1202
1203   /* set the interlaced flag */
1204   in_s = gst_caps_get_structure (ffmpegdec->input_state->caps, 0);
1205
1206   if (!gst_structure_has_field (in_s, "interlace-mode")) {
1207     if (ffmpegdec->pic_interlaced) {
1208       if (ffmpegdec->pic_field_order_changed ||
1209           (ffmpegdec->pic_field_order & GST_VIDEO_BUFFER_FLAG_RFF)) {
1210         out_info->interlace_mode = GST_VIDEO_INTERLACE_MODE_MIXED;
1211       } else {
1212         out_info->interlace_mode = GST_VIDEO_INTERLACE_MODE_INTERLEAVED;
1213         if ((ffmpegdec->pic_field_order & GST_VIDEO_BUFFER_FLAG_TFF))
1214           GST_VIDEO_INFO_FIELD_ORDER (out_info) =
1215               GST_VIDEO_FIELD_ORDER_TOP_FIELD_FIRST;
1216         else
1217           GST_VIDEO_INFO_FIELD_ORDER (out_info) =
1218               GST_VIDEO_FIELD_ORDER_BOTTOM_FIELD_FIRST;
1219       }
1220     } else {
1221       out_info->interlace_mode = GST_VIDEO_INTERLACE_MODE_PROGRESSIVE;
1222     }
1223   }
1224
1225   if (!gst_structure_has_field (in_s, "chroma-site")) {
1226     switch (context->chroma_sample_location) {
1227       case AVCHROMA_LOC_LEFT:
1228         out_info->chroma_site = GST_VIDEO_CHROMA_SITE_MPEG2;
1229         break;
1230       case AVCHROMA_LOC_CENTER:
1231         out_info->chroma_site = GST_VIDEO_CHROMA_SITE_JPEG;
1232         break;
1233       case AVCHROMA_LOC_TOPLEFT:
1234         out_info->chroma_site = GST_VIDEO_CHROMA_SITE_DV;
1235         break;
1236       case AVCHROMA_LOC_TOP:
1237         out_info->chroma_site = GST_VIDEO_CHROMA_SITE_V_COSITED;
1238         break;
1239       default:
1240         break;
1241     }
1242   }
1243
1244   if (!gst_structure_has_field (in_s, "colorimetry")
1245       || in_info->colorimetry.primaries == GST_VIDEO_COLOR_PRIMARIES_UNKNOWN) {
1246     out_info->colorimetry.primaries =
1247         gst_video_color_primaries_from_iso (context->color_primaries);
1248   }
1249
1250   if (!gst_structure_has_field (in_s, "colorimetry")
1251       || in_info->colorimetry.transfer == GST_VIDEO_TRANSFER_UNKNOWN) {
1252     out_info->colorimetry.transfer =
1253         gst_video_color_transfer_from_iso (context->color_trc);
1254   }
1255
1256   if (!gst_structure_has_field (in_s, "colorimetry")
1257       || in_info->colorimetry.matrix == GST_VIDEO_COLOR_MATRIX_UNKNOWN) {
1258     out_info->colorimetry.matrix =
1259         gst_video_color_matrix_from_iso (context->colorspace);
1260   }
1261
1262   if (!gst_structure_has_field (in_s, "colorimetry")
1263       || in_info->colorimetry.range == GST_VIDEO_COLOR_RANGE_UNKNOWN) {
1264     if (context->color_range == AVCOL_RANGE_JPEG) {
1265       out_info->colorimetry.range = GST_VIDEO_COLOR_RANGE_0_255;
1266     } else if (context->color_range == AVCOL_RANGE_MPEG) {
1267       out_info->colorimetry.range = GST_VIDEO_COLOR_RANGE_16_235;
1268     } else {
1269       out_info->colorimetry.range = GST_VIDEO_COLOR_RANGE_UNKNOWN;
1270     }
1271   }
1272
1273   /* try to find a good framerate */
1274   if ((in_info->fps_d && in_info->fps_n) ||
1275       GST_VIDEO_INFO_FLAG_IS_SET (in_info, GST_VIDEO_FLAG_VARIABLE_FPS)) {
1276     /* take framerate from input when it was specified (#313970) */
1277     fps_n = in_info->fps_n;
1278     fps_d = in_info->fps_d;
1279   } else {
1280     fps_n = ffmpegdec->ctx_time_d / ffmpegdec->ctx_ticks;
1281     fps_d = ffmpegdec->ctx_time_n;
1282
1283     if (!fps_d) {
1284       GST_LOG_OBJECT (ffmpegdec, "invalid framerate: %d/0, -> %d/1", fps_n,
1285           fps_n);
1286       fps_d = 1;
1287     }
1288     if (gst_util_fraction_compare (fps_n, fps_d, 1000, 1) > 0) {
1289       GST_LOG_OBJECT (ffmpegdec, "excessive framerate: %d/%d, -> 0/1", fps_n,
1290           fps_d);
1291       fps_n = 0;
1292       fps_d = 1;
1293     }
1294   }
1295
1296   GST_LOG_OBJECT (ffmpegdec, "setting framerate: %d/%d", fps_n, fps_d);
1297   out_info->fps_n = fps_n;
1298   out_info->fps_d = fps_d;
1299
1300   /* calculate and update par now */
1301   gst_ffmpegviddec_update_par (ffmpegdec, in_info, out_info);
1302
1303   GST_VIDEO_INFO_MULTIVIEW_MODE (out_info) = ffmpegdec->cur_multiview_mode;
1304   GST_VIDEO_INFO_MULTIVIEW_FLAGS (out_info) = ffmpegdec->cur_multiview_flags;
1305
1306   /* To passing HDR information to caps directly */
1307   if (output_state->caps == NULL) {
1308     output_state->caps = gst_video_info_to_caps (out_info);
1309   } else {
1310     output_state->caps = gst_caps_make_writable (output_state->caps);
1311   }
1312
1313   if (!gst_structure_has_field (in_s, "mastering-display-info")) {
1314     AVFrameSideData *sd = av_frame_get_side_data (picture,
1315         AV_FRAME_DATA_MASTERING_DISPLAY_METADATA);
1316     GstVideoMasteringDisplayInfo minfo;
1317
1318     if (sd
1319         && mastering_display_metadata_av_to_gst ((AVMasteringDisplayMetadata *)
1320             sd->data, &minfo)) {
1321       GST_LOG_OBJECT (ffmpegdec, "update mastering display info: "
1322           "Red(%u, %u) "
1323           "Green(%u, %u) "
1324           "Blue(%u, %u) "
1325           "White(%u, %u) "
1326           "max_luminance(%u) "
1327           "min_luminance(%u) ",
1328           minfo.display_primaries[0].x, minfo.display_primaries[0].y,
1329           minfo.display_primaries[1].x, minfo.display_primaries[1].y,
1330           minfo.display_primaries[2].x, minfo.display_primaries[2].y,
1331           minfo.white_point.x, minfo.white_point.y,
1332           minfo.max_display_mastering_luminance,
1333           minfo.min_display_mastering_luminance);
1334
1335       if (!gst_video_mastering_display_info_add_to_caps (&minfo,
1336               output_state->caps)) {
1337         GST_WARNING_OBJECT (ffmpegdec,
1338             "Couldn't set mastering display info to caps");
1339       }
1340     }
1341   }
1342
1343   if (!gst_structure_has_field (in_s, "content-light-level")) {
1344     AVFrameSideData *sd = av_frame_get_side_data (picture,
1345         AV_FRAME_DATA_CONTENT_LIGHT_LEVEL);
1346     GstVideoContentLightLevel cll;
1347
1348     if (sd && content_light_metadata_av_to_gst ((AVContentLightMetadata *)
1349             sd->data, &cll)) {
1350       GST_LOG_OBJECT (ffmpegdec, "update content light level: "
1351           "maxCLL:(%u), maxFALL:(%u)", cll.max_content_light_level,
1352           cll.max_frame_average_light_level);
1353
1354       if (!gst_video_content_light_level_add_to_caps (&cll, output_state->caps)) {
1355         GST_WARNING_OBJECT (ffmpegdec,
1356             "Couldn't set content light level to caps");
1357       }
1358     }
1359   }
1360
1361   if (!gst_video_decoder_negotiate (GST_VIDEO_DECODER (ffmpegdec)))
1362     goto negotiate_failed;
1363
1364   /* The decoder is configured, we now know the true latency */
1365   if (fps_n) {
1366     latency =
1367         gst_util_uint64_scale_ceil (ffmpegdec->context->has_b_frames *
1368         GST_SECOND, fps_d, fps_n);
1369     if (ffmpegdec->context->thread_type & FF_THREAD_FRAME) {
1370       latency +=
1371           gst_util_uint64_scale_ceil (ffmpegdec->context->thread_count *
1372           GST_SECOND, fps_d, fps_n);
1373     }
1374     gst_video_decoder_set_latency (GST_VIDEO_DECODER (ffmpegdec), latency,
1375         latency);
1376   }
1377
1378   return TRUE;
1379
1380   /* ERRORS */
1381 unknown_format:
1382   {
1383     GST_ERROR_OBJECT (ffmpegdec,
1384         "decoder requires a video format unsupported by GStreamer");
1385     return FALSE;
1386   }
1387 negotiate_failed:
1388   {
1389     /* Reset so we try again next time even if force==FALSE */
1390     ffmpegdec->pic_pix_fmt = 0;
1391     ffmpegdec->pic_width = 0;
1392     ffmpegdec->pic_height = 0;
1393     ffmpegdec->pic_par_n = 0;
1394     ffmpegdec->pic_par_d = 0;
1395     ffmpegdec->pic_interlaced = 0;
1396     ffmpegdec->pic_field_order = 0;
1397     ffmpegdec->pic_field_order_changed = FALSE;
1398     ffmpegdec->ctx_ticks = 0;
1399     ffmpegdec->ctx_time_n = 0;
1400     ffmpegdec->ctx_time_d = 0;
1401
1402     GST_ERROR_OBJECT (ffmpegdec, "negotiation failed");
1403     return FALSE;
1404   }
1405 }
1406
1407 /* perform qos calculations before decoding the next frame.
1408  *
1409  * Sets the skip_frame flag and if things are really bad, skips to the next
1410  * keyframe.
1411  *
1412  */
1413 static void
1414 gst_ffmpegviddec_do_qos (GstFFMpegVidDec * ffmpegdec,
1415     GstVideoCodecFrame * frame, gboolean * mode_switch)
1416 {
1417   GstClockTimeDiff diff;
1418   GstSegmentFlags skip_flags =
1419       GST_VIDEO_DECODER_INPUT_SEGMENT (ffmpegdec).flags;
1420
1421   *mode_switch = FALSE;
1422
1423   if (frame == NULL)
1424     return;
1425
1426   if (skip_flags & GST_SEGMENT_FLAG_TRICKMODE_KEY_UNITS) {
1427     ffmpegdec->context->skip_frame = AVDISCARD_NONKEY;
1428     *mode_switch = TRUE;
1429   } else if (skip_flags & GST_SEGMENT_FLAG_TRICKMODE) {
1430     ffmpegdec->context->skip_frame = AVDISCARD_NONREF;
1431     *mode_switch = TRUE;
1432   }
1433
1434   if (*mode_switch == TRUE) {
1435     /* We've already switched mode, we can return straight away
1436      * without any further calculation */
1437     return;
1438   }
1439
1440   diff =
1441       gst_video_decoder_get_max_decode_time (GST_VIDEO_DECODER (ffmpegdec),
1442       frame);
1443
1444   /* if we don't have timing info, then we don't do QoS */
1445   if (G_UNLIKELY (diff == G_MAXINT64)) {
1446     /* Ensure the skipping strategy is the default one */
1447     ffmpegdec->context->skip_frame = ffmpegdec->skip_frame;
1448     return;
1449   }
1450
1451   GST_DEBUG_OBJECT (ffmpegdec, "decoding time %" G_GINT64_FORMAT, diff);
1452
1453   if (diff > 0 && ffmpegdec->context->skip_frame != AVDISCARD_DEFAULT) {
1454     ffmpegdec->context->skip_frame = AVDISCARD_DEFAULT;
1455     *mode_switch = TRUE;
1456     GST_DEBUG_OBJECT (ffmpegdec, "QOS: normal mode");
1457   }
1458
1459   else if (diff <= 0 && ffmpegdec->context->skip_frame != AVDISCARD_NONREF) {
1460     ffmpegdec->context->skip_frame = AVDISCARD_NONREF;
1461     *mode_switch = TRUE;
1462     GST_DEBUG_OBJECT (ffmpegdec,
1463         "QOS: hurry up, diff %" G_GINT64_FORMAT " >= 0", diff);
1464   }
1465 }
1466
1467 /* get an outbuf buffer with the current picture */
1468 static GstFlowReturn
1469 get_output_buffer (GstFFMpegVidDec * ffmpegdec, GstVideoCodecFrame * frame)
1470 {
1471   GstFlowReturn ret = GST_FLOW_OK;
1472   AVFrame pic, *outpic;
1473   GstVideoFrame vframe;
1474   GstVideoInfo *info;
1475   guint c;
1476
1477   GST_LOG_OBJECT (ffmpegdec, "get output buffer");
1478
1479   if (!ffmpegdec->output_state)
1480     goto not_negotiated;
1481
1482   ret =
1483       gst_video_decoder_allocate_output_frame (GST_VIDEO_DECODER (ffmpegdec),
1484       frame);
1485   if (G_UNLIKELY (ret != GST_FLOW_OK))
1486     goto alloc_failed;
1487
1488   /* original ffmpeg code does not handle odd sizes correctly.
1489    * This patched up version does */
1490   /* Fill avpicture */
1491   info = &ffmpegdec->output_state->info;
1492   if (!gst_video_frame_map (&vframe, info, frame->output_buffer,
1493           GST_MAP_READ | GST_MAP_WRITE))
1494     goto map_failed;
1495
1496   memset (&pic, 0, sizeof (pic));
1497   pic.format = ffmpegdec->pic_pix_fmt;
1498   pic.width = GST_VIDEO_FRAME_WIDTH (&vframe);
1499   pic.height = GST_VIDEO_FRAME_HEIGHT (&vframe);
1500   for (c = 0; c < AV_NUM_DATA_POINTERS; c++) {
1501     if (c < GST_VIDEO_INFO_N_PLANES (info)) {
1502       pic.data[c] = GST_VIDEO_FRAME_PLANE_DATA (&vframe, c);
1503       pic.linesize[c] = GST_VIDEO_FRAME_PLANE_STRIDE (&vframe, c);
1504       GST_LOG_OBJECT (ffmpegdec, "[%i] linesize %d, data %p", c,
1505           pic.linesize[c], pic.data[c]);
1506     } else {
1507       pic.data[c] = NULL;
1508       pic.linesize[c] = 0;
1509     }
1510   }
1511
1512   outpic = ffmpegdec->picture;
1513
1514   if (av_frame_copy (&pic, outpic) != 0) {
1515     GST_ERROR_OBJECT (ffmpegdec, "Failed to copy output frame");
1516     ret = GST_FLOW_ERROR;
1517   }
1518
1519   gst_video_frame_unmap (&vframe);
1520
1521   ffmpegdec->picture->reordered_opaque = -1;
1522
1523   return ret;
1524
1525   /* special cases */
1526 alloc_failed:
1527   {
1528     GST_ELEMENT_ERROR (ffmpegdec, RESOURCE, FAILED,
1529         ("Unable to allocate memory"),
1530         ("The downstream pool failed to allocated buffer."));
1531     return ret;
1532   }
1533 map_failed:
1534   {
1535     GST_ELEMENT_ERROR (ffmpegdec, RESOURCE, OPEN_READ_WRITE,
1536         ("Cannot access memory for read and write operation."),
1537         ("The video memory allocated from downstream pool could not mapped for"
1538             "read and write."));
1539     return ret;
1540   }
1541 not_negotiated:
1542   {
1543     GST_DEBUG_OBJECT (ffmpegdec, "not negotiated");
1544     return GST_FLOW_NOT_NEGOTIATED;
1545   }
1546 }
1547
1548 static void
1549 gst_avpacket_init (AVPacket * packet, guint8 * data, guint size)
1550 {
1551   memset (packet, 0, sizeof (AVPacket));
1552   packet->data = data;
1553   packet->size = size;
1554 }
1555
1556 /*
1557  * Returns: whether a frame was decoded
1558  */
1559 static gboolean
1560 gst_ffmpegviddec_video_frame (GstFFMpegVidDec * ffmpegdec,
1561     GstVideoCodecFrame * frame, GstFlowReturn * ret)
1562 {
1563   gint res;
1564   gboolean got_frame = FALSE;
1565   gboolean mode_switch;
1566   GstVideoCodecFrame *out_frame;
1567   GstFFMpegVidDecVideoFrame *out_dframe;
1568   GstBufferPool *pool;
1569
1570   *ret = GST_FLOW_OK;
1571
1572   /* in case we skip frames */
1573   ffmpegdec->picture->pict_type = -1;
1574
1575   /* run QoS code, we don't stop decoding the frame when we are late because
1576    * else we might skip a reference frame */
1577   gst_ffmpegviddec_do_qos (ffmpegdec, frame, &mode_switch);
1578
1579   res = avcodec_receive_frame (ffmpegdec->context, ffmpegdec->picture);
1580
1581   /* No frames available at this time */
1582   if (res == AVERROR (EAGAIN))
1583     goto beach;
1584   else if (res == AVERROR_EOF) {
1585     *ret = GST_FLOW_EOS;
1586     GST_DEBUG_OBJECT (ffmpegdec, "Context was entirely flushed");
1587     goto beach;
1588   } else if (res < 0) {
1589     *ret = GST_FLOW_OK;
1590     GST_WARNING_OBJECT (ffmpegdec, "Legitimate decoding error");
1591     goto beach;
1592   }
1593
1594   got_frame = TRUE;
1595
1596   /* get the output picture timing info again */
1597   out_dframe = ffmpegdec->picture->opaque;
1598   out_frame = gst_video_codec_frame_ref (out_dframe->frame);
1599
1600   /* also give back a buffer allocated by the frame, if any */
1601   gst_buffer_replace (&out_frame->output_buffer, out_dframe->buffer);
1602   gst_buffer_replace (&out_dframe->buffer, NULL);
1603
1604   /* Extract auxilliary info not stored in the main AVframe */
1605   {
1606     GstVideoInfo *in_info = &ffmpegdec->input_state->info;
1607     /* Take multiview mode from upstream if present */
1608     ffmpegdec->picture_multiview_mode = GST_VIDEO_INFO_MULTIVIEW_MODE (in_info);
1609     ffmpegdec->picture_multiview_flags =
1610         GST_VIDEO_INFO_MULTIVIEW_FLAGS (in_info);
1611
1612     /* Otherwise, see if there's info in the frame */
1613     if (ffmpegdec->picture_multiview_mode == GST_VIDEO_MULTIVIEW_MODE_NONE) {
1614       AVFrameSideData *side_data =
1615           av_frame_get_side_data (ffmpegdec->picture, AV_FRAME_DATA_STEREO3D);
1616       if (side_data) {
1617         AVStereo3D *stereo = (AVStereo3D *) side_data->data;
1618         ffmpegdec->picture_multiview_mode = stereo_av_to_gst (stereo->type);
1619         if (stereo->flags & AV_STEREO3D_FLAG_INVERT) {
1620           ffmpegdec->picture_multiview_flags =
1621               GST_VIDEO_MULTIVIEW_FLAGS_RIGHT_VIEW_FIRST;
1622         } else {
1623           ffmpegdec->picture_multiview_flags = GST_VIDEO_MULTIVIEW_FLAGS_NONE;
1624         }
1625       }
1626     }
1627   }
1628
1629   GST_DEBUG_OBJECT (ffmpegdec,
1630       "pts %" G_GUINT64_FORMAT " duration %" G_GUINT64_FORMAT,
1631       out_frame->pts, out_frame->duration);
1632   GST_DEBUG_OBJECT (ffmpegdec, "picture: pts %" G_GUINT64_FORMAT,
1633       (guint64) ffmpegdec->picture->pts);
1634   GST_DEBUG_OBJECT (ffmpegdec, "picture: num %d",
1635       ffmpegdec->picture->coded_picture_number);
1636   GST_DEBUG_OBJECT (ffmpegdec, "picture: display %d",
1637       ffmpegdec->picture->display_picture_number);
1638   GST_DEBUG_OBJECT (ffmpegdec, "picture: opaque %p",
1639       ffmpegdec->picture->opaque);
1640   GST_DEBUG_OBJECT (ffmpegdec, "picture: reordered opaque %" G_GUINT64_FORMAT,
1641       (guint64) ffmpegdec->picture->reordered_opaque);
1642   GST_DEBUG_OBJECT (ffmpegdec, "repeat_pict:%d",
1643       ffmpegdec->picture->repeat_pict);
1644   GST_DEBUG_OBJECT (ffmpegdec, "corrupted frame: %d",
1645       ! !(ffmpegdec->picture->flags & AV_FRAME_FLAG_CORRUPT));
1646
1647   if (!gst_ffmpegviddec_negotiate (ffmpegdec, ffmpegdec->context,
1648           ffmpegdec->picture))
1649     goto negotiation_error;
1650
1651   pool = gst_video_decoder_get_buffer_pool (GST_VIDEO_DECODER (ffmpegdec));
1652   if (G_UNLIKELY (out_frame->output_buffer == NULL)) {
1653     *ret = get_output_buffer (ffmpegdec, out_frame);
1654   } else if (G_UNLIKELY (out_frame->output_buffer->pool != pool)) {
1655     GstBuffer *tmp = out_frame->output_buffer;
1656     out_frame->output_buffer = NULL;
1657     *ret = get_output_buffer (ffmpegdec, out_frame);
1658     gst_buffer_unref (tmp);
1659   }
1660 #ifndef G_DISABLE_ASSERT
1661   else {
1662     GstVideoMeta *vmeta = gst_buffer_get_video_meta (out_frame->output_buffer);
1663     if (vmeta) {
1664       GstVideoInfo *info = &ffmpegdec->output_state->info;
1665       g_assert ((gint) vmeta->width == GST_VIDEO_INFO_WIDTH (info));
1666       g_assert ((gint) vmeta->height == GST_VIDEO_INFO_HEIGHT (info));
1667     }
1668   }
1669 #endif
1670   gst_object_unref (pool);
1671
1672   if (G_UNLIKELY (*ret != GST_FLOW_OK))
1673     goto no_output;
1674
1675   /* Mark corrupted frames as corrupted */
1676   if (ffmpegdec->picture->flags & AV_FRAME_FLAG_CORRUPT)
1677     GST_BUFFER_FLAG_SET (out_frame->output_buffer, GST_BUFFER_FLAG_CORRUPTED);
1678
1679   if (ffmpegdec->pic_interlaced) {
1680     /* set interlaced flags */
1681     if (ffmpegdec->picture->repeat_pict)
1682       GST_BUFFER_FLAG_SET (out_frame->output_buffer, GST_VIDEO_BUFFER_FLAG_RFF);
1683     if (ffmpegdec->picture->top_field_first)
1684       GST_BUFFER_FLAG_SET (out_frame->output_buffer, GST_VIDEO_BUFFER_FLAG_TFF);
1685     if (ffmpegdec->picture->interlaced_frame)
1686       GST_BUFFER_FLAG_SET (out_frame->output_buffer,
1687           GST_VIDEO_BUFFER_FLAG_INTERLACED);
1688   }
1689
1690   {
1691     AVFrameSideData *side_data =
1692         av_frame_get_side_data (ffmpegdec->picture, AV_FRAME_DATA_A53_CC);
1693     if (side_data) {
1694       GstVideoCaptionMeta *cc_meta = NULL;
1695       gpointer iter = NULL;
1696       gboolean found_708_raw_meta = FALSE;
1697
1698       GST_LOG_OBJECT (ffmpegdec,
1699           "Found CC side data of type AV_FRAME_DATA_A53_CC, size %d",
1700           side_data->size);
1701       GST_MEMDUMP ("A53 CC", side_data->data, side_data->size);
1702
1703       while ((cc_meta = (GstVideoCaptionMeta *)
1704               gst_buffer_iterate_meta_filtered (out_frame->input_buffer, &iter,
1705                   GST_VIDEO_CAPTION_META_API_TYPE))) {
1706         if (cc_meta->caption_type != GST_VIDEO_CAPTION_TYPE_CEA708_RAW)
1707           continue;
1708         found_708_raw_meta = TRUE;
1709         break;
1710       }
1711
1712       /* do not add CEA 708 caption meta if it already exists */
1713       if (!found_708_raw_meta) {
1714         out_frame->output_buffer =
1715             gst_buffer_make_writable (out_frame->output_buffer);
1716         gst_buffer_add_video_caption_meta (out_frame->output_buffer,
1717             GST_VIDEO_CAPTION_TYPE_CEA708_RAW, side_data->data,
1718             side_data->size);
1719       } else {
1720         GST_LOG_OBJECT (ffmpegdec,
1721             "CEA 708 caption meta already exists: will not add new caption meta");
1722       }
1723     }
1724   }
1725
1726   /* cleaning time */
1727   /* so we decoded this frame, frames preceding it in decoding order
1728    * that still do not have a buffer allocated seem rather useless,
1729    * and can be discarded, due to e.g. misparsed bogus frame
1730    * or non-keyframe in skipped decoding, ...
1731    * In any case, not likely to be seen again, so discard those,
1732    * before they pile up and/or mess with timestamping */
1733   {
1734     GList *l, *ol;
1735     GstVideoDecoder *dec = GST_VIDEO_DECODER (ffmpegdec);
1736     gboolean old = TRUE;
1737
1738     ol = l = gst_video_decoder_get_frames (dec);
1739     while (l) {
1740       GstVideoCodecFrame *tmp = l->data;
1741
1742       if (tmp == frame)
1743         old = FALSE;
1744
1745       if (old && GST_VIDEO_CODEC_FRAME_IS_DECODE_ONLY (tmp)) {
1746         GST_LOG_OBJECT (dec,
1747             "discarding ghost frame %p (#%d) PTS:%" GST_TIME_FORMAT " DTS:%"
1748             GST_TIME_FORMAT, tmp, tmp->system_frame_number,
1749             GST_TIME_ARGS (tmp->pts), GST_TIME_ARGS (tmp->dts));
1750         /* drop extra ref and remove from frame list */
1751         gst_video_decoder_release_frame (dec, tmp);
1752       } else {
1753         /* drop extra ref we got */
1754         gst_video_codec_frame_unref (tmp);
1755       }
1756       l = l->next;
1757     }
1758     g_list_free (ol);
1759   }
1760
1761   av_frame_unref (ffmpegdec->picture);
1762
1763   /* FIXME: Ideally we would remap the buffer read-only now before pushing but
1764    * libav might still have a reference to it!
1765    */
1766   *ret =
1767       gst_video_decoder_finish_frame (GST_VIDEO_DECODER (ffmpegdec), out_frame);
1768
1769 beach:
1770   GST_DEBUG_OBJECT (ffmpegdec, "return flow %s, got frame: %d",
1771       gst_flow_get_name (*ret), got_frame);
1772   return got_frame;
1773
1774   /* special cases */
1775 no_output:
1776   {
1777     GST_DEBUG_OBJECT (ffmpegdec, "no output buffer");
1778     gst_video_decoder_drop_frame (GST_VIDEO_DECODER (ffmpegdec), out_frame);
1779     goto beach;
1780   }
1781
1782 negotiation_error:
1783   {
1784     if (GST_PAD_IS_FLUSHING (GST_VIDEO_DECODER_SRC_PAD (ffmpegdec))) {
1785       *ret = GST_FLOW_FLUSHING;
1786       goto beach;
1787     }
1788     GST_WARNING_OBJECT (ffmpegdec, "Error negotiating format");
1789     *ret = GST_FLOW_NOT_NEGOTIATED;
1790     goto beach;
1791   }
1792 }
1793
1794
1795  /* Returns: Whether a frame was decoded */
1796 static gboolean
1797 gst_ffmpegviddec_frame (GstFFMpegVidDec * ffmpegdec, GstVideoCodecFrame * frame,
1798     GstFlowReturn * ret)
1799 {
1800   gboolean got_frame = FALSE;
1801
1802   if (G_UNLIKELY (ffmpegdec->context->codec == NULL))
1803     goto no_codec;
1804
1805   *ret = GST_FLOW_OK;
1806   ffmpegdec->context->frame_number++;
1807
1808   got_frame = gst_ffmpegviddec_video_frame (ffmpegdec, frame, ret);
1809
1810   return got_frame;
1811
1812   /* ERRORS */
1813 no_codec:
1814   {
1815     GST_ERROR_OBJECT (ffmpegdec, "no codec context");
1816     *ret = GST_FLOW_NOT_NEGOTIATED;
1817     return -1;
1818   }
1819 }
1820
1821 static GstFlowReturn
1822 gst_ffmpegviddec_drain (GstVideoDecoder * decoder)
1823 {
1824   GstFFMpegVidDec *ffmpegdec = (GstFFMpegVidDec *) decoder;
1825   GstFlowReturn ret;
1826   gboolean got_frame = FALSE;
1827
1828   if (!ffmpegdec->opened)
1829     return GST_FLOW_OK;
1830
1831   if (avcodec_send_packet (ffmpegdec->context, NULL))
1832     goto send_packet_failed;
1833
1834   do {
1835     got_frame = gst_ffmpegviddec_frame (ffmpegdec, NULL, &ret);
1836   } while (got_frame && ret == GST_FLOW_OK);
1837   avcodec_flush_buffers (ffmpegdec->context);
1838
1839 done:
1840   return GST_FLOW_OK;
1841
1842 send_packet_failed:
1843   GST_WARNING_OBJECT (ffmpegdec, "send packet failed, could not drain decoder");
1844   goto done;
1845 }
1846
1847 static GstFlowReturn
1848 gst_ffmpegviddec_handle_frame (GstVideoDecoder * decoder,
1849     GstVideoCodecFrame * frame)
1850 {
1851   GstFFMpegVidDec *ffmpegdec = (GstFFMpegVidDec *) decoder;
1852   guint8 *data;
1853   gint size;
1854   gboolean got_frame;
1855   GstMapInfo minfo;
1856   GstFlowReturn ret = GST_FLOW_OK;
1857   AVPacket packet;
1858
1859   GST_LOG_OBJECT (ffmpegdec,
1860       "Received new data of size %" G_GSIZE_FORMAT ", dts %" GST_TIME_FORMAT
1861       ", pts:%" GST_TIME_FORMAT ", dur:%" GST_TIME_FORMAT,
1862       gst_buffer_get_size (frame->input_buffer), GST_TIME_ARGS (frame->dts),
1863       GST_TIME_ARGS (frame->pts), GST_TIME_ARGS (frame->duration));
1864
1865   if (!gst_buffer_map (frame->input_buffer, &minfo, GST_MAP_READ)) {
1866     GST_ELEMENT_ERROR (ffmpegdec, STREAM, DECODE, ("Decoding problem"),
1867         ("Failed to map buffer for reading"));
1868     return GST_FLOW_ERROR;
1869   }
1870
1871   /* treat frame as void until a buffer is requested for it */
1872   GST_VIDEO_CODEC_FRAME_FLAG_SET (frame,
1873       GST_VIDEO_CODEC_FRAME_FLAG_DECODE_ONLY);
1874
1875   data = minfo.data;
1876   size = minfo.size;
1877
1878   if (size > 0 && (!GST_MEMORY_IS_ZERO_PADDED (minfo.memory)
1879           || (minfo.maxsize - minfo.size) < AV_INPUT_BUFFER_PADDING_SIZE)) {
1880     /* add padding */
1881     if (ffmpegdec->padded_size < size + AV_INPUT_BUFFER_PADDING_SIZE) {
1882       ffmpegdec->padded_size = size + AV_INPUT_BUFFER_PADDING_SIZE;
1883       ffmpegdec->padded = g_realloc (ffmpegdec->padded, ffmpegdec->padded_size);
1884       GST_LOG_OBJECT (ffmpegdec, "resized padding buffer to %d",
1885           ffmpegdec->padded_size);
1886     }
1887     GST_CAT_TRACE_OBJECT (GST_CAT_PERFORMANCE, ffmpegdec,
1888         "Copy input to add padding");
1889     memcpy (ffmpegdec->padded, data, size);
1890     memset (ffmpegdec->padded + size, 0, AV_INPUT_BUFFER_PADDING_SIZE);
1891
1892     data = ffmpegdec->padded;
1893   }
1894
1895   /* now decode the frame */
1896   gst_avpacket_init (&packet, data, size);
1897
1898   if (ffmpegdec->palette) {
1899     guint8 *pal;
1900
1901     pal = av_packet_new_side_data (&packet, AV_PKT_DATA_PALETTE,
1902         AVPALETTE_SIZE);
1903     gst_buffer_extract (ffmpegdec->palette, 0, pal, AVPALETTE_SIZE);
1904     GST_DEBUG_OBJECT (ffmpegdec, "copy pal %p %p", &packet, pal);
1905   }
1906
1907   if (!packet.size)
1908     goto done;
1909
1910   /* save reference to the timing info */
1911   ffmpegdec->context->reordered_opaque = (gint64) frame->system_frame_number;
1912   ffmpegdec->picture->reordered_opaque = (gint64) frame->system_frame_number;
1913
1914   GST_DEBUG_OBJECT (ffmpegdec, "stored opaque values idx %d",
1915       frame->system_frame_number);
1916
1917   /* This might call into get_buffer() from another thread,
1918    * which would cause a deadlock. Release the lock here
1919    * and taking it again later seems safe
1920    * See https://bugzilla.gnome.org/show_bug.cgi?id=726020
1921    */
1922   GST_VIDEO_DECODER_STREAM_UNLOCK (ffmpegdec);
1923   if (avcodec_send_packet (ffmpegdec->context, &packet) < 0) {
1924     GST_VIDEO_DECODER_STREAM_LOCK (ffmpegdec);
1925     goto send_packet_failed;
1926   }
1927   GST_VIDEO_DECODER_STREAM_LOCK (ffmpegdec);
1928
1929   do {
1930     /* decode a frame of audio/video now */
1931     got_frame = gst_ffmpegviddec_frame (ffmpegdec, frame, &ret);
1932
1933     if (ret != GST_FLOW_OK) {
1934       GST_LOG_OBJECT (ffmpegdec, "breaking because of flow ret %s",
1935           gst_flow_get_name (ret));
1936       break;
1937     }
1938   } while (got_frame);
1939
1940 done:
1941   gst_buffer_unmap (frame->input_buffer, &minfo);
1942   gst_video_codec_frame_unref (frame);
1943
1944   return ret;
1945
1946 send_packet_failed:
1947   {
1948     GST_WARNING_OBJECT (ffmpegdec, "Failed to send data for decoding");
1949     goto done;
1950   }
1951 }
1952
1953 static gboolean
1954 gst_ffmpegviddec_start (GstVideoDecoder * decoder)
1955 {
1956   GstFFMpegVidDec *ffmpegdec = (GstFFMpegVidDec *) decoder;
1957   GstFFMpegVidDecClass *oclass;
1958
1959   oclass = (GstFFMpegVidDecClass *) (G_OBJECT_GET_CLASS (ffmpegdec));
1960
1961   GST_OBJECT_LOCK (ffmpegdec);
1962   gst_ffmpeg_avcodec_close (ffmpegdec->context);
1963   if (avcodec_get_context_defaults3 (ffmpegdec->context, oclass->in_plugin) < 0) {
1964     GST_DEBUG_OBJECT (ffmpegdec, "Failed to set context defaults");
1965     GST_OBJECT_UNLOCK (ffmpegdec);
1966     return FALSE;
1967   }
1968   ffmpegdec->context->opaque = ffmpegdec;
1969   GST_OBJECT_UNLOCK (ffmpegdec);
1970
1971   return TRUE;
1972 }
1973
1974 static gboolean
1975 gst_ffmpegviddec_stop (GstVideoDecoder * decoder)
1976 {
1977   GstFFMpegVidDec *ffmpegdec = (GstFFMpegVidDec *) decoder;
1978
1979   GST_OBJECT_LOCK (ffmpegdec);
1980   gst_ffmpegviddec_close (ffmpegdec, FALSE);
1981   GST_OBJECT_UNLOCK (ffmpegdec);
1982   g_free (ffmpegdec->padded);
1983   ffmpegdec->padded = NULL;
1984   ffmpegdec->padded_size = 0;
1985   if (ffmpegdec->input_state)
1986     gst_video_codec_state_unref (ffmpegdec->input_state);
1987   ffmpegdec->input_state = NULL;
1988   if (ffmpegdec->output_state)
1989     gst_video_codec_state_unref (ffmpegdec->output_state);
1990   ffmpegdec->output_state = NULL;
1991
1992   if (ffmpegdec->internal_pool)
1993     gst_object_unref (ffmpegdec->internal_pool);
1994   ffmpegdec->internal_pool = NULL;
1995
1996   ffmpegdec->pic_pix_fmt = 0;
1997   ffmpegdec->pic_width = 0;
1998   ffmpegdec->pic_height = 0;
1999   ffmpegdec->pic_par_n = 0;
2000   ffmpegdec->pic_par_d = 0;
2001   ffmpegdec->pic_interlaced = 0;
2002   ffmpegdec->pic_field_order = 0;
2003   ffmpegdec->pic_field_order_changed = FALSE;
2004   ffmpegdec->ctx_ticks = 0;
2005   ffmpegdec->ctx_time_n = 0;
2006   ffmpegdec->ctx_time_d = 0;
2007
2008   ffmpegdec->pool_width = 0;
2009   ffmpegdec->pool_height = 0;
2010   ffmpegdec->pool_format = 0;
2011
2012   return TRUE;
2013 }
2014
2015 static GstFlowReturn
2016 gst_ffmpegviddec_finish (GstVideoDecoder * decoder)
2017 {
2018   gst_ffmpegviddec_drain (decoder);
2019   /* note that finish can and should clean up more drastically,
2020    * but drain is also invoked on e.g. packet loss in GAP handling */
2021   gst_ffmpegviddec_flush (decoder);
2022
2023   return GST_FLOW_OK;
2024 }
2025
2026 static gboolean
2027 gst_ffmpegviddec_flush (GstVideoDecoder * decoder)
2028 {
2029   GstFFMpegVidDec *ffmpegdec = (GstFFMpegVidDec *) decoder;
2030
2031   if (ffmpegdec->opened) {
2032     GST_LOG_OBJECT (decoder, "flushing buffers");
2033     avcodec_flush_buffers (ffmpegdec->context);
2034   }
2035
2036   return TRUE;
2037 }
2038
2039 static gboolean
2040 gst_ffmpegviddec_decide_allocation (GstVideoDecoder * decoder, GstQuery * query)
2041 {
2042   GstFFMpegVidDec *ffmpegdec = (GstFFMpegVidDec *) decoder;
2043   GstVideoCodecState *state;
2044   GstBufferPool *pool;
2045   guint size, min, max;
2046   GstStructure *config;
2047   gboolean have_pool, have_videometa, have_alignment, update_pool = FALSE;
2048   GstAllocator *allocator = NULL;
2049   GstAllocationParams params = DEFAULT_ALLOC_PARAM;
2050
2051   have_pool = (gst_query_get_n_allocation_pools (query) != 0);
2052
2053   if (!GST_VIDEO_DECODER_CLASS (parent_class)->decide_allocation (decoder,
2054           query))
2055     return FALSE;
2056
2057   state = gst_video_decoder_get_output_state (decoder);
2058
2059   if (gst_query_get_n_allocation_params (query) > 0) {
2060     gst_query_parse_nth_allocation_param (query, 0, &allocator, &params);
2061     params.align = MAX (params.align, DEFAULT_STRIDE_ALIGN);
2062   } else {
2063     gst_query_add_allocation_param (query, allocator, &params);
2064   }
2065
2066   gst_query_parse_nth_allocation_pool (query, 0, &pool, &size, &min, &max);
2067
2068   /* Don't use pool that can't grow, as we don't know how many buffer we'll
2069    * need, otherwise we may stall */
2070   if (max != 0 && max < REQUIRED_POOL_MAX_BUFFERS) {
2071     gst_object_unref (pool);
2072     pool = gst_video_buffer_pool_new ();
2073     max = 0;
2074     update_pool = TRUE;
2075     have_pool = FALSE;
2076
2077     /* if there is an allocator, also drop it, as it might be the reason we
2078      * have this limit. Default will be used */
2079     if (allocator) {
2080       gst_object_unref (allocator);
2081       allocator = NULL;
2082     }
2083   }
2084
2085   config = gst_buffer_pool_get_config (pool);
2086   gst_buffer_pool_config_set_params (config, state->caps, size, min, max);
2087   gst_buffer_pool_config_set_allocator (config, allocator, &params);
2088
2089   have_videometa =
2090       gst_query_find_allocation_meta (query, GST_VIDEO_META_API_TYPE, NULL);
2091
2092   if (have_videometa)
2093     gst_buffer_pool_config_add_option (config,
2094         GST_BUFFER_POOL_OPTION_VIDEO_META);
2095
2096   have_alignment =
2097       gst_buffer_pool_has_option (pool, GST_BUFFER_POOL_OPTION_VIDEO_ALIGNMENT);
2098
2099   /* If we have videometa, we never have to copy */
2100   if (have_videometa && have_pool && have_alignment &&
2101       gst_ffmpegviddec_can_direct_render (ffmpegdec)) {
2102     GstStructure *config_copy = gst_structure_copy (config);
2103
2104     gst_ffmpegvideodec_prepare_dr_pool (ffmpegdec, pool, &state->info,
2105         config_copy);
2106
2107     /* FIXME validate and retry */
2108     if (gst_buffer_pool_set_config (pool, config_copy)) {
2109       GstFlowReturn ret;
2110       GstBuffer *tmp;
2111
2112       gst_buffer_pool_set_active (pool, TRUE);
2113       ret = gst_buffer_pool_acquire_buffer (pool, &tmp, NULL);
2114       if (ret == GST_FLOW_OK) {
2115         GstVideoMeta *vmeta = gst_buffer_get_video_meta (tmp);
2116         gboolean same_stride = TRUE;
2117         guint i;
2118
2119         for (i = 0; i < vmeta->n_planes; i++) {
2120           if (vmeta->stride[i] != ffmpegdec->stride[i]) {
2121             same_stride = FALSE;
2122             break;
2123           }
2124         }
2125
2126         gst_buffer_unref (tmp);
2127
2128         if (same_stride) {
2129           if (ffmpegdec->internal_pool)
2130             gst_object_unref (ffmpegdec->internal_pool);
2131           ffmpegdec->internal_pool = gst_object_ref (pool);
2132           ffmpegdec->pool_info = state->info;
2133           gst_structure_free (config);
2134           goto done;
2135         }
2136       }
2137     }
2138   }
2139
2140   if (have_videometa && ffmpegdec->internal_pool
2141       && ffmpegdec->pool_width == state->info.width
2142       && ffmpegdec->pool_height == state->info.height) {
2143     update_pool = TRUE;
2144     gst_object_unref (pool);
2145     pool = gst_object_ref (ffmpegdec->internal_pool);
2146     gst_structure_free (config);
2147     goto done;
2148   }
2149
2150   /* configure */
2151   if (!gst_buffer_pool_set_config (pool, config)) {
2152     gboolean working_pool = FALSE;
2153     config = gst_buffer_pool_get_config (pool);
2154
2155     if (gst_buffer_pool_config_validate_params (config, state->caps, size, min,
2156             max)) {
2157       working_pool = gst_buffer_pool_set_config (pool, config);
2158     } else {
2159       gst_structure_free (config);
2160     }
2161
2162     if (!working_pool) {
2163       gst_object_unref (pool);
2164       pool = gst_video_buffer_pool_new ();
2165       config = gst_buffer_pool_get_config (pool);
2166       gst_buffer_pool_config_set_params (config, state->caps, size, min, max);
2167       gst_buffer_pool_config_set_allocator (config, NULL, &params);
2168       gst_buffer_pool_set_config (pool, config);
2169       update_pool = TRUE;
2170     }
2171   }
2172
2173 done:
2174   /* and store */
2175   if (update_pool)
2176     gst_query_set_nth_allocation_pool (query, 0, pool, size, min, max);
2177
2178   gst_object_unref (pool);
2179   if (allocator)
2180     gst_object_unref (allocator);
2181   gst_video_codec_state_unref (state);
2182
2183   return TRUE;
2184 }
2185
2186 static gboolean
2187 gst_ffmpegviddec_propose_allocation (GstVideoDecoder * decoder,
2188     GstQuery * query)
2189 {
2190   GstAllocationParams params;
2191
2192   gst_allocation_params_init (&params);
2193   params.flags = GST_MEMORY_FLAG_ZERO_PADDED;
2194   params.align = DEFAULT_STRIDE_ALIGN;
2195   params.padding = AV_INPUT_BUFFER_PADDING_SIZE;
2196   /* we would like to have some padding so that we don't have to
2197    * memcpy. We don't suggest an allocator. */
2198   gst_query_add_allocation_param (query, NULL, &params);
2199
2200   return GST_VIDEO_DECODER_CLASS (parent_class)->propose_allocation (decoder,
2201       query);
2202 }
2203
2204 static void
2205 gst_ffmpegviddec_set_property (GObject * object,
2206     guint prop_id, const GValue * value, GParamSpec * pspec)
2207 {
2208   GstFFMpegVidDec *ffmpegdec = (GstFFMpegVidDec *) object;
2209
2210   switch (prop_id) {
2211     case PROP_LOWRES:
2212       ffmpegdec->lowres = ffmpegdec->context->lowres = g_value_get_enum (value);
2213       break;
2214     case PROP_SKIPFRAME:
2215       ffmpegdec->skip_frame = ffmpegdec->context->skip_frame =
2216           g_value_get_enum (value);
2217       break;
2218     case PROP_DIRECT_RENDERING:
2219       ffmpegdec->direct_rendering = g_value_get_boolean (value);
2220       break;
2221     case PROP_DEBUG_MV:
2222       ffmpegdec->debug_mv = ffmpegdec->context->debug_mv =
2223           g_value_get_boolean (value);
2224       break;
2225     case PROP_MAX_THREADS:
2226       ffmpegdec->max_threads = g_value_get_int (value);
2227       break;
2228     case PROP_OUTPUT_CORRUPT:
2229       ffmpegdec->output_corrupt = g_value_get_boolean (value);
2230       break;
2231     case PROP_THREAD_TYPE:
2232       ffmpegdec->thread_type = g_value_get_flags (value);
2233       break;
2234     default:
2235       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
2236       break;
2237   }
2238 }
2239
2240 static void
2241 gst_ffmpegviddec_get_property (GObject * object,
2242     guint prop_id, GValue * value, GParamSpec * pspec)
2243 {
2244   GstFFMpegVidDec *ffmpegdec = (GstFFMpegVidDec *) object;
2245
2246   switch (prop_id) {
2247     case PROP_LOWRES:
2248       g_value_set_enum (value, ffmpegdec->context->lowres);
2249       break;
2250     case PROP_SKIPFRAME:
2251       g_value_set_enum (value, ffmpegdec->context->skip_frame);
2252       break;
2253     case PROP_DIRECT_RENDERING:
2254       g_value_set_boolean (value, ffmpegdec->direct_rendering);
2255       break;
2256     case PROP_DEBUG_MV:
2257       g_value_set_boolean (value, ffmpegdec->context->debug_mv);
2258       break;
2259     case PROP_MAX_THREADS:
2260       g_value_set_int (value, ffmpegdec->max_threads);
2261       break;
2262     case PROP_OUTPUT_CORRUPT:
2263       g_value_set_boolean (value, ffmpegdec->output_corrupt);
2264       break;
2265     case PROP_THREAD_TYPE:
2266       g_value_set_flags (value, ffmpegdec->thread_type);
2267       break;
2268     default:
2269       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
2270       break;
2271   }
2272 }
2273
2274 gboolean
2275 gst_ffmpegviddec_register (GstPlugin * plugin)
2276 {
2277   GTypeInfo typeinfo = {
2278     sizeof (GstFFMpegVidDecClass),
2279     (GBaseInitFunc) gst_ffmpegviddec_base_init,
2280     NULL,
2281     (GClassInitFunc) gst_ffmpegviddec_class_init,
2282     NULL,
2283     NULL,
2284     sizeof (GstFFMpegVidDec),
2285     0,
2286     (GInstanceInitFunc) gst_ffmpegviddec_init,
2287   };
2288   GType type;
2289   AVCodec *in_plugin;
2290   gint rank;
2291   void *i = 0;
2292
2293   GST_LOG ("Registering decoders");
2294
2295   while ((in_plugin = (AVCodec *) av_codec_iterate (&i))) {
2296     gchar *type_name;
2297     gchar *plugin_name;
2298
2299     /* only video decoders */
2300     if (!av_codec_is_decoder (in_plugin)
2301         || in_plugin->type != AVMEDIA_TYPE_VIDEO)
2302       continue;
2303
2304     /* no quasi codecs, please */
2305     if (in_plugin->id == AV_CODEC_ID_RAWVIDEO ||
2306         in_plugin->id == AV_CODEC_ID_V210 ||
2307         in_plugin->id == AV_CODEC_ID_V210X ||
2308         in_plugin->id == AV_CODEC_ID_V308 ||
2309         in_plugin->id == AV_CODEC_ID_V408 ||
2310         in_plugin->id == AV_CODEC_ID_V410 ||
2311         in_plugin->id == AV_CODEC_ID_R210
2312         || in_plugin->id == AV_CODEC_ID_AYUV
2313         || in_plugin->id == AV_CODEC_ID_Y41P
2314         || in_plugin->id == AV_CODEC_ID_012V
2315         || in_plugin->id == AV_CODEC_ID_YUV4
2316 #if AV_VERSION_INT (LIBAVCODEC_VERSION_MAJOR, LIBAVCODEC_VERSION_MINOR, LIBAVCODEC_VERSION_MICRO) >= \
2317         AV_VERSION_INT (57,4,0)
2318         || in_plugin->id == AV_CODEC_ID_WRAPPED_AVFRAME
2319 #endif
2320         || in_plugin->id == AV_CODEC_ID_ZLIB) {
2321       continue;
2322     }
2323
2324     /* No decoders depending on external libraries (we don't build them, but
2325      * people who build against an external ffmpeg might have them.
2326      * We have native gstreamer plugins for all of those libraries anyway. */
2327     if (!strncmp (in_plugin->name, "lib", 3)) {
2328       GST_DEBUG
2329           ("Not using external library decoder %s. Use the gstreamer-native ones instead.",
2330           in_plugin->name);
2331       continue;
2332     }
2333
2334     /* Skip hardware or hybrid (hardware with software fallback) */
2335     if ((in_plugin->capabilities & AV_CODEC_CAP_HARDWARE) ==
2336         AV_CODEC_CAP_HARDWARE) {
2337       GST_DEBUG
2338           ("Ignoring hardware decoder %s. We can't handle this outside of ffmpeg",
2339           in_plugin->name);
2340       continue;
2341     }
2342
2343     if ((in_plugin->capabilities & AV_CODEC_CAP_HYBRID) == AV_CODEC_CAP_HYBRID) {
2344       GST_DEBUG
2345           ("Ignoring hybrid decoder %s. We can't handle this outside of ffmpeg",
2346           in_plugin->name);
2347       continue;
2348     }
2349
2350     /* No vdpau plugins until we can figure out how to properly use them
2351      * outside of ffmpeg. */
2352     if (g_str_has_suffix (in_plugin->name, "_vdpau")) {
2353       GST_DEBUG
2354           ("Ignoring VDPAU decoder %s. We can't handle this outside of ffmpeg",
2355           in_plugin->name);
2356       continue;
2357     }
2358
2359     if (g_str_has_suffix (in_plugin->name, "_xvmc")) {
2360       GST_DEBUG
2361           ("Ignoring XVMC decoder %s. We can't handle this outside of ffmpeg",
2362           in_plugin->name);
2363       continue;
2364     }
2365
2366     if (strstr (in_plugin->name, "vaapi")) {
2367       GST_DEBUG
2368           ("Ignoring VAAPI decoder %s. We can't handle this outside of ffmpeg",
2369           in_plugin->name);
2370       continue;
2371     }
2372
2373     if (g_str_has_suffix (in_plugin->name, "_qsv")) {
2374       GST_DEBUG
2375           ("Ignoring qsv decoder %s. We can't handle this outside of ffmpeg",
2376           in_plugin->name);
2377       continue;
2378     }
2379
2380     GST_DEBUG ("Trying plugin %s [%s]", in_plugin->name, in_plugin->long_name);
2381
2382     /* no codecs for which we're GUARANTEED to have better alternatives */
2383     /* MPEG1VIDEO : the mpeg2video decoder is preferred */
2384     /* MP1 : Use MP3 for decoding */
2385     /* MP2 : Use MP3 for decoding */
2386     /* Theora: Use libtheora based theoradec */
2387     /* CDG: use cdgdec */
2388     if (!strcmp (in_plugin->name, "theora") ||
2389         !strcmp (in_plugin->name, "mpeg1video") ||
2390         strstr (in_plugin->name, "crystalhd") != NULL ||
2391         !strcmp (in_plugin->name, "ass") ||
2392         !strcmp (in_plugin->name, "srt") ||
2393         !strcmp (in_plugin->name, "pgssub") ||
2394         !strcmp (in_plugin->name, "dvdsub") ||
2395         !strcmp (in_plugin->name, "dvbsub") ||
2396         !strcmp (in_plugin->name, "cdgraphics")) {
2397       GST_LOG ("Ignoring decoder %s", in_plugin->name);
2398       continue;
2399     }
2400
2401     /* construct the type */
2402     if (!strcmp (in_plugin->name, "hevc")) {
2403       plugin_name = g_strdup ("h265");
2404     } else {
2405       plugin_name = g_strdup ((gchar *) in_plugin->name);
2406     }
2407     g_strdelimit (plugin_name, NULL, '_');
2408     type_name = g_strdup_printf ("avdec_%s", plugin_name);
2409     g_free (plugin_name);
2410
2411     type = g_type_from_name (type_name);
2412
2413     if (!type) {
2414       /* create the gtype now */
2415       type =
2416           g_type_register_static (GST_TYPE_VIDEO_DECODER, type_name, &typeinfo,
2417           0);
2418       g_type_set_qdata (type, GST_FFDEC_PARAMS_QDATA, (gpointer) in_plugin);
2419     }
2420
2421     /* (Ronald) MPEG-4 gets a higher priority because it has been well-
2422      * tested and by far outperforms divxdec/xviddec - so we prefer it.
2423      * msmpeg4v3 same, as it outperforms divxdec for divx3 playback.
2424      * VC1/WMV3 are not working and thus unpreferred for now. */
2425     switch (in_plugin->id) {
2426       case AV_CODEC_ID_MPEG1VIDEO:
2427       case AV_CODEC_ID_MPEG2VIDEO:
2428       case AV_CODEC_ID_MPEG4:
2429       case AV_CODEC_ID_MSMPEG4V3:
2430       case AV_CODEC_ID_H264:
2431       case AV_CODEC_ID_HEVC:
2432       case AV_CODEC_ID_RV10:
2433       case AV_CODEC_ID_RV20:
2434       case AV_CODEC_ID_RV30:
2435       case AV_CODEC_ID_RV40:
2436         rank = GST_RANK_PRIMARY;
2437         break;
2438         /* DVVIDEO: we have a good dv decoder, fast on both ppc as well as x86.
2439          * They say libdv's quality is better though. leave as secondary.
2440          * note: if you change this, see the code in gstdv.c in good/ext/dv.
2441          */
2442       case AV_CODEC_ID_DVVIDEO:
2443         rank = GST_RANK_SECONDARY;
2444         break;
2445       default:
2446         rank = GST_RANK_MARGINAL;
2447         break;
2448     }
2449     if (!gst_element_register (plugin, type_name, rank, type)) {
2450       g_warning ("Failed to register %s", type_name);
2451       g_free (type_name);
2452       return FALSE;
2453     }
2454
2455     g_free (type_name);
2456   }
2457
2458   GST_LOG ("Finished Registering decoders");
2459
2460   return TRUE;
2461 }