ext/libav/gstavviddec.c

   1 /* GStreamer
   2  * Copyright (C) <1999> Erik Walthinsen <omega@cse.ogi.edu>
   3  *
   4  * This library is free software; you can redistribute it and/or
   5  * modify it under the terms of the GNU Library General Public
   6  * License as published by the Free Software Foundation; either
   7  * version 2 of the License, or (at your option) any later version.
   8  *
   9  * This library is distributed in the hope that it will be useful,
  10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  12  * Library General Public License for more details.
  13  *
  14  * You should have received a copy of the GNU Library General Public
  15  * License along with this library; if not, write to the
  16  * Free Software Foundation, Inc., 51 Franklin St, Fifth Floor,
  17  * Boston, MA 02110-1301, USA.
  18  */
  19
  20 #ifdef HAVE_CONFIG_H
  21 #include "config.h"
  22 #endif
  23
  24 #include <assert.h>
  25 #include <string.h>
  26
  27 #include <libavcodec/avcodec.h>
  28
  29 #include <gst/gst.h>
  30 #include <gst/video/video.h>
  31 #include <gst/video/gstvideodecoder.h>
  32 #include <gst/video/gstvideometa.h>
  33 #include <gst/video/gstvideopool.h>
  34
  35 #include "gstav.h"
  36 #include "gstavcodecmap.h"
  37 #include "gstavutils.h"
  38 #include "gstavviddec.h"
  39
  40 GST_DEBUG_CATEGORY_EXTERN (GST_CAT_PERFORMANCE);
  41
  42 #define MAX_TS_MASK 0xff
  43
  44 #define DEFAULT_LOWRES                  0
  45 #define DEFAULT_SKIPFRAME               0
  46 #define DEFAULT_DIRECT_RENDERING        TRUE
  47 #define DEFAULT_DEBUG_MV                FALSE
  48 #define DEFAULT_MAX_THREADS             0
  49 #define DEFAULT_OUTPUT_CORRUPT          TRUE
  50 #define REQUIRED_POOL_MAX_BUFFERS       32
  51
  52 enum
  53 {
  54   PROP_0,
  55   PROP_LOWRES,
  56   PROP_SKIPFRAME,
  57   PROP_DIRECT_RENDERING,
  58   PROP_DEBUG_MV,
  59   PROP_MAX_THREADS,
  60   PROP_OUTPUT_CORRUPT,
  61   PROP_LAST
  62 };
  63
  64 /* A number of function prototypes are given so we can refer to them later. */
  65 static void gst_ffmpegviddec_base_init (GstFFMpegVidDecClass * klass);
  66 static void gst_ffmpegviddec_class_init (GstFFMpegVidDecClass * klass);
  67 static void gst_ffmpegviddec_init (GstFFMpegVidDec * ffmpegdec);
  68 static void gst_ffmpegviddec_finalize (GObject * object);
  69
  70 static gboolean gst_ffmpegviddec_set_format (GstVideoDecoder * decoder,
  71     GstVideoCodecState * state);
  72 static GstFlowReturn gst_ffmpegviddec_handle_frame (GstVideoDecoder * decoder,
  73     GstVideoCodecFrame * frame);
  74 static gboolean gst_ffmpegviddec_start (GstVideoDecoder * decoder);
  75 static gboolean gst_ffmpegviddec_stop (GstVideoDecoder * decoder);
  76 static gboolean gst_ffmpegviddec_flush (GstVideoDecoder * decoder);
  77 static gboolean gst_ffmpegviddec_decide_allocation (GstVideoDecoder * decoder,
  78     GstQuery * query);
  79 static gboolean gst_ffmpegviddec_propose_allocation (GstVideoDecoder * decoder,
  80     GstQuery * query);
  81
  82 static void gst_ffmpegviddec_set_property (GObject * object,
  83     guint prop_id, const GValue * value, GParamSpec * pspec);
  84 static void gst_ffmpegviddec_get_property (GObject * object,
  85     guint prop_id, GValue * value, GParamSpec * pspec);
  86
  87 static gboolean gst_ffmpegviddec_negotiate (GstFFMpegVidDec * ffmpegdec,
  88     AVCodecContext * context, AVFrame * picture, gboolean force);
  89
  90 /* some sort of bufferpool handling, but different */
  91 static int gst_ffmpegviddec_get_buffer2 (AVCodecContext * context,
  92     AVFrame * picture, int flags);
  93
  94 static GstFlowReturn gst_ffmpegviddec_finish (GstVideoDecoder * decoder);
  95 static void gst_ffmpegviddec_drain (GstFFMpegVidDec * ffmpegdec);
  96
  97 static gboolean picture_changed (GstFFMpegVidDec * ffmpegdec,
  98     AVFrame * picture);
  99 static gboolean context_changed (GstFFMpegVidDec * ffmpegdec,
 100     AVCodecContext * context);
 101
 102 #define GST_FFDEC_PARAMS_QDATA g_quark_from_static_string("avdec-params")
 103
 104 static GstElementClass *parent_class = NULL;
 105
 106 #define GST_FFMPEGVIDDEC_TYPE_LOWRES (gst_ffmpegviddec_lowres_get_type())
 107 static GType
 108 gst_ffmpegviddec_lowres_get_type (void)
 109 {
 110   static GType ffmpegdec_lowres_type = 0;
 111
 112   if (!ffmpegdec_lowres_type) {
 113     static const GEnumValue ffmpegdec_lowres[] = {
 114       {0, "0", "full"},
 115       {1, "1", "1/2-size"},
 116       {2, "2", "1/4-size"},
 117       {0, NULL, NULL},
 118     };
 119
 120     ffmpegdec_lowres_type =
 121         g_enum_register_static ("GstLibAVVidDecLowres", ffmpegdec_lowres);
 122   }
 123
 124   return ffmpegdec_lowres_type;
 125 }
 126
 127 #define GST_FFMPEGVIDDEC_TYPE_SKIPFRAME (gst_ffmpegviddec_skipframe_get_type())
 128 static GType
 129 gst_ffmpegviddec_skipframe_get_type (void)
 130 {
 131   static GType ffmpegdec_skipframe_type = 0;
 132
 133   if (!ffmpegdec_skipframe_type) {
 134     static const GEnumValue ffmpegdec_skipframe[] = {
 135       {0, "0", "Skip nothing"},
 136       {1, "1", "Skip B-frames"},
 137       {2, "2", "Skip IDCT/Dequantization"},
 138       {5, "5", "Skip everything"},
 139       {0, NULL, NULL},
 140     };
 141
 142     ffmpegdec_skipframe_type =
 143         g_enum_register_static ("GstLibAVVidDecSkipFrame", ffmpegdec_skipframe);
 144   }
 145
 146   return ffmpegdec_skipframe_type;
 147 }
 148
 149 static void
 150 gst_ffmpegviddec_base_init (GstFFMpegVidDecClass * klass)
 151 {
 152   GstElementClass *element_class = GST_ELEMENT_CLASS (klass);
 153   GstPadTemplate *sinktempl, *srctempl;
 154   GstCaps *sinkcaps, *srccaps;
 155   AVCodec *in_plugin;
 156   gchar *longname, *description;
 157
 158   in_plugin =
 159       (AVCodec *) g_type_get_qdata (G_OBJECT_CLASS_TYPE (klass),
 160       GST_FFDEC_PARAMS_QDATA);
 161   g_assert (in_plugin != NULL);
 162
 163   /* construct the element details struct */
 164   longname = g_strdup_printf ("libav %s decoder", in_plugin->long_name);
 165   description = g_strdup_printf ("libav %s decoder", in_plugin->name);
 166   gst_element_class_set_metadata (element_class, longname,
 167       "Codec/Decoder/Video", description,
 168       "Wim Taymans <wim.taymans@gmail.com>, "
 169       "Ronald Bultje <rbultje@ronald.bitfreak.net>, "
 170       "Edward Hervey <bilboed@bilboed.com>");
 171   g_free (longname);
 172   g_free (description);
 173
 174   /* get the caps */
 175   sinkcaps = gst_ffmpeg_codecid_to_caps (in_plugin->id, NULL, FALSE);
 176   if (!sinkcaps) {
 177     GST_DEBUG ("Couldn't get sink caps for decoder '%s'", in_plugin->name);
 178     sinkcaps = gst_caps_new_empty_simple ("unknown/unknown");
 179   }
 180   srccaps = gst_ffmpeg_codectype_to_video_caps (NULL,
 181       in_plugin->id, FALSE, in_plugin);
 182   if (!srccaps) {
 183     GST_DEBUG ("Couldn't get source caps for decoder '%s'", in_plugin->name);
 184     srccaps = gst_caps_from_string ("video/x-raw");
 185   }
 186
 187   /* pad templates */
 188   sinktempl = gst_pad_template_new ("sink", GST_PAD_SINK,
 189       GST_PAD_ALWAYS, sinkcaps);
 190   srctempl = gst_pad_template_new ("src", GST_PAD_SRC, GST_PAD_ALWAYS, srccaps);
 191
 192   gst_element_class_add_pad_template (element_class, srctempl);
 193   gst_element_class_add_pad_template (element_class, sinktempl);
 194
 195   klass->in_plugin = in_plugin;
 196 }
 197
 198 static void
 199 gst_ffmpegviddec_class_init (GstFFMpegVidDecClass * klass)
 200 {
 201   GObjectClass *gobject_class = G_OBJECT_CLASS (klass);
 202   GstVideoDecoderClass *viddec_class = GST_VIDEO_DECODER_CLASS (klass);
 203   int caps;
 204
 205   parent_class = g_type_class_peek_parent (klass);
 206
 207   gobject_class->finalize = gst_ffmpegviddec_finalize;
 208
 209   gobject_class->set_property = gst_ffmpegviddec_set_property;
 210   gobject_class->get_property = gst_ffmpegviddec_get_property;
 211
 212   g_object_class_install_property (gobject_class, PROP_SKIPFRAME,
 213       g_param_spec_enum ("skip-frame", "Skip frames",
 214           "Which types of frames to skip during decoding",
 215           GST_FFMPEGVIDDEC_TYPE_SKIPFRAME, 0,
 216           G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
 217   g_object_class_install_property (gobject_class, PROP_LOWRES,
 218       g_param_spec_enum ("lowres", "Low resolution",
 219           "At which resolution to decode images",
 220           GST_FFMPEGVIDDEC_TYPE_LOWRES, 0,
 221           G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
 222   g_object_class_install_property (gobject_class, PROP_DIRECT_RENDERING,
 223       g_param_spec_boolean ("direct-rendering", "Direct Rendering",
 224           "Enable direct rendering", DEFAULT_DIRECT_RENDERING,
 225           G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
 226   g_object_class_install_property (gobject_class, PROP_DEBUG_MV,
 227       g_param_spec_boolean ("debug-mv", "Debug motion vectors",
 228           "Whether libav should print motion vectors on top of the image",
 229           DEFAULT_DEBUG_MV, G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
 230   g_object_class_install_property (gobject_class, PROP_OUTPUT_CORRUPT,
 231       g_param_spec_boolean ("output-corrupt", "Output corrupt buffers",
 232           "Whether libav should output frames even if corrupted",
 233           DEFAULT_OUTPUT_CORRUPT, G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
 234
 235   caps = klass->in_plugin->capabilities;
 236   if (caps & (CODEC_CAP_FRAME_THREADS | CODEC_CAP_SLICE_THREADS)) {
 237     g_object_class_install_property (G_OBJECT_CLASS (klass), PROP_MAX_THREADS,
 238         g_param_spec_int ("max-threads", "Maximum decode threads",
 239             "Maximum number of worker threads to spawn. (0 = auto)",
 240             0, G_MAXINT, DEFAULT_MAX_THREADS,
 241             G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
 242   }
 243
 244   viddec_class->set_format = gst_ffmpegviddec_set_format;
 245   viddec_class->handle_frame = gst_ffmpegviddec_handle_frame;
 246   viddec_class->start = gst_ffmpegviddec_start;
 247   viddec_class->stop = gst_ffmpegviddec_stop;
 248   viddec_class->flush = gst_ffmpegviddec_flush;
 249   viddec_class->finish = gst_ffmpegviddec_finish;
 250   viddec_class->drain = gst_ffmpegviddec_finish;        /* drain and finish are the same to us */
 251   viddec_class->decide_allocation = gst_ffmpegviddec_decide_allocation;
 252   viddec_class->propose_allocation = gst_ffmpegviddec_propose_allocation;
 253 }
 254
 255 static void
 256 gst_ffmpegviddec_init (GstFFMpegVidDec * ffmpegdec)
 257 {
 258   GstFFMpegVidDecClass *klass =
 259       (GstFFMpegVidDecClass *) G_OBJECT_GET_CLASS (ffmpegdec);
 260
 261   /* some ffmpeg data */
 262   ffmpegdec->context = avcodec_alloc_context3 (klass->in_plugin);
 263   ffmpegdec->context->opaque = ffmpegdec;
 264   ffmpegdec->picture = av_frame_alloc ();
 265   ffmpegdec->opened = FALSE;
 266   ffmpegdec->skip_frame = ffmpegdec->lowres = 0;
 267   ffmpegdec->direct_rendering = DEFAULT_DIRECT_RENDERING;
 268   ffmpegdec->debug_mv = DEFAULT_DEBUG_MV;
 269   ffmpegdec->max_threads = DEFAULT_MAX_THREADS;
 270   ffmpegdec->output_corrupt = DEFAULT_OUTPUT_CORRUPT;
 271
 272   gst_video_decoder_set_needs_format (GST_VIDEO_DECODER (ffmpegdec), TRUE);
 273 }
 274
 275 static void
 276 gst_ffmpegviddec_finalize (GObject * object)
 277 {
 278   GstFFMpegVidDec *ffmpegdec = (GstFFMpegVidDec *) object;
 279
 280   av_frame_free (&ffmpegdec->picture);
 281
 282   if (ffmpegdec->context != NULL) {
 283     gst_ffmpeg_avcodec_close (ffmpegdec->context);
 284     av_free (ffmpegdec->context);
 285     ffmpegdec->context = NULL;
 286   }
 287
 288   G_OBJECT_CLASS (parent_class)->finalize (object);
 289 }
 290
 291 static void
 292 gst_ffmpegviddec_context_set_flags (AVCodecContext * context, guint flags,
 293     gboolean enable)
 294 {
 295   g_return_if_fail (context != NULL);
 296
 297   if (enable)
 298     context->flags |= flags;
 299   else
 300     context->flags &= ~flags;
 301 }
 302
 303 /* with LOCK */
 304 static gboolean
 305 gst_ffmpegviddec_close (GstFFMpegVidDec * ffmpegdec, gboolean reset)
 306 {
 307   GstFFMpegVidDecClass *oclass;
 308   gint i;
 309
 310   oclass = (GstFFMpegVidDecClass *) (G_OBJECT_GET_CLASS (ffmpegdec));
 311
 312   GST_LOG_OBJECT (ffmpegdec, "closing ffmpeg codec");
 313
 314   gst_caps_replace (&ffmpegdec->last_caps, NULL);
 315
 316   gst_ffmpeg_avcodec_close (ffmpegdec->context);
 317   ffmpegdec->opened = FALSE;
 318
 319   for (i = 0; i < G_N_ELEMENTS (ffmpegdec->stride); i++)
 320     ffmpegdec->stride[i] = -1;
 321   ffmpegdec->current_dr = FALSE;
 322
 323   gst_buffer_replace (&ffmpegdec->palette, NULL);
 324
 325   if (ffmpegdec->context->extradata) {
 326     av_free (ffmpegdec->context->extradata);
 327     ffmpegdec->context->extradata = NULL;
 328   }
 329   if (ffmpegdec->context->slice_offset) {
 330     g_free (ffmpegdec->context->slice_offset);
 331     ffmpegdec->context->slice_offset = NULL;
 332   }
 333   if (reset) {
 334     if (avcodec_get_context_defaults3 (ffmpegdec->context,
 335             oclass->in_plugin) < 0) {
 336       GST_DEBUG_OBJECT (ffmpegdec, "Failed to set context defaults");
 337       return FALSE;
 338     }
 339     ffmpegdec->context->opaque = ffmpegdec;
 340   }
 341   return TRUE;
 342 }
 343
 344 /* with LOCK */
 345 static gboolean
 346 gst_ffmpegviddec_open (GstFFMpegVidDec * ffmpegdec)
 347 {
 348   GstFFMpegVidDecClass *oclass;
 349   gint i;
 350
 351   oclass = (GstFFMpegVidDecClass *) (G_OBJECT_GET_CLASS (ffmpegdec));
 352
 353   if (gst_ffmpeg_avcodec_open (ffmpegdec->context, oclass->in_plugin) < 0)
 354     goto could_not_open;
 355
 356   for (i = 0; i < G_N_ELEMENTS (ffmpegdec->stride); i++)
 357     ffmpegdec->stride[i] = -1;
 358
 359   ffmpegdec->opened = TRUE;
 360   ffmpegdec->is_realvideo = FALSE;
 361
 362   GST_LOG_OBJECT (ffmpegdec, "Opened libav codec %s, id %d",
 363       oclass->in_plugin->name, oclass->in_plugin->id);
 364
 365   switch (oclass->in_plugin->id) {
 366     case AV_CODEC_ID_RV10:
 367     case AV_CODEC_ID_RV30:
 368     case AV_CODEC_ID_RV20:
 369     case AV_CODEC_ID_RV40:
 370       ffmpegdec->is_realvideo = TRUE;
 371       break;
 372     default:
 373       GST_LOG_OBJECT (ffmpegdec, "Parser deactivated for format");
 374       break;
 375   }
 376
 377   gst_ffmpegviddec_context_set_flags (ffmpegdec->context,
 378       CODEC_FLAG_OUTPUT_CORRUPT, ffmpegdec->output_corrupt);
 379
 380   return TRUE;
 381
 382   /* ERRORS */
 383 could_not_open:
 384   {
 385     gst_ffmpegviddec_close (ffmpegdec, TRUE);
 386     GST_DEBUG_OBJECT (ffmpegdec, "avdec_%s: Failed to open libav codec",
 387         oclass->in_plugin->name);
 388     return FALSE;
 389   }
 390 }
 391
 392 static void
 393 gst_ffmpegviddec_get_palette (GstFFMpegVidDec * ffmpegdec,
 394     GstVideoCodecState * state)
 395 {
 396   GstStructure *str = gst_caps_get_structure (state->caps, 0);
 397   const GValue *palette_v;
 398   GstBuffer *palette;
 399
 400   /* do we have a palette? */
 401   if ((palette_v = gst_structure_get_value (str, "palette_data"))) {
 402     palette = gst_value_get_buffer (palette_v);
 403     GST_DEBUG ("got palette data %p", palette);
 404     if (gst_buffer_get_size (palette) >= AVPALETTE_SIZE) {
 405       gst_buffer_replace (&ffmpegdec->palette, palette);
 406     }
 407   }
 408 }
 409
 410
 411 static gboolean
 412 gst_ffmpegviddec_set_format (GstVideoDecoder * decoder,
 413     GstVideoCodecState * state)
 414 {
 415   GstFFMpegVidDec *ffmpegdec;
 416   GstFFMpegVidDecClass *oclass;
 417   GstClockTime latency = GST_CLOCK_TIME_NONE;
 418   gboolean ret = FALSE;
 419
 420   ffmpegdec = (GstFFMpegVidDec *) decoder;
 421   oclass = (GstFFMpegVidDecClass *) (G_OBJECT_GET_CLASS (ffmpegdec));
 422
 423   if (ffmpegdec->last_caps != NULL &&
 424       gst_caps_is_equal (ffmpegdec->last_caps, state->caps)) {
 425     return TRUE;
 426   }
 427
 428   GST_DEBUG_OBJECT (ffmpegdec, "setcaps called");
 429
 430   GST_OBJECT_LOCK (ffmpegdec);
 431   /* stupid check for VC1 */
 432   if ((oclass->in_plugin->id == AV_CODEC_ID_WMV3) ||
 433       (oclass->in_plugin->id == AV_CODEC_ID_VC1))
 434     oclass->in_plugin->id = gst_ffmpeg_caps_to_codecid (state->caps, NULL);
 435
 436   /* close old session */
 437   if (ffmpegdec->opened) {
 438     GST_OBJECT_UNLOCK (ffmpegdec);
 439     gst_ffmpegviddec_drain (ffmpegdec);
 440     GST_OBJECT_LOCK (ffmpegdec);
 441     if (!gst_ffmpegviddec_close (ffmpegdec, TRUE)) {
 442       GST_OBJECT_UNLOCK (ffmpegdec);
 443       return FALSE;
 444     }
 445     ffmpegdec->pic_pix_fmt = 0;
 446     ffmpegdec->pic_width = 0;
 447     ffmpegdec->pic_height = 0;
 448     ffmpegdec->pic_par_n = 0;
 449     ffmpegdec->pic_par_d = 0;
 450     ffmpegdec->ctx_ticks = 0;
 451     ffmpegdec->ctx_time_n = 0;
 452     ffmpegdec->ctx_time_d = 0;
 453   }
 454
 455   gst_caps_replace (&ffmpegdec->last_caps, state->caps);
 456
 457   /* set buffer functions */
 458   ffmpegdec->context->get_buffer2 = gst_ffmpegviddec_get_buffer2;
 459   ffmpegdec->context->get_buffer = NULL;
 460   ffmpegdec->context->reget_buffer = NULL;
 461   ffmpegdec->context->release_buffer = NULL;
 462   ffmpegdec->context->draw_horiz_band = NULL;
 463
 464   /* reset coded_width/_height to prevent it being reused from last time when
 465    * the codec is opened again, causing a mismatch and possible
 466    * segfault/corruption. (Common scenario when renegotiating caps) */
 467   ffmpegdec->context->coded_width = 0;
 468   ffmpegdec->context->coded_height = 0;
 469
 470   GST_LOG_OBJECT (ffmpegdec, "size %dx%d", ffmpegdec->context->width,
 471       ffmpegdec->context->height);
 472
 473   /* FIXME : Create a method that takes GstVideoCodecState instead */
 474   /* get size and so */
 475   gst_ffmpeg_caps_with_codecid (oclass->in_plugin->id,
 476       oclass->in_plugin->type, state->caps, ffmpegdec->context);
 477
 478   GST_LOG_OBJECT (ffmpegdec, "size after %dx%d", ffmpegdec->context->width,
 479       ffmpegdec->context->height);
 480
 481   gst_ffmpegviddec_get_palette (ffmpegdec, state);
 482
 483   if (!ffmpegdec->context->time_base.den || !ffmpegdec->context->time_base.num) {
 484     GST_DEBUG_OBJECT (ffmpegdec, "forcing 25/1 framerate");
 485     ffmpegdec->context->time_base.num = 1;
 486     ffmpegdec->context->time_base.den = 25;
 487   }
 488
 489   /* workaround encoder bugs */
 490   ffmpegdec->context->workaround_bugs |= FF_BUG_AUTODETECT;
 491   ffmpegdec->context->err_recognition = 1;
 492
 493   /* for slow cpus */
 494   ffmpegdec->context->lowres = ffmpegdec->lowres;
 495   ffmpegdec->context->skip_frame = ffmpegdec->skip_frame;
 496
 497   /* ffmpeg can draw motion vectors on top of the image (not every decoder
 498    * supports it) */
 499   ffmpegdec->context->debug_mv = ffmpegdec->debug_mv;
 500
 501   {
 502     GstQuery *query;
 503     gboolean is_live;
 504
 505     if (ffmpegdec->max_threads == 0) {
 506       if (!(oclass->in_plugin->capabilities & CODEC_CAP_AUTO_THREADS))
 507         ffmpegdec->context->thread_count = gst_ffmpeg_auto_max_threads ();
 508       else
 509         ffmpegdec->context->thread_count = 0;
 510     } else
 511       ffmpegdec->context->thread_count = ffmpegdec->max_threads;
 512
 513     query = gst_query_new_latency ();
 514     is_live = FALSE;
 515     /* Check if upstream is live. If it isn't we can enable frame based
 516      * threading, which is adding latency */
 517     if (gst_pad_peer_query (GST_VIDEO_DECODER_SINK_PAD (ffmpegdec), query)) {
 518       gst_query_parse_latency (query, &is_live, NULL, NULL);
 519     }
 520     gst_query_unref (query);
 521
 522     if (is_live)
 523       ffmpegdec->context->thread_type = FF_THREAD_SLICE;
 524     else
 525       ffmpegdec->context->thread_type = FF_THREAD_SLICE | FF_THREAD_FRAME;
 526   }
 527
 528   /* open codec - we don't select an output pix_fmt yet,
 529    * simply because we don't know! We only get it
 530    * during playback... */
 531   if (!gst_ffmpegviddec_open (ffmpegdec))
 532     goto open_failed;
 533
 534   if (ffmpegdec->input_state)
 535     gst_video_codec_state_unref (ffmpegdec->input_state);
 536   ffmpegdec->input_state = gst_video_codec_state_ref (state);
 537
 538   if (ffmpegdec->input_state->info.fps_n) {
 539     GstVideoInfo *info = &ffmpegdec->input_state->info;
 540     latency = gst_util_uint64_scale_ceil (
 541         (ffmpegdec->context->has_b_frames) * GST_SECOND, info->fps_d,
 542         info->fps_n);
 543   }
 544
 545   ret = TRUE;
 546
 547 done:
 548   GST_OBJECT_UNLOCK (ffmpegdec);
 549
 550   if (GST_CLOCK_TIME_IS_VALID (latency))
 551     gst_video_decoder_set_latency (decoder, latency, latency);
 552
 553   return ret;
 554
 555   /* ERRORS */
 556 open_failed:
 557   {
 558     GST_DEBUG_OBJECT (ffmpegdec, "Failed to open");
 559     goto done;
 560   }
 561 }
 562
 563 typedef struct
 564 {
 565   GstFFMpegVidDec *ffmpegdec;
 566   GstVideoCodecFrame *frame;
 567   gboolean mapped;
 568   GstVideoFrame vframe;
 569   GstBuffer *buffer;
 570   AVBufferRef *avbuffer;
 571 } GstFFMpegVidDecVideoFrame;
 572
 573 static GstFFMpegVidDecVideoFrame *
 574 gst_ffmpegviddec_video_frame_new (GstFFMpegVidDec * ffmpegdec,
 575     GstVideoCodecFrame * frame)
 576 {
 577   GstFFMpegVidDecVideoFrame *dframe;
 578
 579   dframe = g_slice_new0 (GstFFMpegVidDecVideoFrame);
 580   dframe->ffmpegdec = ffmpegdec;
 581   dframe->frame = frame;
 582
 583   GST_DEBUG_OBJECT (ffmpegdec, "new video frame %p", dframe);
 584
 585   return dframe;
 586 }
 587
 588 static void
 589 gst_ffmpegviddec_video_frame_free (GstFFMpegVidDec * ffmpegdec,
 590     GstFFMpegVidDecVideoFrame * frame)
 591 {
 592   GST_DEBUG_OBJECT (ffmpegdec, "free video frame %p", frame);
 593
 594   if (frame->mapped)
 595     gst_video_frame_unmap (&frame->vframe);
 596   gst_video_decoder_release_frame (GST_VIDEO_DECODER (ffmpegdec), frame->frame);
 597   gst_buffer_replace (&frame->buffer, NULL);
 598   if (frame->avbuffer) {
 599     av_buffer_unref (&frame->avbuffer);
 600   }
 601   g_slice_free (GstFFMpegVidDecVideoFrame, frame);
 602 }
 603
 604 static void
 605 dummy_free_buffer (void *opaque, uint8_t * data)
 606 {
 607   GstFFMpegVidDecVideoFrame *frame = opaque;
 608
 609   gst_ffmpegviddec_video_frame_free (frame->ffmpegdec, frame);
 610 }
 611
 612 /* called when ffmpeg wants us to allocate a buffer to write the decoded frame
 613  * into. We try to give it memory from our pool */
 614 static int
 615 gst_ffmpegviddec_get_buffer2 (AVCodecContext * context, AVFrame * picture,
 616     int flags)
 617 {
 618   GstVideoCodecFrame *frame;
 619   GstFFMpegVidDecVideoFrame *dframe;
 620   GstFFMpegVidDec *ffmpegdec;
 621   gint c;
 622   GstVideoInfo *info;
 623   GstFlowReturn ret;
 624
 625   ffmpegdec = (GstFFMpegVidDec *) context->opaque;
 626
 627   GST_DEBUG_OBJECT (ffmpegdec, "getting buffer picture %p", picture);
 628
 629   /* apply the last info we have seen to this picture, when we get the
 630    * picture back from ffmpeg we can use this to correctly timestamp the output
 631    * buffer */
 632   GST_DEBUG_OBJECT (ffmpegdec, "opaque value SN %d",
 633       (gint32) picture->reordered_opaque);
 634
 635   frame =
 636       gst_video_decoder_get_frame (GST_VIDEO_DECODER (ffmpegdec),
 637       picture->reordered_opaque);
 638   if (G_UNLIKELY (frame == NULL))
 639     goto no_frame;
 640
 641   /* now it has a buffer allocated, so it is real and will also
 642    * be _released */
 643   GST_VIDEO_CODEC_FRAME_FLAG_UNSET (frame,
 644       GST_VIDEO_CODEC_FRAME_FLAG_DECODE_ONLY);
 645
 646   if (G_UNLIKELY (frame->output_buffer != NULL))
 647     goto duplicate_frame;
 648
 649   /* GstFFMpegVidDecVideoFrame receives the frame ref */
 650   if (picture->opaque) {
 651     dframe = picture->opaque;
 652     dframe->frame = frame;
 653   } else {
 654     picture->opaque = dframe =
 655         gst_ffmpegviddec_video_frame_new (ffmpegdec, frame);
 656   }
 657
 658   GST_DEBUG_OBJECT (ffmpegdec, "storing opaque %p", dframe);
 659
 660   /* If the picture format changed but we already negotiated before,
 661    * we will have to do fallback allocation until output and input
 662    * formats are in sync again. We will renegotiate on the output
 663    */
 664   if (ffmpegdec->pic_width != 0 && picture_changed (ffmpegdec, picture))
 665     goto fallback;
 666
 667   /* see if we need renegotiation */
 668   /* Disabled for now as ffmpeg doesn't give us the output dimensions
 669    * in the getbuffer2 callback. The real dimensions are only available
 670    * when a buffer is produced.
 671    */
 672   if (FALSE
 673       && G_UNLIKELY (!gst_ffmpegviddec_negotiate (ffmpegdec, context, picture,
 674               FALSE)))
 675     goto negotiate_failed;
 676
 677   if (!ffmpegdec->current_dr)
 678     goto no_dr;
 679
 680   ret =
 681       gst_video_decoder_allocate_output_frame (GST_VIDEO_DECODER (ffmpegdec),
 682       frame);
 683   if (ret != GST_FLOW_OK)
 684     goto alloc_failed;
 685
 686   /* piggy-backed alloc'ed on the frame,
 687    * and there was much rejoicing and we are grateful.
 688    * Now take away buffer from frame, we will give it back later when decoded.
 689    * This allows multiple request for a buffer per frame; unusual but possible. */
 690   gst_buffer_replace (&dframe->buffer, frame->output_buffer);
 691   gst_buffer_replace (&frame->output_buffer, NULL);
 692
 693   /* Fill avpicture */
 694   info = &ffmpegdec->output_state->info;
 695   if (!gst_video_frame_map (&dframe->vframe, info, dframe->buffer,
 696           GST_MAP_READWRITE))
 697     goto invalid_frame;
 698   dframe->mapped = TRUE;
 699
 700   for (c = 0; c < AV_NUM_DATA_POINTERS; c++) {
 701     if (c < GST_VIDEO_INFO_N_PLANES (info)) {
 702       picture->data[c] = GST_VIDEO_FRAME_PLANE_DATA (&dframe->vframe, c);
 703       picture->linesize[c] = GST_VIDEO_FRAME_PLANE_STRIDE (&dframe->vframe, c);
 704
 705       /* libav does not allow stride changes currently, fall back to
 706        * non-direct rendering here:
 707        * https://bugzilla.gnome.org/show_bug.cgi?id=704769
 708        * https://bugzilla.libav.org/show_bug.cgi?id=556
 709        */
 710       if (ffmpegdec->stride[c] == -1) {
 711         ffmpegdec->stride[c] = picture->linesize[c];
 712       } else if (picture->linesize[c] != ffmpegdec->stride[c]) {
 713         GST_LOG_OBJECT (ffmpegdec,
 714             "No direct rendering, stride changed c=%d %d->%d", c,
 715             ffmpegdec->stride[c], picture->linesize[c]);
 716
 717         for (c = 0; c < AV_NUM_DATA_POINTERS; c++) {
 718           picture->data[c] = NULL;
 719           picture->linesize[c] = 0;
 720           av_buffer_unref (&picture->buf[c]);
 721         }
 722         gst_video_frame_unmap (&dframe->vframe);
 723         dframe->mapped = FALSE;
 724         gst_buffer_replace (&dframe->buffer, NULL);
 725         ffmpegdec->current_dr = FALSE;
 726
 727         goto no_dr;
 728       }
 729     } else {
 730       picture->data[c] = NULL;
 731       picture->linesize[c] = 0;
 732     }
 733     GST_LOG_OBJECT (ffmpegdec, "linesize %d, data %p", picture->linesize[c],
 734         picture->data[c]);
 735   }
 736
 737   picture->buf[0] = av_buffer_create (NULL, 0, dummy_free_buffer, dframe, 0);
 738
 739   /* tell ffmpeg we own this buffer, tranfer the ref we have on the buffer to
 740    * the opaque data. */
 741   picture->type = FF_BUFFER_TYPE_USER;
 742
 743   GST_LOG_OBJECT (ffmpegdec, "returned frame %p", dframe->buffer);
 744
 745   return 0;
 746
 747   /* fallbacks */
 748 negotiate_failed:
 749   {
 750     GST_DEBUG_OBJECT (ffmpegdec, "negotiate failed");
 751     goto fallback;
 752   }
 753 no_dr:
 754   {
 755     GST_LOG_OBJECT (ffmpegdec, "direct rendering disabled, fallback alloc");
 756     goto fallback;
 757   }
 758 alloc_failed:
 759   {
 760     /* alloc default buffer when we can't get one from downstream */
 761     GST_LOG_OBJECT (ffmpegdec, "alloc failed, fallback alloc");
 762     goto fallback;
 763   }
 764 invalid_frame:
 765   {
 766     /* alloc default buffer when we can't get one from downstream */
 767     GST_LOG_OBJECT (ffmpegdec, "failed to map frame, fallback alloc");
 768     gst_buffer_replace (&dframe->buffer, NULL);
 769     goto fallback;
 770   }
 771 fallback:
 772   {
 773     int c;
 774     int ret = avcodec_default_get_buffer2 (context, picture, flags);
 775
 776     for (c = 0; c < AV_NUM_DATA_POINTERS; c++) {
 777       ffmpegdec->stride[c] = picture->linesize[c];
 778     }
 779     /* Wrap our buffer around the default one to be able to have a callback
 780      * when our data can be freed. Just putting our data into the first free
 781      * buffer might not work if there are too many allocated already
 782      */
 783     if (picture->buf[0]) {
 784       dframe->avbuffer = picture->buf[0];
 785       picture->buf[0] =
 786           av_buffer_create (picture->buf[0]->data, picture->buf[0]->size,
 787           dummy_free_buffer, dframe, 0);
 788     } else {
 789       picture->buf[0] =
 790           av_buffer_create (NULL, 0, dummy_free_buffer, dframe, 0);
 791     }
 792
 793     return ret;
 794   }
 795 duplicate_frame:
 796   {
 797     GST_WARNING_OBJECT (ffmpegdec, "already alloc'ed output buffer for frame");
 798     gst_video_codec_frame_unref (frame);
 799     return -1;
 800   }
 801 no_frame:
 802   {
 803     GST_WARNING_OBJECT (ffmpegdec, "Couldn't get codec frame !");
 804     return -1;
 805   }
 806 }
 807
 808 static gboolean
 809 picture_changed (GstFFMpegVidDec * ffmpegdec, AVFrame * picture)
 810 {
 811   return !(ffmpegdec->pic_width == picture->width
 812       && ffmpegdec->pic_height == picture->height
 813       && ffmpegdec->pic_pix_fmt == picture->format
 814       && ffmpegdec->pic_par_n == picture->sample_aspect_ratio.num
 815       && ffmpegdec->pic_par_d == picture->sample_aspect_ratio.den
 816       && ffmpegdec->pic_interlaced == picture->interlaced_frame);
 817 }
 818
 819 static gboolean
 820 context_changed (GstFFMpegVidDec * ffmpegdec, AVCodecContext * context)
 821 {
 822   return !(ffmpegdec->ctx_ticks == context->ticks_per_frame
 823       && ffmpegdec->ctx_time_n == context->time_base.num
 824       && ffmpegdec->ctx_time_d == context->time_base.den);
 825 }
 826
 827 static gboolean
 828 update_video_context (GstFFMpegVidDec * ffmpegdec, AVCodecContext * context,
 829     AVFrame * picture, gboolean force)
 830 {
 831   if (!force && !picture_changed (ffmpegdec, picture)
 832       && !context_changed (ffmpegdec, context))
 833     return FALSE;
 834
 835   GST_DEBUG_OBJECT (ffmpegdec,
 836       "Renegotiating video from %dx%d@ %d:%d PAR %d/%d fps pixfmt %d to %dx%d@ %d:%d PAR %d/%d fps pixfmt %d",
 837       ffmpegdec->pic_width, ffmpegdec->pic_height,
 838       ffmpegdec->pic_par_n, ffmpegdec->pic_par_d,
 839       ffmpegdec->ctx_time_n, ffmpegdec->ctx_time_d,
 840       ffmpegdec->pic_pix_fmt,
 841       picture->width, picture->height,
 842       picture->sample_aspect_ratio.num,
 843       picture->sample_aspect_ratio.den,
 844       context->time_base.num, context->time_base.den, picture->format);
 845
 846   ffmpegdec->pic_pix_fmt = picture->format;
 847   ffmpegdec->pic_width = picture->width;
 848   ffmpegdec->pic_height = picture->height;
 849   ffmpegdec->pic_par_n = picture->sample_aspect_ratio.num;
 850   ffmpegdec->pic_par_d = picture->sample_aspect_ratio.den;
 851   ffmpegdec->pic_interlaced = picture->interlaced_frame;
 852   ffmpegdec->ctx_ticks = context->ticks_per_frame;
 853   ffmpegdec->ctx_time_n = context->time_base.num;
 854   ffmpegdec->ctx_time_d = context->time_base.den;
 855
 856   return TRUE;
 857 }
 858
 859 static void
 860 gst_ffmpegviddec_update_par (GstFFMpegVidDec * ffmpegdec,
 861     GstVideoInfo * in_info, GstVideoInfo * out_info)
 862 {
 863   gboolean demuxer_par_set = FALSE;
 864   gboolean decoder_par_set = FALSE;
 865   gint demuxer_num = 1, demuxer_denom = 1;
 866   gint decoder_num = 1, decoder_denom = 1;
 867
 868   if (in_info->par_n && in_info->par_d) {
 869     demuxer_num = in_info->par_n;
 870     demuxer_denom = in_info->par_d;
 871     demuxer_par_set = TRUE;
 872     GST_DEBUG_OBJECT (ffmpegdec, "Demuxer PAR: %d:%d", demuxer_num,
 873         demuxer_denom);
 874   }
 875
 876   if (ffmpegdec->pic_par_n && ffmpegdec->pic_par_d) {
 877     decoder_num = ffmpegdec->pic_par_n;
 878     decoder_denom = ffmpegdec->pic_par_d;
 879     decoder_par_set = TRUE;
 880     GST_DEBUG_OBJECT (ffmpegdec, "Decoder PAR: %d:%d", decoder_num,
 881         decoder_denom);
 882   }
 883
 884   if (!demuxer_par_set && !decoder_par_set)
 885     goto no_par;
 886
 887   if (demuxer_par_set && !decoder_par_set)
 888     goto use_demuxer_par;
 889
 890   if (decoder_par_set && !demuxer_par_set)
 891     goto use_decoder_par;
 892
 893   /* Both the demuxer and the decoder provide a PAR. If one of
 894    * the two PARs is 1:1 and the other one is not, use the one
 895    * that is not 1:1. */
 896   if (demuxer_num == demuxer_denom && decoder_num != decoder_denom)
 897     goto use_decoder_par;
 898
 899   if (decoder_num == decoder_denom && demuxer_num != demuxer_denom)
 900     goto use_demuxer_par;
 901
 902   /* Both PARs are non-1:1, so use the PAR provided by the demuxer */
 903   goto use_demuxer_par;
 904
 905 use_decoder_par:
 906   {
 907     GST_DEBUG_OBJECT (ffmpegdec,
 908         "Setting decoder provided pixel-aspect-ratio of %u:%u", decoder_num,
 909         decoder_denom);
 910     out_info->par_n = decoder_num;
 911     out_info->par_d = decoder_denom;
 912     return;
 913   }
 914 use_demuxer_par:
 915   {
 916     GST_DEBUG_OBJECT (ffmpegdec,
 917         "Setting demuxer provided pixel-aspect-ratio of %u:%u", demuxer_num,
 918         demuxer_denom);
 919     out_info->par_n = demuxer_num;
 920     out_info->par_d = demuxer_denom;
 921     return;
 922   }
 923 no_par:
 924   {
 925     GST_DEBUG_OBJECT (ffmpegdec,
 926         "Neither demuxer nor codec provide a pixel-aspect-ratio");
 927     out_info->par_n = 1;
 928     out_info->par_d = 1;
 929     return;
 930   }
 931 }
 932
 933 static gboolean
 934 gst_ffmpegviddec_negotiate (GstFFMpegVidDec * ffmpegdec,
 935     AVCodecContext * context, AVFrame * picture, gboolean force)
 936 {
 937   GstVideoFormat fmt;
 938   GstVideoInfo *in_info, *out_info;
 939   GstVideoCodecState *output_state;
 940   gint fps_n, fps_d;
 941
 942   if (!update_video_context (ffmpegdec, context, picture, force))
 943     return TRUE;
 944
 945   fmt = gst_ffmpeg_pixfmt_to_videoformat (ffmpegdec->pic_pix_fmt);
 946   if (G_UNLIKELY (fmt == GST_VIDEO_FORMAT_UNKNOWN))
 947     goto unknown_format;
 948
 949   output_state =
 950       gst_video_decoder_set_output_state (GST_VIDEO_DECODER (ffmpegdec), fmt,
 951       ffmpegdec->pic_width, ffmpegdec->pic_height, ffmpegdec->input_state);
 952   if (ffmpegdec->output_state)
 953     gst_video_codec_state_unref (ffmpegdec->output_state);
 954   ffmpegdec->output_state = output_state;
 955
 956   in_info = &ffmpegdec->input_state->info;
 957   out_info = &ffmpegdec->output_state->info;
 958
 959   /* set the interlaced flag */
 960   if (ffmpegdec->pic_interlaced)
 961     out_info->interlace_mode = GST_VIDEO_INTERLACE_MODE_MIXED;
 962   else
 963     out_info->interlace_mode = GST_VIDEO_INTERLACE_MODE_PROGRESSIVE;
 964
 965   switch (context->chroma_sample_location) {
 966     case 1:
 967       out_info->chroma_site = GST_VIDEO_CHROMA_SITE_MPEG2;
 968       break;
 969     case 2:
 970       out_info->chroma_site = GST_VIDEO_CHROMA_SITE_JPEG;
 971       break;
 972     case 3:
 973       out_info->chroma_site = GST_VIDEO_CHROMA_SITE_DV;
 974       break;
 975     case 4:
 976       out_info->chroma_site = GST_VIDEO_CHROMA_SITE_V_COSITED;
 977       break;
 978     default:
 979       break;
 980   }
 981
 982   /* try to find a good framerate */
 983   if ((in_info->fps_d && in_info->fps_n) ||
 984       GST_VIDEO_INFO_FLAG_IS_SET (in_info, GST_VIDEO_FLAG_VARIABLE_FPS)) {
 985     /* take framerate from input when it was specified (#313970) */
 986     fps_n = in_info->fps_n;
 987     fps_d = in_info->fps_d;
 988   } else {
 989     fps_n = ffmpegdec->ctx_time_d / ffmpegdec->ctx_ticks;
 990     fps_d = ffmpegdec->ctx_time_n;
 991
 992     if (!fps_d) {
 993       GST_LOG_OBJECT (ffmpegdec, "invalid framerate: %d/0, -> %d/1", fps_n,
 994           fps_n);
 995       fps_d = 1;
 996     }
 997     if (gst_util_fraction_compare (fps_n, fps_d, 1000, 1) > 0) {
 998       GST_LOG_OBJECT (ffmpegdec, "excessive framerate: %d/%d, -> 0/1", fps_n,
 999           fps_d);
1000       fps_n = 0;
1001       fps_d = 1;
1002     }
1003   }
1004
1005   GST_LOG_OBJECT (ffmpegdec, "setting framerate: %d/%d", fps_n, fps_d);
1006   out_info->fps_n = fps_n;
1007   out_info->fps_d = fps_d;
1008
1009   /* calculate and update par now */
1010   gst_ffmpegviddec_update_par (ffmpegdec, in_info, out_info);
1011
1012   /* Copy stereo/multiview info from upstream if set */
1013   if (GST_VIDEO_INFO_MULTIVIEW_MODE (in_info) != GST_VIDEO_MULTIVIEW_MODE_NONE) {
1014     GST_VIDEO_INFO_MULTIVIEW_MODE (out_info) =
1015         GST_VIDEO_INFO_MULTIVIEW_MODE (in_info);
1016     GST_VIDEO_INFO_MULTIVIEW_FLAGS (out_info) =
1017         GST_VIDEO_INFO_MULTIVIEW_FLAGS (in_info);
1018   }
1019
1020   if (!gst_video_decoder_negotiate (GST_VIDEO_DECODER (ffmpegdec)))
1021     goto negotiate_failed;
1022
1023   return TRUE;
1024
1025   /* ERRORS */
1026 unknown_format:
1027   {
1028     GST_ERROR_OBJECT (ffmpegdec,
1029         "decoder requires a video format unsupported by GStreamer");
1030     return FALSE;
1031   }
1032 negotiate_failed:
1033   {
1034     /* Reset so we try again next time even if force==FALSE */
1035     ffmpegdec->pic_pix_fmt = 0;
1036     ffmpegdec->pic_width = 0;
1037     ffmpegdec->pic_height = 0;
1038     ffmpegdec->pic_par_n = 0;
1039     ffmpegdec->pic_par_d = 0;
1040     ffmpegdec->ctx_ticks = 0;
1041     ffmpegdec->ctx_time_n = 0;
1042     ffmpegdec->ctx_time_d = 0;
1043
1044     GST_ERROR_OBJECT (ffmpegdec, "negotiation failed");
1045     return FALSE;
1046   }
1047 }
1048
1049 /* perform qos calculations before decoding the next frame.
1050  *
1051  * Sets the skip_frame flag and if things are really bad, skips to the next
1052  * keyframe.
1053  *
1054  */
1055 static void
1056 gst_ffmpegviddec_do_qos (GstFFMpegVidDec * ffmpegdec,
1057     GstVideoCodecFrame * frame, gboolean * mode_switch)
1058 {
1059   GstClockTimeDiff diff;
1060   GstSegmentFlags skip_flags =
1061       GST_VIDEO_DECODER_INPUT_SEGMENT (ffmpegdec).flags;
1062
1063   *mode_switch = FALSE;
1064
1065   if (frame == NULL)
1066     return;
1067
1068   if (skip_flags & GST_SEGMENT_FLAG_TRICKMODE_KEY_UNITS) {
1069     ffmpegdec->context->skip_frame = AVDISCARD_NONKEY;
1070     *mode_switch = TRUE;
1071   } else if (skip_flags & GST_SEGMENT_FLAG_TRICKMODE) {
1072     ffmpegdec->context->skip_frame = AVDISCARD_NONREF;
1073     *mode_switch = TRUE;
1074   }
1075
1076   diff =
1077       gst_video_decoder_get_max_decode_time (GST_VIDEO_DECODER (ffmpegdec),
1078       frame);
1079
1080   /* if we don't have timing info, then we don't do QoS */
1081   if (G_UNLIKELY (diff == G_MAXINT64))
1082     return;
1083
1084   GST_DEBUG_OBJECT (ffmpegdec, "decoding time %" G_GINT64_FORMAT, diff);
1085
1086   if (*mode_switch == FALSE) {
1087     if (diff > 0 && ffmpegdec->context->skip_frame != AVDISCARD_DEFAULT) {
1088       ffmpegdec->context->skip_frame = AVDISCARD_DEFAULT;
1089       *mode_switch = TRUE;
1090       GST_DEBUG_OBJECT (ffmpegdec, "QOS: normal mode");
1091     }
1092
1093     else if (diff <= 0 && ffmpegdec->context->skip_frame != AVDISCARD_NONREF) {
1094       ffmpegdec->context->skip_frame = AVDISCARD_NONREF;
1095       *mode_switch = TRUE;
1096       GST_DEBUG_OBJECT (ffmpegdec,
1097           "QOS: hurry up, diff %" G_GINT64_FORMAT " >= 0", diff);
1098     }
1099   }
1100 }
1101
1102 /* get an outbuf buffer with the current picture */
1103 static GstFlowReturn
1104 get_output_buffer (GstFFMpegVidDec * ffmpegdec, GstVideoCodecFrame * frame)
1105 {
1106   GstFlowReturn ret = GST_FLOW_OK;
1107   AVPicture pic, *outpic;
1108   GstVideoFrame vframe;
1109   GstVideoInfo *info;
1110   gint c;
1111
1112   GST_LOG_OBJECT (ffmpegdec, "get output buffer");
1113
1114   if (!ffmpegdec->output_state)
1115     goto not_negotiated;
1116
1117   ret =
1118       gst_video_decoder_allocate_output_frame (GST_VIDEO_DECODER (ffmpegdec),
1119       frame);
1120   if (G_UNLIKELY (ret != GST_FLOW_OK))
1121     goto alloc_failed;
1122
1123   /* original ffmpeg code does not handle odd sizes correctly.
1124    * This patched up version does */
1125   /* Fill avpicture */
1126   info = &ffmpegdec->output_state->info;
1127   if (!gst_video_frame_map (&vframe, info, frame->output_buffer,
1128           GST_MAP_READ | GST_MAP_WRITE))
1129     goto alloc_failed;
1130
1131   for (c = 0; c < AV_NUM_DATA_POINTERS; c++) {
1132     if (c < GST_VIDEO_INFO_N_PLANES (info)) {
1133       pic.data[c] = GST_VIDEO_FRAME_PLANE_DATA (&vframe, c);
1134       pic.linesize[c] = GST_VIDEO_FRAME_PLANE_STRIDE (&vframe, c);
1135     } else {
1136       pic.data[c] = NULL;
1137       pic.linesize[c] = 0;
1138     }
1139     GST_LOG_OBJECT (ffmpegdec, "linesize %d, data %p", pic.linesize[c],
1140         pic.data[c]);
1141   }
1142
1143   outpic = (AVPicture *) ffmpegdec->picture;
1144
1145   av_picture_copy (&pic, outpic, ffmpegdec->context->pix_fmt,
1146       GST_VIDEO_INFO_WIDTH (info), GST_VIDEO_INFO_HEIGHT (info));
1147
1148   gst_video_frame_unmap (&vframe);
1149
1150   ffmpegdec->picture->reordered_opaque = -1;
1151
1152   return ret;
1153
1154   /* special cases */
1155 alloc_failed:
1156   {
1157     GST_DEBUG_OBJECT (ffmpegdec, "allocation failed");
1158     return ret;
1159   }
1160 not_negotiated:
1161   {
1162     GST_DEBUG_OBJECT (ffmpegdec, "not negotiated");
1163     return GST_FLOW_NOT_NEGOTIATED;
1164   }
1165 }
1166
1167 static void
1168 gst_avpacket_init (AVPacket * packet, guint8 * data, guint size)
1169 {
1170   memset (packet, 0, sizeof (AVPacket));
1171   packet->data = data;
1172   packet->size = size;
1173 }
1174
1175 /* gst_ffmpegviddec_[video|audio]_frame:
1176  * ffmpegdec:
1177  * data: pointer to the data to decode
1178  * size: size of data in bytes
1179  * in_timestamp: incoming timestamp.
1180  * in_duration: incoming duration.
1181  * in_offset: incoming offset (frame number).
1182  * ret: Return flow.
1183  *
1184  * Returns: number of bytes used in decoding. The check for successful decode is
1185  *   outbuf being non-NULL.
1186  */
1187 static gint
1188 gst_ffmpegviddec_video_frame (GstFFMpegVidDec * ffmpegdec,
1189     guint8 * data, guint size, gint * have_data, GstVideoCodecFrame * frame,
1190     GstFlowReturn * ret)
1191 {
1192   gint len = -1;
1193   gboolean mode_switch;
1194   GstVideoCodecFrame *out_frame;
1195   GstFFMpegVidDecVideoFrame *out_dframe;
1196   AVPacket packet;
1197
1198   *ret = GST_FLOW_OK;
1199
1200   /* in case we skip frames */
1201   ffmpegdec->picture->pict_type = -1;
1202
1203   /* run QoS code, we don't stop decoding the frame when we are late because
1204    * else we might skip a reference frame */
1205   gst_ffmpegviddec_do_qos (ffmpegdec, frame, &mode_switch);
1206
1207   if (ffmpegdec->is_realvideo && data != NULL) {
1208     gint slice_count;
1209     gint i;
1210
1211     /* setup the slice table for realvideo */
1212     if (ffmpegdec->context->slice_offset == NULL)
1213       ffmpegdec->context->slice_offset = g_malloc (sizeof (guint32) * 1000);
1214
1215     slice_count = (*data++) + 1;
1216     ffmpegdec->context->slice_count = slice_count;
1217
1218     for (i = 0; i < slice_count; i++) {
1219       data += 4;
1220       ffmpegdec->context->slice_offset[i] = GST_READ_UINT32_LE (data);
1221       data += 4;
1222     }
1223   }
1224
1225   if (frame) {
1226     /* save reference to the timing info */
1227     ffmpegdec->context->reordered_opaque = (gint64) frame->system_frame_number;
1228     ffmpegdec->picture->reordered_opaque = (gint64) frame->system_frame_number;
1229
1230     GST_DEBUG_OBJECT (ffmpegdec, "stored opaque values idx %d",
1231         frame->system_frame_number);
1232   }
1233
1234   /* now decode the frame */
1235   gst_avpacket_init (&packet, data, size);
1236
1237   if (ffmpegdec->palette) {
1238     guint8 *pal;
1239
1240     pal = av_packet_new_side_data (&packet, AV_PKT_DATA_PALETTE,
1241         AVPALETTE_SIZE);
1242     gst_buffer_extract (ffmpegdec->palette, 0, pal, AVPALETTE_SIZE);
1243     GST_DEBUG_OBJECT (ffmpegdec, "copy pal %p %p", &packet, pal);
1244   }
1245
1246   /* This might call into get_buffer() from another thread,
1247    * which would cause a deadlock. Release the lock here
1248    * and taking it again later seems safe
1249    * See https://bugzilla.gnome.org/show_bug.cgi?id=726020
1250    */
1251   GST_VIDEO_DECODER_STREAM_UNLOCK (ffmpegdec);
1252   len = avcodec_decode_video2 (ffmpegdec->context,
1253       ffmpegdec->picture, have_data, &packet);
1254   GST_VIDEO_DECODER_STREAM_LOCK (ffmpegdec);
1255
1256   GST_DEBUG_OBJECT (ffmpegdec, "after decode: len %d, have_data %d",
1257       len, *have_data);
1258
1259   /* when we are in skip_frame mode, don't complain when ffmpeg returned
1260    * no data because we told it to skip stuff. */
1261   if (len < 0 && (mode_switch || ffmpegdec->context->skip_frame))
1262     len = 0;
1263
1264   /* no data, we're done */
1265   if (len < 0 || *have_data == 0)
1266     goto beach;
1267
1268   /* get the output picture timing info again */
1269   out_dframe = ffmpegdec->picture->opaque;
1270   out_frame = gst_video_codec_frame_ref (out_dframe->frame);
1271
1272   /* also give back a buffer allocated by the frame, if any */
1273   gst_buffer_replace (&out_frame->output_buffer, out_dframe->buffer);
1274   gst_buffer_replace (&out_dframe->buffer, NULL);
1275
1276   GST_DEBUG_OBJECT (ffmpegdec,
1277       "pts %" G_GUINT64_FORMAT " duration %" G_GUINT64_FORMAT,
1278       out_frame->pts, out_frame->duration);
1279   GST_DEBUG_OBJECT (ffmpegdec, "picture: pts %" G_GUINT64_FORMAT,
1280       (guint64) ffmpegdec->picture->pts);
1281   GST_DEBUG_OBJECT (ffmpegdec, "picture: num %d",
1282       ffmpegdec->picture->coded_picture_number);
1283   GST_DEBUG_OBJECT (ffmpegdec, "picture: ref %d",
1284       ffmpegdec->picture->reference);
1285   GST_DEBUG_OBJECT (ffmpegdec, "picture: display %d",
1286       ffmpegdec->picture->display_picture_number);
1287   GST_DEBUG_OBJECT (ffmpegdec, "picture: opaque %p",
1288       ffmpegdec->picture->opaque);
1289   GST_DEBUG_OBJECT (ffmpegdec, "picture: reordered opaque %" G_GUINT64_FORMAT,
1290       (guint64) ffmpegdec->picture->reordered_opaque);
1291   GST_DEBUG_OBJECT (ffmpegdec, "repeat_pict:%d",
1292       ffmpegdec->picture->repeat_pict);
1293   GST_DEBUG_OBJECT (ffmpegdec, "corrupted frame: %d",
1294       ! !(ffmpegdec->picture->flags & AV_FRAME_FLAG_CORRUPT));
1295
1296   if (!gst_ffmpegviddec_negotiate (ffmpegdec, ffmpegdec->context,
1297           ffmpegdec->picture, FALSE))
1298     goto negotiation_error;
1299
1300   if (G_UNLIKELY (out_frame->output_buffer == NULL))
1301     *ret = get_output_buffer (ffmpegdec, out_frame);
1302
1303   if (G_UNLIKELY (*ret != GST_FLOW_OK))
1304     goto no_output;
1305
1306   /* Mark corrupted frames as corrupted */
1307   if (ffmpegdec->picture->flags & AV_FRAME_FLAG_CORRUPT)
1308     GST_BUFFER_FLAG_SET (out_frame->output_buffer, GST_BUFFER_FLAG_CORRUPTED);
1309
1310   if (ffmpegdec->pic_interlaced) {
1311     /* set interlaced flags */
1312     if (ffmpegdec->picture->repeat_pict)
1313       GST_BUFFER_FLAG_SET (out_frame->output_buffer, GST_VIDEO_BUFFER_FLAG_RFF);
1314     if (ffmpegdec->picture->top_field_first)
1315       GST_BUFFER_FLAG_SET (out_frame->output_buffer, GST_VIDEO_BUFFER_FLAG_TFF);
1316     if (ffmpegdec->picture->interlaced_frame)
1317       GST_BUFFER_FLAG_SET (out_frame->output_buffer,
1318           GST_VIDEO_BUFFER_FLAG_INTERLACED);
1319   }
1320
1321   /* cleaning time */
1322   /* so we decoded this frame, frames preceding it in decoding order
1323    * that still do not have a buffer allocated seem rather useless,
1324    * and can be discarded, due to e.g. misparsed bogus frame
1325    * or non-keyframe in skipped decoding, ...
1326    * In any case, not likely to be seen again, so discard those,
1327    * before they pile up and/or mess with timestamping */
1328   {
1329     GList *l, *ol;
1330     GstVideoDecoder *dec = GST_VIDEO_DECODER (ffmpegdec);
1331     gboolean old = TRUE;
1332
1333     ol = l = gst_video_decoder_get_frames (dec);
1334     while (l) {
1335       GstVideoCodecFrame *tmp = l->data;
1336
1337       if (tmp == frame)
1338         old = FALSE;
1339
1340       if (old && GST_VIDEO_CODEC_FRAME_IS_DECODE_ONLY (tmp)) {
1341         GST_LOG_OBJECT (dec,
1342             "discarding ghost frame %p (#%d) PTS:%" GST_TIME_FORMAT " DTS:%"
1343             GST_TIME_FORMAT, tmp, tmp->system_frame_number,
1344             GST_TIME_ARGS (tmp->pts), GST_TIME_ARGS (tmp->dts));
1345         /* drop extra ref and remove from frame list */
1346         gst_video_decoder_release_frame (dec, tmp);
1347       } else {
1348         /* drop extra ref we got */
1349         gst_video_codec_frame_unref (tmp);
1350       }
1351       l = l->next;
1352     }
1353     g_list_free (ol);
1354   }
1355
1356   av_frame_unref (ffmpegdec->picture);
1357
1358   /* FIXME: Ideally we would remap the buffer read-only now before pushing but
1359    * libav might still have a reference to it!
1360    */
1361
1362   *ret =
1363       gst_video_decoder_finish_frame (GST_VIDEO_DECODER (ffmpegdec), out_frame);
1364
1365 beach:
1366   GST_DEBUG_OBJECT (ffmpegdec, "return flow %s, len %d",
1367       gst_flow_get_name (*ret), len);
1368   return len;
1369
1370   /* special cases */
1371 no_output:
1372   {
1373     GST_DEBUG_OBJECT (ffmpegdec, "no output buffer");
1374     gst_video_decoder_drop_frame (GST_VIDEO_DECODER (ffmpegdec), out_frame);
1375     len = -1;
1376     goto beach;
1377   }
1378
1379 negotiation_error:
1380   {
1381     if (GST_PAD_IS_FLUSHING (GST_VIDEO_DECODER_SRC_PAD (ffmpegdec))) {
1382       *ret = GST_FLOW_FLUSHING;
1383       goto beach;
1384     }
1385     GST_WARNING_OBJECT (ffmpegdec, "Error negotiating format");
1386     *ret = GST_FLOW_NOT_NEGOTIATED;
1387     goto beach;
1388   }
1389 }
1390
1391
1392 /* gst_ffmpegviddec_frame:
1393  * ffmpegdec:
1394  * data: pointer to the data to decode
1395  * size: size of data in bytes
1396  * got_data: 0 if no data was decoded, != 0 otherwise.
1397  * in_time: timestamp of data
1398  * in_duration: duration of data
1399  * ret: GstFlowReturn to return in the chain function
1400  *
1401  * Decode the given frame and pushes it downstream.
1402  *
1403  * Returns: Number of bytes used in decoding, -1 on error/failure.
1404  */
1405
1406 static gint
1407 gst_ffmpegviddec_frame (GstFFMpegVidDec * ffmpegdec,
1408     guint8 * data, guint size, gint * have_data, GstVideoCodecFrame * frame,
1409     GstFlowReturn * ret)
1410 {
1411   GstFFMpegVidDecClass *oclass;
1412   gint len = 0;
1413
1414   if (G_UNLIKELY (ffmpegdec->context->codec == NULL))
1415     goto no_codec;
1416
1417   GST_LOG_OBJECT (ffmpegdec, "data:%p, size:%d", data, size);
1418
1419   *ret = GST_FLOW_OK;
1420   ffmpegdec->context->frame_number++;
1421
1422   oclass = (GstFFMpegVidDecClass *) (G_OBJECT_GET_CLASS (ffmpegdec));
1423
1424   len =
1425       gst_ffmpegviddec_video_frame (ffmpegdec, data, size, have_data, frame,
1426       ret);
1427
1428   if (len < 0) {
1429     GST_WARNING_OBJECT (ffmpegdec,
1430         "avdec_%s: decoding error (len: %d, have_data: %d)",
1431         oclass->in_plugin->name, len, *have_data);
1432   }
1433
1434   return len;
1435
1436   /* ERRORS */
1437 no_codec:
1438   {
1439     GST_ERROR_OBJECT (ffmpegdec, "no codec context");
1440     *ret = GST_FLOW_NOT_NEGOTIATED;
1441     return -1;
1442   }
1443 }
1444
1445 static void
1446 gst_ffmpegviddec_drain (GstFFMpegVidDec * ffmpegdec)
1447 {
1448   GstFFMpegVidDecClass *oclass;
1449
1450   if (!ffmpegdec->opened)
1451     return;
1452
1453   oclass = (GstFFMpegVidDecClass *) (G_OBJECT_GET_CLASS (ffmpegdec));
1454
1455   if (oclass->in_plugin->capabilities & CODEC_CAP_DELAY) {
1456     gint have_data, len;
1457     GstFlowReturn ret;
1458
1459     GST_LOG_OBJECT (ffmpegdec,
1460         "codec has delay capabilities, calling until ffmpeg has drained everything");
1461
1462     do {
1463       len = gst_ffmpegviddec_frame (ffmpegdec, NULL, 0, &have_data, NULL, &ret);
1464     } while (len >= 0 && have_data == 1 && ret == GST_FLOW_OK);
1465     avcodec_flush_buffers (ffmpegdec->context);
1466   }
1467 }
1468
1469 static GstFlowReturn
1470 gst_ffmpegviddec_handle_frame (GstVideoDecoder * decoder,
1471     GstVideoCodecFrame * frame)
1472 {
1473   GstFFMpegVidDec *ffmpegdec = (GstFFMpegVidDec *) decoder;
1474   guint8 *data, *bdata;
1475   gint size, len, have_data, bsize;
1476   GstMapInfo minfo;
1477   GstFlowReturn ret = GST_FLOW_OK;
1478   gboolean do_padding;
1479
1480   GST_LOG_OBJECT (ffmpegdec,
1481       "Received new data of size %" G_GSIZE_FORMAT ", dts %" GST_TIME_FORMAT
1482       ", pts:%" GST_TIME_FORMAT ", dur:%" GST_TIME_FORMAT,
1483       gst_buffer_get_size (frame->input_buffer), GST_TIME_ARGS (frame->dts),
1484       GST_TIME_ARGS (frame->pts), GST_TIME_ARGS (frame->duration));
1485
1486   if (!gst_buffer_map (frame->input_buffer, &minfo, GST_MAP_READ)) {
1487     GST_ELEMENT_ERROR (ffmpegdec, STREAM, DECODE, ("Decoding problem"),
1488         ("Failed to map buffer for reading"));
1489     return GST_FLOW_ERROR;
1490   }
1491
1492   /* treat frame as void until a buffer is requested for it */
1493   GST_VIDEO_CODEC_FRAME_FLAG_SET (frame,
1494       GST_VIDEO_CODEC_FRAME_FLAG_DECODE_ONLY);
1495
1496   bdata = minfo.data;
1497   bsize = minfo.size;
1498
1499   if (bsize > 0 && (!GST_MEMORY_IS_ZERO_PADDED (minfo.memory)
1500           || (minfo.maxsize - minfo.size) < FF_INPUT_BUFFER_PADDING_SIZE)) {
1501     /* add padding */
1502     if (ffmpegdec->padded_size < bsize + FF_INPUT_BUFFER_PADDING_SIZE) {
1503       ffmpegdec->padded_size = bsize + FF_INPUT_BUFFER_PADDING_SIZE;
1504       ffmpegdec->padded = g_realloc (ffmpegdec->padded, ffmpegdec->padded_size);
1505       GST_LOG_OBJECT (ffmpegdec, "resized padding buffer to %d",
1506           ffmpegdec->padded_size);
1507     }
1508     GST_CAT_TRACE_OBJECT (GST_CAT_PERFORMANCE, ffmpegdec,
1509         "Copy input to add padding");
1510     memcpy (ffmpegdec->padded, bdata, bsize);
1511     memset (ffmpegdec->padded + bsize, 0, FF_INPUT_BUFFER_PADDING_SIZE);
1512
1513     bdata = ffmpegdec->padded;
1514     do_padding = TRUE;
1515   } else {
1516     do_padding = FALSE;
1517   }
1518
1519   do {
1520     guint8 tmp_padding[FF_INPUT_BUFFER_PADDING_SIZE];
1521
1522     /* parse, if at all possible */
1523     data = bdata;
1524     size = bsize;
1525
1526     if (do_padding) {
1527       /* add temporary padding */
1528       GST_CAT_TRACE_OBJECT (GST_CAT_PERFORMANCE, ffmpegdec,
1529           "Add temporary input padding");
1530       memcpy (tmp_padding, data + size, FF_INPUT_BUFFER_PADDING_SIZE);
1531       memset (data + size, 0, FF_INPUT_BUFFER_PADDING_SIZE);
1532     }
1533
1534     /* decode a frame of audio/video now */
1535     len =
1536         gst_ffmpegviddec_frame (ffmpegdec, data, size, &have_data, frame, &ret);
1537
1538     if (ret != GST_FLOW_OK) {
1539       GST_LOG_OBJECT (ffmpegdec, "breaking because of flow ret %s",
1540           gst_flow_get_name (ret));
1541       /* bad flow return, make sure we discard all data and exit */
1542       bsize = 0;
1543       break;
1544     }
1545
1546     if (do_padding) {
1547       memcpy (data + size, tmp_padding, FF_INPUT_BUFFER_PADDING_SIZE);
1548     }
1549
1550     if (len == 0 && have_data == 0) {
1551       /* nothing was decoded, this could be because no data was available or
1552        * because we were skipping frames.
1553        * If we have no context we must exit and wait for more data, we keep the
1554        * data we tried. */
1555       GST_LOG_OBJECT (ffmpegdec, "Decoding didn't return any data, breaking");
1556       break;
1557     }
1558
1559     if (len < 0) {
1560       /* a decoding error happened, we must break and try again with next data. */
1561       GST_LOG_OBJECT (ffmpegdec, "Decoding error, breaking");
1562       bsize = 0;
1563       break;
1564     }
1565
1566     /* prepare for the next round, for codecs with a context we did this
1567      * already when using the parser. */
1568     bsize -= len;
1569     bdata += len;
1570
1571     do_padding = TRUE;
1572
1573     GST_LOG_OBJECT (ffmpegdec, "Before (while bsize>0).  bsize:%d , bdata:%p",
1574         bsize, bdata);
1575   } while (bsize > 0);
1576
1577   if (bsize > 0)
1578     GST_DEBUG_OBJECT (ffmpegdec, "Dropping %d bytes of data", bsize);
1579
1580   gst_buffer_unmap (frame->input_buffer, &minfo);
1581   gst_video_codec_frame_unref (frame);
1582
1583   return ret;
1584 }
1585
1586
1587 static gboolean
1588 gst_ffmpegviddec_start (GstVideoDecoder * decoder)
1589 {
1590   GstFFMpegVidDec *ffmpegdec = (GstFFMpegVidDec *) decoder;
1591   GstFFMpegVidDecClass *oclass;
1592
1593   oclass = (GstFFMpegVidDecClass *) (G_OBJECT_GET_CLASS (ffmpegdec));
1594
1595   GST_OBJECT_LOCK (ffmpegdec);
1596   gst_ffmpeg_avcodec_close (ffmpegdec->context);
1597   if (avcodec_get_context_defaults3 (ffmpegdec->context, oclass->in_plugin) < 0) {
1598     GST_DEBUG_OBJECT (ffmpegdec, "Failed to set context defaults");
1599     GST_OBJECT_UNLOCK (ffmpegdec);
1600     return FALSE;
1601   }
1602   ffmpegdec->context->opaque = ffmpegdec;
1603   GST_OBJECT_UNLOCK (ffmpegdec);
1604
1605   return TRUE;
1606 }
1607
1608 static gboolean
1609 gst_ffmpegviddec_stop (GstVideoDecoder * decoder)
1610 {
1611   GstFFMpegVidDec *ffmpegdec = (GstFFMpegVidDec *) decoder;
1612
1613   GST_OBJECT_LOCK (ffmpegdec);
1614   gst_ffmpegviddec_close (ffmpegdec, FALSE);
1615   GST_OBJECT_UNLOCK (ffmpegdec);
1616   g_free (ffmpegdec->padded);
1617   ffmpegdec->padded = NULL;
1618   ffmpegdec->padded_size = 0;
1619   if (ffmpegdec->input_state)
1620     gst_video_codec_state_unref (ffmpegdec->input_state);
1621   ffmpegdec->input_state = NULL;
1622   if (ffmpegdec->output_state)
1623     gst_video_codec_state_unref (ffmpegdec->output_state);
1624   ffmpegdec->output_state = NULL;
1625
1626   ffmpegdec->pic_pix_fmt = 0;
1627   ffmpegdec->pic_width = 0;
1628   ffmpegdec->pic_height = 0;
1629   ffmpegdec->pic_par_n = 0;
1630   ffmpegdec->pic_par_d = 0;
1631   ffmpegdec->ctx_ticks = 0;
1632   ffmpegdec->ctx_time_n = 0;
1633   ffmpegdec->ctx_time_d = 0;
1634
1635   return TRUE;
1636 }
1637
1638 static GstFlowReturn
1639 gst_ffmpegviddec_finish (GstVideoDecoder * decoder)
1640 {
1641   GstFFMpegVidDec *ffmpegdec = (GstFFMpegVidDec *) decoder;
1642
1643   gst_ffmpegviddec_drain (ffmpegdec);
1644
1645   return GST_FLOW_OK;
1646 }
1647
1648 static gboolean
1649 gst_ffmpegviddec_flush (GstVideoDecoder * decoder)
1650 {
1651   GstFFMpegVidDec *ffmpegdec = (GstFFMpegVidDec *) decoder;
1652
1653   if (ffmpegdec->opened)
1654     avcodec_flush_buffers (ffmpegdec->context);
1655
1656   return TRUE;
1657 }
1658
1659 static gboolean
1660 gst_ffmpegviddec_decide_allocation (GstVideoDecoder * decoder, GstQuery * query)
1661 {
1662   GstFFMpegVidDec *ffmpegdec = (GstFFMpegVidDec *) decoder;
1663   GstVideoCodecState *state;
1664   GstBufferPool *pool;
1665   guint size, min, max;
1666   GstStructure *config;
1667   gboolean have_videometa, have_alignment, update_pool = FALSE;
1668   GstAllocator *allocator = NULL;
1669   GstAllocationParams params = { 0, 15, 0, 0, };
1670
1671   if (!GST_VIDEO_DECODER_CLASS (parent_class)->decide_allocation (decoder,
1672           query))
1673     return FALSE;
1674
1675   state = gst_video_decoder_get_output_state (decoder);
1676
1677   if (gst_query_get_n_allocation_params (query) > 0) {
1678     gst_query_parse_nth_allocation_param (query, 0, &allocator, &params);
1679     params.align = MAX (params.align, 15);
1680   } else {
1681     gst_query_add_allocation_param (query, allocator, &params);
1682   }
1683
1684   gst_query_parse_nth_allocation_pool (query, 0, &pool, &size, &min, &max);
1685
1686   /* Don't use pool that can't grow, as we don't know how many buffer we'll
1687    * need, otherwise we may stall */
1688   if (max != 0 && max < REQUIRED_POOL_MAX_BUFFERS) {
1689     gst_object_unref (pool);
1690     pool = gst_video_buffer_pool_new ();
1691     max = 0;
1692     update_pool = TRUE;
1693
1694     /* if there is an allocator, also drop it, as it might be the reason we
1695      * have this limit. Default will be used */
1696     if (allocator) {
1697       gst_object_unref (allocator);
1698       allocator = NULL;
1699     }
1700   }
1701
1702   config = gst_buffer_pool_get_config (pool);
1703   gst_buffer_pool_config_set_params (config, state->caps, size, min, max);
1704   /* we are happy with the default allocator but we would like to have 16 bytes
1705    * aligned and padded memory */
1706   gst_buffer_pool_config_set_allocator (config, allocator, &params);
1707
1708   have_videometa =
1709       gst_query_find_allocation_meta (query, GST_VIDEO_META_API_TYPE, NULL);
1710   if (have_videometa)
1711     gst_buffer_pool_config_add_option (config,
1712         GST_BUFFER_POOL_OPTION_VIDEO_META);
1713
1714   have_alignment =
1715       gst_buffer_pool_has_option (pool, GST_BUFFER_POOL_OPTION_VIDEO_ALIGNMENT);
1716
1717   /* Most cases don't do direct rendering */
1718   ffmpegdec->current_dr = FALSE;
1719
1720   /* we can only enable the alignment if downstream supports the
1721    * videometa api */
1722   if (have_alignment && have_videometa) {
1723     GstVideoAlignment align;
1724     gint width, height;
1725     gint linesize_align[4];
1726     gint i;
1727     guint edge;
1728
1729     width = GST_VIDEO_INFO_WIDTH (&state->info);
1730     height = GST_VIDEO_INFO_HEIGHT (&state->info);
1731     /* let ffmpeg find the alignment and padding */
1732     avcodec_align_dimensions2 (ffmpegdec->context, &width, &height,
1733         linesize_align);
1734     edge =
1735         ffmpegdec->
1736         context->flags & CODEC_FLAG_EMU_EDGE ? 0 : avcodec_get_edge_width ();
1737     /* increase the size for the padding */
1738     width += edge << 1;
1739     height += edge << 1;
1740
1741     align.padding_top = edge;
1742     align.padding_left = edge;
1743     align.padding_right = width - GST_VIDEO_INFO_WIDTH (&state->info) - edge;
1744     align.padding_bottom = height - GST_VIDEO_INFO_HEIGHT (&state->info) - edge;
1745
1746     /* add extra padding to match libav buffer allocation sizes */
1747     align.padding_bottom++;
1748
1749     for (i = 0; i < GST_VIDEO_MAX_PLANES; i++)
1750       align.stride_align[i] =
1751           (linesize_align[i] > 0 ? linesize_align[i] - 1 : 0);
1752
1753     GST_DEBUG_OBJECT (ffmpegdec, "aligned dimension %dx%d -> %dx%d "
1754         "padding t:%u l:%u r:%u b:%u, stride_align %d:%d:%d:%d",
1755         GST_VIDEO_INFO_WIDTH (&state->info),
1756         GST_VIDEO_INFO_HEIGHT (&state->info), width, height, align.padding_top,
1757         align.padding_left, align.padding_right, align.padding_bottom,
1758         align.stride_align[0], align.stride_align[1], align.stride_align[2],
1759         align.stride_align[3]);
1760
1761     gst_buffer_pool_config_add_option (config,
1762         GST_BUFFER_POOL_OPTION_VIDEO_ALIGNMENT);
1763     gst_buffer_pool_config_set_video_alignment (config, &align);
1764
1765     if (ffmpegdec->direct_rendering) {
1766       GstFFMpegVidDecClass *oclass;
1767
1768       GST_DEBUG_OBJECT (ffmpegdec, "trying to enable direct rendering");
1769
1770       oclass = (GstFFMpegVidDecClass *) (G_OBJECT_GET_CLASS (ffmpegdec));
1771
1772       if (oclass->in_plugin->capabilities & CODEC_CAP_DR1) {
1773         GST_DEBUG_OBJECT (ffmpegdec, "enabled direct rendering");
1774         ffmpegdec->current_dr = TRUE;
1775       } else {
1776         GST_DEBUG_OBJECT (ffmpegdec, "direct rendering not supported");
1777       }
1778     }
1779   } else {
1780     GST_DEBUG_OBJECT (ffmpegdec,
1781         "alignment or videometa not supported, disable direct rendering");
1782
1783     /* disable direct rendering. This will make us use the fallback ffmpeg
1784      * picture allocation code with padding etc. We will then do the final
1785      * copy (with cropping) into a buffer from our pool */
1786   }
1787
1788   /* and store */
1789   gst_buffer_pool_set_config (pool, config);
1790
1791   if (update_pool)
1792     gst_query_set_nth_allocation_pool (query, 0, pool, size, min, max);
1793
1794   gst_object_unref (pool);
1795   if (allocator)
1796     gst_object_unref (allocator);
1797   gst_video_codec_state_unref (state);
1798
1799   return TRUE;
1800 }
1801
1802 static gboolean
1803 gst_ffmpegviddec_propose_allocation (GstVideoDecoder * decoder,
1804     GstQuery * query)
1805 {
1806   GstAllocationParams params;
1807
1808   gst_allocation_params_init (&params);
1809   params.flags = GST_MEMORY_FLAG_ZERO_PADDED;
1810   params.align = 15;
1811   params.padding = FF_INPUT_BUFFER_PADDING_SIZE;
1812   /* we would like to have some padding so that we don't have to
1813    * memcpy. We don't suggest an allocator. */
1814   gst_query_add_allocation_param (query, NULL, &params);
1815
1816   return GST_VIDEO_DECODER_CLASS (parent_class)->propose_allocation (decoder,
1817       query);
1818 }
1819
1820 static void
1821 gst_ffmpegviddec_set_property (GObject * object,
1822     guint prop_id, const GValue * value, GParamSpec * pspec)
1823 {
1824   GstFFMpegVidDec *ffmpegdec = (GstFFMpegVidDec *) object;
1825
1826   switch (prop_id) {
1827     case PROP_LOWRES:
1828       ffmpegdec->lowres = ffmpegdec->context->lowres = g_value_get_enum (value);
1829       break;
1830     case PROP_SKIPFRAME:
1831       ffmpegdec->skip_frame = ffmpegdec->context->skip_frame =
1832           g_value_get_enum (value);
1833       break;
1834     case PROP_DIRECT_RENDERING:
1835       ffmpegdec->direct_rendering = g_value_get_boolean (value);
1836       break;
1837     case PROP_DEBUG_MV:
1838       ffmpegdec->debug_mv = ffmpegdec->context->debug_mv =
1839           g_value_get_boolean (value);
1840       break;
1841     case PROP_MAX_THREADS:
1842       ffmpegdec->max_threads = g_value_get_int (value);
1843       break;
1844     case PROP_OUTPUT_CORRUPT:
1845       ffmpegdec->output_corrupt = g_value_get_boolean (value);
1846       break;
1847     default:
1848       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
1849       break;
1850   }
1851 }
1852
1853 static void
1854 gst_ffmpegviddec_get_property (GObject * object,
1855     guint prop_id, GValue * value, GParamSpec * pspec)
1856 {
1857   GstFFMpegVidDec *ffmpegdec = (GstFFMpegVidDec *) object;
1858
1859   switch (prop_id) {
1860     case PROP_LOWRES:
1861       g_value_set_enum (value, ffmpegdec->context->lowres);
1862       break;
1863     case PROP_SKIPFRAME:
1864       g_value_set_enum (value, ffmpegdec->context->skip_frame);
1865       break;
1866     case PROP_DIRECT_RENDERING:
1867       g_value_set_boolean (value, ffmpegdec->direct_rendering);
1868       break;
1869     case PROP_DEBUG_MV:
1870       g_value_set_boolean (value, ffmpegdec->context->debug_mv);
1871       break;
1872     case PROP_MAX_THREADS:
1873       g_value_set_int (value, ffmpegdec->max_threads);
1874       break;
1875     case PROP_OUTPUT_CORRUPT:
1876       g_value_set_boolean (value, ffmpegdec->output_corrupt);
1877       break;
1878     default:
1879       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
1880       break;
1881   }
1882 }
1883
1884 gboolean
1885 gst_ffmpegviddec_register (GstPlugin * plugin)
1886 {
1887   GTypeInfo typeinfo = {
1888     sizeof (GstFFMpegVidDecClass),
1889     (GBaseInitFunc) gst_ffmpegviddec_base_init,
1890     NULL,
1891     (GClassInitFunc) gst_ffmpegviddec_class_init,
1892     NULL,
1893     NULL,
1894     sizeof (GstFFMpegVidDec),
1895     0,
1896     (GInstanceInitFunc) gst_ffmpegviddec_init,
1897   };
1898   GType type;
1899   AVCodec *in_plugin;
1900   gint rank;
1901
1902   in_plugin = av_codec_next (NULL);
1903
1904   GST_LOG ("Registering decoders");
1905
1906   while (in_plugin) {
1907     gchar *type_name;
1908     gchar *plugin_name;
1909
1910     /* only video decoders */
1911     if (!av_codec_is_decoder (in_plugin)
1912         || in_plugin->type != AVMEDIA_TYPE_VIDEO)
1913       goto next;
1914
1915     /* no quasi-codecs, please */
1916     if (in_plugin->id == AV_CODEC_ID_RAWVIDEO ||
1917         in_plugin->id == AV_CODEC_ID_V210 ||
1918         in_plugin->id == AV_CODEC_ID_V210X ||
1919         in_plugin->id == AV_CODEC_ID_R210 ||
1920         (in_plugin->id >= AV_CODEC_ID_PCM_S16LE &&
1921             in_plugin->id <= AV_CODEC_ID_PCM_BLURAY)) {
1922       goto next;
1923     }
1924
1925     /* No decoders depending on external libraries (we don't build them, but
1926      * people who build against an external ffmpeg might have them.
1927      * We have native gstreamer plugins for all of those libraries anyway. */
1928     if (!strncmp (in_plugin->name, "lib", 3)) {
1929       GST_DEBUG
1930           ("Not using external library decoder %s. Use the gstreamer-native ones instead.",
1931           in_plugin->name);
1932       goto next;
1933     }
1934
1935     /* No vdpau plugins until we can figure out how to properly use them
1936      * outside of ffmpeg. */
1937     if (g_str_has_suffix (in_plugin->name, "_vdpau")) {
1938       GST_DEBUG
1939           ("Ignoring VDPAU decoder %s. We can't handle this outside of ffmpeg",
1940           in_plugin->name);
1941       goto next;
1942     }
1943
1944     if (g_str_has_suffix (in_plugin->name, "_xvmc")) {
1945       GST_DEBUG
1946           ("Ignoring XVMC decoder %s. We can't handle this outside of ffmpeg",
1947           in_plugin->name);
1948       goto next;
1949     }
1950
1951     GST_DEBUG ("Trying plugin %s [%s]", in_plugin->name, in_plugin->long_name);
1952
1953     /* no codecs for which we're GUARANTEED to have better alternatives */
1954     /* MPEG1VIDEO : the mpeg2video decoder is preferred */
1955     /* MP1 : Use MP3 for decoding */
1956     /* MP2 : Use MP3 for decoding */
1957     /* Theora: Use libtheora based theoradec */
1958     if (!strcmp (in_plugin->name, "gif") ||
1959         !strcmp (in_plugin->name, "theora") ||
1960         !strcmp (in_plugin->name, "mpeg1video") ||
1961         strstr (in_plugin->name, "crystalhd") != NULL ||
1962         !strcmp (in_plugin->name, "ass") ||
1963         !strcmp (in_plugin->name, "srt") ||
1964         !strcmp (in_plugin->name, "pgssub") ||
1965         !strcmp (in_plugin->name, "dvdsub") ||
1966         !strcmp (in_plugin->name, "dvbsub")) {
1967       GST_LOG ("Ignoring decoder %s", in_plugin->name);
1968       goto next;
1969     }
1970
1971     /* construct the type */
1972     if (!strcmp (in_plugin->name, "hevc")) {
1973       plugin_name = g_strdup ("h265");
1974     } else {
1975       plugin_name = g_strdup ((gchar *) in_plugin->name);
1976     }
1977     g_strdelimit (plugin_name, NULL, '_');
1978     type_name = g_strdup_printf ("avdec_%s", plugin_name);
1979     g_free (plugin_name);
1980
1981     type = g_type_from_name (type_name);
1982
1983     if (!type) {
1984       /* create the gtype now */
1985       type =
1986           g_type_register_static (GST_TYPE_VIDEO_DECODER, type_name, &typeinfo,
1987           0);
1988       g_type_set_qdata (type, GST_FFDEC_PARAMS_QDATA, (gpointer) in_plugin);
1989     }
1990
1991     /* (Ronald) MPEG-4 gets a higher priority because it has been well-
1992      * tested and by far outperforms divxdec/xviddec - so we prefer it.
1993      * msmpeg4v3 same, as it outperforms divxdec for divx3 playback.
1994      * VC1/WMV3 are not working and thus unpreferred for now. */
1995     switch (in_plugin->id) {
1996       case AV_CODEC_ID_MPEG4:
1997       case AV_CODEC_ID_MSMPEG4V3:
1998       case AV_CODEC_ID_H264:
1999       case AV_CODEC_ID_HEVC:
2000       case AV_CODEC_ID_RV10:
2001       case AV_CODEC_ID_RV20:
2002       case AV_CODEC_ID_RV30:
2003       case AV_CODEC_ID_RV40:
2004         rank = GST_RANK_PRIMARY;
2005         break;
2006         /* DVVIDEO: we have a good dv decoder, fast on both ppc as well as x86.
2007          * They say libdv's quality is better though. leave as secondary.
2008          * note: if you change this, see the code in gstdv.c in good/ext/dv.
2009          */
2010       case AV_CODEC_ID_DVVIDEO:
2011         rank = GST_RANK_SECONDARY;
2012         break;
2013       default:
2014         rank = GST_RANK_MARGINAL;
2015         break;
2016     }
2017     if (!gst_element_register (plugin, type_name, rank, type)) {
2018       g_warning ("Failed to register %s", type_name);
2019       g_free (type_name);
2020       return FALSE;
2021     }
2022
2023     g_free (type_name);
2024
2025   next:
2026     in_plugin = av_codec_next (in_plugin);
2027   }
2028
2029   GST_LOG ("Finished Registering decoders");
2030
2031   return TRUE;
2032 }