ext/vpx/gstvp9enc.c

   1 /* VP9
   2  * Copyright (C) 2006 David Schleef <ds@schleef.org>
   3  * Copyright (C) 2010 Entropy Wave Inc
   4  * Copyright (C) 2010-2013 Sebastian Dröge <slomo@circular-chaos.org>
   5  *
   6  * This library is free software; you can redistribute it and/or
   7  * modify it under the terms of the GNU Library General Public
   8  * License as published by the Free Software Foundation; either
   9  * version 2 of the License, or (at your option) any later version.
  10  *
  11  * This library is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14  * Library General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU Library General Public
  17  * License along with this library; if not, write to the
  18  * Free Software Foundation, Inc., 51 Franklin St, Fifth Floor,
  19  * Boston, MA 02110-1301, USA.
  20  *
  21  */
  22 /**
  23  * SECTION:element-vp9enc
  24  * @see_also: vp9dec, webmmux, oggmux
  25  *
  26  * This element encodes raw video into a VP9 stream.
  27  * <ulink url="http://www.webmproject.org">VP9</ulink> is a royalty-free
  28  * video codec maintained by <ulink url="http://www.google.com/">Google
  29  * </ulink>. It's the successor of On2 VP3, which was the base of the
  30  * Theora video codec.
  31  *
  32  * To control the quality of the encoding, the #GstVP9Enc::target-bitrate,
  33  * #GstVP9Enc::min-quantizer, #GstVP9Enc::max-quantizer or #GstVP9Enc::cq-level
  34  * properties can be used. Which one is used depends on the mode selected by
  35  * the #GstVP9Enc::end-usage property.
  36  * See <ulink url="http://www.webmproject.org/docs/encoder-parameters/">Encoder Parameters</ulink>
  37  * for explanation, examples for useful encoding parameters and more details
  38  * on the encoding parameters.
  39  *
  40  * <refsect2>
  41  * <title>Example pipeline</title>
  42  * |[
  43  * gst-launch-1.0 -v videotestsrc num-buffers=1000 ! vp9enc ! webmmux ! filesink location=videotestsrc.webm
  44  * ]| This example pipeline will encode a test video source to VP9 muxed in an
  45  * WebM container.
  46  * </refsect2>
  47  */
  48
  49 #ifdef HAVE_CONFIG_H
  50 #include "config.h"
  51 #endif
  52
  53 #ifdef HAVE_VP9_ENCODER
  54
  55 /* glib decided in 2.32 it would be a great idea to deprecated GValueArray without
  56  * providing an alternative
  57  *
  58  * See https://bugzilla.gnome.org/show_bug.cgi?id=667228
  59  * */
  60 #define GLIB_DISABLE_DEPRECATION_WARNINGS
  61
  62 #include <gst/tag/tag.h>
  63 #include <gst/video/video.h>
  64 #include <string.h>
  65
  66 #include "gstvp8utils.h"
  67 #include "gstvp9enc.h"
  68
  69 GST_DEBUG_CATEGORY_STATIC (gst_vp9enc_debug);
  70 #define GST_CAT_DEFAULT gst_vp9enc_debug
  71
  72 /* From vp9/vp9_cx_iface.c */
  73 #define DEFAULT_PROFILE 0
  74
  75 #define DEFAULT_RC_END_USAGE VPX_VBR
  76 #define DEFAULT_RC_TARGET_BITRATE 256000
  77 #define DEFAULT_RC_MIN_QUANTIZER 4
  78 #define DEFAULT_RC_MAX_QUANTIZER 63
  79
  80 #define DEFAULT_RC_DROPFRAME_THRESH 0
  81 #define DEFAULT_RC_RESIZE_ALLOWED 0
  82 #define DEFAULT_RC_RESIZE_UP_THRESH 30
  83 #define DEFAULT_RC_RESIZE_DOWN_THRESH 60
  84 #define DEFAULT_RC_UNDERSHOOT_PCT 100
  85 #define DEFAULT_RC_OVERSHOOT_PCT 100
  86 #define DEFAULT_RC_BUF_SZ 6000
  87 #define DEFAULT_RC_BUF_INITIAL_SZ 4000
  88 #define DEFAULT_RC_BUF_OPTIMAL_SZ 5000
  89 #define DEFAULT_RC_2PASS_VBR_BIAS_PCT 50
  90 #define DEFAULT_RC_2PASS_VBR_MINSECTION_PCT 0
  91 #define DEFAULT_RC_2PASS_VBR_MAXSECTION_PCT 400
  92
  93 #define DEFAULT_KF_MODE VPX_KF_AUTO
  94 #define DEFAULT_KF_MAX_DIST 128
  95
  96 #define DEFAULT_MULTIPASS_MODE VPX_RC_ONE_PASS
  97 #define DEFAULT_MULTIPASS_CACHE_FILE "multipass.cache"
  98
  99 #define DEFAULT_TS_NUMBER_LAYERS 1
 100 #define DEFAULT_TS_TARGET_BITRATE NULL
 101 #define DEFAULT_TS_RATE_DECIMATOR NULL
 102 #define DEFAULT_TS_PERIODICITY 0
 103 #define DEFAULT_TS_LAYER_ID NULL
 104
 105 #define DEFAULT_ERROR_RESILIENT 0
 106 #define DEFAULT_LAG_IN_FRAMES 0
 107
 108 #define DEFAULT_THREADS 0
 109
 110 #define DEFAULT_H_SCALING_MODE VP8E_NORMAL
 111 #define DEFAULT_V_SCALING_MODE VP8E_NORMAL
 112 #define DEFAULT_CPU_USED 0
 113 #define DEFAULT_ENABLE_AUTO_ALT_REF FALSE
 114 #define DEFAULT_DEADLINE VPX_DL_BEST_QUALITY
 115 #define DEFAULT_NOISE_SENSITIVITY 0
 116 #define DEFAULT_SHARPNESS 0
 117 #define DEFAULT_STATIC_THRESHOLD 0
 118 #define DEFAULT_TOKEN_PARTITIONS 0
 119 #define DEFAULT_ARNR_MAXFRAMES 0
 120 #define DEFAULT_ARNR_STRENGTH 3
 121 #define DEFAULT_ARNR_TYPE 3
 122 #define DEFAULT_TUNING VP8_TUNE_PSNR
 123 #define DEFAULT_CQ_LEVEL 10
 124 #define DEFAULT_MAX_INTRA_BITRATE_PCT 0
 125 #define DEFAULT_TIMEBASE_N 0
 126 #define DEFAULT_TIMEBASE_D 1
 127
 128 enum
 129 {
 130   PROP_0,
 131   PROP_RC_END_USAGE,
 132   PROP_RC_TARGET_BITRATE,
 133   PROP_RC_MIN_QUANTIZER,
 134   PROP_RC_MAX_QUANTIZER,
 135   PROP_RC_DROPFRAME_THRESH,
 136   PROP_RC_RESIZE_ALLOWED,
 137   PROP_RC_RESIZE_UP_THRESH,
 138   PROP_RC_RESIZE_DOWN_THRESH,
 139   PROP_RC_UNDERSHOOT_PCT,
 140   PROP_RC_OVERSHOOT_PCT,
 141   PROP_RC_BUF_SZ,
 142   PROP_RC_BUF_INITIAL_SZ,
 143   PROP_RC_BUF_OPTIMAL_SZ,
 144   PROP_RC_2PASS_VBR_BIAS_PCT,
 145   PROP_RC_2PASS_VBR_MINSECTION_PCT,
 146   PROP_RC_2PASS_VBR_MAXSECTION_PCT,
 147   PROP_KF_MODE,
 148   PROP_KF_MAX_DIST,
 149   PROP_TS_NUMBER_LAYERS,
 150   PROP_TS_TARGET_BITRATE,
 151   PROP_TS_RATE_DECIMATOR,
 152   PROP_TS_PERIODICITY,
 153   PROP_TS_LAYER_ID,
 154   PROP_MULTIPASS_MODE,
 155   PROP_MULTIPASS_CACHE_FILE,
 156   PROP_ERROR_RESILIENT,
 157   PROP_LAG_IN_FRAMES,
 158   PROP_THREADS,
 159   PROP_DEADLINE,
 160   PROP_H_SCALING_MODE,
 161   PROP_V_SCALING_MODE,
 162   PROP_CPU_USED,
 163   PROP_ENABLE_AUTO_ALT_REF,
 164   PROP_NOISE_SENSITIVITY,
 165   PROP_SHARPNESS,
 166   PROP_STATIC_THRESHOLD,
 167   PROP_TOKEN_PARTITIONS,
 168   PROP_ARNR_MAXFRAMES,
 169   PROP_ARNR_STRENGTH,
 170   PROP_ARNR_TYPE,
 171   PROP_TUNING,
 172   PROP_CQ_LEVEL,
 173   PROP_MAX_INTRA_BITRATE_PCT,
 174   PROP_TIMEBASE
 175 };
 176
 177 #define GST_VP9_ENC_END_USAGE_TYPE (gst_vp9_enc_end_usage_get_type())
 178 static GType
 179 gst_vp9_enc_end_usage_get_type (void)
 180 {
 181   static const GEnumValue values[] = {
 182     {VPX_VBR, "Variable Bit Rate (VBR) mode", "vbr"},
 183     {VPX_CBR, "Constant Bit Rate (CBR) mode", "cbr"},
 184     {VPX_CQ, "Constant Quality Mode (CQ) mode", "cq"},
 185     {0, NULL, NULL}
 186   };
 187   static volatile GType id = 0;
 188
 189   if (g_once_init_enter ((gsize *) & id)) {
 190     GType _id;
 191
 192     _id = g_enum_register_static ("GstVP9EncEndUsage", values);
 193
 194     g_once_init_leave ((gsize *) & id, _id);
 195   }
 196
 197   return id;
 198 }
 199
 200 #define GST_VP9_ENC_MULTIPASS_MODE_TYPE (gst_vp9_enc_multipass_mode_get_type())
 201 static GType
 202 gst_vp9_enc_multipass_mode_get_type (void)
 203 {
 204   static const GEnumValue values[] = {
 205     {VPX_RC_ONE_PASS, "One pass encoding (default)", "one-pass"},
 206     {VPX_RC_FIRST_PASS, "First pass of multipass encoding", "first-pass"},
 207     {VPX_RC_LAST_PASS, "Last pass of multipass encoding", "last-pass"},
 208     {0, NULL, NULL}
 209   };
 210   static volatile GType id = 0;
 211
 212   if (g_once_init_enter ((gsize *) & id)) {
 213     GType _id;
 214
 215     _id = g_enum_register_static ("GstVP9EncMultipassMode", values);
 216
 217     g_once_init_leave ((gsize *) & id, _id);
 218   }
 219
 220   return id;
 221 }
 222
 223 #define GST_VP9_ENC_KF_MODE_TYPE (gst_vp9_enc_kf_mode_get_type())
 224 static GType
 225 gst_vp9_enc_kf_mode_get_type (void)
 226 {
 227   static const GEnumValue values[] = {
 228     {VPX_KF_AUTO, "Determine optimal placement automatically", "auto"},
 229     {VPX_KF_DISABLED, "Don't automatically place keyframes", "disabled"},
 230     {0, NULL, NULL}
 231   };
 232   static volatile GType id = 0;
 233
 234   if (g_once_init_enter ((gsize *) & id)) {
 235     GType _id;
 236
 237     _id = g_enum_register_static ("GstVP9EncKfMode", values);
 238
 239     g_once_init_leave ((gsize *) & id, _id);
 240   }
 241
 242   return id;
 243 }
 244
 245 #define GST_VP9_ENC_TUNING_TYPE (gst_vp9_enc_tuning_get_type())
 246 static GType
 247 gst_vp9_enc_tuning_get_type (void)
 248 {
 249   static const GEnumValue values[] = {
 250     {VP8_TUNE_PSNR, "Tune for PSNR", "psnr"},
 251     {VP8_TUNE_SSIM, "Tune for SSIM", "ssim"},
 252     {0, NULL, NULL}
 253   };
 254   static volatile GType id = 0;
 255
 256   if (g_once_init_enter ((gsize *) & id)) {
 257     GType _id;
 258
 259     _id = g_enum_register_static ("GstVP9EncTuning", values);
 260
 261     g_once_init_leave ((gsize *) & id, _id);
 262   }
 263
 264   return id;
 265 }
 266
 267 #define GST_VP9_ENC_SCALING_MODE_TYPE (gst_vp9_enc_scaling_mode_get_type())
 268 static GType
 269 gst_vp9_enc_scaling_mode_get_type (void)
 270 {
 271   static const GEnumValue values[] = {
 272     {VP8E_NORMAL, "Normal", "normal"},
 273     {VP8E_FOURFIVE, "4:5", "4:5"},
 274     {VP8E_THREEFIVE, "3:5", "3:5"},
 275     {VP8E_ONETWO, "1:2", "1:2"},
 276     {0, NULL, NULL}
 277   };
 278   static volatile GType id = 0;
 279
 280   if (g_once_init_enter ((gsize *) & id)) {
 281     GType _id;
 282
 283     _id = g_enum_register_static ("GstVP9EncScalingMode", values);
 284
 285     g_once_init_leave ((gsize *) & id, _id);
 286   }
 287
 288   return id;
 289 }
 290
 291 #define GST_VP9_ENC_TOKEN_PARTITIONS_TYPE (gst_vp9_enc_token_partitions_get_type())
 292 static GType
 293 gst_vp9_enc_token_partitions_get_type (void)
 294 {
 295   static const GEnumValue values[] = {
 296     {VP8_ONE_TOKENPARTITION, "One token partition", "1"},
 297     {VP8_TWO_TOKENPARTITION, "Two token partitions", "2"},
 298     {VP8_FOUR_TOKENPARTITION, "Four token partitions", "4"},
 299     {VP8_EIGHT_TOKENPARTITION, "Eight token partitions", "8"},
 300     {0, NULL, NULL}
 301   };
 302   static volatile GType id = 0;
 303
 304   if (g_once_init_enter ((gsize *) & id)) {
 305     GType _id;
 306
 307     _id = g_enum_register_static ("GstVP9EncTokenPartitions", values);
 308
 309     g_once_init_leave ((gsize *) & id, _id);
 310   }
 311
 312   return id;
 313 }
 314
 315 #define GST_VP9_ENC_ER_FLAGS_TYPE (gst_vp9_enc_er_flags_get_type())
 316 static GType
 317 gst_vp9_enc_er_flags_get_type (void)
 318 {
 319   static const GFlagsValue values[] = {
 320     {VPX_ERROR_RESILIENT_DEFAULT, "Default error resilience", "default"},
 321     {VPX_ERROR_RESILIENT_PARTITIONS,
 322         "Allow partitions to be decoded independently", "partitions"},
 323     {0, NULL, NULL}
 324   };
 325   static volatile GType id = 0;
 326
 327   if (g_once_init_enter ((gsize *) & id)) {
 328     GType _id;
 329
 330     _id = g_flags_register_static ("GstVP9EncErFlags", values);
 331
 332     g_once_init_leave ((gsize *) & id, _id);
 333   }
 334
 335   return id;
 336 }
 337
 338 static void gst_vp9_enc_finalize (GObject * object);
 339 static void gst_vp9_enc_set_property (GObject * object, guint prop_id,
 340     const GValue * value, GParamSpec * pspec);
 341 static void gst_vp9_enc_get_property (GObject * object, guint prop_id,
 342     GValue * value, GParamSpec * pspec);
 343
 344 static gboolean gst_vp9_enc_start (GstVideoEncoder * encoder);
 345 static gboolean gst_vp9_enc_stop (GstVideoEncoder * encoder);
 346 static gboolean gst_vp9_enc_set_format (GstVideoEncoder *
 347     video_encoder, GstVideoCodecState * state);
 348 static GstFlowReturn gst_vp9_enc_finish (GstVideoEncoder * video_encoder);
 349 static gboolean gst_vp9_enc_flush (GstVideoEncoder * video_encoder);
 350 static GstFlowReturn gst_vp9_enc_drain (GstVideoEncoder * video_encoder);
 351 static GstFlowReturn gst_vp9_enc_handle_frame (GstVideoEncoder *
 352     video_encoder, GstVideoCodecFrame * frame);
 353 static gboolean gst_vp9_enc_sink_event (GstVideoEncoder *
 354     video_encoder, GstEvent * event);
 355 static gboolean gst_vp9_enc_propose_allocation (GstVideoEncoder * encoder,
 356     GstQuery * query);
 357
 358 /* FIXME: Y42B and Y444 do not work yet it seems */
 359 static GstStaticPadTemplate gst_vp9_enc_sink_template =
 360 GST_STATIC_PAD_TEMPLATE ("sink",
 361     GST_PAD_SINK,
 362     GST_PAD_ALWAYS,
 363     /*GST_STATIC_CAPS (GST_VIDEO_CAPS_MAKE ("{ I420, YV12, Y42B, Y444 }")) */
 364     GST_STATIC_CAPS (GST_VIDEO_CAPS_MAKE ("{ I420, YV12 }"))
 365     );
 366
 367 static GstStaticPadTemplate gst_vp9_enc_src_template =
 368 GST_STATIC_PAD_TEMPLATE ("src",
 369     GST_PAD_SRC,
 370     GST_PAD_ALWAYS,
 371     GST_STATIC_CAPS ("video/x-vp9, " "profile = (string) {0, 1, 2, 3}")
 372     );
 373
 374 #define parent_class gst_vp9_enc_parent_class
 375 G_DEFINE_TYPE_WITH_CODE (GstVP9Enc, gst_vp9_enc, GST_TYPE_VIDEO_ENCODER,
 376     G_IMPLEMENT_INTERFACE (GST_TYPE_TAG_SETTER, NULL);
 377     G_IMPLEMENT_INTERFACE (GST_TYPE_PRESET, NULL););
 378
 379 static void
 380 gst_vp9_enc_class_init (GstVP9EncClass * klass)
 381 {
 382   GObjectClass *gobject_class;
 383   GstElementClass *element_class;
 384   GstVideoEncoderClass *video_encoder_class;
 385
 386   gobject_class = G_OBJECT_CLASS (klass);
 387   element_class = GST_ELEMENT_CLASS (klass);
 388   video_encoder_class = GST_VIDEO_ENCODER_CLASS (klass);
 389
 390   gobject_class->set_property = gst_vp9_enc_set_property;
 391   gobject_class->get_property = gst_vp9_enc_get_property;
 392   gobject_class->finalize = gst_vp9_enc_finalize;
 393
 394   gst_element_class_add_pad_template (element_class,
 395       gst_static_pad_template_get (&gst_vp9_enc_src_template));
 396   gst_element_class_add_pad_template (element_class,
 397       gst_static_pad_template_get (&gst_vp9_enc_sink_template));
 398
 399   gst_element_class_set_static_metadata (element_class,
 400       "On2 VP9 Encoder",
 401       "Codec/Encoder/Video",
 402       "Encode VP9 video streams", "David Schleef <ds@entropywave.com>, "
 403       "Sebastian Dröge <sebastian.droege@collabora.co.uk>");
 404
 405   video_encoder_class->start = gst_vp9_enc_start;
 406   video_encoder_class->stop = gst_vp9_enc_stop;
 407   video_encoder_class->handle_frame = gst_vp9_enc_handle_frame;
 408   video_encoder_class->set_format = gst_vp9_enc_set_format;
 409   video_encoder_class->flush = gst_vp9_enc_flush;
 410   video_encoder_class->finish = gst_vp9_enc_finish;
 411   video_encoder_class->sink_event = gst_vp9_enc_sink_event;
 412   video_encoder_class->propose_allocation = gst_vp9_enc_propose_allocation;
 413
 414   g_object_class_install_property (gobject_class, PROP_RC_END_USAGE,
 415       g_param_spec_enum ("end-usage", "Rate control mode",
 416           "Rate control mode",
 417           GST_VP9_ENC_END_USAGE_TYPE, DEFAULT_RC_END_USAGE,
 418           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
 419
 420   g_object_class_install_property (gobject_class, PROP_RC_TARGET_BITRATE,
 421       g_param_spec_int ("target-bitrate", "Target bitrate",
 422           "Target bitrate (in bits/sec)",
 423           0, G_MAXINT, DEFAULT_RC_TARGET_BITRATE,
 424           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
 425
 426   g_object_class_install_property (gobject_class, PROP_RC_MIN_QUANTIZER,
 427       g_param_spec_int ("min-quantizer", "Minimum Quantizer",
 428           "Minimum Quantizer (best)",
 429           0, 63, DEFAULT_RC_MIN_QUANTIZER,
 430           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
 431
 432   g_object_class_install_property (gobject_class, PROP_RC_MAX_QUANTIZER,
 433       g_param_spec_int ("max-quantizer", "Maximum Quantizer",
 434           "Maximum Quantizer (worst)",
 435           0, 63, DEFAULT_RC_MAX_QUANTIZER,
 436           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
 437
 438   g_object_class_install_property (gobject_class, PROP_RC_DROPFRAME_THRESH,
 439       g_param_spec_int ("dropframe-threshold", "Drop Frame Threshold",
 440           "Temporal resampling threshold (buf %)",
 441           0, 100, DEFAULT_RC_DROPFRAME_THRESH,
 442           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
 443
 444   g_object_class_install_property (gobject_class, PROP_RC_RESIZE_ALLOWED,
 445       g_param_spec_boolean ("resize-allowed", "Resize Allowed",
 446           "Allow spatial resampling",
 447           DEFAULT_RC_RESIZE_ALLOWED,
 448           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
 449
 450   g_object_class_install_property (gobject_class, PROP_RC_RESIZE_UP_THRESH,
 451       g_param_spec_int ("resize-up-threshold", "Resize Up Threshold",
 452           "Upscale threshold (buf %)",
 453           0, 100, DEFAULT_RC_RESIZE_UP_THRESH,
 454           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
 455
 456   g_object_class_install_property (gobject_class, PROP_RC_RESIZE_DOWN_THRESH,
 457       g_param_spec_int ("resize-down-threshold", "Resize Down Threshold",
 458           "Downscale threshold (buf %)",
 459           0, 100, DEFAULT_RC_RESIZE_DOWN_THRESH,
 460           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
 461
 462   g_object_class_install_property (gobject_class, PROP_RC_UNDERSHOOT_PCT,
 463       g_param_spec_int ("undershoot", "Undershoot PCT",
 464           "Datarate undershoot (min) target (%)",
 465           0, 1000, DEFAULT_RC_UNDERSHOOT_PCT,
 466           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
 467
 468   g_object_class_install_property (gobject_class, PROP_RC_OVERSHOOT_PCT,
 469       g_param_spec_int ("overshoot", "Overshoot PCT",
 470           "Datarate overshoot (max) target (%)",
 471           0, 1000, DEFAULT_RC_OVERSHOOT_PCT,
 472           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
 473
 474   g_object_class_install_property (gobject_class, PROP_RC_BUF_SZ,
 475       g_param_spec_int ("buffer-size", "Buffer size",
 476           "Client buffer size (ms)",
 477           0, G_MAXINT, DEFAULT_RC_BUF_SZ,
 478           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
 479
 480   g_object_class_install_property (gobject_class, PROP_RC_BUF_INITIAL_SZ,
 481       g_param_spec_int ("buffer-initial-size", "Buffer initial size",
 482           "Initial client buffer size (ms)",
 483           0, G_MAXINT, DEFAULT_RC_BUF_INITIAL_SZ,
 484           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
 485
 486   g_object_class_install_property (gobject_class, PROP_RC_BUF_OPTIMAL_SZ,
 487       g_param_spec_int ("buffer-optimal-size", "Buffer optimal size",
 488           "Optimal client buffer size (ms)",
 489           0, G_MAXINT, DEFAULT_RC_BUF_OPTIMAL_SZ,
 490           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
 491
 492   g_object_class_install_property (gobject_class, PROP_RC_2PASS_VBR_BIAS_PCT,
 493       g_param_spec_int ("twopass-vbr-bias", "2-pass VBR bias",
 494           "CBR/VBR bias (0=CBR, 100=VBR)",
 495           0, 100, DEFAULT_RC_2PASS_VBR_BIAS_PCT,
 496           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
 497
 498   g_object_class_install_property (gobject_class,
 499       PROP_RC_2PASS_VBR_MINSECTION_PCT,
 500       g_param_spec_int ("twopass-vbr-minsection", "2-pass GOP min bitrate",
 501           "GOP minimum bitrate (% target)", 0, G_MAXINT,
 502           DEFAULT_RC_2PASS_VBR_MINSECTION_PCT,
 503           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
 504
 505   g_object_class_install_property (gobject_class,
 506       PROP_RC_2PASS_VBR_MAXSECTION_PCT,
 507       g_param_spec_int ("twopass-vbr-maxsection", "2-pass GOP max bitrate",
 508           "GOP maximum bitrate (% target)", 0, G_MAXINT,
 509           DEFAULT_RC_2PASS_VBR_MINSECTION_PCT,
 510           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
 511
 512   g_object_class_install_property (gobject_class, PROP_KF_MODE,
 513       g_param_spec_enum ("keyframe-mode", "Keyframe Mode",
 514           "Keyframe placement",
 515           GST_VP9_ENC_KF_MODE_TYPE, DEFAULT_KF_MODE,
 516           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
 517
 518   g_object_class_install_property (gobject_class, PROP_KF_MAX_DIST,
 519       g_param_spec_int ("keyframe-max-dist", "Keyframe max distance",
 520           "Maximum distance between keyframes (number of frames)",
 521           0, G_MAXINT, DEFAULT_KF_MAX_DIST,
 522           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
 523
 524   g_object_class_install_property (gobject_class, PROP_MULTIPASS_MODE,
 525       g_param_spec_enum ("multipass-mode", "Multipass Mode",
 526           "Multipass encode mode",
 527           GST_VP9_ENC_MULTIPASS_MODE_TYPE, DEFAULT_MULTIPASS_MODE,
 528           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
 529
 530   g_object_class_install_property (gobject_class, PROP_MULTIPASS_CACHE_FILE,
 531       g_param_spec_string ("multipass-cache-file", "Multipass Cache File",
 532           "Multipass cache file. "
 533           "If stream caps reinited, multiple files will be created: "
 534           "file, file.1, file.2, ... and so on.",
 535           DEFAULT_MULTIPASS_CACHE_FILE,
 536           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
 537
 538   g_object_class_install_property (gobject_class, PROP_TS_NUMBER_LAYERS,
 539       g_param_spec_int ("temporal-scalability-number-layers",
 540           "Number of coding layers", "Number of coding layers to use", 1, 5,
 541           DEFAULT_TS_NUMBER_LAYERS,
 542           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
 543
 544   g_object_class_install_property (gobject_class, PROP_TS_TARGET_BITRATE,
 545       g_param_spec_value_array ("temporal-scalability-target-bitrate",
 546           "Coding layer target bitrates",
 547           "Target bitrates for coding layers (one per layer, decreasing)",
 548           g_param_spec_int ("target-bitrate", "Target bitrate",
 549               "Target bitrate", 0, G_MAXINT, DEFAULT_RC_TARGET_BITRATE,
 550               G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS),
 551           G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
 552
 553   g_object_class_install_property (gobject_class, PROP_TS_RATE_DECIMATOR,
 554       g_param_spec_value_array ("temporal-scalability-rate-decimator",
 555           "Coding layer rate decimator",
 556           "Rate decimation factors for each layer",
 557           g_param_spec_int ("rate-decimator", "Rate decimator",
 558               "Rate decimator", 0, 1000000000, 0,
 559               G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS),
 560           G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
 561
 562   g_object_class_install_property (gobject_class, PROP_TS_PERIODICITY,
 563       g_param_spec_int ("temporal-scalability-periodicity",
 564           "Coding layer periodicity",
 565           "Length of sequence that defines layer membership periodicity", 0, 16,
 566           DEFAULT_TS_PERIODICITY,
 567           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
 568
 569   g_object_class_install_property (gobject_class, PROP_TS_LAYER_ID,
 570       g_param_spec_value_array ("temporal-scalability-layer-id",
 571           "Coding layer identification",
 572           "Sequence defining coding layer membership",
 573           g_param_spec_int ("layer-id", "Layer ID", "Layer ID", 0, 4, 0,
 574               G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS),
 575           G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
 576
 577   g_object_class_install_property (gobject_class, PROP_LAG_IN_FRAMES,
 578       g_param_spec_int ("lag-in-frames", "Lag in frames",
 579           "Maximum number of frames to lag",
 580           0, 25, DEFAULT_LAG_IN_FRAMES,
 581           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
 582
 583   g_object_class_install_property (gobject_class, PROP_ERROR_RESILIENT,
 584       g_param_spec_flags ("error-resilient", "Error resilient",
 585           "Error resilience flags",
 586           GST_VP9_ENC_ER_FLAGS_TYPE, DEFAULT_ERROR_RESILIENT,
 587           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
 588
 589   g_object_class_install_property (gobject_class, PROP_THREADS,
 590       g_param_spec_int ("threads", "Threads",
 591           "Number of threads to use",
 592           0, 64, DEFAULT_THREADS,
 593           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
 594
 595   g_object_class_install_property (gobject_class, PROP_DEADLINE,
 596       g_param_spec_int64 ("deadline", "Deadline",
 597           "Deadline per frame (usec, 0=disabled)",
 598           0, G_MAXINT64, DEFAULT_DEADLINE,
 599           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
 600
 601   g_object_class_install_property (gobject_class, PROP_H_SCALING_MODE,
 602       g_param_spec_enum ("horizontal-scaling-mode", "Horizontal scaling mode",
 603           "Horizontal scaling mode",
 604           GST_VP9_ENC_SCALING_MODE_TYPE, DEFAULT_H_SCALING_MODE,
 605           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
 606
 607   g_object_class_install_property (gobject_class, PROP_V_SCALING_MODE,
 608       g_param_spec_enum ("vertical-scaling-mode", "Vertical scaling mode",
 609           "Vertical scaling mode",
 610           GST_VP9_ENC_SCALING_MODE_TYPE, DEFAULT_V_SCALING_MODE,
 611           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
 612
 613   g_object_class_install_property (gobject_class, PROP_CPU_USED,
 614       g_param_spec_int ("cpu-used", "CPU used",
 615           "CPU used",
 616           -16, 16, DEFAULT_CPU_USED,
 617           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
 618
 619   g_object_class_install_property (gobject_class, PROP_ENABLE_AUTO_ALT_REF,
 620       g_param_spec_boolean ("auto-alt-ref", "Auto alt reference frames",
 621           "Automatically generate AltRef frames",
 622           DEFAULT_ENABLE_AUTO_ALT_REF,
 623           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
 624
 625   g_object_class_install_property (gobject_class, PROP_NOISE_SENSITIVITY,
 626       g_param_spec_int ("noise-sensitivity", "Noise sensitivity",
 627           "Noise sensisivity (frames to blur)",
 628           0, 6, DEFAULT_NOISE_SENSITIVITY,
 629           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
 630
 631   g_object_class_install_property (gobject_class, PROP_SHARPNESS,
 632       g_param_spec_int ("sharpness", "Sharpness",
 633           "Filter sharpness",
 634           0, 7, DEFAULT_SHARPNESS,
 635           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
 636
 637   g_object_class_install_property (gobject_class, PROP_STATIC_THRESHOLD,
 638       g_param_spec_int ("static-threshold", "Static Threshold",
 639           "Motion detection threshold",
 640           0, G_MAXINT, DEFAULT_STATIC_THRESHOLD,
 641           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
 642
 643   g_object_class_install_property (gobject_class, PROP_TOKEN_PARTITIONS,
 644       g_param_spec_enum ("token-partitions", "Token partitions",
 645           "Number of token partitions",
 646           GST_VP9_ENC_TOKEN_PARTITIONS_TYPE, DEFAULT_TOKEN_PARTITIONS,
 647           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
 648
 649   g_object_class_install_property (gobject_class, PROP_ARNR_MAXFRAMES,
 650       g_param_spec_int ("arnr-maxframes", "AltRef max frames",
 651           "AltRef maximum number of frames",
 652           0, 15, DEFAULT_ARNR_MAXFRAMES,
 653           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
 654
 655   g_object_class_install_property (gobject_class, PROP_ARNR_STRENGTH,
 656       g_param_spec_int ("arnr-strength", "AltRef strength",
 657           "AltRef strength",
 658           0, 6, DEFAULT_ARNR_STRENGTH,
 659           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
 660
 661   g_object_class_install_property (gobject_class, PROP_ARNR_TYPE,
 662       g_param_spec_int ("arnr-type", "AltRef type",
 663           "AltRef type",
 664           1, 3, DEFAULT_ARNR_TYPE,
 665           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS |
 666               G_PARAM_DEPRECATED)));
 667
 668   g_object_class_install_property (gobject_class, PROP_TUNING,
 669       g_param_spec_enum ("tuning", "Tuning",
 670           "Tuning",
 671           GST_VP9_ENC_TUNING_TYPE, DEFAULT_TUNING,
 672           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
 673
 674   g_object_class_install_property (gobject_class, PROP_CQ_LEVEL,
 675       g_param_spec_int ("cq-level", "Constrained quality level",
 676           "Constrained quality level",
 677           0, 63, DEFAULT_CQ_LEVEL,
 678           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
 679
 680   g_object_class_install_property (gobject_class, PROP_MAX_INTRA_BITRATE_PCT,
 681       g_param_spec_int ("max-intra-bitrate", "Max Intra bitrate",
 682           "Maximum Intra frame bitrate",
 683           0, G_MAXINT, DEFAULT_MAX_INTRA_BITRATE_PCT,
 684           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
 685
 686   g_object_class_install_property (gobject_class, PROP_TIMEBASE,
 687       gst_param_spec_fraction ("timebase", "Shortest interframe time",
 688           "Fraction of one second that is the shortest interframe time - normally left as zero which will default to the framerate",
 689           0, 1, G_MAXINT, 1, DEFAULT_TIMEBASE_N, DEFAULT_TIMEBASE_D,
 690           G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
 691
 692   GST_DEBUG_CATEGORY_INIT (gst_vp9enc_debug, "vp9enc", 0, "VP9 Encoder");
 693 }
 694
 695 static void
 696 gst_vp9_enc_init (GstVP9Enc * gst_vp9_enc)
 697 {
 698   vpx_codec_err_t status;
 699
 700   GST_DEBUG_OBJECT (gst_vp9_enc, "init");
 701   GST_PAD_SET_ACCEPT_TEMPLATE (GST_VIDEO_ENCODER_SINK_PAD (gst_vp9_enc));
 702
 703   status =
 704       vpx_codec_enc_config_default (&vpx_codec_vp9_cx_algo, &gst_vp9_enc->cfg,
 705       0);
 706   if (status != VPX_CODEC_OK) {
 707     GST_ERROR_OBJECT (gst_vp9_enc,
 708         "Failed to get default encoder configuration: %s",
 709         gst_vpx_error_name (status));
 710     gst_vp9_enc->have_default_config = FALSE;
 711   } else {
 712     gst_vp9_enc->have_default_config = TRUE;
 713   }
 714
 715   gst_vp9_enc->cfg.rc_end_usage = DEFAULT_RC_END_USAGE;
 716   gst_vp9_enc->cfg.rc_target_bitrate = DEFAULT_RC_TARGET_BITRATE / 1000;
 717   gst_vp9_enc->rc_target_bitrate_set = FALSE;
 718   gst_vp9_enc->cfg.rc_min_quantizer = DEFAULT_RC_MIN_QUANTIZER;
 719   gst_vp9_enc->cfg.rc_max_quantizer = DEFAULT_RC_MAX_QUANTIZER;
 720   gst_vp9_enc->cfg.rc_dropframe_thresh = DEFAULT_RC_DROPFRAME_THRESH;
 721   gst_vp9_enc->cfg.rc_resize_allowed = DEFAULT_RC_RESIZE_ALLOWED;
 722   gst_vp9_enc->cfg.rc_resize_up_thresh = DEFAULT_RC_RESIZE_UP_THRESH;
 723   gst_vp9_enc->cfg.rc_resize_down_thresh = DEFAULT_RC_RESIZE_DOWN_THRESH;
 724   gst_vp9_enc->cfg.rc_undershoot_pct = DEFAULT_RC_UNDERSHOOT_PCT;
 725   gst_vp9_enc->cfg.rc_overshoot_pct = DEFAULT_RC_OVERSHOOT_PCT;
 726   gst_vp9_enc->cfg.rc_buf_sz = DEFAULT_RC_BUF_SZ;
 727   gst_vp9_enc->cfg.rc_buf_initial_sz = DEFAULT_RC_BUF_INITIAL_SZ;
 728   gst_vp9_enc->cfg.rc_buf_optimal_sz = DEFAULT_RC_BUF_OPTIMAL_SZ;
 729   gst_vp9_enc->cfg.rc_2pass_vbr_bias_pct = DEFAULT_RC_2PASS_VBR_BIAS_PCT;
 730   gst_vp9_enc->cfg.rc_2pass_vbr_minsection_pct =
 731       DEFAULT_RC_2PASS_VBR_MINSECTION_PCT;
 732   gst_vp9_enc->cfg.rc_2pass_vbr_maxsection_pct =
 733       DEFAULT_RC_2PASS_VBR_MAXSECTION_PCT;
 734   gst_vp9_enc->cfg.kf_mode = DEFAULT_KF_MODE;
 735   gst_vp9_enc->cfg.kf_max_dist = DEFAULT_KF_MAX_DIST;
 736   gst_vp9_enc->cfg.g_pass = DEFAULT_MULTIPASS_MODE;
 737   gst_vp9_enc->multipass_cache_prefix = g_strdup (DEFAULT_MULTIPASS_CACHE_FILE);
 738   gst_vp9_enc->multipass_cache_file = NULL;
 739   gst_vp9_enc->multipass_cache_idx = 0;
 740   gst_vp9_enc->cfg.ts_number_layers = DEFAULT_TS_NUMBER_LAYERS;
 741   gst_vp9_enc->n_ts_target_bitrate = 0;
 742   gst_vp9_enc->n_ts_rate_decimator = 0;
 743   gst_vp9_enc->cfg.ts_periodicity = DEFAULT_TS_PERIODICITY;
 744   gst_vp9_enc->n_ts_layer_id = 0;
 745   gst_vp9_enc->cfg.g_error_resilient = DEFAULT_ERROR_RESILIENT;
 746   gst_vp9_enc->cfg.g_lag_in_frames = DEFAULT_LAG_IN_FRAMES;
 747   gst_vp9_enc->cfg.g_threads = DEFAULT_THREADS;
 748   gst_vp9_enc->deadline = DEFAULT_DEADLINE;
 749   gst_vp9_enc->h_scaling_mode = DEFAULT_H_SCALING_MODE;
 750   gst_vp9_enc->v_scaling_mode = DEFAULT_V_SCALING_MODE;
 751   gst_vp9_enc->cpu_used = DEFAULT_CPU_USED;
 752   gst_vp9_enc->enable_auto_alt_ref = DEFAULT_ENABLE_AUTO_ALT_REF;
 753   gst_vp9_enc->noise_sensitivity = DEFAULT_NOISE_SENSITIVITY;
 754   gst_vp9_enc->sharpness = DEFAULT_SHARPNESS;
 755   gst_vp9_enc->static_threshold = DEFAULT_STATIC_THRESHOLD;
 756   gst_vp9_enc->token_partitions = DEFAULT_TOKEN_PARTITIONS;
 757   gst_vp9_enc->arnr_maxframes = DEFAULT_ARNR_MAXFRAMES;
 758   gst_vp9_enc->arnr_strength = DEFAULT_ARNR_STRENGTH;
 759   gst_vp9_enc->arnr_type = DEFAULT_ARNR_TYPE;
 760   gst_vp9_enc->tuning = DEFAULT_TUNING;
 761   gst_vp9_enc->cq_level = DEFAULT_CQ_LEVEL;
 762   gst_vp9_enc->max_intra_bitrate_pct = DEFAULT_MAX_INTRA_BITRATE_PCT;
 763   gst_vp9_enc->timebase_n = DEFAULT_TIMEBASE_N;
 764   gst_vp9_enc->timebase_d = DEFAULT_TIMEBASE_D;
 765
 766   gst_vp9_enc->cfg.g_profile = DEFAULT_PROFILE;
 767
 768   g_mutex_init (&gst_vp9_enc->encoder_lock);
 769 }
 770
 771 static void
 772 gst_vp9_enc_finalize (GObject * object)
 773 {
 774   GstVP9Enc *gst_vp9_enc;
 775
 776   GST_DEBUG_OBJECT (object, "finalize");
 777
 778   g_return_if_fail (GST_IS_VP9_ENC (object));
 779   gst_vp9_enc = GST_VP9_ENC (object);
 780
 781   g_free (gst_vp9_enc->multipass_cache_prefix);
 782   g_free (gst_vp9_enc->multipass_cache_file);
 783   gst_vp9_enc->multipass_cache_idx = 0;
 784
 785   if (gst_vp9_enc->input_state)
 786     gst_video_codec_state_unref (gst_vp9_enc->input_state);
 787
 788   g_mutex_clear (&gst_vp9_enc->encoder_lock);
 789
 790   G_OBJECT_CLASS (parent_class)->finalize (object);
 791 }
 792
 793 static void
 794 gst_vp9_enc_set_property (GObject * object, guint prop_id,
 795     const GValue * value, GParamSpec * pspec)
 796 {
 797   GstVP9Enc *gst_vp9_enc;
 798   gboolean global = FALSE;
 799   vpx_codec_err_t status;
 800
 801   g_return_if_fail (GST_IS_VP9_ENC (object));
 802   gst_vp9_enc = GST_VP9_ENC (object);
 803
 804   GST_DEBUG_OBJECT (object, "gst_vp9_enc_set_property");
 805   g_mutex_lock (&gst_vp9_enc->encoder_lock);
 806   switch (prop_id) {
 807     case PROP_RC_END_USAGE:
 808       gst_vp9_enc->cfg.rc_end_usage = g_value_get_enum (value);
 809       global = TRUE;
 810       break;
 811     case PROP_RC_TARGET_BITRATE:
 812       gst_vp9_enc->cfg.rc_target_bitrate = g_value_get_int (value) / 1000;
 813       gst_vp9_enc->rc_target_bitrate_set = TRUE;
 814       global = TRUE;
 815       break;
 816     case PROP_RC_MIN_QUANTIZER:
 817       gst_vp9_enc->cfg.rc_min_quantizer = g_value_get_int (value);
 818       global = TRUE;
 819       break;
 820     case PROP_RC_MAX_QUANTIZER:
 821       gst_vp9_enc->cfg.rc_max_quantizer = g_value_get_int (value);
 822       global = TRUE;
 823       break;
 824     case PROP_RC_DROPFRAME_THRESH:
 825       gst_vp9_enc->cfg.rc_dropframe_thresh = g_value_get_int (value);
 826       global = TRUE;
 827       break;
 828     case PROP_RC_RESIZE_ALLOWED:
 829       gst_vp9_enc->cfg.rc_resize_allowed = g_value_get_boolean (value);
 830       global = TRUE;
 831       break;
 832     case PROP_RC_RESIZE_UP_THRESH:
 833       gst_vp9_enc->cfg.rc_resize_up_thresh = g_value_get_int (value);
 834       global = TRUE;
 835       break;
 836     case PROP_RC_RESIZE_DOWN_THRESH:
 837       gst_vp9_enc->cfg.rc_resize_down_thresh = g_value_get_int (value);
 838       global = TRUE;
 839       break;
 840     case PROP_RC_UNDERSHOOT_PCT:
 841       gst_vp9_enc->cfg.rc_undershoot_pct = g_value_get_int (value);
 842       global = TRUE;
 843       break;
 844     case PROP_RC_OVERSHOOT_PCT:
 845       gst_vp9_enc->cfg.rc_overshoot_pct = g_value_get_int (value);
 846       global = TRUE;
 847       break;
 848     case PROP_RC_BUF_SZ:
 849       gst_vp9_enc->cfg.rc_buf_sz = g_value_get_int (value);
 850       global = TRUE;
 851       break;
 852     case PROP_RC_BUF_INITIAL_SZ:
 853       gst_vp9_enc->cfg.rc_buf_initial_sz = g_value_get_int (value);
 854       global = TRUE;
 855       break;
 856     case PROP_RC_BUF_OPTIMAL_SZ:
 857       gst_vp9_enc->cfg.rc_buf_optimal_sz = g_value_get_int (value);
 858       global = TRUE;
 859       break;
 860     case PROP_RC_2PASS_VBR_BIAS_PCT:
 861       gst_vp9_enc->cfg.rc_2pass_vbr_bias_pct = g_value_get_int (value);
 862       global = TRUE;
 863       break;
 864     case PROP_RC_2PASS_VBR_MINSECTION_PCT:
 865       gst_vp9_enc->cfg.rc_2pass_vbr_minsection_pct = g_value_get_int (value);
 866       global = TRUE;
 867       break;
 868     case PROP_RC_2PASS_VBR_MAXSECTION_PCT:
 869       gst_vp9_enc->cfg.rc_2pass_vbr_maxsection_pct = g_value_get_int (value);
 870       global = TRUE;
 871       break;
 872     case PROP_KF_MODE:
 873       gst_vp9_enc->cfg.kf_mode = g_value_get_enum (value);
 874       global = TRUE;
 875       break;
 876     case PROP_KF_MAX_DIST:
 877       gst_vp9_enc->cfg.kf_max_dist = g_value_get_int (value);
 878       global = TRUE;
 879       break;
 880     case PROP_MULTIPASS_MODE:
 881       gst_vp9_enc->cfg.g_pass = g_value_get_enum (value);
 882       global = TRUE;
 883       break;
 884     case PROP_MULTIPASS_CACHE_FILE:
 885       if (gst_vp9_enc->multipass_cache_prefix)
 886         g_free (gst_vp9_enc->multipass_cache_prefix);
 887       gst_vp9_enc->multipass_cache_prefix = g_value_dup_string (value);
 888       break;
 889     case PROP_TS_NUMBER_LAYERS:
 890       gst_vp9_enc->cfg.ts_number_layers = g_value_get_int (value);
 891       global = TRUE;
 892       break;
 893     case PROP_TS_TARGET_BITRATE:{
 894       GValueArray *va = g_value_get_boxed (value);
 895
 896       memset (&gst_vp9_enc->cfg.ts_target_bitrate, 0,
 897           sizeof (gst_vp9_enc->cfg.ts_target_bitrate));
 898       if (va == NULL) {
 899         gst_vp9_enc->n_ts_target_bitrate = 0;
 900       } else {
 901         if (va->n_values > VPX_TS_MAX_LAYERS) {
 902           g_warning ("%s: Only %d layers allowed at maximum",
 903               GST_ELEMENT_NAME (gst_vp9_enc), VPX_TS_MAX_LAYERS);
 904         } else {
 905           gint i;
 906
 907           for (i = 0; i < va->n_values; i++)
 908             gst_vp9_enc->cfg.ts_target_bitrate[i] =
 909                 g_value_get_int (g_value_array_get_nth (va, i));
 910           gst_vp9_enc->n_ts_target_bitrate = va->n_values;
 911         }
 912       }
 913       global = TRUE;
 914       break;
 915     }
 916     case PROP_TS_RATE_DECIMATOR:{
 917       GValueArray *va = g_value_get_boxed (value);
 918
 919       memset (&gst_vp9_enc->cfg.ts_rate_decimator, 0,
 920           sizeof (gst_vp9_enc->cfg.ts_rate_decimator));
 921       if (va == NULL) {
 922         gst_vp9_enc->n_ts_rate_decimator = 0;
 923       } else if (va->n_values > VPX_TS_MAX_LAYERS) {
 924         g_warning ("%s: Only %d layers allowed at maximum",
 925             GST_ELEMENT_NAME (gst_vp9_enc), VPX_TS_MAX_LAYERS);
 926       } else {
 927         gint i;
 928
 929         for (i = 0; i < va->n_values; i++)
 930           gst_vp9_enc->cfg.ts_rate_decimator[i] =
 931               g_value_get_int (g_value_array_get_nth (va, i));
 932         gst_vp9_enc->n_ts_rate_decimator = va->n_values;
 933       }
 934       global = TRUE;
 935       break;
 936     }
 937     case PROP_TS_PERIODICITY:
 938       gst_vp9_enc->cfg.ts_periodicity = g_value_get_int (value);
 939       global = TRUE;
 940       break;
 941     case PROP_TS_LAYER_ID:{
 942       GValueArray *va = g_value_get_boxed (value);
 943
 944       memset (&gst_vp9_enc->cfg.ts_layer_id, 0,
 945           sizeof (gst_vp9_enc->cfg.ts_layer_id));
 946       if (va && va->n_values > VPX_TS_MAX_PERIODICITY) {
 947         g_warning ("%s: Only %d sized layer sequences allowed at maximum",
 948             GST_ELEMENT_NAME (gst_vp9_enc), VPX_TS_MAX_PERIODICITY);
 949       } else if (va) {
 950         gint i;
 951
 952         for (i = 0; i < va->n_values; i++)
 953           gst_vp9_enc->cfg.ts_layer_id[i] =
 954               g_value_get_int (g_value_array_get_nth (va, i));
 955         gst_vp9_enc->n_ts_layer_id = va->n_values;
 956       } else {
 957         gst_vp9_enc->n_ts_layer_id = 0;
 958       }
 959       global = TRUE;
 960       break;
 961     }
 962     case PROP_ERROR_RESILIENT:
 963       gst_vp9_enc->cfg.g_error_resilient = g_value_get_flags (value);
 964       global = TRUE;
 965       break;
 966     case PROP_LAG_IN_FRAMES:
 967       gst_vp9_enc->cfg.g_lag_in_frames = g_value_get_int (value);
 968       global = TRUE;
 969       break;
 970     case PROP_THREADS:
 971       gst_vp9_enc->cfg.g_threads = g_value_get_int (value);
 972       global = TRUE;
 973       break;
 974     case PROP_DEADLINE:
 975       gst_vp9_enc->deadline = g_value_get_int64 (value);
 976       break;
 977     case PROP_H_SCALING_MODE:
 978       gst_vp9_enc->h_scaling_mode = g_value_get_enum (value);
 979       if (gst_vp9_enc->inited) {
 980         vpx_scaling_mode_t sm;
 981
 982         sm.h_scaling_mode = gst_vp9_enc->h_scaling_mode;
 983         sm.v_scaling_mode = gst_vp9_enc->v_scaling_mode;
 984
 985         status =
 986             vpx_codec_control (&gst_vp9_enc->encoder, VP8E_SET_SCALEMODE, &sm);
 987         if (status != VPX_CODEC_OK) {
 988           GST_WARNING_OBJECT (gst_vp9_enc,
 989               "Failed to set VP8E_SET_SCALEMODE: %s",
 990               gst_vpx_error_name (status));
 991         }
 992       }
 993       break;
 994     case PROP_V_SCALING_MODE:
 995       gst_vp9_enc->v_scaling_mode = g_value_get_enum (value);
 996       if (gst_vp9_enc->inited) {
 997         vpx_scaling_mode_t sm;
 998
 999         sm.h_scaling_mode = gst_vp9_enc->h_scaling_mode;
1000         sm.v_scaling_mode = gst_vp9_enc->v_scaling_mode;
1001
1002         status =
1003             vpx_codec_control (&gst_vp9_enc->encoder, VP8E_SET_SCALEMODE, &sm);
1004         if (status != VPX_CODEC_OK) {
1005           GST_WARNING_OBJECT (gst_vp9_enc,
1006               "Failed to set VP8E_SET_SCALEMODE: %s",
1007               gst_vpx_error_name (status));
1008         }
1009       }
1010       break;
1011     case PROP_CPU_USED:
1012       gst_vp9_enc->cpu_used = g_value_get_int (value);
1013       if (gst_vp9_enc->inited) {
1014         status =
1015             vpx_codec_control (&gst_vp9_enc->encoder, VP8E_SET_CPUUSED,
1016             gst_vp9_enc->cpu_used);
1017         if (status != VPX_CODEC_OK) {
1018           GST_WARNING_OBJECT (gst_vp9_enc, "Failed to set VP8E_SET_CPUUSED: %s",
1019               gst_vpx_error_name (status));
1020         }
1021       }
1022       break;
1023     case PROP_ENABLE_AUTO_ALT_REF:
1024       gst_vp9_enc->enable_auto_alt_ref = g_value_get_boolean (value);
1025       if (gst_vp9_enc->inited) {
1026         status =
1027             vpx_codec_control (&gst_vp9_enc->encoder, VP8E_SET_ENABLEAUTOALTREF,
1028             (gst_vp9_enc->enable_auto_alt_ref ? 1 : 0));
1029         if (status != VPX_CODEC_OK) {
1030           GST_WARNING_OBJECT (gst_vp9_enc,
1031               "Failed to set VP8E_SET_ENABLEAUTOALTREF: %s",
1032               gst_vpx_error_name (status));
1033         }
1034       }
1035       break;
1036     case PROP_NOISE_SENSITIVITY:
1037       gst_vp9_enc->noise_sensitivity = g_value_get_int (value);
1038       if (gst_vp9_enc->inited) {
1039         status =
1040             vpx_codec_control (&gst_vp9_enc->encoder,
1041             VP8E_SET_NOISE_SENSITIVITY, gst_vp9_enc->noise_sensitivity);
1042         if (status != VPX_CODEC_OK) {
1043           GST_WARNING_OBJECT (gst_vp9_enc,
1044               "Failed to set VP8E_SET_NOISE_SENSITIVITY: %s",
1045               gst_vpx_error_name (status));
1046         }
1047       }
1048       break;
1049     case PROP_SHARPNESS:
1050       gst_vp9_enc->sharpness = g_value_get_int (value);
1051       if (gst_vp9_enc->inited) {
1052         status = vpx_codec_control (&gst_vp9_enc->encoder, VP8E_SET_SHARPNESS,
1053             gst_vp9_enc->sharpness);
1054         if (status != VPX_CODEC_OK) {
1055           GST_WARNING_OBJECT (gst_vp9_enc,
1056               "Failed to set VP8E_SET_SHARPNESS: %s",
1057               gst_vpx_error_name (status));
1058         }
1059       }
1060       break;
1061     case PROP_STATIC_THRESHOLD:
1062       gst_vp9_enc->static_threshold = g_value_get_int (value);
1063       if (gst_vp9_enc->inited) {
1064         status =
1065             vpx_codec_control (&gst_vp9_enc->encoder, VP8E_SET_STATIC_THRESHOLD,
1066             gst_vp9_enc->static_threshold);
1067         if (status != VPX_CODEC_OK) {
1068           GST_WARNING_OBJECT (gst_vp9_enc,
1069               "Failed to set VP8E_SET_STATIC_THRESHOLD: %s",
1070               gst_vpx_error_name (status));
1071         }
1072       }
1073       break;
1074     case PROP_TOKEN_PARTITIONS:
1075       gst_vp9_enc->token_partitions = g_value_get_enum (value);
1076       if (gst_vp9_enc->inited) {
1077         status =
1078             vpx_codec_control (&gst_vp9_enc->encoder, VP8E_SET_TOKEN_PARTITIONS,
1079             gst_vp9_enc->token_partitions);
1080         if (status != VPX_CODEC_OK) {
1081           GST_WARNING_OBJECT (gst_vp9_enc,
1082               "Failed to set VP8E_SET_TOKEN_PARTIONS: %s",
1083               gst_vpx_error_name (status));
1084         }
1085       }
1086       break;
1087     case PROP_ARNR_MAXFRAMES:
1088       gst_vp9_enc->arnr_maxframes = g_value_get_int (value);
1089       if (gst_vp9_enc->inited) {
1090         status =
1091             vpx_codec_control (&gst_vp9_enc->encoder, VP8E_SET_ARNR_MAXFRAMES,
1092             gst_vp9_enc->arnr_maxframes);
1093         if (status != VPX_CODEC_OK) {
1094           GST_WARNING_OBJECT (gst_vp9_enc,
1095               "Failed to set VP8E_SET_ARNR_MAXFRAMES: %s",
1096               gst_vpx_error_name (status));
1097         }
1098       }
1099       break;
1100     case PROP_ARNR_STRENGTH:
1101       gst_vp9_enc->arnr_strength = g_value_get_int (value);
1102       if (gst_vp9_enc->inited) {
1103         status =
1104             vpx_codec_control (&gst_vp9_enc->encoder, VP8E_SET_ARNR_STRENGTH,
1105             gst_vp9_enc->arnr_strength);
1106         if (status != VPX_CODEC_OK) {
1107           GST_WARNING_OBJECT (gst_vp9_enc,
1108               "Failed to set VP8E_SET_ARNR_STRENGTH: %s",
1109               gst_vpx_error_name (status));
1110         }
1111       }
1112       break;
1113     case PROP_ARNR_TYPE:
1114       gst_vp9_enc->arnr_type = g_value_get_int (value);
1115       g_warning ("arnr-type is a no-op since control has been deprecated "
1116           "in libvpx");
1117       break;
1118     case PROP_TUNING:
1119       gst_vp9_enc->tuning = g_value_get_enum (value);
1120       if (gst_vp9_enc->inited) {
1121         status = vpx_codec_control (&gst_vp9_enc->encoder, VP8E_SET_TUNING,
1122             gst_vp9_enc->tuning);
1123         if (status != VPX_CODEC_OK) {
1124           GST_WARNING_OBJECT (gst_vp9_enc,
1125               "Failed to set VP8E_SET_TUNING: %s", gst_vpx_error_name (status));
1126         }
1127       }
1128       break;
1129     case PROP_CQ_LEVEL:
1130       gst_vp9_enc->cq_level = g_value_get_int (value);
1131       if (gst_vp9_enc->inited) {
1132         status = vpx_codec_control (&gst_vp9_enc->encoder, VP8E_SET_CQ_LEVEL,
1133             gst_vp9_enc->cq_level);
1134         if (status != VPX_CODEC_OK) {
1135           GST_WARNING_OBJECT (gst_vp9_enc,
1136               "Failed to set VP8E_SET_CQ_LEVEL: %s",
1137               gst_vpx_error_name (status));
1138         }
1139       }
1140       break;
1141     case PROP_MAX_INTRA_BITRATE_PCT:
1142       gst_vp9_enc->max_intra_bitrate_pct = g_value_get_int (value);
1143       if (gst_vp9_enc->inited) {
1144         status =
1145             vpx_codec_control (&gst_vp9_enc->encoder,
1146             VP8E_SET_MAX_INTRA_BITRATE_PCT, gst_vp9_enc->max_intra_bitrate_pct);
1147         if (status != VPX_CODEC_OK) {
1148           GST_WARNING_OBJECT (gst_vp9_enc,
1149               "Failed to set VP8E_SET_MAX_INTRA_BITRATE_PCT: %s",
1150               gst_vpx_error_name (status));
1151         }
1152       }
1153       break;
1154     case PROP_TIMEBASE:
1155       gst_vp9_enc->timebase_n = gst_value_get_fraction_numerator (value);
1156       gst_vp9_enc->timebase_d = gst_value_get_fraction_denominator (value);
1157       break;
1158     default:
1159       break;
1160   }
1161
1162   if (global &&gst_vp9_enc->inited) {
1163     status =
1164         vpx_codec_enc_config_set (&gst_vp9_enc->encoder, &gst_vp9_enc->cfg);
1165     if (status != VPX_CODEC_OK) {
1166       g_mutex_unlock (&gst_vp9_enc->encoder_lock);
1167       GST_ELEMENT_ERROR (gst_vp9_enc, LIBRARY, INIT,
1168           ("Failed to set encoder configuration"), ("%s",
1169               gst_vpx_error_name (status)));
1170     } else {
1171       g_mutex_unlock (&gst_vp9_enc->encoder_lock);
1172     }
1173   } else {
1174     g_mutex_unlock (&gst_vp9_enc->encoder_lock);
1175   }
1176 }
1177
1178 static void
1179 gst_vp9_enc_get_property (GObject * object, guint prop_id, GValue * value,
1180     GParamSpec * pspec)
1181 {
1182   GstVP9Enc *gst_vp9_enc;
1183
1184   g_return_if_fail (GST_IS_VP9_ENC (object));
1185   gst_vp9_enc = GST_VP9_ENC (object);
1186
1187   g_mutex_lock (&gst_vp9_enc->encoder_lock);
1188   switch (prop_id) {
1189     case PROP_RC_END_USAGE:
1190       g_value_set_enum (value, gst_vp9_enc->cfg.rc_end_usage);
1191       break;
1192     case PROP_RC_TARGET_BITRATE:
1193       g_value_set_int (value, gst_vp9_enc->cfg.rc_target_bitrate * 1000);
1194       break;
1195     case PROP_RC_MIN_QUANTIZER:
1196       g_value_set_int (value, gst_vp9_enc->cfg.rc_min_quantizer);
1197       break;
1198     case PROP_RC_MAX_QUANTIZER:
1199       g_value_set_int (value, gst_vp9_enc->cfg.rc_max_quantizer);
1200       break;
1201     case PROP_RC_DROPFRAME_THRESH:
1202       g_value_set_int (value, gst_vp9_enc->cfg.rc_dropframe_thresh);
1203       break;
1204     case PROP_RC_RESIZE_ALLOWED:
1205       g_value_set_boolean (value, gst_vp9_enc->cfg.rc_resize_allowed);
1206       break;
1207     case PROP_RC_RESIZE_UP_THRESH:
1208       g_value_set_int (value, gst_vp9_enc->cfg.rc_resize_up_thresh);
1209       break;
1210     case PROP_RC_RESIZE_DOWN_THRESH:
1211       g_value_set_int (value, gst_vp9_enc->cfg.rc_resize_down_thresh);
1212       break;
1213     case PROP_RC_UNDERSHOOT_PCT:
1214       g_value_set_int (value, gst_vp9_enc->cfg.rc_undershoot_pct);
1215       break;
1216     case PROP_RC_OVERSHOOT_PCT:
1217       g_value_set_int (value, gst_vp9_enc->cfg.rc_overshoot_pct);
1218       break;
1219     case PROP_RC_BUF_SZ:
1220       g_value_set_int (value, gst_vp9_enc->cfg.rc_buf_sz);
1221       break;
1222     case PROP_RC_BUF_INITIAL_SZ:
1223       g_value_set_int (value, gst_vp9_enc->cfg.rc_buf_initial_sz);
1224       break;
1225     case PROP_RC_BUF_OPTIMAL_SZ:
1226       g_value_set_int (value, gst_vp9_enc->cfg.rc_buf_optimal_sz);
1227       break;
1228     case PROP_RC_2PASS_VBR_BIAS_PCT:
1229       g_value_set_int (value, gst_vp9_enc->cfg.rc_2pass_vbr_bias_pct);
1230       break;
1231     case PROP_RC_2PASS_VBR_MINSECTION_PCT:
1232       g_value_set_int (value, gst_vp9_enc->cfg.rc_2pass_vbr_minsection_pct);
1233       break;
1234     case PROP_RC_2PASS_VBR_MAXSECTION_PCT:
1235       g_value_set_int (value, gst_vp9_enc->cfg.rc_2pass_vbr_maxsection_pct);
1236       break;
1237     case PROP_KF_MODE:
1238       g_value_set_enum (value, gst_vp9_enc->cfg.kf_mode);
1239       break;
1240     case PROP_KF_MAX_DIST:
1241       g_value_set_int (value, gst_vp9_enc->cfg.kf_max_dist);
1242       break;
1243     case PROP_MULTIPASS_MODE:
1244       g_value_set_enum (value, gst_vp9_enc->cfg.g_pass);
1245       break;
1246     case PROP_MULTIPASS_CACHE_FILE:
1247       g_value_set_string (value, gst_vp9_enc->multipass_cache_prefix);
1248       break;
1249     case PROP_TS_NUMBER_LAYERS:
1250       g_value_set_int (value, gst_vp9_enc->cfg.ts_number_layers);
1251       break;
1252     case PROP_TS_TARGET_BITRATE:{
1253       GValueArray *va;
1254
1255       if (gst_vp9_enc->n_ts_target_bitrate == 0) {
1256         g_value_set_boxed (value, NULL);
1257       } else {
1258         gint i;
1259
1260         va = g_value_array_new (gst_vp9_enc->n_ts_target_bitrate);
1261         for (i = 0; i < gst_vp9_enc->n_ts_target_bitrate; i++) {
1262           GValue v = { 0, };
1263
1264           g_value_init (&v, G_TYPE_INT);
1265           g_value_set_int (&v, gst_vp9_enc->cfg.ts_target_bitrate[i]);
1266           g_value_array_append (va, &v);
1267           g_value_unset (&v);
1268         }
1269         g_value_set_boxed (value, va);
1270         g_value_array_free (va);
1271       }
1272       break;
1273     }
1274     case PROP_TS_RATE_DECIMATOR:{
1275       GValueArray *va;
1276
1277       if (gst_vp9_enc->n_ts_rate_decimator == 0) {
1278         g_value_set_boxed (value, NULL);
1279       } else {
1280         gint i;
1281
1282         va = g_value_array_new (gst_vp9_enc->n_ts_rate_decimator);
1283         for (i = 0; i < gst_vp9_enc->n_ts_rate_decimator; i++) {
1284           GValue v = { 0, };
1285
1286           g_value_init (&v, G_TYPE_INT);
1287           g_value_set_int (&v, gst_vp9_enc->cfg.ts_rate_decimator[i]);
1288           g_value_array_append (va, &v);
1289           g_value_unset (&v);
1290         }
1291         g_value_set_boxed (value, va);
1292         g_value_array_free (va);
1293       }
1294       break;
1295     }
1296     case PROP_TS_PERIODICITY:
1297       g_value_set_int (value, gst_vp9_enc->cfg.ts_periodicity);
1298       break;
1299     case PROP_TS_LAYER_ID:{
1300       GValueArray *va;
1301
1302       if (gst_vp9_enc->n_ts_layer_id == 0) {
1303         g_value_set_boxed (value, NULL);
1304       } else {
1305         gint i;
1306
1307         va = g_value_array_new (gst_vp9_enc->n_ts_layer_id);
1308         for (i = 0; i < gst_vp9_enc->n_ts_layer_id; i++) {
1309           GValue v = { 0, };
1310
1311           g_value_init (&v, G_TYPE_INT);
1312           g_value_set_int (&v, gst_vp9_enc->cfg.ts_layer_id[i]);
1313           g_value_array_append (va, &v);
1314           g_value_unset (&v);
1315         }
1316         g_value_set_boxed (value, va);
1317         g_value_array_free (va);
1318       }
1319       break;
1320     }
1321     case PROP_ERROR_RESILIENT:
1322       g_value_set_flags (value, gst_vp9_enc->cfg.g_error_resilient);
1323       break;
1324     case PROP_LAG_IN_FRAMES:
1325       g_value_set_int (value, gst_vp9_enc->cfg.g_lag_in_frames);
1326       break;
1327     case PROP_THREADS:
1328       g_value_set_int (value, gst_vp9_enc->cfg.g_threads);
1329       break;
1330     case PROP_DEADLINE:
1331       g_value_set_int64 (value, gst_vp9_enc->deadline);
1332       break;
1333     case PROP_H_SCALING_MODE:
1334       g_value_set_enum (value, gst_vp9_enc->h_scaling_mode);
1335       break;
1336     case PROP_V_SCALING_MODE:
1337       g_value_set_enum (value, gst_vp9_enc->v_scaling_mode);
1338       break;
1339     case PROP_CPU_USED:
1340       g_value_set_int (value, gst_vp9_enc->cpu_used);
1341       break;
1342     case PROP_ENABLE_AUTO_ALT_REF:
1343       g_value_set_boolean (value, gst_vp9_enc->enable_auto_alt_ref);
1344       break;
1345     case PROP_NOISE_SENSITIVITY:
1346       g_value_set_int (value, gst_vp9_enc->noise_sensitivity);
1347       break;
1348     case PROP_SHARPNESS:
1349       g_value_set_int (value, gst_vp9_enc->sharpness);
1350       break;
1351     case PROP_STATIC_THRESHOLD:
1352       g_value_set_int (value, gst_vp9_enc->static_threshold);
1353       break;
1354     case PROP_TOKEN_PARTITIONS:
1355       g_value_set_enum (value, gst_vp9_enc->token_partitions);
1356       break;
1357     case PROP_ARNR_MAXFRAMES:
1358       g_value_set_int (value, gst_vp9_enc->arnr_maxframes);
1359       break;
1360     case PROP_ARNR_STRENGTH:
1361       g_value_set_int (value, gst_vp9_enc->arnr_strength);
1362       break;
1363     case PROP_ARNR_TYPE:
1364       g_value_set_int (value, gst_vp9_enc->arnr_type);
1365       break;
1366     case PROP_TUNING:
1367       g_value_set_enum (value, gst_vp9_enc->tuning);
1368       break;
1369     case PROP_CQ_LEVEL:
1370       g_value_set_int (value, gst_vp9_enc->cq_level);
1371       break;
1372     case PROP_MAX_INTRA_BITRATE_PCT:
1373       g_value_set_int (value, gst_vp9_enc->max_intra_bitrate_pct);
1374       break;
1375     case PROP_TIMEBASE:
1376       gst_value_set_fraction (value, gst_vp9_enc->timebase_n,
1377           gst_vp9_enc->timebase_d);
1378       break;
1379     default:
1380       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
1381       break;
1382   }
1383
1384   g_mutex_unlock (&gst_vp9_enc->encoder_lock);
1385 }
1386
1387 static gboolean
1388 gst_vp9_enc_start (GstVideoEncoder * video_encoder)
1389 {
1390   GstVP9Enc *encoder = GST_VP9_ENC (video_encoder);
1391
1392   GST_DEBUG_OBJECT (video_encoder, "start");
1393
1394   if (!encoder->have_default_config) {
1395     GST_ELEMENT_ERROR (encoder, LIBRARY, INIT,
1396         ("Failed to get default encoder configuration"), (NULL));
1397     return FALSE;
1398   }
1399
1400   return TRUE;
1401 }
1402
1403 static void
1404 gst_vp9_enc_destroy_encoder (GstVP9Enc * encoder)
1405 {
1406   g_mutex_lock (&encoder->encoder_lock);
1407   if (encoder->inited) {
1408     vpx_codec_destroy (&encoder->encoder);
1409     encoder->inited = FALSE;
1410   }
1411
1412   if (encoder->first_pass_cache_content) {
1413     g_byte_array_free (encoder->first_pass_cache_content, TRUE);
1414     encoder->first_pass_cache_content = NULL;
1415   }
1416
1417   if (encoder->cfg.rc_twopass_stats_in.buf) {
1418     g_free (encoder->cfg.rc_twopass_stats_in.buf);
1419     encoder->cfg.rc_twopass_stats_in.buf = NULL;
1420     encoder->cfg.rc_twopass_stats_in.sz = 0;
1421   }
1422   g_mutex_unlock (&encoder->encoder_lock);
1423 }
1424
1425 static gboolean
1426 gst_vp9_enc_stop (GstVideoEncoder * video_encoder)
1427 {
1428   GstVP9Enc *encoder;
1429
1430   GST_DEBUG_OBJECT (video_encoder, "stop");
1431
1432   encoder = GST_VP9_ENC (video_encoder);
1433
1434   gst_vp9_enc_destroy_encoder (encoder);
1435
1436   gst_tag_setter_reset_tags (GST_TAG_SETTER (encoder));
1437
1438   g_free (encoder->multipass_cache_file);
1439   encoder->multipass_cache_file = NULL;
1440   encoder->multipass_cache_idx = 0;
1441
1442   return TRUE;
1443 }
1444
1445 static gint
1446 gst_vp9_enc_get_downstream_profile (GstVP9Enc * encoder)
1447 {
1448   GstCaps *allowed;
1449   GstStructure *s;
1450   gint profile = DEFAULT_PROFILE;
1451
1452   allowed = gst_pad_get_allowed_caps (GST_VIDEO_ENCODER_SRC_PAD (encoder));
1453   if (allowed) {
1454     allowed = gst_caps_truncate (allowed);
1455     s = gst_caps_get_structure (allowed, 0);
1456     if (gst_structure_has_field (s, "profile")) {
1457       const GValue *v = gst_structure_get_value (s, "profile");
1458       const gchar *profile_str = NULL;
1459
1460       if (GST_VALUE_HOLDS_LIST (v) && gst_value_list_get_size (v) > 0) {
1461         profile_str = g_value_get_string (gst_value_list_get_value (v, 0));
1462       } else if (G_VALUE_HOLDS_STRING (v)) {
1463         profile_str = g_value_get_string (v);
1464       }
1465
1466       if (profile_str) {
1467         gchar *endptr = NULL;
1468
1469         profile = g_ascii_strtoull (profile_str, &endptr, 10);
1470         if (*endptr != '\0' || profile < 0 || profile > 3) {
1471           GST_ERROR_OBJECT (encoder, "Invalid profile '%s'", profile_str);
1472           profile = DEFAULT_PROFILE;
1473         }
1474       }
1475     }
1476     gst_caps_unref (allowed);
1477   }
1478
1479   GST_DEBUG_OBJECT (encoder, "Using profile %d", profile);
1480
1481   return profile;
1482 }
1483
1484 static gboolean
1485 gst_vp9_enc_set_format (GstVideoEncoder * video_encoder,
1486     GstVideoCodecState * state)
1487 {
1488   GstVP9Enc *encoder;
1489   vpx_codec_err_t status;
1490   vpx_image_t *image;
1491   GstCaps *caps;
1492   gboolean ret = TRUE;
1493   GstVideoInfo *info = &state->info;
1494   GstVideoCodecState *output_state;
1495   gchar *profile_str;
1496   GstClockTime latency;
1497
1498   encoder = GST_VP9_ENC (video_encoder);
1499   GST_DEBUG_OBJECT (video_encoder, "set_format");
1500
1501   if (encoder->inited) {
1502     gst_vp9_enc_drain (video_encoder);
1503     g_mutex_lock (&encoder->encoder_lock);
1504     vpx_codec_destroy (&encoder->encoder);
1505     encoder->inited = FALSE;
1506     encoder->multipass_cache_idx++;
1507   } else {
1508     g_mutex_lock (&encoder->encoder_lock);
1509   }
1510
1511   encoder->cfg.g_profile = gst_vp9_enc_get_downstream_profile (encoder);
1512
1513   /* Scale default bitrate to our size */
1514   if (!encoder->rc_target_bitrate_set)
1515     encoder->cfg.rc_target_bitrate =
1516         gst_util_uint64_scale (DEFAULT_RC_TARGET_BITRATE,
1517         GST_VIDEO_INFO_WIDTH (info) * GST_VIDEO_INFO_HEIGHT (info),
1518         320 * 240 * 1000);
1519
1520   encoder->cfg.g_w = GST_VIDEO_INFO_WIDTH (info);
1521   encoder->cfg.g_h = GST_VIDEO_INFO_HEIGHT (info);
1522
1523   if (encoder->timebase_n != 0 && encoder->timebase_d != 0) {
1524     GST_DEBUG_OBJECT (video_encoder, "Using timebase configuration");
1525     encoder->cfg.g_timebase.num = encoder->timebase_n;
1526     encoder->cfg.g_timebase.den = encoder->timebase_d;
1527   } else {
1528     /* Zero framerate and max-framerate but still need to setup the timebase to avoid
1529      * a divide by zero error. Presuming the lowest common denominator will be RTP -
1530      * VP9 payload draft states clock rate of 90000 which should work for anyone where
1531      * FPS < 90000 (shouldn't be too many cases where it's higher) though wouldn't be optimal. RTP specification
1532      * http://tools.ietf.org/html/draft-ietf-payload-vp9-01 section 6.3.1 */
1533     encoder->cfg.g_timebase.num = 1;
1534     encoder->cfg.g_timebase.den = 90000;
1535   }
1536
1537   if (encoder->cfg.g_pass == VPX_RC_FIRST_PASS ||
1538       encoder->cfg.g_pass == VPX_RC_LAST_PASS) {
1539     if (!encoder->multipass_cache_prefix) {
1540       GST_ELEMENT_ERROR (encoder, RESOURCE, OPEN_READ,
1541           ("No multipass cache file provided"), (NULL));
1542       g_mutex_unlock (&encoder->encoder_lock);
1543       return FALSE;
1544     }
1545
1546     g_free (encoder->multipass_cache_file);
1547
1548     if (encoder->multipass_cache_idx > 0)
1549       encoder->multipass_cache_file = g_strdup_printf ("%s.%u",
1550           encoder->multipass_cache_prefix, encoder->multipass_cache_idx);
1551     else
1552       encoder->multipass_cache_file =
1553           g_strdup (encoder->multipass_cache_prefix);
1554   }
1555
1556   if (encoder->cfg.g_pass == VPX_RC_FIRST_PASS) {
1557     if (encoder->first_pass_cache_content != NULL)
1558       g_byte_array_free (encoder->first_pass_cache_content, TRUE);
1559
1560     encoder->first_pass_cache_content = g_byte_array_sized_new (4096);
1561
1562   } else if (encoder->cfg.g_pass == VPX_RC_LAST_PASS) {
1563     GError *err = NULL;
1564
1565     if (encoder->cfg.rc_twopass_stats_in.buf != NULL) {
1566       g_free (encoder->cfg.rc_twopass_stats_in.buf);
1567       encoder->cfg.rc_twopass_stats_in.buf = NULL;
1568       encoder->cfg.rc_twopass_stats_in.sz = 0;
1569     }
1570
1571     if (!g_file_get_contents (encoder->multipass_cache_file,
1572             (gchar **) & encoder->cfg.rc_twopass_stats_in.buf,
1573             &encoder->cfg.rc_twopass_stats_in.sz, &err)) {
1574       GST_ELEMENT_ERROR (encoder, RESOURCE, OPEN_READ,
1575           ("Failed to read multipass cache file provided"), ("%s",
1576               err->message));
1577       g_error_free (err);
1578       g_mutex_unlock (&encoder->encoder_lock);
1579       return FALSE;
1580     }
1581   }
1582
1583   status = vpx_codec_enc_init (&encoder->encoder, &vpx_codec_vp9_cx_algo,
1584       &encoder->cfg, 0);
1585   if (status != VPX_CODEC_OK) {
1586     GST_ELEMENT_ERROR (encoder, LIBRARY, INIT,
1587         ("Failed to initialize encoder"), ("%s", gst_vpx_error_name (status)));
1588     g_mutex_unlock (&encoder->encoder_lock);
1589     return FALSE;
1590   }
1591
1592   /* FIXME: Disabled for now, does not work with VP9 */
1593 #if 0
1594   {
1595     vpx_scaling_mode_t sm;
1596
1597     sm.h_scaling_mode = encoder->h_scaling_mode;
1598     sm.v_scaling_mode = encoder->v_scaling_mode;
1599
1600     status = vpx_codec_control (&encoder->encoder, VP8E_SET_SCALEMODE, &sm);
1601     if (status != VPX_CODEC_OK) {
1602       GST_WARNING_OBJECT (encoder, "Failed to set VP8E_SET_SCALEMODE: %s",
1603           gst_vpx_error_name (status));
1604     }
1605   }
1606 #endif
1607
1608   status =
1609       vpx_codec_control (&encoder->encoder, VP8E_SET_CPUUSED,
1610       encoder->cpu_used);
1611   if (status != VPX_CODEC_OK) {
1612     GST_WARNING_OBJECT (encoder, "Failed to set VP8E_SET_CPUUSED: %s",
1613         gst_vpx_error_name (status));
1614   }
1615
1616   status =
1617       vpx_codec_control (&encoder->encoder, VP8E_SET_ENABLEAUTOALTREF,
1618       (encoder->enable_auto_alt_ref ? 1 : 0));
1619   if (status != VPX_CODEC_OK) {
1620     GST_WARNING_OBJECT (encoder,
1621         "Failed to set VP8E_SET_ENABLEAUTOALTREF: %s",
1622         gst_vpx_error_name (status));
1623   }
1624   status = vpx_codec_control (&encoder->encoder, VP8E_SET_NOISE_SENSITIVITY,
1625       encoder->noise_sensitivity);
1626   if (status != VPX_CODEC_OK) {
1627     GST_WARNING_OBJECT (encoder,
1628         "Failed to set VP8E_SET_NOISE_SENSITIVITY: %s",
1629         gst_vpx_error_name (status));
1630   }
1631   status = vpx_codec_control (&encoder->encoder, VP8E_SET_SHARPNESS,
1632       encoder->sharpness);
1633   if (status != VPX_CODEC_OK) {
1634     GST_WARNING_OBJECT (encoder,
1635         "Failed to set VP8E_SET_SHARPNESS: %s", gst_vpx_error_name (status));
1636   }
1637   status = vpx_codec_control (&encoder->encoder, VP8E_SET_STATIC_THRESHOLD,
1638       encoder->static_threshold);
1639   if (status != VPX_CODEC_OK) {
1640     GST_WARNING_OBJECT (encoder,
1641         "Failed to set VP8E_SET_STATIC_THRESHOLD: %s",
1642         gst_vpx_error_name (status));
1643   }
1644   status = vpx_codec_control (&encoder->encoder, VP8E_SET_TOKEN_PARTITIONS,
1645       encoder->token_partitions);
1646   if (status != VPX_CODEC_OK) {
1647     GST_WARNING_OBJECT (encoder,
1648         "Failed to set VP8E_SET_TOKEN_PARTIONS: %s",
1649         gst_vpx_error_name (status));
1650   }
1651   status = vpx_codec_control (&encoder->encoder, VP8E_SET_ARNR_MAXFRAMES,
1652       encoder->arnr_maxframes);
1653   if (status != VPX_CODEC_OK) {
1654     GST_WARNING_OBJECT (encoder,
1655         "Failed to set VP8E_SET_ARNR_MAXFRAMES: %s",
1656         gst_vpx_error_name (status));
1657   }
1658   status = vpx_codec_control (&encoder->encoder, VP8E_SET_ARNR_STRENGTH,
1659       encoder->arnr_strength);
1660   if (status != VPX_CODEC_OK) {
1661     GST_WARNING_OBJECT (encoder,
1662         "Failed to set VP8E_SET_ARNR_STRENGTH: %s",
1663         gst_vpx_error_name (status));
1664   }
1665   status = vpx_codec_control (&encoder->encoder, VP8E_SET_TUNING,
1666       encoder->tuning);
1667   if (status != VPX_CODEC_OK) {
1668     GST_WARNING_OBJECT (encoder,
1669         "Failed to set VP8E_SET_TUNING: %s", gst_vpx_error_name (status));
1670   }
1671   status = vpx_codec_control (&encoder->encoder, VP8E_SET_CQ_LEVEL,
1672       encoder->cq_level);
1673   if (status != VPX_CODEC_OK) {
1674     GST_WARNING_OBJECT (encoder,
1675         "Failed to set VP8E_SET_CQ_LEVEL: %s", gst_vpx_error_name (status));
1676   }
1677   status = vpx_codec_control (&encoder->encoder, VP8E_SET_MAX_INTRA_BITRATE_PCT,
1678       encoder->max_intra_bitrate_pct);
1679   if (status != VPX_CODEC_OK) {
1680     GST_WARNING_OBJECT (encoder,
1681         "Failed to set VP8E_SET_MAX_INTRA_BITRATE_PCT: %s",
1682         gst_vpx_error_name (status));
1683   }
1684
1685   if (GST_VIDEO_INFO_FPS_D (info) == 0 || GST_VIDEO_INFO_FPS_N (info) == 0) {
1686     /* FIXME: Assume 25fps for unknown framerates. Better than reporting
1687      * that we introduce no latency while we actually do
1688      */
1689     latency = gst_util_uint64_scale (encoder->cfg.g_lag_in_frames,
1690         1 * GST_SECOND, 25);
1691   } else {
1692     latency = gst_util_uint64_scale (encoder->cfg.g_lag_in_frames,
1693         GST_VIDEO_INFO_FPS_D (info) * GST_SECOND, GST_VIDEO_INFO_FPS_N (info));
1694   }
1695   gst_video_encoder_set_latency (video_encoder, latency, latency);
1696   encoder->inited = TRUE;
1697
1698   /* Store input state */
1699   if (encoder->input_state)
1700     gst_video_codec_state_unref (encoder->input_state);
1701   encoder->input_state = gst_video_codec_state_ref (state);
1702
1703   /* prepare cached image buffer setup */
1704   image = &encoder->image;
1705   memset (image, 0, sizeof (*image));
1706
1707   switch (encoder->input_state->info.finfo->format) {
1708     case GST_VIDEO_FORMAT_I420:
1709       image->fmt = VPX_IMG_FMT_I420;
1710       image->bps = 12;
1711       image->x_chroma_shift = image->y_chroma_shift = 1;
1712       break;
1713     case GST_VIDEO_FORMAT_YV12:
1714       image->fmt = VPX_IMG_FMT_YV12;
1715       image->bps = 12;
1716       image->x_chroma_shift = image->y_chroma_shift = 1;
1717       break;
1718     case GST_VIDEO_FORMAT_Y42B:
1719       image->fmt = VPX_IMG_FMT_I422;
1720       image->bps = 16;
1721       image->x_chroma_shift = 1;
1722       image->y_chroma_shift = 0;
1723       break;
1724     case GST_VIDEO_FORMAT_Y444:
1725       image->fmt = VPX_IMG_FMT_I444;
1726       image->bps = 24;
1727       image->x_chroma_shift = image->y_chroma_shift = 0;
1728       break;
1729     default:
1730       g_assert_not_reached ();
1731       break;
1732   }
1733   image->w = image->d_w = GST_VIDEO_INFO_WIDTH (info);
1734   image->h = image->d_h = GST_VIDEO_INFO_HEIGHT (info);
1735
1736   image->stride[VPX_PLANE_Y] = GST_VIDEO_INFO_COMP_STRIDE (info, 0);
1737   image->stride[VPX_PLANE_U] = GST_VIDEO_INFO_COMP_STRIDE (info, 1);
1738   image->stride[VPX_PLANE_V] = GST_VIDEO_INFO_COMP_STRIDE (info, 2);
1739
1740   profile_str = g_strdup_printf ("%d", encoder->cfg.g_profile);
1741   caps = gst_caps_new_simple ("video/x-vp9",
1742       "profile", G_TYPE_STRING, profile_str, NULL);
1743   g_free (profile_str);
1744
1745   g_mutex_unlock (&encoder->encoder_lock);
1746
1747   output_state =
1748       gst_video_encoder_set_output_state (video_encoder, caps, state);
1749   gst_video_codec_state_unref (output_state);
1750
1751   gst_video_encoder_negotiate (GST_VIDEO_ENCODER (encoder));
1752
1753   return ret;
1754 }
1755
1756 static GstFlowReturn
1757 gst_vp9_enc_process (GstVP9Enc * encoder)
1758 {
1759   vpx_codec_iter_t iter = NULL;
1760   const vpx_codec_cx_pkt_t *pkt;
1761   GstVideoEncoder *video_encoder;
1762   GstVideoCodecFrame *frame;
1763   GstFlowReturn ret = GST_FLOW_OK;
1764
1765   video_encoder = GST_VIDEO_ENCODER (encoder);
1766
1767   g_mutex_lock (&encoder->encoder_lock);
1768   pkt = vpx_codec_get_cx_data (&encoder->encoder, &iter);
1769   while (pkt != NULL) {
1770     GstBuffer *buffer;
1771     gboolean invisible;
1772
1773     GST_DEBUG_OBJECT (encoder, "packet %u type %d", (guint) pkt->data.frame.sz,
1774         pkt->kind);
1775
1776     if (pkt->kind == VPX_CODEC_STATS_PKT
1777         && encoder->cfg.g_pass == VPX_RC_FIRST_PASS) {
1778       GST_LOG_OBJECT (encoder, "handling STATS packet");
1779
1780       g_byte_array_append (encoder->first_pass_cache_content,
1781           pkt->data.twopass_stats.buf, pkt->data.twopass_stats.sz);
1782
1783       frame = gst_video_encoder_get_oldest_frame (video_encoder);
1784       if (frame != NULL) {
1785         buffer = gst_buffer_new ();
1786         GST_BUFFER_FLAG_SET (buffer, GST_BUFFER_FLAG_LIVE);
1787         frame->output_buffer = buffer;
1788         g_mutex_unlock (&encoder->encoder_lock);
1789         ret = gst_video_encoder_finish_frame (video_encoder, frame);
1790         g_mutex_lock (&encoder->encoder_lock);
1791       }
1792
1793       pkt = vpx_codec_get_cx_data (&encoder->encoder, &iter);
1794       continue;
1795     } else if (pkt->kind != VPX_CODEC_CX_FRAME_PKT) {
1796       GST_LOG_OBJECT (encoder, "non frame pkt: %d", pkt->kind);
1797       pkt = vpx_codec_get_cx_data (&encoder->encoder, &iter);
1798       continue;
1799     }
1800
1801     invisible = (pkt->data.frame.flags & VPX_FRAME_IS_INVISIBLE) != 0;
1802     frame = gst_video_encoder_get_oldest_frame (video_encoder);
1803     g_assert (frame != NULL);
1804     if ((pkt->data.frame.flags & VPX_FRAME_IS_KEY) != 0)
1805       GST_VIDEO_CODEC_FRAME_SET_SYNC_POINT (frame);
1806     else
1807       GST_VIDEO_CODEC_FRAME_UNSET_SYNC_POINT (frame);
1808
1809     /* FIXME : It would be nice to avoid the memory copy ... */
1810     buffer =
1811         gst_buffer_new_wrapped (g_memdup (pkt->data.frame.buf,
1812             pkt->data.frame.sz), pkt->data.frame.sz);
1813
1814     if (invisible) {
1815       g_mutex_unlock (&encoder->encoder_lock);
1816       ret = gst_pad_push (GST_VIDEO_ENCODER_SRC_PAD (encoder), buffer);
1817       g_mutex_lock (&encoder->encoder_lock);
1818       gst_video_codec_frame_unref (frame);
1819     } else {
1820       frame->output_buffer = buffer;
1821       g_mutex_unlock (&encoder->encoder_lock);
1822       ret = gst_video_encoder_finish_frame (video_encoder, frame);
1823       g_mutex_lock (&encoder->encoder_lock);
1824     }
1825
1826     pkt = vpx_codec_get_cx_data (&encoder->encoder, &iter);
1827   }
1828   g_mutex_unlock (&encoder->encoder_lock);
1829
1830   return ret;
1831 }
1832
1833 /* This function should be called holding then stream lock*/
1834 static GstFlowReturn
1835 gst_vp9_enc_drain (GstVideoEncoder * video_encoder)
1836 {
1837   GstVP9Enc *encoder;
1838   int flags = 0;
1839   vpx_codec_err_t status;
1840   gint64 deadline;
1841   vpx_codec_pts_t pts;
1842
1843   encoder = GST_VP9_ENC (video_encoder);
1844
1845   g_mutex_lock (&encoder->encoder_lock);
1846   deadline = encoder->deadline;
1847
1848   pts =
1849       gst_util_uint64_scale (encoder->last_pts,
1850       encoder->cfg.g_timebase.den,
1851       encoder->cfg.g_timebase.num * (GstClockTime) GST_SECOND);
1852
1853   status = vpx_codec_encode (&encoder->encoder, NULL, pts, 0, flags, deadline);
1854   g_mutex_unlock (&encoder->encoder_lock);
1855
1856   if (status != 0) {
1857     GST_ERROR_OBJECT (encoder, "encode returned %d %s", status,
1858         gst_vpx_error_name (status));
1859     return GST_FLOW_ERROR;
1860   }
1861
1862   /* dispatch remaining frames */
1863   gst_vp9_enc_process (encoder);
1864
1865   g_mutex_lock (&encoder->encoder_lock);
1866   if (encoder->cfg.g_pass == VPX_RC_FIRST_PASS && encoder->multipass_cache_file) {
1867     GError *err = NULL;
1868
1869     if (!g_file_set_contents (encoder->multipass_cache_file,
1870             (const gchar *) encoder->first_pass_cache_content->data,
1871             encoder->first_pass_cache_content->len, &err)) {
1872       GST_ELEMENT_ERROR (encoder, RESOURCE, WRITE, (NULL),
1873           ("Failed to write multipass cache file: %s", err->message));
1874       g_error_free (err);
1875     }
1876   }
1877   g_mutex_unlock (&encoder->encoder_lock);
1878
1879   return GST_FLOW_OK;
1880 }
1881
1882 static gboolean
1883 gst_vp9_enc_flush (GstVideoEncoder * video_encoder)
1884 {
1885   GstVP9Enc *encoder;
1886
1887   GST_DEBUG_OBJECT (video_encoder, "flush");
1888
1889   encoder = GST_VP9_ENC (video_encoder);
1890
1891   gst_vp9_enc_destroy_encoder (encoder);
1892   if (encoder->input_state) {
1893     gst_video_codec_state_ref (encoder->input_state);
1894     gst_vp9_enc_set_format (video_encoder, encoder->input_state);
1895     gst_video_codec_state_unref (encoder->input_state);
1896   }
1897
1898   return TRUE;
1899 }
1900
1901 static GstFlowReturn
1902 gst_vp9_enc_finish (GstVideoEncoder * video_encoder)
1903 {
1904   GstVP9Enc *encoder;
1905   GstFlowReturn ret;
1906
1907   GST_DEBUG_OBJECT (video_encoder, "finish");
1908
1909   encoder = GST_VP9_ENC (video_encoder);
1910
1911   if (encoder->inited) {
1912     ret = gst_vp9_enc_drain (video_encoder);
1913   } else {
1914     ret = GST_FLOW_OK;
1915   }
1916
1917   return ret;
1918 }
1919
1920 static vpx_image_t *
1921 gst_vp9_enc_buffer_to_image (GstVP9Enc * enc, GstVideoFrame * frame)
1922 {
1923   vpx_image_t *image = g_slice_new (vpx_image_t);
1924
1925   memcpy (image, &enc->image, sizeof (*image));
1926
1927   image->planes[VPX_PLANE_Y] = GST_VIDEO_FRAME_COMP_DATA (frame, 0);
1928   image->planes[VPX_PLANE_U] = GST_VIDEO_FRAME_COMP_DATA (frame, 1);
1929   image->planes[VPX_PLANE_V] = GST_VIDEO_FRAME_COMP_DATA (frame, 2);
1930
1931   image->stride[VPX_PLANE_Y] = GST_VIDEO_FRAME_COMP_STRIDE (frame, 0);
1932   image->stride[VPX_PLANE_U] = GST_VIDEO_FRAME_COMP_STRIDE (frame, 1);
1933   image->stride[VPX_PLANE_V] = GST_VIDEO_FRAME_COMP_STRIDE (frame, 2);
1934
1935   return image;
1936 }
1937
1938 static GstFlowReturn
1939 gst_vp9_enc_handle_frame (GstVideoEncoder * video_encoder,
1940     GstVideoCodecFrame * frame)
1941 {
1942   GstVP9Enc *encoder;
1943   vpx_codec_err_t status;
1944   int flags = 0;
1945   vpx_image_t *image;
1946   GstVideoFrame vframe;
1947   vpx_codec_pts_t pts;
1948   unsigned long duration;
1949
1950   GST_DEBUG_OBJECT (video_encoder, "handle_frame");
1951
1952   encoder = GST_VP9_ENC (video_encoder);
1953
1954   GST_DEBUG_OBJECT (video_encoder, "size %d %d",
1955       GST_VIDEO_INFO_WIDTH (&encoder->input_state->info),
1956       GST_VIDEO_INFO_HEIGHT (&encoder->input_state->info));
1957
1958   gst_video_frame_map (&vframe, &encoder->input_state->info,
1959       frame->input_buffer, GST_MAP_READ);
1960   image = gst_vp9_enc_buffer_to_image (encoder, &vframe);
1961
1962   if (GST_VIDEO_CODEC_FRAME_IS_FORCE_KEYFRAME (frame)) {
1963     flags |= VPX_EFLAG_FORCE_KF;
1964   }
1965
1966   g_mutex_lock (&encoder->encoder_lock);
1967   pts =
1968       gst_util_uint64_scale (frame->pts,
1969       encoder->cfg.g_timebase.den,
1970       encoder->cfg.g_timebase.num * (GstClockTime) GST_SECOND);
1971   encoder->last_pts = frame->pts;
1972
1973   if (frame->duration != GST_CLOCK_TIME_NONE) {
1974     duration =
1975         gst_util_uint64_scale (frame->duration, encoder->cfg.g_timebase.den,
1976         encoder->cfg.g_timebase.num * (GstClockTime) GST_SECOND);
1977     encoder->last_pts += frame->duration;
1978   } else {
1979     duration = 1;
1980   }
1981
1982   status = vpx_codec_encode (&encoder->encoder, image,
1983       pts, duration, flags, encoder->deadline);
1984
1985   g_mutex_unlock (&encoder->encoder_lock);
1986   gst_video_frame_unmap (&vframe);
1987
1988   if (status != 0) {
1989     GST_ELEMENT_ERROR (encoder, LIBRARY, ENCODE,
1990         ("Failed to encode frame"), ("%s", gst_vpx_error_name (status)));
1991     return FALSE;
1992   }
1993   gst_video_codec_frame_unref (frame);
1994   return gst_vp9_enc_process (encoder);
1995 }
1996
1997 static gboolean
1998 gst_vp9_enc_sink_event (GstVideoEncoder * benc, GstEvent * event)
1999 {
2000   GstVP9Enc *enc = GST_VP9_ENC (benc);
2001
2002   /* FIXME : Move this to base encoder class */
2003
2004   if (GST_EVENT_TYPE (event) == GST_EVENT_TAG) {
2005     GstTagList *list;
2006     GstTagSetter *setter = GST_TAG_SETTER (enc);
2007     const GstTagMergeMode mode = gst_tag_setter_get_tag_merge_mode (setter);
2008
2009     gst_event_parse_tag (event, &list);
2010     gst_tag_setter_merge_tags (setter, list, mode);
2011   }
2012
2013   /* just peeked, baseclass handles the rest */
2014   return GST_VIDEO_ENCODER_CLASS (parent_class)->sink_event (benc, event);
2015 }
2016
2017 static gboolean
2018 gst_vp9_enc_propose_allocation (GstVideoEncoder * encoder, GstQuery * query)
2019 {
2020   gst_query_add_allocation_meta (query, GST_VIDEO_META_API_TYPE, NULL);
2021
2022   return GST_VIDEO_ENCODER_CLASS (parent_class)->propose_allocation (encoder,
2023       query);
2024 }
2025
2026 #endif /* HAVE_VP9_ENCODER */