vp9: Add support for YV12, Y42B and Y444 color formats
[platform/upstream/gst-plugins-good.git] / ext / vpx / gstvp9enc.c
1 /* VP9
2  * Copyright (C) 2006 David Schleef <ds@schleef.org>
3  * Copyright (C) 2010 Entropy Wave Inc
4  * Copyright (C) 2010-2013 Sebastian Dröge <slomo@circular-chaos.org>
5  *
6  * This library is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Library General Public
8  * License as published by the Free Software Foundation; either
9  * version 2 of the License, or (at your option) any later version.
10  *
11  * This library is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14  * Library General Public License for more details.
15  *
16  * You should have received a copy of the GNU Library General Public
17  * License along with this library; if not, write to the
18  * Free Software Foundation, Inc., 51 Franklin St, Fifth Floor,
19  * Boston, MA 02110-1301, USA.
20  *
21  */
22 /**
23  * SECTION:element-vp9enc
24  * @see_also: vp9dec, webmmux, oggmux
25  *
26  * This element encodes raw video into a VP9 stream.
27  * <ulink url="http://www.webmproject.org">VP9</ulink> is a royalty-free
28  * video codec maintained by <ulink url="http://www.google.com/">Google
29  * </ulink>. It's the successor of On2 VP3, which was the base of the
30  * Theora video codec.
31  *
32  * To control the quality of the encoding, the #GstVP9Enc::target-bitrate,
33  * #GstVP9Enc::min-quantizer, #GstVP9Enc::max-quantizer or #GstVP9Enc::cq-level
34  * properties can be used. Which one is used depends on the mode selected by
35  * the #GstVP9Enc::end-usage property.
36  * See <ulink url="http://www.webmproject.org/docs/encoder-parameters/">Encoder Parameters</ulink>
37  * for explanation, examples for useful encoding parameters and more details
38  * on the encoding parameters.
39  *
40  * <refsect2>
41  * <title>Example pipeline</title>
42  * |[
43  * gst-launch -v videotestsrc num-buffers=1000 ! vp9enc ! webmmux ! filesink location=videotestsrc.webm
44  * ]| This example pipeline will encode a test video source to VP9 muxed in an
45  * WebM container.
46  * </refsect2>
47  */
48
49 #ifdef HAVE_CONFIG_H
50 #include "config.h"
51 #endif
52
53 #ifdef HAVE_VP9_ENCODER
54
55 /* glib decided in 2.32 it would be a great idea to deprecated GValueArray without
56  * providing an alternative
57  *
58  * See https://bugzilla.gnome.org/show_bug.cgi?id=667228
59  * */
60 #define GLIB_DISABLE_DEPRECATION_WARNINGS
61
62 #include <gst/tag/tag.h>
63 #include <gst/video/video.h>
64 #include <string.h>
65
66 #include "gstvp8utils.h"
67 #include "gstvp9enc.h"
68
69 GST_DEBUG_CATEGORY_STATIC (gst_vp9enc_debug);
70 #define GST_CAT_DEFAULT gst_vp9enc_debug
71
72 /* From vp9/vp9_cx_iface.c */
73 #define DEFAULT_PROFILE 0
74
75 #define DEFAULT_RC_END_USAGE VPX_VBR
76 #define DEFAULT_RC_TARGET_BITRATE 256000
77 #define DEFAULT_RC_MIN_QUANTIZER 4
78 #define DEFAULT_RC_MAX_QUANTIZER 63
79
80 #define DEFAULT_RC_DROPFRAME_THRESH 0
81 #define DEFAULT_RC_RESIZE_ALLOWED 0
82 #define DEFAULT_RC_RESIZE_UP_THRESH 30
83 #define DEFAULT_RC_RESIZE_DOWN_THRESH 60
84 #define DEFAULT_RC_UNDERSHOOT_PCT 100
85 #define DEFAULT_RC_OVERSHOOT_PCT 100
86 #define DEFAULT_RC_BUF_SZ 6000
87 #define DEFAULT_RC_BUF_INITIAL_SZ 4000
88 #define DEFAULT_RC_BUF_OPTIMAL_SZ 5000
89 #define DEFAULT_RC_2PASS_VBR_BIAS_PCT 50
90 #define DEFAULT_RC_2PASS_VBR_MINSECTION_PCT 0
91 #define DEFAULT_RC_2PASS_VBR_MAXSECTION_PCT 400
92
93 #define DEFAULT_KF_MODE VPX_KF_AUTO
94 #define DEFAULT_KF_MAX_DIST 128
95
96 #define DEFAULT_MULTIPASS_MODE VPX_RC_ONE_PASS
97 #define DEFAULT_MULTIPASS_CACHE_FILE "multipass.cache"
98
99 #define DEFAULT_TS_NUMBER_LAYERS 1
100 #define DEFAULT_TS_TARGET_BITRATE NULL
101 #define DEFAULT_TS_RATE_DECIMATOR NULL
102 #define DEFAULT_TS_PERIODICITY 0
103 #define DEFAULT_TS_LAYER_ID NULL
104
105 #define DEFAULT_ERROR_RESILIENT 0
106 #define DEFAULT_LAG_IN_FRAMES 0
107
108 #define DEFAULT_THREADS 0
109
110 #define DEFAULT_H_SCALING_MODE VP8E_NORMAL
111 #define DEFAULT_V_SCALING_MODE VP8E_NORMAL
112 #define DEFAULT_CPU_USED 0
113 #define DEFAULT_ENABLE_AUTO_ALT_REF FALSE
114 #define DEFAULT_DEADLINE VPX_DL_BEST_QUALITY
115 #define DEFAULT_NOISE_SENSITIVITY 0
116 #define DEFAULT_SHARPNESS 0
117 #define DEFAULT_STATIC_THRESHOLD 0
118 #define DEFAULT_TOKEN_PARTITIONS 0
119 #define DEFAULT_ARNR_MAXFRAMES 0
120 #define DEFAULT_ARNR_STRENGTH 3
121 #define DEFAULT_ARNR_TYPE 3
122 #define DEFAULT_TUNING VP8_TUNE_PSNR
123 #define DEFAULT_CQ_LEVEL 10
124 #define DEFAULT_MAX_INTRA_BITRATE_PCT 0
125 #define DEFAULT_TIMEBASE_N 0
126 #define DEFAULT_TIMEBASE_D 1
127
128 enum
129 {
130   PROP_0,
131   PROP_RC_END_USAGE,
132   PROP_RC_TARGET_BITRATE,
133   PROP_RC_MIN_QUANTIZER,
134   PROP_RC_MAX_QUANTIZER,
135   PROP_RC_DROPFRAME_THRESH,
136   PROP_RC_RESIZE_ALLOWED,
137   PROP_RC_RESIZE_UP_THRESH,
138   PROP_RC_RESIZE_DOWN_THRESH,
139   PROP_RC_UNDERSHOOT_PCT,
140   PROP_RC_OVERSHOOT_PCT,
141   PROP_RC_BUF_SZ,
142   PROP_RC_BUF_INITIAL_SZ,
143   PROP_RC_BUF_OPTIMAL_SZ,
144   PROP_RC_2PASS_VBR_BIAS_PCT,
145   PROP_RC_2PASS_VBR_MINSECTION_PCT,
146   PROP_RC_2PASS_VBR_MAXSECTION_PCT,
147   PROP_KF_MODE,
148   PROP_KF_MAX_DIST,
149   PROP_TS_NUMBER_LAYERS,
150   PROP_TS_TARGET_BITRATE,
151   PROP_TS_RATE_DECIMATOR,
152   PROP_TS_PERIODICITY,
153   PROP_TS_LAYER_ID,
154   PROP_MULTIPASS_MODE,
155   PROP_MULTIPASS_CACHE_FILE,
156   PROP_ERROR_RESILIENT,
157   PROP_LAG_IN_FRAMES,
158   PROP_THREADS,
159   PROP_DEADLINE,
160   PROP_H_SCALING_MODE,
161   PROP_V_SCALING_MODE,
162   PROP_CPU_USED,
163   PROP_ENABLE_AUTO_ALT_REF,
164   PROP_NOISE_SENSITIVITY,
165   PROP_SHARPNESS,
166   PROP_STATIC_THRESHOLD,
167   PROP_TOKEN_PARTITIONS,
168   PROP_ARNR_MAXFRAMES,
169   PROP_ARNR_STRENGTH,
170   PROP_ARNR_TYPE,
171   PROP_TUNING,
172   PROP_CQ_LEVEL,
173   PROP_MAX_INTRA_BITRATE_PCT,
174   PROP_TIMEBASE
175 };
176
177 #define GST_VP9_ENC_END_USAGE_TYPE (gst_vp9_enc_end_usage_get_type())
178 static GType
179 gst_vp9_enc_end_usage_get_type (void)
180 {
181   static const GEnumValue values[] = {
182     {VPX_VBR, "Variable Bit Rate (VBR) mode", "vbr"},
183     {VPX_CBR, "Constant Bit Rate (CBR) mode", "cbr"},
184     {VPX_CQ, "Constant Quality Mode (CQ) mode", "cq"},
185     {0, NULL, NULL}
186   };
187   static volatile GType id = 0;
188
189   if (g_once_init_enter ((gsize *) & id)) {
190     GType _id;
191
192     _id = g_enum_register_static ("GstVP9EncEndUsage", values);
193
194     g_once_init_leave ((gsize *) & id, _id);
195   }
196
197   return id;
198 }
199
200 #define GST_VP9_ENC_MULTIPASS_MODE_TYPE (gst_vp9_enc_multipass_mode_get_type())
201 static GType
202 gst_vp9_enc_multipass_mode_get_type (void)
203 {
204   static const GEnumValue values[] = {
205     {VPX_RC_ONE_PASS, "One pass encoding (default)", "one-pass"},
206     {VPX_RC_FIRST_PASS, "First pass of multipass encoding", "first-pass"},
207     {VPX_RC_LAST_PASS, "Last pass of multipass encoding", "last-pass"},
208     {0, NULL, NULL}
209   };
210   static volatile GType id = 0;
211
212   if (g_once_init_enter ((gsize *) & id)) {
213     GType _id;
214
215     _id = g_enum_register_static ("GstVP9EncMultipassMode", values);
216
217     g_once_init_leave ((gsize *) & id, _id);
218   }
219
220   return id;
221 }
222
223 #define GST_VP9_ENC_KF_MODE_TYPE (gst_vp9_enc_kf_mode_get_type())
224 static GType
225 gst_vp9_enc_kf_mode_get_type (void)
226 {
227   static const GEnumValue values[] = {
228     {VPX_KF_AUTO, "Determine optimal placement automatically", "auto"},
229     {VPX_KF_DISABLED, "Don't automatically place keyframes", "disabled"},
230     {0, NULL, NULL}
231   };
232   static volatile GType id = 0;
233
234   if (g_once_init_enter ((gsize *) & id)) {
235     GType _id;
236
237     _id = g_enum_register_static ("GstVP9EncKfMode", values);
238
239     g_once_init_leave ((gsize *) & id, _id);
240   }
241
242   return id;
243 }
244
245 #define GST_VP9_ENC_TUNING_TYPE (gst_vp9_enc_tuning_get_type())
246 static GType
247 gst_vp9_enc_tuning_get_type (void)
248 {
249   static const GEnumValue values[] = {
250     {VP8_TUNE_PSNR, "Tune for PSNR", "psnr"},
251     {VP8_TUNE_SSIM, "Tune for SSIM", "ssim"},
252     {0, NULL, NULL}
253   };
254   static volatile GType id = 0;
255
256   if (g_once_init_enter ((gsize *) & id)) {
257     GType _id;
258
259     _id = g_enum_register_static ("GstVP9EncTuning", values);
260
261     g_once_init_leave ((gsize *) & id, _id);
262   }
263
264   return id;
265 }
266
267 #define GST_VP9_ENC_SCALING_MODE_TYPE (gst_vp9_enc_scaling_mode_get_type())
268 static GType
269 gst_vp9_enc_scaling_mode_get_type (void)
270 {
271   static const GEnumValue values[] = {
272     {VP8E_NORMAL, "Normal", "normal"},
273     {VP8E_FOURFIVE, "4:5", "4:5"},
274     {VP8E_THREEFIVE, "3:5", "3:5"},
275     {VP8E_ONETWO, "1:2", "1:2"},
276     {0, NULL, NULL}
277   };
278   static volatile GType id = 0;
279
280   if (g_once_init_enter ((gsize *) & id)) {
281     GType _id;
282
283     _id = g_enum_register_static ("GstVP9EncScalingMode", values);
284
285     g_once_init_leave ((gsize *) & id, _id);
286   }
287
288   return id;
289 }
290
291 #define GST_VP9_ENC_TOKEN_PARTITIONS_TYPE (gst_vp9_enc_token_partitions_get_type())
292 static GType
293 gst_vp9_enc_token_partitions_get_type (void)
294 {
295   static const GEnumValue values[] = {
296     {VP8_ONE_TOKENPARTITION, "One token partition", "1"},
297     {VP8_TWO_TOKENPARTITION, "Two token partitions", "2"},
298     {VP8_FOUR_TOKENPARTITION, "Four token partitions", "4"},
299     {VP8_EIGHT_TOKENPARTITION, "Eight token partitions", "8"},
300     {0, NULL, NULL}
301   };
302   static volatile GType id = 0;
303
304   if (g_once_init_enter ((gsize *) & id)) {
305     GType _id;
306
307     _id = g_enum_register_static ("GstVP9EncTokenPartitions", values);
308
309     g_once_init_leave ((gsize *) & id, _id);
310   }
311
312   return id;
313 }
314
315 #define GST_VP9_ENC_ER_FLAGS_TYPE (gst_vp9_enc_er_flags_get_type())
316 static GType
317 gst_vp9_enc_er_flags_get_type (void)
318 {
319   static const GFlagsValue values[] = {
320     {VPX_ERROR_RESILIENT_DEFAULT, "Default error resilience", "default"},
321     {VPX_ERROR_RESILIENT_PARTITIONS,
322         "Allow partitions to be decoded independently", "partitions"},
323     {0, NULL, NULL}
324   };
325   static volatile GType id = 0;
326
327   if (g_once_init_enter ((gsize *) & id)) {
328     GType _id;
329
330     _id = g_flags_register_static ("GstVP9EncErFlags", values);
331
332     g_once_init_leave ((gsize *) & id, _id);
333   }
334
335   return id;
336 }
337
338 static void gst_vp9_enc_finalize (GObject * object);
339 static void gst_vp9_enc_set_property (GObject * object, guint prop_id,
340     const GValue * value, GParamSpec * pspec);
341 static void gst_vp9_enc_get_property (GObject * object, guint prop_id,
342     GValue * value, GParamSpec * pspec);
343
344 static gboolean gst_vp9_enc_start (GstVideoEncoder * encoder);
345 static gboolean gst_vp9_enc_stop (GstVideoEncoder * encoder);
346 static gboolean gst_vp9_enc_set_format (GstVideoEncoder *
347     video_encoder, GstVideoCodecState * state);
348 static gboolean gst_vp9_enc_finish (GstVideoEncoder * video_encoder);
349 static GstFlowReturn gst_vp9_enc_handle_frame (GstVideoEncoder *
350     video_encoder, GstVideoCodecFrame * frame);
351 static gboolean gst_vp9_enc_sink_event (GstVideoEncoder *
352     video_encoder, GstEvent * event);
353 static gboolean gst_vp9_enc_propose_allocation (GstVideoEncoder * encoder,
354     GstQuery * query);
355
356 /* FIXME: Y42B and Y444 do not work yet it seems */
357 static GstStaticPadTemplate gst_vp9_enc_sink_template =
358 GST_STATIC_PAD_TEMPLATE ("sink",
359     GST_PAD_SINK,
360     GST_PAD_ALWAYS,
361     /*GST_STATIC_CAPS (GST_VIDEO_CAPS_MAKE ("{ I420, YV12, Y42B, Y444 }")) */
362     GST_STATIC_CAPS (GST_VIDEO_CAPS_MAKE ("{ I420, YV12 }"))
363     );
364
365 static GstStaticPadTemplate gst_vp9_enc_src_template =
366 GST_STATIC_PAD_TEMPLATE ("src",
367     GST_PAD_SRC,
368     GST_PAD_ALWAYS,
369     GST_STATIC_CAPS ("video/x-vp9, " "profile = (string) {0, 1, 2, 3}")
370     );
371
372 #define parent_class gst_vp9_enc_parent_class
373 G_DEFINE_TYPE_WITH_CODE (GstVP9Enc, gst_vp9_enc, GST_TYPE_VIDEO_ENCODER,
374     G_IMPLEMENT_INTERFACE (GST_TYPE_TAG_SETTER, NULL);
375     G_IMPLEMENT_INTERFACE (GST_TYPE_PRESET, NULL););
376
377 static void
378 gst_vp9_enc_class_init (GstVP9EncClass * klass)
379 {
380   GObjectClass *gobject_class;
381   GstElementClass *element_class;
382   GstVideoEncoderClass *video_encoder_class;
383
384   gobject_class = G_OBJECT_CLASS (klass);
385   element_class = GST_ELEMENT_CLASS (klass);
386   video_encoder_class = GST_VIDEO_ENCODER_CLASS (klass);
387
388   gobject_class->set_property = gst_vp9_enc_set_property;
389   gobject_class->get_property = gst_vp9_enc_get_property;
390   gobject_class->finalize = gst_vp9_enc_finalize;
391
392   gst_element_class_add_pad_template (element_class,
393       gst_static_pad_template_get (&gst_vp9_enc_src_template));
394   gst_element_class_add_pad_template (element_class,
395       gst_static_pad_template_get (&gst_vp9_enc_sink_template));
396
397   gst_element_class_set_static_metadata (element_class,
398       "On2 VP9 Encoder",
399       "Codec/Encoder/Video",
400       "Encode VP9 video streams", "David Schleef <ds@entropywave.com>, "
401       "Sebastian Dröge <sebastian.droege@collabora.co.uk>");
402
403   video_encoder_class->start = gst_vp9_enc_start;
404   video_encoder_class->stop = gst_vp9_enc_stop;
405   video_encoder_class->handle_frame = gst_vp9_enc_handle_frame;
406   video_encoder_class->set_format = gst_vp9_enc_set_format;
407   video_encoder_class->finish = gst_vp9_enc_finish;
408   video_encoder_class->sink_event = gst_vp9_enc_sink_event;
409   video_encoder_class->propose_allocation = gst_vp9_enc_propose_allocation;
410
411   g_object_class_install_property (gobject_class, PROP_RC_END_USAGE,
412       g_param_spec_enum ("end-usage", "Rate control mode",
413           "Rate control mode",
414           GST_VP9_ENC_END_USAGE_TYPE, DEFAULT_RC_END_USAGE,
415           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
416
417   g_object_class_install_property (gobject_class, PROP_RC_TARGET_BITRATE,
418       g_param_spec_int ("target-bitrate", "Target bitrate",
419           "Target bitrate (in bits/sec)",
420           0, G_MAXINT, DEFAULT_RC_TARGET_BITRATE,
421           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
422
423   g_object_class_install_property (gobject_class, PROP_RC_MIN_QUANTIZER,
424       g_param_spec_int ("min-quantizer", "Minimum Quantizer",
425           "Minimum Quantizer (best)",
426           0, 63, DEFAULT_RC_MIN_QUANTIZER,
427           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
428
429   g_object_class_install_property (gobject_class, PROP_RC_MAX_QUANTIZER,
430       g_param_spec_int ("max-quantizer", "Maximum Quantizer",
431           "Maximum Quantizer (worst)",
432           0, 63, DEFAULT_RC_MAX_QUANTIZER,
433           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
434
435   g_object_class_install_property (gobject_class, PROP_RC_DROPFRAME_THRESH,
436       g_param_spec_int ("dropframe-threshold", "Drop Frame Threshold",
437           "Temporal resampling threshold (buf %)",
438           0, 100, DEFAULT_RC_DROPFRAME_THRESH,
439           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
440
441   g_object_class_install_property (gobject_class, PROP_RC_RESIZE_ALLOWED,
442       g_param_spec_boolean ("resize-allowed", "Resize Allowed",
443           "Allow spatial resampling",
444           DEFAULT_RC_RESIZE_ALLOWED,
445           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
446
447   g_object_class_install_property (gobject_class, PROP_RC_RESIZE_UP_THRESH,
448       g_param_spec_int ("resize-up-threshold", "Resize Up Threshold",
449           "Upscale threshold (buf %)",
450           0, 100, DEFAULT_RC_RESIZE_UP_THRESH,
451           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
452
453   g_object_class_install_property (gobject_class, PROP_RC_RESIZE_DOWN_THRESH,
454       g_param_spec_int ("resize-down-threshold", "Resize Down Threshold",
455           "Downscale threshold (buf %)",
456           0, 100, DEFAULT_RC_RESIZE_DOWN_THRESH,
457           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
458
459   g_object_class_install_property (gobject_class, PROP_RC_UNDERSHOOT_PCT,
460       g_param_spec_int ("undershoot", "Undershoot PCT",
461           "Datarate undershoot (min) target (%)",
462           0, 1000, DEFAULT_RC_UNDERSHOOT_PCT,
463           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
464
465   g_object_class_install_property (gobject_class, PROP_RC_OVERSHOOT_PCT,
466       g_param_spec_int ("overshoot", "Overshoot PCT",
467           "Datarate overshoot (max) target (%)",
468           0, 1000, DEFAULT_RC_OVERSHOOT_PCT,
469           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
470
471   g_object_class_install_property (gobject_class, PROP_RC_BUF_SZ,
472       g_param_spec_int ("buffer-size", "Buffer size",
473           "Client buffer size (ms)",
474           0, G_MAXINT, DEFAULT_RC_BUF_SZ,
475           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
476
477   g_object_class_install_property (gobject_class, PROP_RC_BUF_INITIAL_SZ,
478       g_param_spec_int ("buffer-initial-size", "Buffer initial size",
479           "Initial client buffer size (ms)",
480           0, G_MAXINT, DEFAULT_RC_BUF_INITIAL_SZ,
481           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
482
483   g_object_class_install_property (gobject_class, PROP_RC_BUF_OPTIMAL_SZ,
484       g_param_spec_int ("buffer-optimal-size", "Buffer optimal size",
485           "Optimal client buffer size (ms)",
486           0, G_MAXINT, DEFAULT_RC_BUF_OPTIMAL_SZ,
487           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
488
489   g_object_class_install_property (gobject_class, PROP_RC_2PASS_VBR_BIAS_PCT,
490       g_param_spec_int ("twopass-vbr-bias", "2-pass VBR bias",
491           "CBR/VBR bias (0=CBR, 100=VBR)",
492           0, 100, DEFAULT_RC_2PASS_VBR_BIAS_PCT,
493           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
494
495   g_object_class_install_property (gobject_class,
496       PROP_RC_2PASS_VBR_MINSECTION_PCT,
497       g_param_spec_int ("twopass-vbr-minsection", "2-pass GOP min bitrate",
498           "GOP minimum bitrate (% target)", 0, G_MAXINT,
499           DEFAULT_RC_2PASS_VBR_MINSECTION_PCT,
500           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
501
502   g_object_class_install_property (gobject_class,
503       PROP_RC_2PASS_VBR_MAXSECTION_PCT,
504       g_param_spec_int ("twopass-vbr-maxsection", "2-pass GOP max bitrate",
505           "GOP maximum bitrate (% target)", 0, G_MAXINT,
506           DEFAULT_RC_2PASS_VBR_MINSECTION_PCT,
507           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
508
509   g_object_class_install_property (gobject_class, PROP_KF_MODE,
510       g_param_spec_enum ("keyframe-mode", "Keyframe Mode",
511           "Keyframe placement",
512           GST_VP9_ENC_KF_MODE_TYPE, DEFAULT_KF_MODE,
513           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
514
515   g_object_class_install_property (gobject_class, PROP_KF_MAX_DIST,
516       g_param_spec_int ("keyframe-max-dist", "Keyframe max distance",
517           "Maximum distance between keyframes (number of frames)",
518           0, G_MAXINT, DEFAULT_KF_MAX_DIST,
519           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
520
521   g_object_class_install_property (gobject_class, PROP_MULTIPASS_MODE,
522       g_param_spec_enum ("multipass-mode", "Multipass Mode",
523           "Multipass encode mode",
524           GST_VP9_ENC_MULTIPASS_MODE_TYPE, DEFAULT_MULTIPASS_MODE,
525           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
526
527   g_object_class_install_property (gobject_class, PROP_MULTIPASS_CACHE_FILE,
528       g_param_spec_string ("multipass-cache-file", "Multipass Cache File",
529           "Multipass cache file",
530           DEFAULT_MULTIPASS_CACHE_FILE,
531           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
532
533   g_object_class_install_property (gobject_class, PROP_TS_NUMBER_LAYERS,
534       g_param_spec_int ("temporal-scalability-number-layers",
535           "Number of coding layers", "Number of coding layers to use", 1, 5,
536           DEFAULT_TS_NUMBER_LAYERS,
537           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
538
539   g_object_class_install_property (gobject_class, PROP_TS_TARGET_BITRATE,
540       g_param_spec_value_array ("temporal-scalability-target-bitrate",
541           "Coding layer target bitrates",
542           "Target bitrates for coding layers (one per layer, decreasing)",
543           g_param_spec_int ("target-bitrate", "Target bitrate",
544               "Target bitrate", 0, G_MAXINT, DEFAULT_RC_TARGET_BITRATE,
545               G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS),
546           G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
547
548   g_object_class_install_property (gobject_class, PROP_TS_RATE_DECIMATOR,
549       g_param_spec_value_array ("temporal-scalability-rate-decimator",
550           "Coding layer rate decimator",
551           "Rate decimation factors for each layer",
552           g_param_spec_int ("rate-decimator", "Rate decimator",
553               "Rate decimator", 0, 1000000000, 0,
554               G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS),
555           G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
556
557   g_object_class_install_property (gobject_class, PROP_TS_PERIODICITY,
558       g_param_spec_int ("temporal-scalability-periodicity",
559           "Coding layer periodicity",
560           "Length of sequence that defines layer membership periodicity", 0, 16,
561           DEFAULT_TS_PERIODICITY,
562           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
563
564   g_object_class_install_property (gobject_class, PROP_TS_LAYER_ID,
565       g_param_spec_value_array ("temporal-scalability-layer-id",
566           "Coding layer identification",
567           "Sequence defining coding layer membership",
568           g_param_spec_int ("layer-id", "Layer ID", "Layer ID", 0, 4, 0,
569               G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS),
570           G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
571
572   g_object_class_install_property (gobject_class, PROP_LAG_IN_FRAMES,
573       g_param_spec_int ("lag-in-frames", "Lag in frames",
574           "Maximum number of frames to lag",
575           0, 25, DEFAULT_LAG_IN_FRAMES,
576           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
577
578   g_object_class_install_property (gobject_class, PROP_ERROR_RESILIENT,
579       g_param_spec_flags ("error-resilient", "Error resilient",
580           "Error resilience flags",
581           GST_VP9_ENC_ER_FLAGS_TYPE, DEFAULT_ERROR_RESILIENT,
582           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
583
584   g_object_class_install_property (gobject_class, PROP_THREADS,
585       g_param_spec_int ("threads", "Threads",
586           "Number of threads to use",
587           0, 64, DEFAULT_THREADS,
588           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
589
590   g_object_class_install_property (gobject_class, PROP_DEADLINE,
591       g_param_spec_int64 ("deadline", "Deadline",
592           "Deadline per frame (usec, 0=disabled)",
593           0, G_MAXINT64, DEFAULT_DEADLINE,
594           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
595
596   g_object_class_install_property (gobject_class, PROP_H_SCALING_MODE,
597       g_param_spec_enum ("horizontal-scaling-mode", "Horizontal scaling mode",
598           "Horizontal scaling mode",
599           GST_VP9_ENC_SCALING_MODE_TYPE, DEFAULT_H_SCALING_MODE,
600           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
601
602   g_object_class_install_property (gobject_class, PROP_V_SCALING_MODE,
603       g_param_spec_enum ("vertical-scaling-mode", "Vertical scaling mode",
604           "Vertical scaling mode",
605           GST_VP9_ENC_SCALING_MODE_TYPE, DEFAULT_V_SCALING_MODE,
606           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
607
608   g_object_class_install_property (gobject_class, PROP_CPU_USED,
609       g_param_spec_int ("cpu-used", "CPU used",
610           "CPU used",
611           -16, 16, DEFAULT_CPU_USED,
612           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
613
614   g_object_class_install_property (gobject_class, PROP_ENABLE_AUTO_ALT_REF,
615       g_param_spec_boolean ("auto-alt-ref", "Auto alt reference frames",
616           "Automatically generate AltRef frames",
617           DEFAULT_ENABLE_AUTO_ALT_REF,
618           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
619
620   g_object_class_install_property (gobject_class, PROP_NOISE_SENSITIVITY,
621       g_param_spec_int ("noise-sensitivity", "Noise sensitivity",
622           "Noise sensisivity (frames to blur)",
623           0, 6, DEFAULT_NOISE_SENSITIVITY,
624           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
625
626   g_object_class_install_property (gobject_class, PROP_SHARPNESS,
627       g_param_spec_int ("sharpness", "Sharpness",
628           "Filter sharpness",
629           0, 7, DEFAULT_SHARPNESS,
630           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
631
632   g_object_class_install_property (gobject_class, PROP_STATIC_THRESHOLD,
633       g_param_spec_int ("static-threshold", "Static Threshold",
634           "Motion detection threshold",
635           0, G_MAXINT, DEFAULT_STATIC_THRESHOLD,
636           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
637
638   g_object_class_install_property (gobject_class, PROP_TOKEN_PARTITIONS,
639       g_param_spec_enum ("token-partitions", "Token partitions",
640           "Number of token partitions",
641           GST_VP9_ENC_TOKEN_PARTITIONS_TYPE, DEFAULT_TOKEN_PARTITIONS,
642           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
643
644   g_object_class_install_property (gobject_class, PROP_ARNR_MAXFRAMES,
645       g_param_spec_int ("arnr-maxframes", "AltRef max frames",
646           "AltRef maximum number of frames",
647           0, 15, DEFAULT_ARNR_MAXFRAMES,
648           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
649
650   g_object_class_install_property (gobject_class, PROP_ARNR_STRENGTH,
651       g_param_spec_int ("arnr-strength", "AltRef strength",
652           "AltRef strength",
653           0, 6, DEFAULT_ARNR_STRENGTH,
654           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
655
656   g_object_class_install_property (gobject_class, PROP_ARNR_TYPE,
657       g_param_spec_int ("arnr-type", "AltRef type",
658           "AltRef type",
659           1, 3, DEFAULT_ARNR_TYPE,
660           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
661
662   g_object_class_install_property (gobject_class, PROP_TUNING,
663       g_param_spec_enum ("tuning", "Tuning",
664           "Tuning",
665           GST_VP9_ENC_TUNING_TYPE, DEFAULT_TUNING,
666           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
667
668   g_object_class_install_property (gobject_class, PROP_CQ_LEVEL,
669       g_param_spec_int ("cq-level", "Constrained quality level",
670           "Constrained quality level",
671           0, 63, DEFAULT_CQ_LEVEL,
672           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
673
674   g_object_class_install_property (gobject_class, PROP_MAX_INTRA_BITRATE_PCT,
675       g_param_spec_int ("max-intra-bitrate", "Max Intra bitrate",
676           "Maximum Intra frame bitrate",
677           0, G_MAXINT, DEFAULT_MAX_INTRA_BITRATE_PCT,
678           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
679
680   g_object_class_install_property (gobject_class, PROP_TIMEBASE,
681       gst_param_spec_fraction ("timebase", "Shortest interframe time",
682           "Fraction of one second that is the shortest interframe time - normally left as zero which will default to the framerate",
683           0, 1, G_MAXINT, 1, DEFAULT_TIMEBASE_N, DEFAULT_TIMEBASE_D,
684           G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
685
686   GST_DEBUG_CATEGORY_INIT (gst_vp9enc_debug, "vp9enc", 0, "VP9 Encoder");
687 }
688
689 static void
690 gst_vp9_enc_init (GstVP9Enc * gst_vp9_enc)
691 {
692   vpx_codec_err_t status;
693
694   GST_DEBUG_OBJECT (gst_vp9_enc, "init");
695
696   status =
697       vpx_codec_enc_config_default (&vpx_codec_vp9_cx_algo, &gst_vp9_enc->cfg,
698       0);
699   if (status != VPX_CODEC_OK) {
700     GST_ERROR_OBJECT (gst_vp9_enc,
701         "Failed to get default encoder configuration: %s",
702         gst_vpx_error_name (status));
703     gst_vp9_enc->have_default_config = FALSE;
704   } else {
705     gst_vp9_enc->have_default_config = TRUE;
706   }
707
708   gst_vp9_enc->cfg.rc_end_usage = DEFAULT_RC_END_USAGE;
709   gst_vp9_enc->cfg.rc_target_bitrate = DEFAULT_RC_TARGET_BITRATE / 1000;
710   gst_vp9_enc->rc_target_bitrate_set = FALSE;
711   gst_vp9_enc->cfg.rc_min_quantizer = DEFAULT_RC_MIN_QUANTIZER;
712   gst_vp9_enc->cfg.rc_max_quantizer = DEFAULT_RC_MAX_QUANTIZER;
713   gst_vp9_enc->cfg.rc_dropframe_thresh = DEFAULT_RC_DROPFRAME_THRESH;
714   gst_vp9_enc->cfg.rc_resize_allowed = DEFAULT_RC_RESIZE_ALLOWED;
715   gst_vp9_enc->cfg.rc_resize_up_thresh = DEFAULT_RC_RESIZE_UP_THRESH;
716   gst_vp9_enc->cfg.rc_resize_down_thresh = DEFAULT_RC_RESIZE_DOWN_THRESH;
717   gst_vp9_enc->cfg.rc_undershoot_pct = DEFAULT_RC_UNDERSHOOT_PCT;
718   gst_vp9_enc->cfg.rc_overshoot_pct = DEFAULT_RC_OVERSHOOT_PCT;
719   gst_vp9_enc->cfg.rc_buf_sz = DEFAULT_RC_BUF_SZ;
720   gst_vp9_enc->cfg.rc_buf_initial_sz = DEFAULT_RC_BUF_INITIAL_SZ;
721   gst_vp9_enc->cfg.rc_buf_optimal_sz = DEFAULT_RC_BUF_OPTIMAL_SZ;
722   gst_vp9_enc->cfg.rc_2pass_vbr_bias_pct = DEFAULT_RC_2PASS_VBR_BIAS_PCT;
723   gst_vp9_enc->cfg.rc_2pass_vbr_minsection_pct =
724       DEFAULT_RC_2PASS_VBR_MINSECTION_PCT;
725   gst_vp9_enc->cfg.rc_2pass_vbr_maxsection_pct =
726       DEFAULT_RC_2PASS_VBR_MAXSECTION_PCT;
727   gst_vp9_enc->cfg.kf_mode = DEFAULT_KF_MODE;
728   gst_vp9_enc->cfg.kf_max_dist = DEFAULT_KF_MAX_DIST;
729   gst_vp9_enc->cfg.g_pass = DEFAULT_MULTIPASS_MODE;
730   gst_vp9_enc->multipass_cache_file = g_strdup (DEFAULT_MULTIPASS_CACHE_FILE);
731   gst_vp9_enc->cfg.ts_number_layers = DEFAULT_TS_NUMBER_LAYERS;
732   gst_vp9_enc->n_ts_target_bitrate = 0;
733   gst_vp9_enc->n_ts_rate_decimator = 0;
734   gst_vp9_enc->cfg.ts_periodicity = DEFAULT_TS_PERIODICITY;
735   gst_vp9_enc->n_ts_layer_id = 0;
736   gst_vp9_enc->cfg.g_error_resilient = DEFAULT_ERROR_RESILIENT;
737   gst_vp9_enc->cfg.g_lag_in_frames = DEFAULT_LAG_IN_FRAMES;
738   gst_vp9_enc->cfg.g_threads = DEFAULT_THREADS;
739   gst_vp9_enc->deadline = DEFAULT_DEADLINE;
740   gst_vp9_enc->h_scaling_mode = DEFAULT_H_SCALING_MODE;
741   gst_vp9_enc->v_scaling_mode = DEFAULT_V_SCALING_MODE;
742   gst_vp9_enc->cpu_used = DEFAULT_CPU_USED;
743   gst_vp9_enc->enable_auto_alt_ref = DEFAULT_ENABLE_AUTO_ALT_REF;
744   gst_vp9_enc->noise_sensitivity = DEFAULT_NOISE_SENSITIVITY;
745   gst_vp9_enc->sharpness = DEFAULT_SHARPNESS;
746   gst_vp9_enc->static_threshold = DEFAULT_STATIC_THRESHOLD;
747   gst_vp9_enc->token_partitions = DEFAULT_TOKEN_PARTITIONS;
748   gst_vp9_enc->arnr_maxframes = DEFAULT_ARNR_MAXFRAMES;
749   gst_vp9_enc->arnr_strength = DEFAULT_ARNR_STRENGTH;
750   gst_vp9_enc->arnr_type = DEFAULT_ARNR_TYPE;
751   gst_vp9_enc->tuning = DEFAULT_TUNING;
752   gst_vp9_enc->cq_level = DEFAULT_CQ_LEVEL;
753   gst_vp9_enc->max_intra_bitrate_pct = DEFAULT_MAX_INTRA_BITRATE_PCT;
754   gst_vp9_enc->timebase_n = DEFAULT_TIMEBASE_N;
755   gst_vp9_enc->timebase_d = DEFAULT_TIMEBASE_D;
756
757   gst_vp9_enc->cfg.g_profile = DEFAULT_PROFILE;
758
759   g_mutex_init (&gst_vp9_enc->encoder_lock);
760 }
761
762 static void
763 gst_vp9_enc_finalize (GObject * object)
764 {
765   GstVP9Enc *gst_vp9_enc;
766
767   GST_DEBUG_OBJECT (object, "finalize");
768
769   g_return_if_fail (GST_IS_VP9_ENC (object));
770   gst_vp9_enc = GST_VP9_ENC (object);
771
772   g_free (gst_vp9_enc->multipass_cache_file);
773   gst_vp9_enc->multipass_cache_file = NULL;
774
775   if (gst_vp9_enc->input_state)
776     gst_video_codec_state_unref (gst_vp9_enc->input_state);
777
778   g_mutex_clear (&gst_vp9_enc->encoder_lock);
779
780   G_OBJECT_CLASS (parent_class)->finalize (object);
781
782 }
783
784 static void
785 gst_vp9_enc_set_property (GObject * object, guint prop_id,
786     const GValue * value, GParamSpec * pspec)
787 {
788   GstVP9Enc *gst_vp9_enc;
789   gboolean global = FALSE;
790   vpx_codec_err_t status;
791
792   g_return_if_fail (GST_IS_VP9_ENC (object));
793   gst_vp9_enc = GST_VP9_ENC (object);
794
795   GST_DEBUG_OBJECT (object, "gst_vp9_enc_set_property");
796   g_mutex_lock (&gst_vp9_enc->encoder_lock);
797   switch (prop_id) {
798     case PROP_RC_END_USAGE:
799       gst_vp9_enc->cfg.rc_end_usage = g_value_get_enum (value);
800       global = TRUE;
801       break;
802     case PROP_RC_TARGET_BITRATE:
803       gst_vp9_enc->cfg.rc_target_bitrate = g_value_get_int (value) / 1000;
804       gst_vp9_enc->rc_target_bitrate_set = TRUE;
805       global = TRUE;
806       break;
807     case PROP_RC_MIN_QUANTIZER:
808       gst_vp9_enc->cfg.rc_min_quantizer = g_value_get_int (value);
809       global = TRUE;
810       break;
811     case PROP_RC_MAX_QUANTIZER:
812       gst_vp9_enc->cfg.rc_max_quantizer = g_value_get_int (value);
813       global = TRUE;
814       break;
815     case PROP_RC_DROPFRAME_THRESH:
816       gst_vp9_enc->cfg.rc_dropframe_thresh = g_value_get_int (value);
817       global = TRUE;
818       break;
819     case PROP_RC_RESIZE_ALLOWED:
820       gst_vp9_enc->cfg.rc_resize_allowed = g_value_get_boolean (value);
821       global = TRUE;
822       break;
823     case PROP_RC_RESIZE_UP_THRESH:
824       gst_vp9_enc->cfg.rc_resize_up_thresh = g_value_get_int (value);
825       global = TRUE;
826       break;
827     case PROP_RC_RESIZE_DOWN_THRESH:
828       gst_vp9_enc->cfg.rc_resize_down_thresh = g_value_get_int (value);
829       global = TRUE;
830       break;
831     case PROP_RC_UNDERSHOOT_PCT:
832       gst_vp9_enc->cfg.rc_undershoot_pct = g_value_get_int (value);
833       global = TRUE;
834       break;
835     case PROP_RC_OVERSHOOT_PCT:
836       gst_vp9_enc->cfg.rc_overshoot_pct = g_value_get_int (value);
837       global = TRUE;
838       break;
839     case PROP_RC_BUF_SZ:
840       gst_vp9_enc->cfg.rc_buf_sz = g_value_get_int (value);
841       global = TRUE;
842       break;
843     case PROP_RC_BUF_INITIAL_SZ:
844       gst_vp9_enc->cfg.rc_buf_initial_sz = g_value_get_int (value);
845       global = TRUE;
846       break;
847     case PROP_RC_BUF_OPTIMAL_SZ:
848       gst_vp9_enc->cfg.rc_buf_optimal_sz = g_value_get_int (value);
849       global = TRUE;
850       break;
851     case PROP_RC_2PASS_VBR_BIAS_PCT:
852       gst_vp9_enc->cfg.rc_2pass_vbr_bias_pct = g_value_get_int (value);
853       global = TRUE;
854       break;
855     case PROP_RC_2PASS_VBR_MINSECTION_PCT:
856       gst_vp9_enc->cfg.rc_2pass_vbr_minsection_pct = g_value_get_int (value);
857       global = TRUE;
858       break;
859     case PROP_RC_2PASS_VBR_MAXSECTION_PCT:
860       gst_vp9_enc->cfg.rc_2pass_vbr_maxsection_pct = g_value_get_int (value);
861       global = TRUE;
862       break;
863     case PROP_KF_MODE:
864       gst_vp9_enc->cfg.kf_mode = g_value_get_enum (value);
865       global = TRUE;
866       break;
867     case PROP_KF_MAX_DIST:
868       gst_vp9_enc->cfg.kf_max_dist = g_value_get_int (value);
869       global = TRUE;
870       break;
871     case PROP_MULTIPASS_MODE:
872       gst_vp9_enc->cfg.g_pass = g_value_get_enum (value);
873       global = TRUE;
874       break;
875     case PROP_MULTIPASS_CACHE_FILE:
876       if (gst_vp9_enc->multipass_cache_file)
877         g_free (gst_vp9_enc->multipass_cache_file);
878       gst_vp9_enc->multipass_cache_file = g_value_dup_string (value);
879       break;
880     case PROP_TS_NUMBER_LAYERS:
881       gst_vp9_enc->cfg.ts_number_layers = g_value_get_int (value);
882       global = TRUE;
883       break;
884     case PROP_TS_TARGET_BITRATE:{
885       GValueArray *va = g_value_get_boxed (value);
886
887       memset (&gst_vp9_enc->cfg.ts_target_bitrate, 0,
888           sizeof (gst_vp9_enc->cfg.ts_target_bitrate));
889       if (va->n_values > VPX_TS_MAX_LAYERS) {
890         g_warning ("%s: Only %d layers allowed at maximum",
891             GST_ELEMENT_NAME (gst_vp9_enc), VPX_TS_MAX_LAYERS);
892       } else if (va) {
893         gint i;
894
895         for (i = 0; i < va->n_values; i++)
896           gst_vp9_enc->cfg.ts_target_bitrate[i] =
897               g_value_get_int (g_value_array_get_nth (va, i));
898         gst_vp9_enc->n_ts_target_bitrate = va->n_values;
899       } else {
900         gst_vp9_enc->n_ts_target_bitrate = 0;
901       }
902       global = TRUE;
903       break;
904     }
905     case PROP_TS_RATE_DECIMATOR:{
906       GValueArray *va = g_value_get_boxed (value);
907
908       memset (&gst_vp9_enc->cfg.ts_rate_decimator, 0,
909           sizeof (gst_vp9_enc->cfg.ts_rate_decimator));
910       if (va->n_values > VPX_TS_MAX_LAYERS) {
911         g_warning ("%s: Only %d layers allowed at maximum",
912             GST_ELEMENT_NAME (gst_vp9_enc), VPX_TS_MAX_LAYERS);
913       } else if (va) {
914         gint i;
915
916         for (i = 0; i < va->n_values; i++)
917           gst_vp9_enc->cfg.ts_rate_decimator[i] =
918               g_value_get_int (g_value_array_get_nth (va, i));
919         gst_vp9_enc->n_ts_rate_decimator = va->n_values;
920       } else {
921         gst_vp9_enc->n_ts_rate_decimator = 0;
922       }
923       global = TRUE;
924       break;
925     }
926     case PROP_TS_PERIODICITY:
927       gst_vp9_enc->cfg.ts_periodicity = g_value_get_int (value);
928       global = TRUE;
929       break;
930     case PROP_TS_LAYER_ID:{
931       GValueArray *va = g_value_get_boxed (value);
932
933       memset (&gst_vp9_enc->cfg.ts_layer_id, 0,
934           sizeof (gst_vp9_enc->cfg.ts_layer_id));
935       if (va->n_values > VPX_TS_MAX_PERIODICITY) {
936         g_warning ("%s: Only %d sized layer sequences allowed at maximum",
937             GST_ELEMENT_NAME (gst_vp9_enc), VPX_TS_MAX_PERIODICITY);
938       } else if (va) {
939         gint i;
940
941         for (i = 0; i < va->n_values; i++)
942           gst_vp9_enc->cfg.ts_layer_id[i] =
943               g_value_get_int (g_value_array_get_nth (va, i));
944         gst_vp9_enc->n_ts_layer_id = va->n_values;
945       } else {
946         gst_vp9_enc->n_ts_layer_id = 0;
947       }
948       global = TRUE;
949       break;
950     }
951     case PROP_ERROR_RESILIENT:
952       gst_vp9_enc->cfg.g_error_resilient = g_value_get_flags (value);
953       global = TRUE;
954       break;
955     case PROP_LAG_IN_FRAMES:
956       gst_vp9_enc->cfg.g_lag_in_frames = g_value_get_int (value);
957       global = TRUE;
958       break;
959     case PROP_THREADS:
960       gst_vp9_enc->cfg.g_threads = g_value_get_int (value);
961       global = TRUE;
962       break;
963     case PROP_DEADLINE:
964       gst_vp9_enc->deadline = g_value_get_int64 (value);
965       break;
966     case PROP_H_SCALING_MODE:
967       gst_vp9_enc->h_scaling_mode = g_value_get_enum (value);
968       if (gst_vp9_enc->inited) {
969         vpx_scaling_mode_t sm;
970
971         sm.h_scaling_mode = gst_vp9_enc->h_scaling_mode;
972         sm.v_scaling_mode = gst_vp9_enc->v_scaling_mode;
973
974         status =
975             vpx_codec_control (&gst_vp9_enc->encoder, VP8E_SET_SCALEMODE, &sm);
976         if (status != VPX_CODEC_OK) {
977           GST_WARNING_OBJECT (gst_vp9_enc,
978               "Failed to set VP8E_SET_SCALEMODE: %s",
979               gst_vpx_error_name (status));
980         }
981       }
982       break;
983     case PROP_V_SCALING_MODE:
984       gst_vp9_enc->v_scaling_mode = g_value_get_enum (value);
985       if (gst_vp9_enc->inited) {
986         vpx_scaling_mode_t sm;
987
988         sm.h_scaling_mode = gst_vp9_enc->h_scaling_mode;
989         sm.v_scaling_mode = gst_vp9_enc->v_scaling_mode;
990
991         status =
992             vpx_codec_control (&gst_vp9_enc->encoder, VP8E_SET_SCALEMODE, &sm);
993         if (status != VPX_CODEC_OK) {
994           GST_WARNING_OBJECT (gst_vp9_enc,
995               "Failed to set VP8E_SET_SCALEMODE: %s",
996               gst_vpx_error_name (status));
997         }
998       }
999       break;
1000     case PROP_CPU_USED:
1001       gst_vp9_enc->cpu_used = g_value_get_int (value);
1002       if (gst_vp9_enc->inited) {
1003         status =
1004             vpx_codec_control (&gst_vp9_enc->encoder, VP8E_SET_CPUUSED,
1005             gst_vp9_enc->cpu_used);
1006         if (status != VPX_CODEC_OK) {
1007           GST_WARNING_OBJECT (gst_vp9_enc, "Failed to set VP8E_SET_CPUUSED: %s",
1008               gst_vpx_error_name (status));
1009         }
1010       }
1011       break;
1012     case PROP_ENABLE_AUTO_ALT_REF:
1013       gst_vp9_enc->enable_auto_alt_ref = g_value_get_boolean (value);
1014       if (gst_vp9_enc->inited) {
1015         status =
1016             vpx_codec_control (&gst_vp9_enc->encoder, VP8E_SET_ENABLEAUTOALTREF,
1017             (gst_vp9_enc->enable_auto_alt_ref ? 1 : 0));
1018         if (status != VPX_CODEC_OK) {
1019           GST_WARNING_OBJECT (gst_vp9_enc,
1020               "Failed to set VP8E_SET_ENABLEAUTOALTREF: %s",
1021               gst_vpx_error_name (status));
1022         }
1023       }
1024       break;
1025     case PROP_NOISE_SENSITIVITY:
1026       gst_vp9_enc->noise_sensitivity = g_value_get_int (value);
1027       if (gst_vp9_enc->inited) {
1028         status =
1029             vpx_codec_control (&gst_vp9_enc->encoder,
1030             VP8E_SET_NOISE_SENSITIVITY, gst_vp9_enc->noise_sensitivity);
1031         if (status != VPX_CODEC_OK) {
1032           GST_WARNING_OBJECT (gst_vp9_enc,
1033               "Failed to set VP8E_SET_NOISE_SENSITIVITY: %s",
1034               gst_vpx_error_name (status));
1035         }
1036       }
1037       break;
1038     case PROP_SHARPNESS:
1039       gst_vp9_enc->sharpness = g_value_get_int (value);
1040       if (gst_vp9_enc->inited) {
1041         status = vpx_codec_control (&gst_vp9_enc->encoder, VP8E_SET_SHARPNESS,
1042             gst_vp9_enc->sharpness);
1043         if (status != VPX_CODEC_OK) {
1044           GST_WARNING_OBJECT (gst_vp9_enc,
1045               "Failed to set VP8E_SET_SHARPNESS: %s",
1046               gst_vpx_error_name (status));
1047         }
1048       }
1049       break;
1050     case PROP_STATIC_THRESHOLD:
1051       gst_vp9_enc->static_threshold = g_value_get_int (value);
1052       if (gst_vp9_enc->inited) {
1053         status =
1054             vpx_codec_control (&gst_vp9_enc->encoder, VP8E_SET_STATIC_THRESHOLD,
1055             gst_vp9_enc->static_threshold);
1056         if (status != VPX_CODEC_OK) {
1057           GST_WARNING_OBJECT (gst_vp9_enc,
1058               "Failed to set VP8E_SET_STATIC_THRESHOLD: %s",
1059               gst_vpx_error_name (status));
1060         }
1061       }
1062       break;
1063     case PROP_TOKEN_PARTITIONS:
1064       gst_vp9_enc->token_partitions = g_value_get_enum (value);
1065       if (gst_vp9_enc->inited) {
1066         status =
1067             vpx_codec_control (&gst_vp9_enc->encoder, VP8E_SET_TOKEN_PARTITIONS,
1068             gst_vp9_enc->token_partitions);
1069         if (status != VPX_CODEC_OK) {
1070           GST_WARNING_OBJECT (gst_vp9_enc,
1071               "Failed to set VP8E_SET_TOKEN_PARTIONS: %s",
1072               gst_vpx_error_name (status));
1073         }
1074       }
1075       break;
1076     case PROP_ARNR_MAXFRAMES:
1077       gst_vp9_enc->arnr_maxframes = g_value_get_int (value);
1078       if (gst_vp9_enc->inited) {
1079         status =
1080             vpx_codec_control (&gst_vp9_enc->encoder, VP8E_SET_ARNR_MAXFRAMES,
1081             gst_vp9_enc->arnr_maxframes);
1082         if (status != VPX_CODEC_OK) {
1083           GST_WARNING_OBJECT (gst_vp9_enc,
1084               "Failed to set VP8E_SET_ARNR_MAXFRAMES: %s",
1085               gst_vpx_error_name (status));
1086         }
1087       }
1088       break;
1089     case PROP_ARNR_STRENGTH:
1090       gst_vp9_enc->arnr_strength = g_value_get_int (value);
1091       if (gst_vp9_enc->inited) {
1092         status =
1093             vpx_codec_control (&gst_vp9_enc->encoder, VP8E_SET_ARNR_STRENGTH,
1094             gst_vp9_enc->arnr_strength);
1095         if (status != VPX_CODEC_OK) {
1096           GST_WARNING_OBJECT (gst_vp9_enc,
1097               "Failed to set VP8E_SET_ARNR_STRENGTH: %s",
1098               gst_vpx_error_name (status));
1099         }
1100       }
1101       break;
1102     case PROP_ARNR_TYPE:
1103       gst_vp9_enc->arnr_type = g_value_get_int (value);
1104       if (gst_vp9_enc->inited) {
1105         status = vpx_codec_control (&gst_vp9_enc->encoder, VP8E_SET_ARNR_TYPE,
1106             gst_vp9_enc->arnr_type);
1107         if (status != VPX_CODEC_OK) {
1108           GST_WARNING_OBJECT (gst_vp9_enc,
1109               "Failed to set VP8E_SET_ARNR_TYPE: %s",
1110               gst_vpx_error_name (status));
1111         }
1112       }
1113       break;
1114     case PROP_TUNING:
1115       gst_vp9_enc->tuning = g_value_get_enum (value);
1116       if (gst_vp9_enc->inited) {
1117         status = vpx_codec_control (&gst_vp9_enc->encoder, VP8E_SET_TUNING,
1118             gst_vp9_enc->tuning);
1119         if (status != VPX_CODEC_OK) {
1120           GST_WARNING_OBJECT (gst_vp9_enc,
1121               "Failed to set VP8E_SET_TUNING: %s", gst_vpx_error_name (status));
1122         }
1123       }
1124       break;
1125     case PROP_CQ_LEVEL:
1126       gst_vp9_enc->cq_level = g_value_get_int (value);
1127       if (gst_vp9_enc->inited) {
1128         status = vpx_codec_control (&gst_vp9_enc->encoder, VP8E_SET_CQ_LEVEL,
1129             gst_vp9_enc->cq_level);
1130         if (status != VPX_CODEC_OK) {
1131           GST_WARNING_OBJECT (gst_vp9_enc,
1132               "Failed to set VP8E_SET_CQ_LEVEL: %s",
1133               gst_vpx_error_name (status));
1134         }
1135       }
1136       break;
1137     case PROP_MAX_INTRA_BITRATE_PCT:
1138       gst_vp9_enc->max_intra_bitrate_pct = g_value_get_int (value);
1139       if (gst_vp9_enc->inited) {
1140         status =
1141             vpx_codec_control (&gst_vp9_enc->encoder,
1142             VP8E_SET_MAX_INTRA_BITRATE_PCT, gst_vp9_enc->max_intra_bitrate_pct);
1143         if (status != VPX_CODEC_OK) {
1144           GST_WARNING_OBJECT (gst_vp9_enc,
1145               "Failed to set VP8E_SET_MAX_INTRA_BITRATE_PCT: %s",
1146               gst_vpx_error_name (status));
1147         }
1148       }
1149       break;
1150     case PROP_TIMEBASE:
1151       gst_vp9_enc->timebase_n = gst_value_get_fraction_numerator (value);
1152       gst_vp9_enc->timebase_d = gst_value_get_fraction_denominator (value);
1153       break;
1154     default:
1155       break;
1156   }
1157
1158   if (global &&gst_vp9_enc->inited) {
1159     status =
1160         vpx_codec_enc_config_set (&gst_vp9_enc->encoder, &gst_vp9_enc->cfg);
1161     if (status != VPX_CODEC_OK) {
1162       g_mutex_unlock (&gst_vp9_enc->encoder_lock);
1163       GST_ELEMENT_ERROR (gst_vp9_enc, LIBRARY, INIT,
1164           ("Failed to set encoder configuration"), ("%s",
1165               gst_vpx_error_name (status)));
1166     } else {
1167       g_mutex_unlock (&gst_vp9_enc->encoder_lock);
1168     }
1169   } else {
1170     g_mutex_unlock (&gst_vp9_enc->encoder_lock);
1171   }
1172 }
1173
1174 static void
1175 gst_vp9_enc_get_property (GObject * object, guint prop_id, GValue * value,
1176     GParamSpec * pspec)
1177 {
1178   GstVP9Enc *gst_vp9_enc;
1179
1180   g_return_if_fail (GST_IS_VP9_ENC (object));
1181   gst_vp9_enc = GST_VP9_ENC (object);
1182
1183   g_mutex_lock (&gst_vp9_enc->encoder_lock);
1184   switch (prop_id) {
1185     case PROP_RC_END_USAGE:
1186       g_value_set_enum (value, gst_vp9_enc->cfg.rc_end_usage);
1187       break;
1188     case PROP_RC_TARGET_BITRATE:
1189       g_value_set_int (value, gst_vp9_enc->cfg.rc_target_bitrate * 1000);
1190       break;
1191     case PROP_RC_MIN_QUANTIZER:
1192       g_value_set_int (value, gst_vp9_enc->cfg.rc_min_quantizer);
1193       break;
1194     case PROP_RC_MAX_QUANTIZER:
1195       g_value_set_int (value, gst_vp9_enc->cfg.rc_max_quantizer);
1196       break;
1197     case PROP_RC_DROPFRAME_THRESH:
1198       g_value_set_int (value, gst_vp9_enc->cfg.rc_dropframe_thresh);
1199       break;
1200     case PROP_RC_RESIZE_ALLOWED:
1201       g_value_set_boolean (value, gst_vp9_enc->cfg.rc_resize_allowed);
1202       break;
1203     case PROP_RC_RESIZE_UP_THRESH:
1204       g_value_set_int (value, gst_vp9_enc->cfg.rc_resize_up_thresh);
1205       break;
1206     case PROP_RC_RESIZE_DOWN_THRESH:
1207       g_value_set_int (value, gst_vp9_enc->cfg.rc_resize_down_thresh);
1208       break;
1209     case PROP_RC_UNDERSHOOT_PCT:
1210       g_value_set_int (value, gst_vp9_enc->cfg.rc_undershoot_pct);
1211       break;
1212     case PROP_RC_OVERSHOOT_PCT:
1213       g_value_set_int (value, gst_vp9_enc->cfg.rc_overshoot_pct);
1214       break;
1215     case PROP_RC_BUF_SZ:
1216       g_value_set_int (value, gst_vp9_enc->cfg.rc_buf_sz);
1217       break;
1218     case PROP_RC_BUF_INITIAL_SZ:
1219       g_value_set_int (value, gst_vp9_enc->cfg.rc_buf_initial_sz);
1220       break;
1221     case PROP_RC_BUF_OPTIMAL_SZ:
1222       g_value_set_int (value, gst_vp9_enc->cfg.rc_buf_optimal_sz);
1223       break;
1224     case PROP_RC_2PASS_VBR_BIAS_PCT:
1225       g_value_set_int (value, gst_vp9_enc->cfg.rc_2pass_vbr_bias_pct);
1226       break;
1227     case PROP_RC_2PASS_VBR_MINSECTION_PCT:
1228       g_value_set_int (value, gst_vp9_enc->cfg.rc_2pass_vbr_minsection_pct);
1229       break;
1230     case PROP_RC_2PASS_VBR_MAXSECTION_PCT:
1231       g_value_set_int (value, gst_vp9_enc->cfg.rc_2pass_vbr_maxsection_pct);
1232       break;
1233     case PROP_KF_MODE:
1234       g_value_set_enum (value, gst_vp9_enc->cfg.kf_mode);
1235       break;
1236     case PROP_KF_MAX_DIST:
1237       g_value_set_int (value, gst_vp9_enc->cfg.kf_max_dist);
1238       break;
1239     case PROP_MULTIPASS_MODE:
1240       g_value_set_enum (value, gst_vp9_enc->cfg.g_pass);
1241       break;
1242     case PROP_MULTIPASS_CACHE_FILE:
1243       g_value_set_string (value, gst_vp9_enc->multipass_cache_file);
1244       break;
1245     case PROP_TS_NUMBER_LAYERS:
1246       g_value_set_int (value, gst_vp9_enc->cfg.ts_number_layers);
1247       break;
1248     case PROP_TS_TARGET_BITRATE:{
1249       GValueArray *va;
1250
1251       if (gst_vp9_enc->n_ts_target_bitrate == 0) {
1252         g_value_set_boxed (value, NULL);
1253       } else {
1254         gint i;
1255
1256         va = g_value_array_new (gst_vp9_enc->n_ts_target_bitrate);
1257         for (i = 0; i < gst_vp9_enc->n_ts_target_bitrate; i++) {
1258           GValue v = { 0, };
1259
1260           g_value_init (&v, G_TYPE_INT);
1261           g_value_set_int (&v, gst_vp9_enc->cfg.ts_target_bitrate[i]);
1262           g_value_array_append (va, &v);
1263           g_value_unset (&v);
1264         }
1265         g_value_set_boxed (value, va);
1266         g_value_array_free (va);
1267       }
1268       break;
1269     }
1270     case PROP_TS_RATE_DECIMATOR:{
1271       GValueArray *va;
1272
1273       if (gst_vp9_enc->n_ts_rate_decimator == 0) {
1274         g_value_set_boxed (value, NULL);
1275       } else {
1276         gint i;
1277
1278         va = g_value_array_new (gst_vp9_enc->n_ts_rate_decimator);
1279         for (i = 0; i < gst_vp9_enc->n_ts_rate_decimator; i++) {
1280           GValue v = { 0, };
1281
1282           g_value_init (&v, G_TYPE_INT);
1283           g_value_set_int (&v, gst_vp9_enc->cfg.ts_rate_decimator[i]);
1284           g_value_array_append (va, &v);
1285           g_value_unset (&v);
1286         }
1287         g_value_set_boxed (value, va);
1288         g_value_array_free (va);
1289       }
1290       break;
1291     }
1292     case PROP_TS_PERIODICITY:
1293       g_value_set_int (value, gst_vp9_enc->cfg.ts_periodicity);
1294       break;
1295     case PROP_TS_LAYER_ID:{
1296       GValueArray *va;
1297
1298       if (gst_vp9_enc->n_ts_layer_id == 0) {
1299         g_value_set_boxed (value, NULL);
1300       } else {
1301         gint i;
1302
1303         va = g_value_array_new (gst_vp9_enc->n_ts_layer_id);
1304         for (i = 0; i < gst_vp9_enc->n_ts_layer_id; i++) {
1305           GValue v = { 0, };
1306
1307           g_value_init (&v, G_TYPE_INT);
1308           g_value_set_int (&v, gst_vp9_enc->cfg.ts_layer_id[i]);
1309           g_value_array_append (va, &v);
1310           g_value_unset (&v);
1311         }
1312         g_value_set_boxed (value, va);
1313         g_value_array_free (va);
1314       }
1315       break;
1316     }
1317     case PROP_ERROR_RESILIENT:
1318       g_value_set_flags (value, gst_vp9_enc->cfg.g_error_resilient);
1319       break;
1320     case PROP_LAG_IN_FRAMES:
1321       g_value_set_int (value, gst_vp9_enc->cfg.g_lag_in_frames);
1322       break;
1323     case PROP_THREADS:
1324       g_value_set_int (value, gst_vp9_enc->cfg.g_threads);
1325       break;
1326     case PROP_DEADLINE:
1327       g_value_set_int64 (value, gst_vp9_enc->deadline);
1328       break;
1329     case PROP_H_SCALING_MODE:
1330       g_value_set_enum (value, gst_vp9_enc->h_scaling_mode);
1331       break;
1332     case PROP_V_SCALING_MODE:
1333       g_value_set_enum (value, gst_vp9_enc->v_scaling_mode);
1334       break;
1335     case PROP_CPU_USED:
1336       g_value_set_int (value, gst_vp9_enc->cpu_used);
1337       break;
1338     case PROP_ENABLE_AUTO_ALT_REF:
1339       g_value_set_boolean (value, gst_vp9_enc->enable_auto_alt_ref);
1340       break;
1341     case PROP_NOISE_SENSITIVITY:
1342       g_value_set_int (value, gst_vp9_enc->noise_sensitivity);
1343       break;
1344     case PROP_SHARPNESS:
1345       g_value_set_int (value, gst_vp9_enc->sharpness);
1346       break;
1347     case PROP_STATIC_THRESHOLD:
1348       g_value_set_int (value, gst_vp9_enc->static_threshold);
1349       break;
1350     case PROP_TOKEN_PARTITIONS:
1351       g_value_set_enum (value, gst_vp9_enc->token_partitions);
1352       break;
1353     case PROP_ARNR_MAXFRAMES:
1354       g_value_set_int (value, gst_vp9_enc->arnr_maxframes);
1355       break;
1356     case PROP_ARNR_STRENGTH:
1357       g_value_set_int (value, gst_vp9_enc->arnr_strength);
1358       break;
1359     case PROP_ARNR_TYPE:
1360       g_value_set_int (value, gst_vp9_enc->arnr_type);
1361       break;
1362     case PROP_TUNING:
1363       g_value_set_enum (value, gst_vp9_enc->tuning);
1364       break;
1365     case PROP_CQ_LEVEL:
1366       g_value_set_int (value, gst_vp9_enc->cq_level);
1367       break;
1368     case PROP_MAX_INTRA_BITRATE_PCT:
1369       g_value_set_int (value, gst_vp9_enc->max_intra_bitrate_pct);
1370       break;
1371     case PROP_TIMEBASE:
1372       gst_value_set_fraction (value, gst_vp9_enc->timebase_n,
1373           gst_vp9_enc->timebase_d);
1374       break;
1375     default:
1376       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
1377       break;
1378   }
1379
1380   g_mutex_unlock (&gst_vp9_enc->encoder_lock);
1381 }
1382
1383 static gboolean
1384 gst_vp9_enc_start (GstVideoEncoder * video_encoder)
1385 {
1386   GstVP9Enc *encoder = GST_VP9_ENC (video_encoder);
1387
1388   GST_DEBUG_OBJECT (video_encoder, "start");
1389
1390   if (!encoder->have_default_config) {
1391     GST_ELEMENT_ERROR (encoder, LIBRARY, INIT,
1392         ("Failed to get default encoder configuration"), (NULL));
1393     return FALSE;
1394   }
1395
1396   return TRUE;
1397 }
1398
1399 static gboolean
1400 gst_vp9_enc_stop (GstVideoEncoder * video_encoder)
1401 {
1402   GstVP9Enc *encoder;
1403
1404   GST_DEBUG_OBJECT (video_encoder, "stop");
1405
1406   encoder = GST_VP9_ENC (video_encoder);
1407
1408   g_mutex_lock (&encoder->encoder_lock);
1409   if (encoder->inited) {
1410     vpx_codec_destroy (&encoder->encoder);
1411     encoder->inited = FALSE;
1412   }
1413
1414   if (encoder->first_pass_cache_content) {
1415     g_byte_array_free (encoder->first_pass_cache_content, TRUE);
1416     encoder->first_pass_cache_content = NULL;
1417   }
1418
1419   if (encoder->cfg.rc_twopass_stats_in.buf) {
1420     g_free (encoder->cfg.rc_twopass_stats_in.buf);
1421     encoder->cfg.rc_twopass_stats_in.buf = NULL;
1422     encoder->cfg.rc_twopass_stats_in.sz = 0;
1423   }
1424   g_mutex_unlock (&encoder->encoder_lock);
1425
1426   gst_tag_setter_reset_tags (GST_TAG_SETTER (encoder));
1427
1428   return TRUE;
1429 }
1430
1431 static gint
1432 gst_vp9_enc_get_downstream_profile (GstVP9Enc * encoder)
1433 {
1434   GstCaps *allowed;
1435   GstStructure *s;
1436   gint profile = DEFAULT_PROFILE;
1437
1438   allowed = gst_pad_get_allowed_caps (GST_VIDEO_ENCODER_SRC_PAD (encoder));
1439   if (allowed) {
1440     allowed = gst_caps_truncate (allowed);
1441     s = gst_caps_get_structure (allowed, 0);
1442     if (gst_structure_has_field (s, "profile")) {
1443       const GValue *v = gst_structure_get_value (s, "profile");
1444       const gchar *profile_str = NULL;
1445
1446       if (GST_VALUE_HOLDS_LIST (v) && gst_value_list_get_size (v) > 0) {
1447         profile_str = g_value_get_string (gst_value_list_get_value (v, 0));
1448       } else if (G_VALUE_HOLDS_STRING (v)) {
1449         profile_str = g_value_get_string (v);
1450       }
1451
1452       if (profile_str) {
1453         gchar *endptr = NULL;
1454
1455         profile = g_ascii_strtoull (profile_str, &endptr, 10);
1456         if (*endptr != '\0' || profile < 0 || profile > 3) {
1457           GST_ERROR_OBJECT (encoder, "Invalid profile '%s'", profile_str);
1458           profile = DEFAULT_PROFILE;
1459         }
1460       }
1461     }
1462     gst_caps_unref (allowed);
1463   }
1464
1465   GST_DEBUG_OBJECT (encoder, "Using profile %d", profile);
1466
1467   return profile;
1468 }
1469
1470 static gboolean
1471 gst_vp9_enc_set_format (GstVideoEncoder * video_encoder,
1472     GstVideoCodecState * state)
1473 {
1474   GstVP9Enc *encoder;
1475   vpx_codec_err_t status;
1476   vpx_image_t *image;
1477   GstCaps *caps;
1478   gboolean ret = TRUE;
1479   GstVideoInfo *info = &state->info;
1480   GstVideoCodecState *output_state;
1481   gchar *profile_str;
1482
1483   encoder = GST_VP9_ENC (video_encoder);
1484   GST_DEBUG_OBJECT (video_encoder, "set_format");
1485
1486   if (encoder->inited) {
1487     GST_DEBUG_OBJECT (video_encoder, "refusing renegotiation");
1488     return FALSE;
1489   }
1490
1491   g_mutex_lock (&encoder->encoder_lock);
1492   encoder->cfg.g_profile = gst_vp9_enc_get_downstream_profile (encoder);
1493
1494   /* Scale default bitrate to our size */
1495   if (!encoder->rc_target_bitrate_set)
1496     encoder->cfg.rc_target_bitrate =
1497         gst_util_uint64_scale (DEFAULT_RC_TARGET_BITRATE,
1498         GST_VIDEO_INFO_WIDTH (info) * GST_VIDEO_INFO_HEIGHT (info),
1499         320 * 240 * 1000);
1500
1501   encoder->cfg.g_w = GST_VIDEO_INFO_WIDTH (info);
1502   encoder->cfg.g_h = GST_VIDEO_INFO_HEIGHT (info);
1503
1504   if (encoder->timebase_n != 0 && encoder->timebase_d != 0) {
1505     GST_DEBUG_OBJECT (video_encoder, "Using timebase configuration");
1506     encoder->cfg.g_timebase.num = encoder->timebase_n;
1507     encoder->cfg.g_timebase.den = encoder->timebase_d;
1508   } else if (GST_VIDEO_INFO_FPS_D (info) != 0
1509       && GST_VIDEO_INFO_FPS_N (info) != 0) {
1510     /* GstVideoInfo holds either the framerate or max-framerate (if framerate
1511      * is 0) in FPS so this will be used if max-framerate or framerate
1512      * is set */
1513     GST_DEBUG_OBJECT (video_encoder, "Setting timebase from framerate");
1514     encoder->cfg.g_timebase.num = GST_VIDEO_INFO_FPS_D (info);
1515     encoder->cfg.g_timebase.den = GST_VIDEO_INFO_FPS_N (info);
1516   } else {
1517     /* Zero framerate and max-framerate but still need to setup the timebase to avoid
1518      * a divide by zero error. Presuming the lowest common denominator will be RTP -
1519      * VP9 payload draft states clock rate of 90000 which should work for anyone where
1520      * FPS < 90000 (shouldn't be too many cases where it's higher) though wouldn't be optimal. RTP specification
1521      * http://tools.ietf.org/html/draft-ietf-payload-vp9-01 section 6.3.1 */
1522     GST_WARNING_OBJECT (encoder,
1523         "No timebase and zero framerate setting timebase to 1/90000");
1524     encoder->cfg.g_timebase.num = 1;
1525     encoder->cfg.g_timebase.den = 90000;
1526   }
1527
1528   if (encoder->cfg.g_pass == VPX_RC_FIRST_PASS) {
1529     encoder->first_pass_cache_content = g_byte_array_sized_new (4096);
1530   } else if (encoder->cfg.g_pass == VPX_RC_LAST_PASS) {
1531     GError *err = NULL;
1532
1533     if (!encoder->multipass_cache_file) {
1534       GST_ELEMENT_ERROR (encoder, RESOURCE, OPEN_READ,
1535           ("No multipass cache file provided"), (NULL));
1536       g_mutex_unlock (&encoder->encoder_lock);
1537       return FALSE;
1538     }
1539
1540     if (!g_file_get_contents (encoder->multipass_cache_file,
1541             (gchar **) & encoder->cfg.rc_twopass_stats_in.buf,
1542             &encoder->cfg.rc_twopass_stats_in.sz, &err)) {
1543       GST_ELEMENT_ERROR (encoder, RESOURCE, OPEN_READ,
1544           ("Failed to read multipass cache file provided"), ("%s",
1545               err->message));
1546       g_error_free (err);
1547       g_mutex_unlock (&encoder->encoder_lock);
1548       return FALSE;
1549     }
1550   }
1551
1552   status = vpx_codec_enc_init (&encoder->encoder, &vpx_codec_vp9_cx_algo,
1553       &encoder->cfg, 0);
1554   if (status != VPX_CODEC_OK) {
1555     GST_ELEMENT_ERROR (encoder, LIBRARY, INIT,
1556         ("Failed to initialize encoder"), ("%s", gst_vpx_error_name (status)));
1557     g_mutex_unlock (&encoder->encoder_lock);
1558     return FALSE;
1559   }
1560
1561   /* FIXME: Disabled for now, does not work with VP9 */
1562 #if 0
1563   {
1564     vpx_scaling_mode_t sm;
1565
1566     sm.h_scaling_mode = encoder->h_scaling_mode;
1567     sm.v_scaling_mode = encoder->v_scaling_mode;
1568
1569     status = vpx_codec_control (&encoder->encoder, VP8E_SET_SCALEMODE, &sm);
1570     if (status != VPX_CODEC_OK) {
1571       GST_WARNING_OBJECT (encoder, "Failed to set VP8E_SET_SCALEMODE: %s",
1572           gst_vpx_error_name (status));
1573     }
1574   }
1575 #endif
1576
1577   status =
1578       vpx_codec_control (&encoder->encoder, VP8E_SET_CPUUSED,
1579       encoder->cpu_used);
1580   if (status != VPX_CODEC_OK) {
1581     GST_WARNING_OBJECT (encoder, "Failed to set VP8E_SET_CPUUSED: %s",
1582         gst_vpx_error_name (status));
1583   }
1584
1585   status =
1586       vpx_codec_control (&encoder->encoder, VP8E_SET_ENABLEAUTOALTREF,
1587       (encoder->enable_auto_alt_ref ? 1 : 0));
1588   if (status != VPX_CODEC_OK) {
1589     GST_WARNING_OBJECT (encoder,
1590         "Failed to set VP8E_SET_ENABLEAUTOALTREF: %s",
1591         gst_vpx_error_name (status));
1592   }
1593   status = vpx_codec_control (&encoder->encoder, VP8E_SET_NOISE_SENSITIVITY,
1594       encoder->noise_sensitivity);
1595   if (status != VPX_CODEC_OK) {
1596     GST_WARNING_OBJECT (encoder,
1597         "Failed to set VP8E_SET_NOISE_SENSITIVITY: %s",
1598         gst_vpx_error_name (status));
1599   }
1600   status = vpx_codec_control (&encoder->encoder, VP8E_SET_SHARPNESS,
1601       encoder->sharpness);
1602   if (status != VPX_CODEC_OK) {
1603     GST_WARNING_OBJECT (encoder,
1604         "Failed to set VP8E_SET_SHARPNESS: %s", gst_vpx_error_name (status));
1605   }
1606   status = vpx_codec_control (&encoder->encoder, VP8E_SET_STATIC_THRESHOLD,
1607       encoder->static_threshold);
1608   if (status != VPX_CODEC_OK) {
1609     GST_WARNING_OBJECT (encoder,
1610         "Failed to set VP8E_SET_STATIC_THRESHOLD: %s",
1611         gst_vpx_error_name (status));
1612   }
1613   status = vpx_codec_control (&encoder->encoder, VP8E_SET_TOKEN_PARTITIONS,
1614       encoder->token_partitions);
1615   if (status != VPX_CODEC_OK) {
1616     GST_WARNING_OBJECT (encoder,
1617         "Failed to set VP8E_SET_TOKEN_PARTIONS: %s",
1618         gst_vpx_error_name (status));
1619   }
1620   status = vpx_codec_control (&encoder->encoder, VP8E_SET_ARNR_MAXFRAMES,
1621       encoder->arnr_maxframes);
1622   if (status != VPX_CODEC_OK) {
1623     GST_WARNING_OBJECT (encoder,
1624         "Failed to set VP8E_SET_ARNR_MAXFRAMES: %s",
1625         gst_vpx_error_name (status));
1626   }
1627   status = vpx_codec_control (&encoder->encoder, VP8E_SET_ARNR_STRENGTH,
1628       encoder->arnr_strength);
1629   if (status != VPX_CODEC_OK) {
1630     GST_WARNING_OBJECT (encoder,
1631         "Failed to set VP8E_SET_ARNR_STRENGTH: %s",
1632         gst_vpx_error_name (status));
1633   }
1634   status = vpx_codec_control (&encoder->encoder, VP8E_SET_ARNR_TYPE,
1635       encoder->arnr_type);
1636   if (status != VPX_CODEC_OK) {
1637     GST_WARNING_OBJECT (encoder,
1638         "Failed to set VP8E_SET_ARNR_TYPE: %s", gst_vpx_error_name (status));
1639   }
1640   status = vpx_codec_control (&encoder->encoder, VP8E_SET_TUNING,
1641       encoder->tuning);
1642   if (status != VPX_CODEC_OK) {
1643     GST_WARNING_OBJECT (encoder,
1644         "Failed to set VP8E_SET_TUNING: %s", gst_vpx_error_name (status));
1645   }
1646   status = vpx_codec_control (&encoder->encoder, VP8E_SET_CQ_LEVEL,
1647       encoder->cq_level);
1648   if (status != VPX_CODEC_OK) {
1649     GST_WARNING_OBJECT (encoder,
1650         "Failed to set VP8E_SET_CQ_LEVEL: %s", gst_vpx_error_name (status));
1651   }
1652   status = vpx_codec_control (&encoder->encoder, VP8E_SET_MAX_INTRA_BITRATE_PCT,
1653       encoder->max_intra_bitrate_pct);
1654   if (status != VPX_CODEC_OK) {
1655     GST_WARNING_OBJECT (encoder,
1656         "Failed to set VP8E_SET_MAX_INTRA_BITRATE_PCT: %s",
1657         gst_vpx_error_name (status));
1658   }
1659
1660   if (GST_VIDEO_INFO_FPS_D (info) == 0 || GST_VIDEO_INFO_FPS_N (info) == 0) {
1661     gst_video_encoder_set_latency (video_encoder, GST_CLOCK_TIME_NONE,
1662         GST_CLOCK_TIME_NONE);
1663   } else {
1664     gst_video_encoder_set_latency (video_encoder, 0,
1665         gst_util_uint64_scale (encoder->cfg.g_lag_in_frames,
1666             GST_VIDEO_INFO_FPS_D (info) * GST_SECOND,
1667             GST_VIDEO_INFO_FPS_N (info)));
1668   }
1669   encoder->inited = TRUE;
1670
1671   /* Store input state */
1672   if (encoder->input_state)
1673     gst_video_codec_state_unref (encoder->input_state);
1674   encoder->input_state = gst_video_codec_state_ref (state);
1675
1676   /* prepare cached image buffer setup */
1677   image = &encoder->image;
1678   memset (image, 0, sizeof (*image));
1679
1680   switch (encoder->input_state->info.finfo->format) {
1681     case GST_VIDEO_FORMAT_I420:
1682       image->fmt = VPX_IMG_FMT_I420;
1683       image->bps = 12;
1684       image->x_chroma_shift = image->y_chroma_shift = 1;
1685       break;
1686     case GST_VIDEO_FORMAT_YV12:
1687       image->fmt = VPX_IMG_FMT_YV12;
1688       image->bps = 12;
1689       image->x_chroma_shift = image->y_chroma_shift = 1;
1690       break;
1691     case GST_VIDEO_FORMAT_Y42B:
1692       image->fmt = VPX_IMG_FMT_I422;
1693       image->bps = 16;
1694       image->x_chroma_shift = 1;
1695       image->y_chroma_shift = 0;
1696       break;
1697     case GST_VIDEO_FORMAT_Y444:
1698       image->fmt = VPX_IMG_FMT_I444;
1699       image->bps = 24;
1700       image->x_chroma_shift = image->y_chroma_shift = 0;
1701       break;
1702     default:
1703       g_assert_not_reached ();
1704       break;
1705   }
1706   image->w = image->d_w = GST_VIDEO_INFO_WIDTH (info);
1707   image->h = image->d_h = GST_VIDEO_INFO_HEIGHT (info);
1708
1709   image->stride[VPX_PLANE_Y] = GST_VIDEO_INFO_COMP_STRIDE (info, 0);
1710   image->stride[VPX_PLANE_U] = GST_VIDEO_INFO_COMP_STRIDE (info, 1);
1711   image->stride[VPX_PLANE_V] = GST_VIDEO_INFO_COMP_STRIDE (info, 2);
1712
1713   profile_str = g_strdup_printf ("%d", encoder->cfg.g_profile);
1714   caps = gst_caps_new_simple ("video/x-vp9",
1715       "profile", G_TYPE_STRING, profile_str, NULL);
1716   g_free (profile_str);
1717
1718   g_mutex_unlock (&encoder->encoder_lock);
1719
1720   output_state =
1721       gst_video_encoder_set_output_state (video_encoder, caps, state);
1722   gst_video_codec_state_unref (output_state);
1723
1724   gst_video_encoder_negotiate (GST_VIDEO_ENCODER (encoder));
1725
1726   return ret;
1727 }
1728
1729 static GstFlowReturn
1730 gst_vp9_enc_process (GstVP9Enc * encoder)
1731 {
1732   vpx_codec_iter_t iter = NULL;
1733   const vpx_codec_cx_pkt_t *pkt;
1734   GstVideoEncoder *video_encoder;
1735   GstVideoCodecFrame *frame;
1736   GstFlowReturn ret = GST_FLOW_OK;
1737
1738   video_encoder = GST_VIDEO_ENCODER (encoder);
1739
1740   g_mutex_lock (&encoder->encoder_lock);
1741   pkt = vpx_codec_get_cx_data (&encoder->encoder, &iter);
1742   while (pkt != NULL) {
1743     GstBuffer *buffer;
1744     gboolean invisible;
1745
1746     GST_DEBUG_OBJECT (encoder, "packet %u type %d", (guint) pkt->data.frame.sz,
1747         pkt->kind);
1748
1749     if (pkt->kind == VPX_CODEC_STATS_PKT
1750         && encoder->cfg.g_pass == VPX_RC_FIRST_PASS) {
1751       GST_LOG_OBJECT (encoder, "handling STATS packet");
1752
1753       g_byte_array_append (encoder->first_pass_cache_content,
1754           pkt->data.twopass_stats.buf, pkt->data.twopass_stats.sz);
1755
1756       frame = gst_video_encoder_get_oldest_frame (video_encoder);
1757       if (frame != NULL) {
1758         buffer = gst_buffer_new ();
1759         GST_BUFFER_FLAG_SET (buffer, GST_BUFFER_FLAG_LIVE);
1760         frame->output_buffer = buffer;
1761         g_mutex_unlock (&encoder->encoder_lock);
1762         ret = gst_video_encoder_finish_frame (video_encoder, frame);
1763         g_mutex_lock (&encoder->encoder_lock);
1764       }
1765
1766       pkt = vpx_codec_get_cx_data (&encoder->encoder, &iter);
1767       continue;
1768     } else if (pkt->kind != VPX_CODEC_CX_FRAME_PKT) {
1769       GST_LOG_OBJECT (encoder, "non frame pkt: %d", pkt->kind);
1770       pkt = vpx_codec_get_cx_data (&encoder->encoder, &iter);
1771       continue;
1772     }
1773
1774     invisible = (pkt->data.frame.flags & VPX_FRAME_IS_INVISIBLE) != 0;
1775     frame = gst_video_encoder_get_oldest_frame (video_encoder);
1776     g_assert (frame != NULL);
1777     if ((pkt->data.frame.flags & VPX_FRAME_IS_KEY) != 0)
1778       GST_VIDEO_CODEC_FRAME_SET_SYNC_POINT (frame);
1779     else
1780       GST_VIDEO_CODEC_FRAME_UNSET_SYNC_POINT (frame);
1781
1782     /* FIXME : It would be nice to avoid the memory copy ... */
1783     buffer =
1784         gst_buffer_new_wrapped (g_memdup (pkt->data.frame.buf,
1785             pkt->data.frame.sz), pkt->data.frame.sz);
1786
1787     if (invisible) {
1788       g_mutex_unlock (&encoder->encoder_lock);
1789       ret = gst_pad_push (GST_VIDEO_ENCODER_SRC_PAD (encoder), buffer);
1790       g_mutex_lock (&encoder->encoder_lock);
1791       gst_video_codec_frame_unref (frame);
1792     } else {
1793       frame->output_buffer = buffer;
1794       g_mutex_unlock (&encoder->encoder_lock);
1795       ret = gst_video_encoder_finish_frame (video_encoder, frame);
1796       g_mutex_lock (&encoder->encoder_lock);
1797     }
1798
1799     pkt = vpx_codec_get_cx_data (&encoder->encoder, &iter);
1800   }
1801   g_mutex_unlock (&encoder->encoder_lock);
1802
1803   return ret;
1804 }
1805
1806 static GstFlowReturn
1807 gst_vp9_enc_finish (GstVideoEncoder * video_encoder)
1808 {
1809   GstVP9Enc *encoder;
1810   int flags = 0;
1811   vpx_codec_err_t status;
1812
1813   GST_DEBUG_OBJECT (video_encoder, "finish");
1814
1815   encoder = GST_VP9_ENC (video_encoder);
1816
1817   g_mutex_lock (&encoder->encoder_lock);
1818   status =
1819       vpx_codec_encode (&encoder->encoder, NULL, encoder->n_frames, 1, flags,
1820       encoder->deadline);
1821   g_mutex_unlock (&encoder->encoder_lock);
1822   if (status != 0) {
1823     GST_ERROR_OBJECT (encoder, "encode returned %d %s", status,
1824         gst_vpx_error_name (status));
1825     return GST_FLOW_ERROR;
1826   }
1827
1828   /* dispatch remaining frames */
1829   gst_vp9_enc_process (encoder);
1830
1831   if (encoder->cfg.g_pass == VPX_RC_FIRST_PASS && encoder->multipass_cache_file) {
1832     GError *err = NULL;
1833
1834     if (!g_file_set_contents (encoder->multipass_cache_file,
1835             (const gchar *) encoder->first_pass_cache_content->data,
1836             encoder->first_pass_cache_content->len, &err)) {
1837       GST_ELEMENT_ERROR (encoder, RESOURCE, WRITE, (NULL),
1838           ("Failed to write multipass cache file: %s", err->message));
1839       g_error_free (err);
1840     }
1841   }
1842
1843   return GST_FLOW_OK;
1844 }
1845
1846 static vpx_image_t *
1847 gst_vp9_enc_buffer_to_image (GstVP9Enc * enc, GstVideoFrame * frame)
1848 {
1849   vpx_image_t *image = g_slice_new (vpx_image_t);
1850
1851   memcpy (image, &enc->image, sizeof (*image));
1852
1853   image->planes[VPX_PLANE_Y] = GST_VIDEO_FRAME_COMP_DATA (frame, 0);
1854   image->planes[VPX_PLANE_U] = GST_VIDEO_FRAME_COMP_DATA (frame, 1);
1855   image->planes[VPX_PLANE_V] = GST_VIDEO_FRAME_COMP_DATA (frame, 2);
1856
1857   image->stride[VPX_PLANE_Y] = GST_VIDEO_FRAME_COMP_STRIDE (frame, 0);
1858   image->stride[VPX_PLANE_U] = GST_VIDEO_FRAME_COMP_STRIDE (frame, 1);
1859   image->stride[VPX_PLANE_V] = GST_VIDEO_FRAME_COMP_STRIDE (frame, 2);
1860
1861   return image;
1862 }
1863
1864 static GstFlowReturn
1865 gst_vp9_enc_handle_frame (GstVideoEncoder * video_encoder,
1866     GstVideoCodecFrame * frame)
1867 {
1868   GstVP9Enc *encoder;
1869   vpx_codec_err_t status;
1870   int flags = 0;
1871   vpx_image_t *image;
1872   GstVideoFrame vframe;
1873
1874   GST_DEBUG_OBJECT (video_encoder, "handle_frame");
1875
1876   encoder = GST_VP9_ENC (video_encoder);
1877
1878   encoder->n_frames++;
1879
1880   GST_DEBUG_OBJECT (video_encoder, "size %d %d",
1881       GST_VIDEO_INFO_WIDTH (&encoder->input_state->info),
1882       GST_VIDEO_INFO_HEIGHT (&encoder->input_state->info));
1883
1884   gst_video_frame_map (&vframe, &encoder->input_state->info,
1885       frame->input_buffer, GST_MAP_READ);
1886   image = gst_vp9_enc_buffer_to_image (encoder, &vframe);
1887
1888   if (GST_VIDEO_CODEC_FRAME_IS_FORCE_KEYFRAME (frame)) {
1889     flags |= VPX_EFLAG_FORCE_KF;
1890   }
1891
1892   g_mutex_lock (&encoder->encoder_lock);
1893   status = vpx_codec_encode (&encoder->encoder, image,
1894       encoder->n_frames, 1, flags, encoder->deadline);
1895   g_mutex_unlock (&encoder->encoder_lock);
1896   gst_video_frame_unmap (&vframe);
1897
1898   if (status != 0) {
1899     GST_ELEMENT_ERROR (encoder, LIBRARY, ENCODE,
1900         ("Failed to encode frame"), ("%s", gst_vpx_error_name (status)));
1901     return FALSE;
1902   }
1903   gst_video_codec_frame_unref (frame);
1904   return gst_vp9_enc_process (encoder);
1905 }
1906
1907 static gboolean
1908 gst_vp9_enc_sink_event (GstVideoEncoder * benc, GstEvent * event)
1909 {
1910   GstVP9Enc *enc = GST_VP9_ENC (benc);
1911
1912   /* FIXME : Move this to base encoder class */
1913
1914   if (GST_EVENT_TYPE (event) == GST_EVENT_TAG) {
1915     GstTagList *list;
1916     GstTagSetter *setter = GST_TAG_SETTER (enc);
1917     const GstTagMergeMode mode = gst_tag_setter_get_tag_merge_mode (setter);
1918
1919     gst_event_parse_tag (event, &list);
1920     gst_tag_setter_merge_tags (setter, list, mode);
1921   }
1922
1923   /* just peeked, baseclass handles the rest */
1924   return GST_VIDEO_ENCODER_CLASS (parent_class)->sink_event (benc, event);
1925 }
1926
1927 static gboolean
1928 gst_vp9_enc_propose_allocation (GstVideoEncoder * encoder, GstQuery * query)
1929 {
1930   gst_query_add_allocation_meta (query, GST_VIDEO_META_API_TYPE, NULL);
1931
1932   return GST_VIDEO_ENCODER_CLASS (parent_class)->propose_allocation (encoder,
1933       query);
1934 }
1935
1936 #endif /* HAVE_VP9_ENCODER */