vpx: mark arnr-type properties as deprecated and set them to no-op
[platform/upstream/gst-plugins-good.git] / ext / vpx / gstvp9enc.c
1 /* VP9
2  * Copyright (C) 2006 David Schleef <ds@schleef.org>
3  * Copyright (C) 2010 Entropy Wave Inc
4  * Copyright (C) 2010-2013 Sebastian Dröge <slomo@circular-chaos.org>
5  *
6  * This library is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Library General Public
8  * License as published by the Free Software Foundation; either
9  * version 2 of the License, or (at your option) any later version.
10  *
11  * This library is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14  * Library General Public License for more details.
15  *
16  * You should have received a copy of the GNU Library General Public
17  * License along with this library; if not, write to the
18  * Free Software Foundation, Inc., 51 Franklin St, Fifth Floor,
19  * Boston, MA 02110-1301, USA.
20  *
21  */
22 /**
23  * SECTION:element-vp9enc
24  * @see_also: vp9dec, webmmux, oggmux
25  *
26  * This element encodes raw video into a VP9 stream.
27  * <ulink url="http://www.webmproject.org">VP9</ulink> is a royalty-free
28  * video codec maintained by <ulink url="http://www.google.com/">Google
29  * </ulink>. It's the successor of On2 VP3, which was the base of the
30  * Theora video codec.
31  *
32  * To control the quality of the encoding, the #GstVP9Enc::target-bitrate,
33  * #GstVP9Enc::min-quantizer, #GstVP9Enc::max-quantizer or #GstVP9Enc::cq-level
34  * properties can be used. Which one is used depends on the mode selected by
35  * the #GstVP9Enc::end-usage property.
36  * See <ulink url="http://www.webmproject.org/docs/encoder-parameters/">Encoder Parameters</ulink>
37  * for explanation, examples for useful encoding parameters and more details
38  * on the encoding parameters.
39  *
40  * <refsect2>
41  * <title>Example pipeline</title>
42  * |[
43  * gst-launch -v videotestsrc num-buffers=1000 ! vp9enc ! webmmux ! filesink location=videotestsrc.webm
44  * ]| This example pipeline will encode a test video source to VP9 muxed in an
45  * WebM container.
46  * </refsect2>
47  */
48
49 #ifdef HAVE_CONFIG_H
50 #include "config.h"
51 #endif
52
53 #ifdef HAVE_VP9_ENCODER
54
55 /* glib decided in 2.32 it would be a great idea to deprecated GValueArray without
56  * providing an alternative
57  *
58  * See https://bugzilla.gnome.org/show_bug.cgi?id=667228
59  * */
60 #define GLIB_DISABLE_DEPRECATION_WARNINGS
61
62 #include <gst/tag/tag.h>
63 #include <gst/video/video.h>
64 #include <string.h>
65
66 #include "gstvp8utils.h"
67 #include "gstvp9enc.h"
68
69 GST_DEBUG_CATEGORY_STATIC (gst_vp9enc_debug);
70 #define GST_CAT_DEFAULT gst_vp9enc_debug
71
72 /* From vp9/vp9_cx_iface.c */
73 #define DEFAULT_PROFILE 0
74
75 #define DEFAULT_RC_END_USAGE VPX_VBR
76 #define DEFAULT_RC_TARGET_BITRATE 256000
77 #define DEFAULT_RC_MIN_QUANTIZER 4
78 #define DEFAULT_RC_MAX_QUANTIZER 63
79
80 #define DEFAULT_RC_DROPFRAME_THRESH 0
81 #define DEFAULT_RC_RESIZE_ALLOWED 0
82 #define DEFAULT_RC_RESIZE_UP_THRESH 30
83 #define DEFAULT_RC_RESIZE_DOWN_THRESH 60
84 #define DEFAULT_RC_UNDERSHOOT_PCT 100
85 #define DEFAULT_RC_OVERSHOOT_PCT 100
86 #define DEFAULT_RC_BUF_SZ 6000
87 #define DEFAULT_RC_BUF_INITIAL_SZ 4000
88 #define DEFAULT_RC_BUF_OPTIMAL_SZ 5000
89 #define DEFAULT_RC_2PASS_VBR_BIAS_PCT 50
90 #define DEFAULT_RC_2PASS_VBR_MINSECTION_PCT 0
91 #define DEFAULT_RC_2PASS_VBR_MAXSECTION_PCT 400
92
93 #define DEFAULT_KF_MODE VPX_KF_AUTO
94 #define DEFAULT_KF_MAX_DIST 128
95
96 #define DEFAULT_MULTIPASS_MODE VPX_RC_ONE_PASS
97 #define DEFAULT_MULTIPASS_CACHE_FILE "multipass.cache"
98
99 #define DEFAULT_TS_NUMBER_LAYERS 1
100 #define DEFAULT_TS_TARGET_BITRATE NULL
101 #define DEFAULT_TS_RATE_DECIMATOR NULL
102 #define DEFAULT_TS_PERIODICITY 0
103 #define DEFAULT_TS_LAYER_ID NULL
104
105 #define DEFAULT_ERROR_RESILIENT 0
106 #define DEFAULT_LAG_IN_FRAMES 0
107
108 #define DEFAULT_THREADS 0
109
110 #define DEFAULT_H_SCALING_MODE VP8E_NORMAL
111 #define DEFAULT_V_SCALING_MODE VP8E_NORMAL
112 #define DEFAULT_CPU_USED 0
113 #define DEFAULT_ENABLE_AUTO_ALT_REF FALSE
114 #define DEFAULT_DEADLINE VPX_DL_BEST_QUALITY
115 #define DEFAULT_NOISE_SENSITIVITY 0
116 #define DEFAULT_SHARPNESS 0
117 #define DEFAULT_STATIC_THRESHOLD 0
118 #define DEFAULT_TOKEN_PARTITIONS 0
119 #define DEFAULT_ARNR_MAXFRAMES 0
120 #define DEFAULT_ARNR_STRENGTH 3
121 #define DEFAULT_ARNR_TYPE 3
122 #define DEFAULT_TUNING VP8_TUNE_PSNR
123 #define DEFAULT_CQ_LEVEL 10
124 #define DEFAULT_MAX_INTRA_BITRATE_PCT 0
125 #define DEFAULT_TIMEBASE_N 0
126 #define DEFAULT_TIMEBASE_D 1
127
128 enum
129 {
130   PROP_0,
131   PROP_RC_END_USAGE,
132   PROP_RC_TARGET_BITRATE,
133   PROP_RC_MIN_QUANTIZER,
134   PROP_RC_MAX_QUANTIZER,
135   PROP_RC_DROPFRAME_THRESH,
136   PROP_RC_RESIZE_ALLOWED,
137   PROP_RC_RESIZE_UP_THRESH,
138   PROP_RC_RESIZE_DOWN_THRESH,
139   PROP_RC_UNDERSHOOT_PCT,
140   PROP_RC_OVERSHOOT_PCT,
141   PROP_RC_BUF_SZ,
142   PROP_RC_BUF_INITIAL_SZ,
143   PROP_RC_BUF_OPTIMAL_SZ,
144   PROP_RC_2PASS_VBR_BIAS_PCT,
145   PROP_RC_2PASS_VBR_MINSECTION_PCT,
146   PROP_RC_2PASS_VBR_MAXSECTION_PCT,
147   PROP_KF_MODE,
148   PROP_KF_MAX_DIST,
149   PROP_TS_NUMBER_LAYERS,
150   PROP_TS_TARGET_BITRATE,
151   PROP_TS_RATE_DECIMATOR,
152   PROP_TS_PERIODICITY,
153   PROP_TS_LAYER_ID,
154   PROP_MULTIPASS_MODE,
155   PROP_MULTIPASS_CACHE_FILE,
156   PROP_ERROR_RESILIENT,
157   PROP_LAG_IN_FRAMES,
158   PROP_THREADS,
159   PROP_DEADLINE,
160   PROP_H_SCALING_MODE,
161   PROP_V_SCALING_MODE,
162   PROP_CPU_USED,
163   PROP_ENABLE_AUTO_ALT_REF,
164   PROP_NOISE_SENSITIVITY,
165   PROP_SHARPNESS,
166   PROP_STATIC_THRESHOLD,
167   PROP_TOKEN_PARTITIONS,
168   PROP_ARNR_MAXFRAMES,
169   PROP_ARNR_STRENGTH,
170   PROP_ARNR_TYPE,
171   PROP_TUNING,
172   PROP_CQ_LEVEL,
173   PROP_MAX_INTRA_BITRATE_PCT,
174   PROP_TIMEBASE
175 };
176
177 #define GST_VP9_ENC_END_USAGE_TYPE (gst_vp9_enc_end_usage_get_type())
178 static GType
179 gst_vp9_enc_end_usage_get_type (void)
180 {
181   static const GEnumValue values[] = {
182     {VPX_VBR, "Variable Bit Rate (VBR) mode", "vbr"},
183     {VPX_CBR, "Constant Bit Rate (CBR) mode", "cbr"},
184     {VPX_CQ, "Constant Quality Mode (CQ) mode", "cq"},
185     {0, NULL, NULL}
186   };
187   static volatile GType id = 0;
188
189   if (g_once_init_enter ((gsize *) & id)) {
190     GType _id;
191
192     _id = g_enum_register_static ("GstVP9EncEndUsage", values);
193
194     g_once_init_leave ((gsize *) & id, _id);
195   }
196
197   return id;
198 }
199
200 #define GST_VP9_ENC_MULTIPASS_MODE_TYPE (gst_vp9_enc_multipass_mode_get_type())
201 static GType
202 gst_vp9_enc_multipass_mode_get_type (void)
203 {
204   static const GEnumValue values[] = {
205     {VPX_RC_ONE_PASS, "One pass encoding (default)", "one-pass"},
206     {VPX_RC_FIRST_PASS, "First pass of multipass encoding", "first-pass"},
207     {VPX_RC_LAST_PASS, "Last pass of multipass encoding", "last-pass"},
208     {0, NULL, NULL}
209   };
210   static volatile GType id = 0;
211
212   if (g_once_init_enter ((gsize *) & id)) {
213     GType _id;
214
215     _id = g_enum_register_static ("GstVP9EncMultipassMode", values);
216
217     g_once_init_leave ((gsize *) & id, _id);
218   }
219
220   return id;
221 }
222
223 #define GST_VP9_ENC_KF_MODE_TYPE (gst_vp9_enc_kf_mode_get_type())
224 static GType
225 gst_vp9_enc_kf_mode_get_type (void)
226 {
227   static const GEnumValue values[] = {
228     {VPX_KF_AUTO, "Determine optimal placement automatically", "auto"},
229     {VPX_KF_DISABLED, "Don't automatically place keyframes", "disabled"},
230     {0, NULL, NULL}
231   };
232   static volatile GType id = 0;
233
234   if (g_once_init_enter ((gsize *) & id)) {
235     GType _id;
236
237     _id = g_enum_register_static ("GstVP9EncKfMode", values);
238
239     g_once_init_leave ((gsize *) & id, _id);
240   }
241
242   return id;
243 }
244
245 #define GST_VP9_ENC_TUNING_TYPE (gst_vp9_enc_tuning_get_type())
246 static GType
247 gst_vp9_enc_tuning_get_type (void)
248 {
249   static const GEnumValue values[] = {
250     {VP8_TUNE_PSNR, "Tune for PSNR", "psnr"},
251     {VP8_TUNE_SSIM, "Tune for SSIM", "ssim"},
252     {0, NULL, NULL}
253   };
254   static volatile GType id = 0;
255
256   if (g_once_init_enter ((gsize *) & id)) {
257     GType _id;
258
259     _id = g_enum_register_static ("GstVP9EncTuning", values);
260
261     g_once_init_leave ((gsize *) & id, _id);
262   }
263
264   return id;
265 }
266
267 #define GST_VP9_ENC_SCALING_MODE_TYPE (gst_vp9_enc_scaling_mode_get_type())
268 static GType
269 gst_vp9_enc_scaling_mode_get_type (void)
270 {
271   static const GEnumValue values[] = {
272     {VP8E_NORMAL, "Normal", "normal"},
273     {VP8E_FOURFIVE, "4:5", "4:5"},
274     {VP8E_THREEFIVE, "3:5", "3:5"},
275     {VP8E_ONETWO, "1:2", "1:2"},
276     {0, NULL, NULL}
277   };
278   static volatile GType id = 0;
279
280   if (g_once_init_enter ((gsize *) & id)) {
281     GType _id;
282
283     _id = g_enum_register_static ("GstVP9EncScalingMode", values);
284
285     g_once_init_leave ((gsize *) & id, _id);
286   }
287
288   return id;
289 }
290
291 #define GST_VP9_ENC_TOKEN_PARTITIONS_TYPE (gst_vp9_enc_token_partitions_get_type())
292 static GType
293 gst_vp9_enc_token_partitions_get_type (void)
294 {
295   static const GEnumValue values[] = {
296     {VP8_ONE_TOKENPARTITION, "One token partition", "1"},
297     {VP8_TWO_TOKENPARTITION, "Two token partitions", "2"},
298     {VP8_FOUR_TOKENPARTITION, "Four token partitions", "4"},
299     {VP8_EIGHT_TOKENPARTITION, "Eight token partitions", "8"},
300     {0, NULL, NULL}
301   };
302   static volatile GType id = 0;
303
304   if (g_once_init_enter ((gsize *) & id)) {
305     GType _id;
306
307     _id = g_enum_register_static ("GstVP9EncTokenPartitions", values);
308
309     g_once_init_leave ((gsize *) & id, _id);
310   }
311
312   return id;
313 }
314
315 #define GST_VP9_ENC_ER_FLAGS_TYPE (gst_vp9_enc_er_flags_get_type())
316 static GType
317 gst_vp9_enc_er_flags_get_type (void)
318 {
319   static const GFlagsValue values[] = {
320     {VPX_ERROR_RESILIENT_DEFAULT, "Default error resilience", "default"},
321     {VPX_ERROR_RESILIENT_PARTITIONS,
322         "Allow partitions to be decoded independently", "partitions"},
323     {0, NULL, NULL}
324   };
325   static volatile GType id = 0;
326
327   if (g_once_init_enter ((gsize *) & id)) {
328     GType _id;
329
330     _id = g_flags_register_static ("GstVP9EncErFlags", values);
331
332     g_once_init_leave ((gsize *) & id, _id);
333   }
334
335   return id;
336 }
337
338 static void gst_vp9_enc_finalize (GObject * object);
339 static void gst_vp9_enc_set_property (GObject * object, guint prop_id,
340     const GValue * value, GParamSpec * pspec);
341 static void gst_vp9_enc_get_property (GObject * object, guint prop_id,
342     GValue * value, GParamSpec * pspec);
343
344 static gboolean gst_vp9_enc_start (GstVideoEncoder * encoder);
345 static gboolean gst_vp9_enc_stop (GstVideoEncoder * encoder);
346 static gboolean gst_vp9_enc_set_format (GstVideoEncoder *
347     video_encoder, GstVideoCodecState * state);
348 static GstFlowReturn gst_vp9_enc_finish (GstVideoEncoder * video_encoder);
349 static GstFlowReturn gst_vp9_enc_handle_frame (GstVideoEncoder *
350     video_encoder, GstVideoCodecFrame * frame);
351 static GstFlowReturn gst_vp9_enc_drain (GstVideoEncoder * video_encoder);
352 static gboolean gst_vp9_enc_sink_event (GstVideoEncoder *
353     video_encoder, GstEvent * event);
354 static gboolean gst_vp9_enc_propose_allocation (GstVideoEncoder * encoder,
355     GstQuery * query);
356
357 /* FIXME: Y42B and Y444 do not work yet it seems */
358 static GstStaticPadTemplate gst_vp9_enc_sink_template =
359 GST_STATIC_PAD_TEMPLATE ("sink",
360     GST_PAD_SINK,
361     GST_PAD_ALWAYS,
362     /*GST_STATIC_CAPS (GST_VIDEO_CAPS_MAKE ("{ I420, YV12, Y42B, Y444 }")) */
363     GST_STATIC_CAPS (GST_VIDEO_CAPS_MAKE ("{ I420, YV12 }"))
364     );
365
366 static GstStaticPadTemplate gst_vp9_enc_src_template =
367 GST_STATIC_PAD_TEMPLATE ("src",
368     GST_PAD_SRC,
369     GST_PAD_ALWAYS,
370     GST_STATIC_CAPS ("video/x-vp9, " "profile = (string) {0, 1, 2, 3}")
371     );
372
373 #define parent_class gst_vp9_enc_parent_class
374 G_DEFINE_TYPE_WITH_CODE (GstVP9Enc, gst_vp9_enc, GST_TYPE_VIDEO_ENCODER,
375     G_IMPLEMENT_INTERFACE (GST_TYPE_TAG_SETTER, NULL);
376     G_IMPLEMENT_INTERFACE (GST_TYPE_PRESET, NULL););
377
378 static void
379 gst_vp9_enc_class_init (GstVP9EncClass * klass)
380 {
381   GObjectClass *gobject_class;
382   GstElementClass *element_class;
383   GstVideoEncoderClass *video_encoder_class;
384
385   gobject_class = G_OBJECT_CLASS (klass);
386   element_class = GST_ELEMENT_CLASS (klass);
387   video_encoder_class = GST_VIDEO_ENCODER_CLASS (klass);
388
389   gobject_class->set_property = gst_vp9_enc_set_property;
390   gobject_class->get_property = gst_vp9_enc_get_property;
391   gobject_class->finalize = gst_vp9_enc_finalize;
392
393   gst_element_class_add_pad_template (element_class,
394       gst_static_pad_template_get (&gst_vp9_enc_src_template));
395   gst_element_class_add_pad_template (element_class,
396       gst_static_pad_template_get (&gst_vp9_enc_sink_template));
397
398   gst_element_class_set_static_metadata (element_class,
399       "On2 VP9 Encoder",
400       "Codec/Encoder/Video",
401       "Encode VP9 video streams", "David Schleef <ds@entropywave.com>, "
402       "Sebastian Dröge <sebastian.droege@collabora.co.uk>");
403
404   video_encoder_class->start = gst_vp9_enc_start;
405   video_encoder_class->stop = gst_vp9_enc_stop;
406   video_encoder_class->handle_frame = gst_vp9_enc_handle_frame;
407   video_encoder_class->set_format = gst_vp9_enc_set_format;
408   video_encoder_class->finish = gst_vp9_enc_finish;
409   video_encoder_class->sink_event = gst_vp9_enc_sink_event;
410   video_encoder_class->propose_allocation = gst_vp9_enc_propose_allocation;
411
412   g_object_class_install_property (gobject_class, PROP_RC_END_USAGE,
413       g_param_spec_enum ("end-usage", "Rate control mode",
414           "Rate control mode",
415           GST_VP9_ENC_END_USAGE_TYPE, DEFAULT_RC_END_USAGE,
416           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
417
418   g_object_class_install_property (gobject_class, PROP_RC_TARGET_BITRATE,
419       g_param_spec_int ("target-bitrate", "Target bitrate",
420           "Target bitrate (in bits/sec)",
421           0, G_MAXINT, DEFAULT_RC_TARGET_BITRATE,
422           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
423
424   g_object_class_install_property (gobject_class, PROP_RC_MIN_QUANTIZER,
425       g_param_spec_int ("min-quantizer", "Minimum Quantizer",
426           "Minimum Quantizer (best)",
427           0, 63, DEFAULT_RC_MIN_QUANTIZER,
428           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
429
430   g_object_class_install_property (gobject_class, PROP_RC_MAX_QUANTIZER,
431       g_param_spec_int ("max-quantizer", "Maximum Quantizer",
432           "Maximum Quantizer (worst)",
433           0, 63, DEFAULT_RC_MAX_QUANTIZER,
434           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
435
436   g_object_class_install_property (gobject_class, PROP_RC_DROPFRAME_THRESH,
437       g_param_spec_int ("dropframe-threshold", "Drop Frame Threshold",
438           "Temporal resampling threshold (buf %)",
439           0, 100, DEFAULT_RC_DROPFRAME_THRESH,
440           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
441
442   g_object_class_install_property (gobject_class, PROP_RC_RESIZE_ALLOWED,
443       g_param_spec_boolean ("resize-allowed", "Resize Allowed",
444           "Allow spatial resampling",
445           DEFAULT_RC_RESIZE_ALLOWED,
446           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
447
448   g_object_class_install_property (gobject_class, PROP_RC_RESIZE_UP_THRESH,
449       g_param_spec_int ("resize-up-threshold", "Resize Up Threshold",
450           "Upscale threshold (buf %)",
451           0, 100, DEFAULT_RC_RESIZE_UP_THRESH,
452           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
453
454   g_object_class_install_property (gobject_class, PROP_RC_RESIZE_DOWN_THRESH,
455       g_param_spec_int ("resize-down-threshold", "Resize Down Threshold",
456           "Downscale threshold (buf %)",
457           0, 100, DEFAULT_RC_RESIZE_DOWN_THRESH,
458           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
459
460   g_object_class_install_property (gobject_class, PROP_RC_UNDERSHOOT_PCT,
461       g_param_spec_int ("undershoot", "Undershoot PCT",
462           "Datarate undershoot (min) target (%)",
463           0, 1000, DEFAULT_RC_UNDERSHOOT_PCT,
464           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
465
466   g_object_class_install_property (gobject_class, PROP_RC_OVERSHOOT_PCT,
467       g_param_spec_int ("overshoot", "Overshoot PCT",
468           "Datarate overshoot (max) target (%)",
469           0, 1000, DEFAULT_RC_OVERSHOOT_PCT,
470           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
471
472   g_object_class_install_property (gobject_class, PROP_RC_BUF_SZ,
473       g_param_spec_int ("buffer-size", "Buffer size",
474           "Client buffer size (ms)",
475           0, G_MAXINT, DEFAULT_RC_BUF_SZ,
476           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
477
478   g_object_class_install_property (gobject_class, PROP_RC_BUF_INITIAL_SZ,
479       g_param_spec_int ("buffer-initial-size", "Buffer initial size",
480           "Initial client buffer size (ms)",
481           0, G_MAXINT, DEFAULT_RC_BUF_INITIAL_SZ,
482           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
483
484   g_object_class_install_property (gobject_class, PROP_RC_BUF_OPTIMAL_SZ,
485       g_param_spec_int ("buffer-optimal-size", "Buffer optimal size",
486           "Optimal client buffer size (ms)",
487           0, G_MAXINT, DEFAULT_RC_BUF_OPTIMAL_SZ,
488           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
489
490   g_object_class_install_property (gobject_class, PROP_RC_2PASS_VBR_BIAS_PCT,
491       g_param_spec_int ("twopass-vbr-bias", "2-pass VBR bias",
492           "CBR/VBR bias (0=CBR, 100=VBR)",
493           0, 100, DEFAULT_RC_2PASS_VBR_BIAS_PCT,
494           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
495
496   g_object_class_install_property (gobject_class,
497       PROP_RC_2PASS_VBR_MINSECTION_PCT,
498       g_param_spec_int ("twopass-vbr-minsection", "2-pass GOP min bitrate",
499           "GOP minimum bitrate (% target)", 0, G_MAXINT,
500           DEFAULT_RC_2PASS_VBR_MINSECTION_PCT,
501           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
502
503   g_object_class_install_property (gobject_class,
504       PROP_RC_2PASS_VBR_MAXSECTION_PCT,
505       g_param_spec_int ("twopass-vbr-maxsection", "2-pass GOP max bitrate",
506           "GOP maximum bitrate (% target)", 0, G_MAXINT,
507           DEFAULT_RC_2PASS_VBR_MINSECTION_PCT,
508           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
509
510   g_object_class_install_property (gobject_class, PROP_KF_MODE,
511       g_param_spec_enum ("keyframe-mode", "Keyframe Mode",
512           "Keyframe placement",
513           GST_VP9_ENC_KF_MODE_TYPE, DEFAULT_KF_MODE,
514           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
515
516   g_object_class_install_property (gobject_class, PROP_KF_MAX_DIST,
517       g_param_spec_int ("keyframe-max-dist", "Keyframe max distance",
518           "Maximum distance between keyframes (number of frames)",
519           0, G_MAXINT, DEFAULT_KF_MAX_DIST,
520           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
521
522   g_object_class_install_property (gobject_class, PROP_MULTIPASS_MODE,
523       g_param_spec_enum ("multipass-mode", "Multipass Mode",
524           "Multipass encode mode",
525           GST_VP9_ENC_MULTIPASS_MODE_TYPE, DEFAULT_MULTIPASS_MODE,
526           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
527
528   g_object_class_install_property (gobject_class, PROP_MULTIPASS_CACHE_FILE,
529       g_param_spec_string ("multipass-cache-file", "Multipass Cache File",
530           "Multipass cache file",
531           DEFAULT_MULTIPASS_CACHE_FILE,
532           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
533
534   g_object_class_install_property (gobject_class, PROP_TS_NUMBER_LAYERS,
535       g_param_spec_int ("temporal-scalability-number-layers",
536           "Number of coding layers", "Number of coding layers to use", 1, 5,
537           DEFAULT_TS_NUMBER_LAYERS,
538           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
539
540   g_object_class_install_property (gobject_class, PROP_TS_TARGET_BITRATE,
541       g_param_spec_value_array ("temporal-scalability-target-bitrate",
542           "Coding layer target bitrates",
543           "Target bitrates for coding layers (one per layer, decreasing)",
544           g_param_spec_int ("target-bitrate", "Target bitrate",
545               "Target bitrate", 0, G_MAXINT, DEFAULT_RC_TARGET_BITRATE,
546               G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS),
547           G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
548
549   g_object_class_install_property (gobject_class, PROP_TS_RATE_DECIMATOR,
550       g_param_spec_value_array ("temporal-scalability-rate-decimator",
551           "Coding layer rate decimator",
552           "Rate decimation factors for each layer",
553           g_param_spec_int ("rate-decimator", "Rate decimator",
554               "Rate decimator", 0, 1000000000, 0,
555               G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS),
556           G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
557
558   g_object_class_install_property (gobject_class, PROP_TS_PERIODICITY,
559       g_param_spec_int ("temporal-scalability-periodicity",
560           "Coding layer periodicity",
561           "Length of sequence that defines layer membership periodicity", 0, 16,
562           DEFAULT_TS_PERIODICITY,
563           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
564
565   g_object_class_install_property (gobject_class, PROP_TS_LAYER_ID,
566       g_param_spec_value_array ("temporal-scalability-layer-id",
567           "Coding layer identification",
568           "Sequence defining coding layer membership",
569           g_param_spec_int ("layer-id", "Layer ID", "Layer ID", 0, 4, 0,
570               G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS),
571           G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
572
573   g_object_class_install_property (gobject_class, PROP_LAG_IN_FRAMES,
574       g_param_spec_int ("lag-in-frames", "Lag in frames",
575           "Maximum number of frames to lag",
576           0, 25, DEFAULT_LAG_IN_FRAMES,
577           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
578
579   g_object_class_install_property (gobject_class, PROP_ERROR_RESILIENT,
580       g_param_spec_flags ("error-resilient", "Error resilient",
581           "Error resilience flags",
582           GST_VP9_ENC_ER_FLAGS_TYPE, DEFAULT_ERROR_RESILIENT,
583           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
584
585   g_object_class_install_property (gobject_class, PROP_THREADS,
586       g_param_spec_int ("threads", "Threads",
587           "Number of threads to use",
588           0, 64, DEFAULT_THREADS,
589           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
590
591   g_object_class_install_property (gobject_class, PROP_DEADLINE,
592       g_param_spec_int64 ("deadline", "Deadline",
593           "Deadline per frame (usec, 0=disabled)",
594           0, G_MAXINT64, DEFAULT_DEADLINE,
595           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
596
597   g_object_class_install_property (gobject_class, PROP_H_SCALING_MODE,
598       g_param_spec_enum ("horizontal-scaling-mode", "Horizontal scaling mode",
599           "Horizontal scaling mode",
600           GST_VP9_ENC_SCALING_MODE_TYPE, DEFAULT_H_SCALING_MODE,
601           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
602
603   g_object_class_install_property (gobject_class, PROP_V_SCALING_MODE,
604       g_param_spec_enum ("vertical-scaling-mode", "Vertical scaling mode",
605           "Vertical scaling mode",
606           GST_VP9_ENC_SCALING_MODE_TYPE, DEFAULT_V_SCALING_MODE,
607           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
608
609   g_object_class_install_property (gobject_class, PROP_CPU_USED,
610       g_param_spec_int ("cpu-used", "CPU used",
611           "CPU used",
612           -16, 16, DEFAULT_CPU_USED,
613           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
614
615   g_object_class_install_property (gobject_class, PROP_ENABLE_AUTO_ALT_REF,
616       g_param_spec_boolean ("auto-alt-ref", "Auto alt reference frames",
617           "Automatically generate AltRef frames",
618           DEFAULT_ENABLE_AUTO_ALT_REF,
619           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
620
621   g_object_class_install_property (gobject_class, PROP_NOISE_SENSITIVITY,
622       g_param_spec_int ("noise-sensitivity", "Noise sensitivity",
623           "Noise sensisivity (frames to blur)",
624           0, 6, DEFAULT_NOISE_SENSITIVITY,
625           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
626
627   g_object_class_install_property (gobject_class, PROP_SHARPNESS,
628       g_param_spec_int ("sharpness", "Sharpness",
629           "Filter sharpness",
630           0, 7, DEFAULT_SHARPNESS,
631           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
632
633   g_object_class_install_property (gobject_class, PROP_STATIC_THRESHOLD,
634       g_param_spec_int ("static-threshold", "Static Threshold",
635           "Motion detection threshold",
636           0, G_MAXINT, DEFAULT_STATIC_THRESHOLD,
637           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
638
639   g_object_class_install_property (gobject_class, PROP_TOKEN_PARTITIONS,
640       g_param_spec_enum ("token-partitions", "Token partitions",
641           "Number of token partitions",
642           GST_VP9_ENC_TOKEN_PARTITIONS_TYPE, DEFAULT_TOKEN_PARTITIONS,
643           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
644
645   g_object_class_install_property (gobject_class, PROP_ARNR_MAXFRAMES,
646       g_param_spec_int ("arnr-maxframes", "AltRef max frames",
647           "AltRef maximum number of frames",
648           0, 15, DEFAULT_ARNR_MAXFRAMES,
649           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
650
651   g_object_class_install_property (gobject_class, PROP_ARNR_STRENGTH,
652       g_param_spec_int ("arnr-strength", "AltRef strength",
653           "AltRef strength",
654           0, 6, DEFAULT_ARNR_STRENGTH,
655           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
656
657   g_object_class_install_property (gobject_class, PROP_ARNR_TYPE,
658       g_param_spec_int ("arnr-type", "AltRef type",
659           "AltRef type",
660           1, 3, DEFAULT_ARNR_TYPE,
661           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS |
662               G_PARAM_DEPRECATED)));
663
664   g_object_class_install_property (gobject_class, PROP_TUNING,
665       g_param_spec_enum ("tuning", "Tuning",
666           "Tuning",
667           GST_VP9_ENC_TUNING_TYPE, DEFAULT_TUNING,
668           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
669
670   g_object_class_install_property (gobject_class, PROP_CQ_LEVEL,
671       g_param_spec_int ("cq-level", "Constrained quality level",
672           "Constrained quality level",
673           0, 63, DEFAULT_CQ_LEVEL,
674           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
675
676   g_object_class_install_property (gobject_class, PROP_MAX_INTRA_BITRATE_PCT,
677       g_param_spec_int ("max-intra-bitrate", "Max Intra bitrate",
678           "Maximum Intra frame bitrate",
679           0, G_MAXINT, DEFAULT_MAX_INTRA_BITRATE_PCT,
680           (GParamFlags) (G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS)));
681
682   g_object_class_install_property (gobject_class, PROP_TIMEBASE,
683       gst_param_spec_fraction ("timebase", "Shortest interframe time",
684           "Fraction of one second that is the shortest interframe time - normally left as zero which will default to the framerate",
685           0, 1, G_MAXINT, 1, DEFAULT_TIMEBASE_N, DEFAULT_TIMEBASE_D,
686           G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
687
688   GST_DEBUG_CATEGORY_INIT (gst_vp9enc_debug, "vp9enc", 0, "VP9 Encoder");
689 }
690
691 static void
692 gst_vp9_enc_init (GstVP9Enc * gst_vp9_enc)
693 {
694   vpx_codec_err_t status;
695
696   GST_DEBUG_OBJECT (gst_vp9_enc, "init");
697
698   status =
699       vpx_codec_enc_config_default (&vpx_codec_vp9_cx_algo, &gst_vp9_enc->cfg,
700       0);
701   if (status != VPX_CODEC_OK) {
702     GST_ERROR_OBJECT (gst_vp9_enc,
703         "Failed to get default encoder configuration: %s",
704         gst_vpx_error_name (status));
705     gst_vp9_enc->have_default_config = FALSE;
706   } else {
707     gst_vp9_enc->have_default_config = TRUE;
708   }
709
710   gst_vp9_enc->cfg.rc_end_usage = DEFAULT_RC_END_USAGE;
711   gst_vp9_enc->cfg.rc_target_bitrate = DEFAULT_RC_TARGET_BITRATE / 1000;
712   gst_vp9_enc->rc_target_bitrate_set = FALSE;
713   gst_vp9_enc->cfg.rc_min_quantizer = DEFAULT_RC_MIN_QUANTIZER;
714   gst_vp9_enc->cfg.rc_max_quantizer = DEFAULT_RC_MAX_QUANTIZER;
715   gst_vp9_enc->cfg.rc_dropframe_thresh = DEFAULT_RC_DROPFRAME_THRESH;
716   gst_vp9_enc->cfg.rc_resize_allowed = DEFAULT_RC_RESIZE_ALLOWED;
717   gst_vp9_enc->cfg.rc_resize_up_thresh = DEFAULT_RC_RESIZE_UP_THRESH;
718   gst_vp9_enc->cfg.rc_resize_down_thresh = DEFAULT_RC_RESIZE_DOWN_THRESH;
719   gst_vp9_enc->cfg.rc_undershoot_pct = DEFAULT_RC_UNDERSHOOT_PCT;
720   gst_vp9_enc->cfg.rc_overshoot_pct = DEFAULT_RC_OVERSHOOT_PCT;
721   gst_vp9_enc->cfg.rc_buf_sz = DEFAULT_RC_BUF_SZ;
722   gst_vp9_enc->cfg.rc_buf_initial_sz = DEFAULT_RC_BUF_INITIAL_SZ;
723   gst_vp9_enc->cfg.rc_buf_optimal_sz = DEFAULT_RC_BUF_OPTIMAL_SZ;
724   gst_vp9_enc->cfg.rc_2pass_vbr_bias_pct = DEFAULT_RC_2PASS_VBR_BIAS_PCT;
725   gst_vp9_enc->cfg.rc_2pass_vbr_minsection_pct =
726       DEFAULT_RC_2PASS_VBR_MINSECTION_PCT;
727   gst_vp9_enc->cfg.rc_2pass_vbr_maxsection_pct =
728       DEFAULT_RC_2PASS_VBR_MAXSECTION_PCT;
729   gst_vp9_enc->cfg.kf_mode = DEFAULT_KF_MODE;
730   gst_vp9_enc->cfg.kf_max_dist = DEFAULT_KF_MAX_DIST;
731   gst_vp9_enc->cfg.g_pass = DEFAULT_MULTIPASS_MODE;
732   gst_vp9_enc->multipass_cache_file = g_strdup (DEFAULT_MULTIPASS_CACHE_FILE);
733   gst_vp9_enc->cfg.ts_number_layers = DEFAULT_TS_NUMBER_LAYERS;
734   gst_vp9_enc->n_ts_target_bitrate = 0;
735   gst_vp9_enc->n_ts_rate_decimator = 0;
736   gst_vp9_enc->cfg.ts_periodicity = DEFAULT_TS_PERIODICITY;
737   gst_vp9_enc->n_ts_layer_id = 0;
738   gst_vp9_enc->cfg.g_error_resilient = DEFAULT_ERROR_RESILIENT;
739   gst_vp9_enc->cfg.g_lag_in_frames = DEFAULT_LAG_IN_FRAMES;
740   gst_vp9_enc->cfg.g_threads = DEFAULT_THREADS;
741   gst_vp9_enc->deadline = DEFAULT_DEADLINE;
742   gst_vp9_enc->h_scaling_mode = DEFAULT_H_SCALING_MODE;
743   gst_vp9_enc->v_scaling_mode = DEFAULT_V_SCALING_MODE;
744   gst_vp9_enc->cpu_used = DEFAULT_CPU_USED;
745   gst_vp9_enc->enable_auto_alt_ref = DEFAULT_ENABLE_AUTO_ALT_REF;
746   gst_vp9_enc->noise_sensitivity = DEFAULT_NOISE_SENSITIVITY;
747   gst_vp9_enc->sharpness = DEFAULT_SHARPNESS;
748   gst_vp9_enc->static_threshold = DEFAULT_STATIC_THRESHOLD;
749   gst_vp9_enc->token_partitions = DEFAULT_TOKEN_PARTITIONS;
750   gst_vp9_enc->arnr_maxframes = DEFAULT_ARNR_MAXFRAMES;
751   gst_vp9_enc->arnr_strength = DEFAULT_ARNR_STRENGTH;
752   gst_vp9_enc->arnr_type = DEFAULT_ARNR_TYPE;
753   gst_vp9_enc->tuning = DEFAULT_TUNING;
754   gst_vp9_enc->cq_level = DEFAULT_CQ_LEVEL;
755   gst_vp9_enc->max_intra_bitrate_pct = DEFAULT_MAX_INTRA_BITRATE_PCT;
756   gst_vp9_enc->timebase_n = DEFAULT_TIMEBASE_N;
757   gst_vp9_enc->timebase_d = DEFAULT_TIMEBASE_D;
758
759   gst_vp9_enc->cfg.g_profile = DEFAULT_PROFILE;
760
761   g_mutex_init (&gst_vp9_enc->encoder_lock);
762 }
763
764 static void
765 gst_vp9_enc_finalize (GObject * object)
766 {
767   GstVP9Enc *gst_vp9_enc;
768
769   GST_DEBUG_OBJECT (object, "finalize");
770
771   g_return_if_fail (GST_IS_VP9_ENC (object));
772   gst_vp9_enc = GST_VP9_ENC (object);
773
774   g_free (gst_vp9_enc->multipass_cache_file);
775   gst_vp9_enc->multipass_cache_file = NULL;
776
777   if (gst_vp9_enc->input_state)
778     gst_video_codec_state_unref (gst_vp9_enc->input_state);
779
780   g_mutex_clear (&gst_vp9_enc->encoder_lock);
781
782   G_OBJECT_CLASS (parent_class)->finalize (object);
783
784 }
785
786 static void
787 gst_vp9_enc_set_property (GObject * object, guint prop_id,
788     const GValue * value, GParamSpec * pspec)
789 {
790   GstVP9Enc *gst_vp9_enc;
791   gboolean global = FALSE;
792   vpx_codec_err_t status;
793
794   g_return_if_fail (GST_IS_VP9_ENC (object));
795   gst_vp9_enc = GST_VP9_ENC (object);
796
797   GST_DEBUG_OBJECT (object, "gst_vp9_enc_set_property");
798   g_mutex_lock (&gst_vp9_enc->encoder_lock);
799   switch (prop_id) {
800     case PROP_RC_END_USAGE:
801       gst_vp9_enc->cfg.rc_end_usage = g_value_get_enum (value);
802       global = TRUE;
803       break;
804     case PROP_RC_TARGET_BITRATE:
805       gst_vp9_enc->cfg.rc_target_bitrate = g_value_get_int (value) / 1000;
806       gst_vp9_enc->rc_target_bitrate_set = TRUE;
807       global = TRUE;
808       break;
809     case PROP_RC_MIN_QUANTIZER:
810       gst_vp9_enc->cfg.rc_min_quantizer = g_value_get_int (value);
811       global = TRUE;
812       break;
813     case PROP_RC_MAX_QUANTIZER:
814       gst_vp9_enc->cfg.rc_max_quantizer = g_value_get_int (value);
815       global = TRUE;
816       break;
817     case PROP_RC_DROPFRAME_THRESH:
818       gst_vp9_enc->cfg.rc_dropframe_thresh = g_value_get_int (value);
819       global = TRUE;
820       break;
821     case PROP_RC_RESIZE_ALLOWED:
822       gst_vp9_enc->cfg.rc_resize_allowed = g_value_get_boolean (value);
823       global = TRUE;
824       break;
825     case PROP_RC_RESIZE_UP_THRESH:
826       gst_vp9_enc->cfg.rc_resize_up_thresh = g_value_get_int (value);
827       global = TRUE;
828       break;
829     case PROP_RC_RESIZE_DOWN_THRESH:
830       gst_vp9_enc->cfg.rc_resize_down_thresh = g_value_get_int (value);
831       global = TRUE;
832       break;
833     case PROP_RC_UNDERSHOOT_PCT:
834       gst_vp9_enc->cfg.rc_undershoot_pct = g_value_get_int (value);
835       global = TRUE;
836       break;
837     case PROP_RC_OVERSHOOT_PCT:
838       gst_vp9_enc->cfg.rc_overshoot_pct = g_value_get_int (value);
839       global = TRUE;
840       break;
841     case PROP_RC_BUF_SZ:
842       gst_vp9_enc->cfg.rc_buf_sz = g_value_get_int (value);
843       global = TRUE;
844       break;
845     case PROP_RC_BUF_INITIAL_SZ:
846       gst_vp9_enc->cfg.rc_buf_initial_sz = g_value_get_int (value);
847       global = TRUE;
848       break;
849     case PROP_RC_BUF_OPTIMAL_SZ:
850       gst_vp9_enc->cfg.rc_buf_optimal_sz = g_value_get_int (value);
851       global = TRUE;
852       break;
853     case PROP_RC_2PASS_VBR_BIAS_PCT:
854       gst_vp9_enc->cfg.rc_2pass_vbr_bias_pct = g_value_get_int (value);
855       global = TRUE;
856       break;
857     case PROP_RC_2PASS_VBR_MINSECTION_PCT:
858       gst_vp9_enc->cfg.rc_2pass_vbr_minsection_pct = g_value_get_int (value);
859       global = TRUE;
860       break;
861     case PROP_RC_2PASS_VBR_MAXSECTION_PCT:
862       gst_vp9_enc->cfg.rc_2pass_vbr_maxsection_pct = g_value_get_int (value);
863       global = TRUE;
864       break;
865     case PROP_KF_MODE:
866       gst_vp9_enc->cfg.kf_mode = g_value_get_enum (value);
867       global = TRUE;
868       break;
869     case PROP_KF_MAX_DIST:
870       gst_vp9_enc->cfg.kf_max_dist = g_value_get_int (value);
871       global = TRUE;
872       break;
873     case PROP_MULTIPASS_MODE:
874       gst_vp9_enc->cfg.g_pass = g_value_get_enum (value);
875       global = TRUE;
876       break;
877     case PROP_MULTIPASS_CACHE_FILE:
878       if (gst_vp9_enc->multipass_cache_file)
879         g_free (gst_vp9_enc->multipass_cache_file);
880       gst_vp9_enc->multipass_cache_file = g_value_dup_string (value);
881       break;
882     case PROP_TS_NUMBER_LAYERS:
883       gst_vp9_enc->cfg.ts_number_layers = g_value_get_int (value);
884       global = TRUE;
885       break;
886     case PROP_TS_TARGET_BITRATE:{
887       GValueArray *va = g_value_get_boxed (value);
888
889       memset (&gst_vp9_enc->cfg.ts_target_bitrate, 0,
890           sizeof (gst_vp9_enc->cfg.ts_target_bitrate));
891       if (va == NULL) {
892         gst_vp9_enc->n_ts_target_bitrate = 0;
893       } else {
894         if (va->n_values > VPX_TS_MAX_LAYERS) {
895           g_warning ("%s: Only %d layers allowed at maximum",
896               GST_ELEMENT_NAME (gst_vp9_enc), VPX_TS_MAX_LAYERS);
897         } else {
898           gint i;
899
900           for (i = 0; i < va->n_values; i++)
901             gst_vp9_enc->cfg.ts_target_bitrate[i] =
902                 g_value_get_int (g_value_array_get_nth (va, i));
903           gst_vp9_enc->n_ts_target_bitrate = va->n_values;
904         }
905       }
906       global = TRUE;
907       break;
908     }
909     case PROP_TS_RATE_DECIMATOR:{
910       GValueArray *va = g_value_get_boxed (value);
911
912       memset (&gst_vp9_enc->cfg.ts_rate_decimator, 0,
913           sizeof (gst_vp9_enc->cfg.ts_rate_decimator));
914       if (va == NULL) {
915         gst_vp9_enc->n_ts_rate_decimator = 0;
916       } else if (va->n_values > VPX_TS_MAX_LAYERS) {
917         g_warning ("%s: Only %d layers allowed at maximum",
918             GST_ELEMENT_NAME (gst_vp9_enc), VPX_TS_MAX_LAYERS);
919       } else {
920         gint i;
921
922         for (i = 0; i < va->n_values; i++)
923           gst_vp9_enc->cfg.ts_rate_decimator[i] =
924               g_value_get_int (g_value_array_get_nth (va, i));
925         gst_vp9_enc->n_ts_rate_decimator = va->n_values;
926       }
927       global = TRUE;
928       break;
929     }
930     case PROP_TS_PERIODICITY:
931       gst_vp9_enc->cfg.ts_periodicity = g_value_get_int (value);
932       global = TRUE;
933       break;
934     case PROP_TS_LAYER_ID:{
935       GValueArray *va = g_value_get_boxed (value);
936
937       memset (&gst_vp9_enc->cfg.ts_layer_id, 0,
938           sizeof (gst_vp9_enc->cfg.ts_layer_id));
939       if (va && va->n_values > VPX_TS_MAX_PERIODICITY) {
940         g_warning ("%s: Only %d sized layer sequences allowed at maximum",
941             GST_ELEMENT_NAME (gst_vp9_enc), VPX_TS_MAX_PERIODICITY);
942       } else if (va) {
943         gint i;
944
945         for (i = 0; i < va->n_values; i++)
946           gst_vp9_enc->cfg.ts_layer_id[i] =
947               g_value_get_int (g_value_array_get_nth (va, i));
948         gst_vp9_enc->n_ts_layer_id = va->n_values;
949       } else {
950         gst_vp9_enc->n_ts_layer_id = 0;
951       }
952       global = TRUE;
953       break;
954     }
955     case PROP_ERROR_RESILIENT:
956       gst_vp9_enc->cfg.g_error_resilient = g_value_get_flags (value);
957       global = TRUE;
958       break;
959     case PROP_LAG_IN_FRAMES:
960       gst_vp9_enc->cfg.g_lag_in_frames = g_value_get_int (value);
961       global = TRUE;
962       break;
963     case PROP_THREADS:
964       gst_vp9_enc->cfg.g_threads = g_value_get_int (value);
965       global = TRUE;
966       break;
967     case PROP_DEADLINE:
968       gst_vp9_enc->deadline = g_value_get_int64 (value);
969       break;
970     case PROP_H_SCALING_MODE:
971       gst_vp9_enc->h_scaling_mode = g_value_get_enum (value);
972       if (gst_vp9_enc->inited) {
973         vpx_scaling_mode_t sm;
974
975         sm.h_scaling_mode = gst_vp9_enc->h_scaling_mode;
976         sm.v_scaling_mode = gst_vp9_enc->v_scaling_mode;
977
978         status =
979             vpx_codec_control (&gst_vp9_enc->encoder, VP8E_SET_SCALEMODE, &sm);
980         if (status != VPX_CODEC_OK) {
981           GST_WARNING_OBJECT (gst_vp9_enc,
982               "Failed to set VP8E_SET_SCALEMODE: %s",
983               gst_vpx_error_name (status));
984         }
985       }
986       break;
987     case PROP_V_SCALING_MODE:
988       gst_vp9_enc->v_scaling_mode = g_value_get_enum (value);
989       if (gst_vp9_enc->inited) {
990         vpx_scaling_mode_t sm;
991
992         sm.h_scaling_mode = gst_vp9_enc->h_scaling_mode;
993         sm.v_scaling_mode = gst_vp9_enc->v_scaling_mode;
994
995         status =
996             vpx_codec_control (&gst_vp9_enc->encoder, VP8E_SET_SCALEMODE, &sm);
997         if (status != VPX_CODEC_OK) {
998           GST_WARNING_OBJECT (gst_vp9_enc,
999               "Failed to set VP8E_SET_SCALEMODE: %s",
1000               gst_vpx_error_name (status));
1001         }
1002       }
1003       break;
1004     case PROP_CPU_USED:
1005       gst_vp9_enc->cpu_used = g_value_get_int (value);
1006       if (gst_vp9_enc->inited) {
1007         status =
1008             vpx_codec_control (&gst_vp9_enc->encoder, VP8E_SET_CPUUSED,
1009             gst_vp9_enc->cpu_used);
1010         if (status != VPX_CODEC_OK) {
1011           GST_WARNING_OBJECT (gst_vp9_enc, "Failed to set VP8E_SET_CPUUSED: %s",
1012               gst_vpx_error_name (status));
1013         }
1014       }
1015       break;
1016     case PROP_ENABLE_AUTO_ALT_REF:
1017       gst_vp9_enc->enable_auto_alt_ref = g_value_get_boolean (value);
1018       if (gst_vp9_enc->inited) {
1019         status =
1020             vpx_codec_control (&gst_vp9_enc->encoder, VP8E_SET_ENABLEAUTOALTREF,
1021             (gst_vp9_enc->enable_auto_alt_ref ? 1 : 0));
1022         if (status != VPX_CODEC_OK) {
1023           GST_WARNING_OBJECT (gst_vp9_enc,
1024               "Failed to set VP8E_SET_ENABLEAUTOALTREF: %s",
1025               gst_vpx_error_name (status));
1026         }
1027       }
1028       break;
1029     case PROP_NOISE_SENSITIVITY:
1030       gst_vp9_enc->noise_sensitivity = g_value_get_int (value);
1031       if (gst_vp9_enc->inited) {
1032         status =
1033             vpx_codec_control (&gst_vp9_enc->encoder,
1034             VP8E_SET_NOISE_SENSITIVITY, gst_vp9_enc->noise_sensitivity);
1035         if (status != VPX_CODEC_OK) {
1036           GST_WARNING_OBJECT (gst_vp9_enc,
1037               "Failed to set VP8E_SET_NOISE_SENSITIVITY: %s",
1038               gst_vpx_error_name (status));
1039         }
1040       }
1041       break;
1042     case PROP_SHARPNESS:
1043       gst_vp9_enc->sharpness = g_value_get_int (value);
1044       if (gst_vp9_enc->inited) {
1045         status = vpx_codec_control (&gst_vp9_enc->encoder, VP8E_SET_SHARPNESS,
1046             gst_vp9_enc->sharpness);
1047         if (status != VPX_CODEC_OK) {
1048           GST_WARNING_OBJECT (gst_vp9_enc,
1049               "Failed to set VP8E_SET_SHARPNESS: %s",
1050               gst_vpx_error_name (status));
1051         }
1052       }
1053       break;
1054     case PROP_STATIC_THRESHOLD:
1055       gst_vp9_enc->static_threshold = g_value_get_int (value);
1056       if (gst_vp9_enc->inited) {
1057         status =
1058             vpx_codec_control (&gst_vp9_enc->encoder, VP8E_SET_STATIC_THRESHOLD,
1059             gst_vp9_enc->static_threshold);
1060         if (status != VPX_CODEC_OK) {
1061           GST_WARNING_OBJECT (gst_vp9_enc,
1062               "Failed to set VP8E_SET_STATIC_THRESHOLD: %s",
1063               gst_vpx_error_name (status));
1064         }
1065       }
1066       break;
1067     case PROP_TOKEN_PARTITIONS:
1068       gst_vp9_enc->token_partitions = g_value_get_enum (value);
1069       if (gst_vp9_enc->inited) {
1070         status =
1071             vpx_codec_control (&gst_vp9_enc->encoder, VP8E_SET_TOKEN_PARTITIONS,
1072             gst_vp9_enc->token_partitions);
1073         if (status != VPX_CODEC_OK) {
1074           GST_WARNING_OBJECT (gst_vp9_enc,
1075               "Failed to set VP8E_SET_TOKEN_PARTIONS: %s",
1076               gst_vpx_error_name (status));
1077         }
1078       }
1079       break;
1080     case PROP_ARNR_MAXFRAMES:
1081       gst_vp9_enc->arnr_maxframes = g_value_get_int (value);
1082       if (gst_vp9_enc->inited) {
1083         status =
1084             vpx_codec_control (&gst_vp9_enc->encoder, VP8E_SET_ARNR_MAXFRAMES,
1085             gst_vp9_enc->arnr_maxframes);
1086         if (status != VPX_CODEC_OK) {
1087           GST_WARNING_OBJECT (gst_vp9_enc,
1088               "Failed to set VP8E_SET_ARNR_MAXFRAMES: %s",
1089               gst_vpx_error_name (status));
1090         }
1091       }
1092       break;
1093     case PROP_ARNR_STRENGTH:
1094       gst_vp9_enc->arnr_strength = g_value_get_int (value);
1095       if (gst_vp9_enc->inited) {
1096         status =
1097             vpx_codec_control (&gst_vp9_enc->encoder, VP8E_SET_ARNR_STRENGTH,
1098             gst_vp9_enc->arnr_strength);
1099         if (status != VPX_CODEC_OK) {
1100           GST_WARNING_OBJECT (gst_vp9_enc,
1101               "Failed to set VP8E_SET_ARNR_STRENGTH: %s",
1102               gst_vpx_error_name (status));
1103         }
1104       }
1105       break;
1106     case PROP_ARNR_TYPE:
1107       gst_vp9_enc->arnr_type = g_value_get_int (value);
1108       g_warning ("arnr-type is a no-op since control has been deprecated "
1109           "in libvpx");
1110       break;
1111     case PROP_TUNING:
1112       gst_vp9_enc->tuning = g_value_get_enum (value);
1113       if (gst_vp9_enc->inited) {
1114         status = vpx_codec_control (&gst_vp9_enc->encoder, VP8E_SET_TUNING,
1115             gst_vp9_enc->tuning);
1116         if (status != VPX_CODEC_OK) {
1117           GST_WARNING_OBJECT (gst_vp9_enc,
1118               "Failed to set VP8E_SET_TUNING: %s", gst_vpx_error_name (status));
1119         }
1120       }
1121       break;
1122     case PROP_CQ_LEVEL:
1123       gst_vp9_enc->cq_level = g_value_get_int (value);
1124       if (gst_vp9_enc->inited) {
1125         status = vpx_codec_control (&gst_vp9_enc->encoder, VP8E_SET_CQ_LEVEL,
1126             gst_vp9_enc->cq_level);
1127         if (status != VPX_CODEC_OK) {
1128           GST_WARNING_OBJECT (gst_vp9_enc,
1129               "Failed to set VP8E_SET_CQ_LEVEL: %s",
1130               gst_vpx_error_name (status));
1131         }
1132       }
1133       break;
1134     case PROP_MAX_INTRA_BITRATE_PCT:
1135       gst_vp9_enc->max_intra_bitrate_pct = g_value_get_int (value);
1136       if (gst_vp9_enc->inited) {
1137         status =
1138             vpx_codec_control (&gst_vp9_enc->encoder,
1139             VP8E_SET_MAX_INTRA_BITRATE_PCT, gst_vp9_enc->max_intra_bitrate_pct);
1140         if (status != VPX_CODEC_OK) {
1141           GST_WARNING_OBJECT (gst_vp9_enc,
1142               "Failed to set VP8E_SET_MAX_INTRA_BITRATE_PCT: %s",
1143               gst_vpx_error_name (status));
1144         }
1145       }
1146       break;
1147     case PROP_TIMEBASE:
1148       gst_vp9_enc->timebase_n = gst_value_get_fraction_numerator (value);
1149       gst_vp9_enc->timebase_d = gst_value_get_fraction_denominator (value);
1150       break;
1151     default:
1152       break;
1153   }
1154
1155   if (global &&gst_vp9_enc->inited) {
1156     status =
1157         vpx_codec_enc_config_set (&gst_vp9_enc->encoder, &gst_vp9_enc->cfg);
1158     if (status != VPX_CODEC_OK) {
1159       g_mutex_unlock (&gst_vp9_enc->encoder_lock);
1160       GST_ELEMENT_ERROR (gst_vp9_enc, LIBRARY, INIT,
1161           ("Failed to set encoder configuration"), ("%s",
1162               gst_vpx_error_name (status)));
1163     } else {
1164       g_mutex_unlock (&gst_vp9_enc->encoder_lock);
1165     }
1166   } else {
1167     g_mutex_unlock (&gst_vp9_enc->encoder_lock);
1168   }
1169 }
1170
1171 static void
1172 gst_vp9_enc_get_property (GObject * object, guint prop_id, GValue * value,
1173     GParamSpec * pspec)
1174 {
1175   GstVP9Enc *gst_vp9_enc;
1176
1177   g_return_if_fail (GST_IS_VP9_ENC (object));
1178   gst_vp9_enc = GST_VP9_ENC (object);
1179
1180   g_mutex_lock (&gst_vp9_enc->encoder_lock);
1181   switch (prop_id) {
1182     case PROP_RC_END_USAGE:
1183       g_value_set_enum (value, gst_vp9_enc->cfg.rc_end_usage);
1184       break;
1185     case PROP_RC_TARGET_BITRATE:
1186       g_value_set_int (value, gst_vp9_enc->cfg.rc_target_bitrate * 1000);
1187       break;
1188     case PROP_RC_MIN_QUANTIZER:
1189       g_value_set_int (value, gst_vp9_enc->cfg.rc_min_quantizer);
1190       break;
1191     case PROP_RC_MAX_QUANTIZER:
1192       g_value_set_int (value, gst_vp9_enc->cfg.rc_max_quantizer);
1193       break;
1194     case PROP_RC_DROPFRAME_THRESH:
1195       g_value_set_int (value, gst_vp9_enc->cfg.rc_dropframe_thresh);
1196       break;
1197     case PROP_RC_RESIZE_ALLOWED:
1198       g_value_set_boolean (value, gst_vp9_enc->cfg.rc_resize_allowed);
1199       break;
1200     case PROP_RC_RESIZE_UP_THRESH:
1201       g_value_set_int (value, gst_vp9_enc->cfg.rc_resize_up_thresh);
1202       break;
1203     case PROP_RC_RESIZE_DOWN_THRESH:
1204       g_value_set_int (value, gst_vp9_enc->cfg.rc_resize_down_thresh);
1205       break;
1206     case PROP_RC_UNDERSHOOT_PCT:
1207       g_value_set_int (value, gst_vp9_enc->cfg.rc_undershoot_pct);
1208       break;
1209     case PROP_RC_OVERSHOOT_PCT:
1210       g_value_set_int (value, gst_vp9_enc->cfg.rc_overshoot_pct);
1211       break;
1212     case PROP_RC_BUF_SZ:
1213       g_value_set_int (value, gst_vp9_enc->cfg.rc_buf_sz);
1214       break;
1215     case PROP_RC_BUF_INITIAL_SZ:
1216       g_value_set_int (value, gst_vp9_enc->cfg.rc_buf_initial_sz);
1217       break;
1218     case PROP_RC_BUF_OPTIMAL_SZ:
1219       g_value_set_int (value, gst_vp9_enc->cfg.rc_buf_optimal_sz);
1220       break;
1221     case PROP_RC_2PASS_VBR_BIAS_PCT:
1222       g_value_set_int (value, gst_vp9_enc->cfg.rc_2pass_vbr_bias_pct);
1223       break;
1224     case PROP_RC_2PASS_VBR_MINSECTION_PCT:
1225       g_value_set_int (value, gst_vp9_enc->cfg.rc_2pass_vbr_minsection_pct);
1226       break;
1227     case PROP_RC_2PASS_VBR_MAXSECTION_PCT:
1228       g_value_set_int (value, gst_vp9_enc->cfg.rc_2pass_vbr_maxsection_pct);
1229       break;
1230     case PROP_KF_MODE:
1231       g_value_set_enum (value, gst_vp9_enc->cfg.kf_mode);
1232       break;
1233     case PROP_KF_MAX_DIST:
1234       g_value_set_int (value, gst_vp9_enc->cfg.kf_max_dist);
1235       break;
1236     case PROP_MULTIPASS_MODE:
1237       g_value_set_enum (value, gst_vp9_enc->cfg.g_pass);
1238       break;
1239     case PROP_MULTIPASS_CACHE_FILE:
1240       g_value_set_string (value, gst_vp9_enc->multipass_cache_file);
1241       break;
1242     case PROP_TS_NUMBER_LAYERS:
1243       g_value_set_int (value, gst_vp9_enc->cfg.ts_number_layers);
1244       break;
1245     case PROP_TS_TARGET_BITRATE:{
1246       GValueArray *va;
1247
1248       if (gst_vp9_enc->n_ts_target_bitrate == 0) {
1249         g_value_set_boxed (value, NULL);
1250       } else {
1251         gint i;
1252
1253         va = g_value_array_new (gst_vp9_enc->n_ts_target_bitrate);
1254         for (i = 0; i < gst_vp9_enc->n_ts_target_bitrate; i++) {
1255           GValue v = { 0, };
1256
1257           g_value_init (&v, G_TYPE_INT);
1258           g_value_set_int (&v, gst_vp9_enc->cfg.ts_target_bitrate[i]);
1259           g_value_array_append (va, &v);
1260           g_value_unset (&v);
1261         }
1262         g_value_set_boxed (value, va);
1263         g_value_array_free (va);
1264       }
1265       break;
1266     }
1267     case PROP_TS_RATE_DECIMATOR:{
1268       GValueArray *va;
1269
1270       if (gst_vp9_enc->n_ts_rate_decimator == 0) {
1271         g_value_set_boxed (value, NULL);
1272       } else {
1273         gint i;
1274
1275         va = g_value_array_new (gst_vp9_enc->n_ts_rate_decimator);
1276         for (i = 0; i < gst_vp9_enc->n_ts_rate_decimator; i++) {
1277           GValue v = { 0, };
1278
1279           g_value_init (&v, G_TYPE_INT);
1280           g_value_set_int (&v, gst_vp9_enc->cfg.ts_rate_decimator[i]);
1281           g_value_array_append (va, &v);
1282           g_value_unset (&v);
1283         }
1284         g_value_set_boxed (value, va);
1285         g_value_array_free (va);
1286       }
1287       break;
1288     }
1289     case PROP_TS_PERIODICITY:
1290       g_value_set_int (value, gst_vp9_enc->cfg.ts_periodicity);
1291       break;
1292     case PROP_TS_LAYER_ID:{
1293       GValueArray *va;
1294
1295       if (gst_vp9_enc->n_ts_layer_id == 0) {
1296         g_value_set_boxed (value, NULL);
1297       } else {
1298         gint i;
1299
1300         va = g_value_array_new (gst_vp9_enc->n_ts_layer_id);
1301         for (i = 0; i < gst_vp9_enc->n_ts_layer_id; i++) {
1302           GValue v = { 0, };
1303
1304           g_value_init (&v, G_TYPE_INT);
1305           g_value_set_int (&v, gst_vp9_enc->cfg.ts_layer_id[i]);
1306           g_value_array_append (va, &v);
1307           g_value_unset (&v);
1308         }
1309         g_value_set_boxed (value, va);
1310         g_value_array_free (va);
1311       }
1312       break;
1313     }
1314     case PROP_ERROR_RESILIENT:
1315       g_value_set_flags (value, gst_vp9_enc->cfg.g_error_resilient);
1316       break;
1317     case PROP_LAG_IN_FRAMES:
1318       g_value_set_int (value, gst_vp9_enc->cfg.g_lag_in_frames);
1319       break;
1320     case PROP_THREADS:
1321       g_value_set_int (value, gst_vp9_enc->cfg.g_threads);
1322       break;
1323     case PROP_DEADLINE:
1324       g_value_set_int64 (value, gst_vp9_enc->deadline);
1325       break;
1326     case PROP_H_SCALING_MODE:
1327       g_value_set_enum (value, gst_vp9_enc->h_scaling_mode);
1328       break;
1329     case PROP_V_SCALING_MODE:
1330       g_value_set_enum (value, gst_vp9_enc->v_scaling_mode);
1331       break;
1332     case PROP_CPU_USED:
1333       g_value_set_int (value, gst_vp9_enc->cpu_used);
1334       break;
1335     case PROP_ENABLE_AUTO_ALT_REF:
1336       g_value_set_boolean (value, gst_vp9_enc->enable_auto_alt_ref);
1337       break;
1338     case PROP_NOISE_SENSITIVITY:
1339       g_value_set_int (value, gst_vp9_enc->noise_sensitivity);
1340       break;
1341     case PROP_SHARPNESS:
1342       g_value_set_int (value, gst_vp9_enc->sharpness);
1343       break;
1344     case PROP_STATIC_THRESHOLD:
1345       g_value_set_int (value, gst_vp9_enc->static_threshold);
1346       break;
1347     case PROP_TOKEN_PARTITIONS:
1348       g_value_set_enum (value, gst_vp9_enc->token_partitions);
1349       break;
1350     case PROP_ARNR_MAXFRAMES:
1351       g_value_set_int (value, gst_vp9_enc->arnr_maxframes);
1352       break;
1353     case PROP_ARNR_STRENGTH:
1354       g_value_set_int (value, gst_vp9_enc->arnr_strength);
1355       break;
1356     case PROP_ARNR_TYPE:
1357       g_value_set_int (value, gst_vp9_enc->arnr_type);
1358       break;
1359     case PROP_TUNING:
1360       g_value_set_enum (value, gst_vp9_enc->tuning);
1361       break;
1362     case PROP_CQ_LEVEL:
1363       g_value_set_int (value, gst_vp9_enc->cq_level);
1364       break;
1365     case PROP_MAX_INTRA_BITRATE_PCT:
1366       g_value_set_int (value, gst_vp9_enc->max_intra_bitrate_pct);
1367       break;
1368     case PROP_TIMEBASE:
1369       gst_value_set_fraction (value, gst_vp9_enc->timebase_n,
1370           gst_vp9_enc->timebase_d);
1371       break;
1372     default:
1373       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
1374       break;
1375   }
1376
1377   g_mutex_unlock (&gst_vp9_enc->encoder_lock);
1378 }
1379
1380 static gboolean
1381 gst_vp9_enc_start (GstVideoEncoder * video_encoder)
1382 {
1383   GstVP9Enc *encoder = GST_VP9_ENC (video_encoder);
1384
1385   GST_DEBUG_OBJECT (video_encoder, "start");
1386
1387   if (!encoder->have_default_config) {
1388     GST_ELEMENT_ERROR (encoder, LIBRARY, INIT,
1389         ("Failed to get default encoder configuration"), (NULL));
1390     return FALSE;
1391   }
1392
1393   return TRUE;
1394 }
1395
1396 static gboolean
1397 gst_vp9_enc_stop (GstVideoEncoder * video_encoder)
1398 {
1399   GstVP9Enc *encoder;
1400
1401   GST_DEBUG_OBJECT (video_encoder, "stop");
1402
1403   encoder = GST_VP9_ENC (video_encoder);
1404
1405   g_mutex_lock (&encoder->encoder_lock);
1406   if (encoder->inited) {
1407     vpx_codec_destroy (&encoder->encoder);
1408     encoder->inited = FALSE;
1409   }
1410
1411   if (encoder->first_pass_cache_content) {
1412     g_byte_array_free (encoder->first_pass_cache_content, TRUE);
1413     encoder->first_pass_cache_content = NULL;
1414   }
1415
1416   if (encoder->cfg.rc_twopass_stats_in.buf) {
1417     g_free (encoder->cfg.rc_twopass_stats_in.buf);
1418     encoder->cfg.rc_twopass_stats_in.buf = NULL;
1419     encoder->cfg.rc_twopass_stats_in.sz = 0;
1420   }
1421   g_mutex_unlock (&encoder->encoder_lock);
1422
1423   gst_tag_setter_reset_tags (GST_TAG_SETTER (encoder));
1424
1425   return TRUE;
1426 }
1427
1428 static gint
1429 gst_vp9_enc_get_downstream_profile (GstVP9Enc * encoder)
1430 {
1431   GstCaps *allowed;
1432   GstStructure *s;
1433   gint profile = DEFAULT_PROFILE;
1434
1435   allowed = gst_pad_get_allowed_caps (GST_VIDEO_ENCODER_SRC_PAD (encoder));
1436   if (allowed) {
1437     allowed = gst_caps_truncate (allowed);
1438     s = gst_caps_get_structure (allowed, 0);
1439     if (gst_structure_has_field (s, "profile")) {
1440       const GValue *v = gst_structure_get_value (s, "profile");
1441       const gchar *profile_str = NULL;
1442
1443       if (GST_VALUE_HOLDS_LIST (v) && gst_value_list_get_size (v) > 0) {
1444         profile_str = g_value_get_string (gst_value_list_get_value (v, 0));
1445       } else if (G_VALUE_HOLDS_STRING (v)) {
1446         profile_str = g_value_get_string (v);
1447       }
1448
1449       if (profile_str) {
1450         gchar *endptr = NULL;
1451
1452         profile = g_ascii_strtoull (profile_str, &endptr, 10);
1453         if (*endptr != '\0' || profile < 0 || profile > 3) {
1454           GST_ERROR_OBJECT (encoder, "Invalid profile '%s'", profile_str);
1455           profile = DEFAULT_PROFILE;
1456         }
1457       }
1458     }
1459     gst_caps_unref (allowed);
1460   }
1461
1462   GST_DEBUG_OBJECT (encoder, "Using profile %d", profile);
1463
1464   return profile;
1465 }
1466
1467 static gboolean
1468 gst_vp9_enc_set_format (GstVideoEncoder * video_encoder,
1469     GstVideoCodecState * state)
1470 {
1471   GstVP9Enc *encoder;
1472   vpx_codec_err_t status;
1473   vpx_image_t *image;
1474   GstCaps *caps;
1475   gboolean ret = TRUE;
1476   GstVideoInfo *info = &state->info;
1477   GstVideoCodecState *output_state;
1478   gchar *profile_str;
1479
1480   encoder = GST_VP9_ENC (video_encoder);
1481   GST_DEBUG_OBJECT (video_encoder, "set_format");
1482
1483   if (encoder->inited) {
1484     gst_vp9_enc_drain (video_encoder);
1485     g_mutex_lock (&encoder->encoder_lock);
1486     vpx_codec_destroy (&encoder->encoder);
1487     encoder->inited = FALSE;
1488   } else {
1489     g_mutex_lock (&encoder->encoder_lock);
1490   }
1491
1492   encoder->cfg.g_profile = gst_vp9_enc_get_downstream_profile (encoder);
1493
1494   /* Scale default bitrate to our size */
1495   if (!encoder->rc_target_bitrate_set)
1496     encoder->cfg.rc_target_bitrate =
1497         gst_util_uint64_scale (DEFAULT_RC_TARGET_BITRATE,
1498         GST_VIDEO_INFO_WIDTH (info) * GST_VIDEO_INFO_HEIGHT (info),
1499         320 * 240 * 1000);
1500
1501   encoder->cfg.g_w = GST_VIDEO_INFO_WIDTH (info);
1502   encoder->cfg.g_h = GST_VIDEO_INFO_HEIGHT (info);
1503
1504   if (encoder->timebase_n != 0 && encoder->timebase_d != 0) {
1505     GST_DEBUG_OBJECT (video_encoder, "Using timebase configuration");
1506     encoder->cfg.g_timebase.num = encoder->timebase_n;
1507     encoder->cfg.g_timebase.den = encoder->timebase_d;
1508   } else if (GST_VIDEO_INFO_FPS_D (info) != 0
1509       && GST_VIDEO_INFO_FPS_N (info) != 0) {
1510     /* GstVideoInfo holds either the framerate or max-framerate (if framerate
1511      * is 0) in FPS so this will be used if max-framerate or framerate
1512      * is set */
1513     GST_DEBUG_OBJECT (video_encoder, "Setting timebase from framerate");
1514     encoder->cfg.g_timebase.num = GST_VIDEO_INFO_FPS_D (info);
1515     encoder->cfg.g_timebase.den = GST_VIDEO_INFO_FPS_N (info);
1516   } else {
1517     /* Zero framerate and max-framerate but still need to setup the timebase to avoid
1518      * a divide by zero error. Presuming the lowest common denominator will be RTP -
1519      * VP9 payload draft states clock rate of 90000 which should work for anyone where
1520      * FPS < 90000 (shouldn't be too many cases where it's higher) though wouldn't be optimal. RTP specification
1521      * http://tools.ietf.org/html/draft-ietf-payload-vp9-01 section 6.3.1 */
1522     GST_WARNING_OBJECT (encoder,
1523         "No timebase and zero framerate setting timebase to 1/90000");
1524     encoder->cfg.g_timebase.num = 1;
1525     encoder->cfg.g_timebase.den = 90000;
1526   }
1527
1528   if (encoder->cfg.g_pass == VPX_RC_FIRST_PASS) {
1529     if (encoder->first_pass_cache_content == NULL) {
1530       encoder->first_pass_cache_content = g_byte_array_sized_new (4096);
1531     }
1532   } else if (encoder->cfg.g_pass == VPX_RC_LAST_PASS) {
1533     GError *err = NULL;
1534
1535     if (!encoder->multipass_cache_file) {
1536       GST_ELEMENT_ERROR (encoder, RESOURCE, OPEN_READ,
1537           ("No multipass cache file provided"), (NULL));
1538       g_mutex_unlock (&encoder->encoder_lock);
1539       return FALSE;
1540     }
1541
1542     if (encoder->cfg.rc_twopass_stats_in.buf != NULL) {
1543       g_free (encoder->cfg.rc_twopass_stats_in.buf);
1544       encoder->cfg.rc_twopass_stats_in.buf = NULL;
1545       encoder->cfg.rc_twopass_stats_in.sz = 0;
1546     }
1547
1548     if (!g_file_get_contents (encoder->multipass_cache_file,
1549             (gchar **) & encoder->cfg.rc_twopass_stats_in.buf,
1550             &encoder->cfg.rc_twopass_stats_in.sz, &err)) {
1551       GST_ELEMENT_ERROR (encoder, RESOURCE, OPEN_READ,
1552           ("Failed to read multipass cache file provided"), ("%s",
1553               err->message));
1554       g_error_free (err);
1555       g_mutex_unlock (&encoder->encoder_lock);
1556       return FALSE;
1557     }
1558   }
1559
1560   status = vpx_codec_enc_init (&encoder->encoder, &vpx_codec_vp9_cx_algo,
1561       &encoder->cfg, 0);
1562   if (status != VPX_CODEC_OK) {
1563     GST_ELEMENT_ERROR (encoder, LIBRARY, INIT,
1564         ("Failed to initialize encoder"), ("%s", gst_vpx_error_name (status)));
1565     g_mutex_unlock (&encoder->encoder_lock);
1566     return FALSE;
1567   }
1568
1569   /* FIXME: Disabled for now, does not work with VP9 */
1570 #if 0
1571   {
1572     vpx_scaling_mode_t sm;
1573
1574     sm.h_scaling_mode = encoder->h_scaling_mode;
1575     sm.v_scaling_mode = encoder->v_scaling_mode;
1576
1577     status = vpx_codec_control (&encoder->encoder, VP8E_SET_SCALEMODE, &sm);
1578     if (status != VPX_CODEC_OK) {
1579       GST_WARNING_OBJECT (encoder, "Failed to set VP8E_SET_SCALEMODE: %s",
1580           gst_vpx_error_name (status));
1581     }
1582   }
1583 #endif
1584
1585   status =
1586       vpx_codec_control (&encoder->encoder, VP8E_SET_CPUUSED,
1587       encoder->cpu_used);
1588   if (status != VPX_CODEC_OK) {
1589     GST_WARNING_OBJECT (encoder, "Failed to set VP8E_SET_CPUUSED: %s",
1590         gst_vpx_error_name (status));
1591   }
1592
1593   status =
1594       vpx_codec_control (&encoder->encoder, VP8E_SET_ENABLEAUTOALTREF,
1595       (encoder->enable_auto_alt_ref ? 1 : 0));
1596   if (status != VPX_CODEC_OK) {
1597     GST_WARNING_OBJECT (encoder,
1598         "Failed to set VP8E_SET_ENABLEAUTOALTREF: %s",
1599         gst_vpx_error_name (status));
1600   }
1601   status = vpx_codec_control (&encoder->encoder, VP8E_SET_NOISE_SENSITIVITY,
1602       encoder->noise_sensitivity);
1603   if (status != VPX_CODEC_OK) {
1604     GST_WARNING_OBJECT (encoder,
1605         "Failed to set VP8E_SET_NOISE_SENSITIVITY: %s",
1606         gst_vpx_error_name (status));
1607   }
1608   status = vpx_codec_control (&encoder->encoder, VP8E_SET_SHARPNESS,
1609       encoder->sharpness);
1610   if (status != VPX_CODEC_OK) {
1611     GST_WARNING_OBJECT (encoder,
1612         "Failed to set VP8E_SET_SHARPNESS: %s", gst_vpx_error_name (status));
1613   }
1614   status = vpx_codec_control (&encoder->encoder, VP8E_SET_STATIC_THRESHOLD,
1615       encoder->static_threshold);
1616   if (status != VPX_CODEC_OK) {
1617     GST_WARNING_OBJECT (encoder,
1618         "Failed to set VP8E_SET_STATIC_THRESHOLD: %s",
1619         gst_vpx_error_name (status));
1620   }
1621   status = vpx_codec_control (&encoder->encoder, VP8E_SET_TOKEN_PARTITIONS,
1622       encoder->token_partitions);
1623   if (status != VPX_CODEC_OK) {
1624     GST_WARNING_OBJECT (encoder,
1625         "Failed to set VP8E_SET_TOKEN_PARTIONS: %s",
1626         gst_vpx_error_name (status));
1627   }
1628   status = vpx_codec_control (&encoder->encoder, VP8E_SET_ARNR_MAXFRAMES,
1629       encoder->arnr_maxframes);
1630   if (status != VPX_CODEC_OK) {
1631     GST_WARNING_OBJECT (encoder,
1632         "Failed to set VP8E_SET_ARNR_MAXFRAMES: %s",
1633         gst_vpx_error_name (status));
1634   }
1635   status = vpx_codec_control (&encoder->encoder, VP8E_SET_ARNR_STRENGTH,
1636       encoder->arnr_strength);
1637   if (status != VPX_CODEC_OK) {
1638     GST_WARNING_OBJECT (encoder,
1639         "Failed to set VP8E_SET_ARNR_STRENGTH: %s",
1640         gst_vpx_error_name (status));
1641   }
1642   status = vpx_codec_control (&encoder->encoder, VP8E_SET_TUNING,
1643       encoder->tuning);
1644   if (status != VPX_CODEC_OK) {
1645     GST_WARNING_OBJECT (encoder,
1646         "Failed to set VP8E_SET_TUNING: %s", gst_vpx_error_name (status));
1647   }
1648   status = vpx_codec_control (&encoder->encoder, VP8E_SET_CQ_LEVEL,
1649       encoder->cq_level);
1650   if (status != VPX_CODEC_OK) {
1651     GST_WARNING_OBJECT (encoder,
1652         "Failed to set VP8E_SET_CQ_LEVEL: %s", gst_vpx_error_name (status));
1653   }
1654   status = vpx_codec_control (&encoder->encoder, VP8E_SET_MAX_INTRA_BITRATE_PCT,
1655       encoder->max_intra_bitrate_pct);
1656   if (status != VPX_CODEC_OK) {
1657     GST_WARNING_OBJECT (encoder,
1658         "Failed to set VP8E_SET_MAX_INTRA_BITRATE_PCT: %s",
1659         gst_vpx_error_name (status));
1660   }
1661
1662   if (GST_VIDEO_INFO_FPS_D (info) == 0 || GST_VIDEO_INFO_FPS_N (info) == 0) {
1663     gst_video_encoder_set_latency (video_encoder, GST_CLOCK_TIME_NONE,
1664         GST_CLOCK_TIME_NONE);
1665   } else {
1666     gst_video_encoder_set_latency (video_encoder, 0,
1667         gst_util_uint64_scale (encoder->cfg.g_lag_in_frames,
1668             GST_VIDEO_INFO_FPS_D (info) * GST_SECOND,
1669             GST_VIDEO_INFO_FPS_N (info)));
1670   }
1671   encoder->inited = TRUE;
1672
1673   /* Store input state */
1674   if (encoder->input_state)
1675     gst_video_codec_state_unref (encoder->input_state);
1676   encoder->input_state = gst_video_codec_state_ref (state);
1677
1678   /* prepare cached image buffer setup */
1679   image = &encoder->image;
1680   memset (image, 0, sizeof (*image));
1681
1682   switch (encoder->input_state->info.finfo->format) {
1683     case GST_VIDEO_FORMAT_I420:
1684       image->fmt = VPX_IMG_FMT_I420;
1685       image->bps = 12;
1686       image->x_chroma_shift = image->y_chroma_shift = 1;
1687       break;
1688     case GST_VIDEO_FORMAT_YV12:
1689       image->fmt = VPX_IMG_FMT_YV12;
1690       image->bps = 12;
1691       image->x_chroma_shift = image->y_chroma_shift = 1;
1692       break;
1693     case GST_VIDEO_FORMAT_Y42B:
1694       image->fmt = VPX_IMG_FMT_I422;
1695       image->bps = 16;
1696       image->x_chroma_shift = 1;
1697       image->y_chroma_shift = 0;
1698       break;
1699     case GST_VIDEO_FORMAT_Y444:
1700       image->fmt = VPX_IMG_FMT_I444;
1701       image->bps = 24;
1702       image->x_chroma_shift = image->y_chroma_shift = 0;
1703       break;
1704     default:
1705       g_assert_not_reached ();
1706       break;
1707   }
1708   image->w = image->d_w = GST_VIDEO_INFO_WIDTH (info);
1709   image->h = image->d_h = GST_VIDEO_INFO_HEIGHT (info);
1710
1711   image->stride[VPX_PLANE_Y] = GST_VIDEO_INFO_COMP_STRIDE (info, 0);
1712   image->stride[VPX_PLANE_U] = GST_VIDEO_INFO_COMP_STRIDE (info, 1);
1713   image->stride[VPX_PLANE_V] = GST_VIDEO_INFO_COMP_STRIDE (info, 2);
1714
1715   profile_str = g_strdup_printf ("%d", encoder->cfg.g_profile);
1716   caps = gst_caps_new_simple ("video/x-vp9",
1717       "profile", G_TYPE_STRING, profile_str, NULL);
1718   g_free (profile_str);
1719
1720   g_mutex_unlock (&encoder->encoder_lock);
1721
1722   output_state =
1723       gst_video_encoder_set_output_state (video_encoder, caps, state);
1724   gst_video_codec_state_unref (output_state);
1725
1726   gst_video_encoder_negotiate (GST_VIDEO_ENCODER (encoder));
1727
1728   return ret;
1729 }
1730
1731 static GstFlowReturn
1732 gst_vp9_enc_process (GstVP9Enc * encoder)
1733 {
1734   vpx_codec_iter_t iter = NULL;
1735   const vpx_codec_cx_pkt_t *pkt;
1736   GstVideoEncoder *video_encoder;
1737   GstVideoCodecFrame *frame;
1738   GstFlowReturn ret = GST_FLOW_OK;
1739
1740   video_encoder = GST_VIDEO_ENCODER (encoder);
1741
1742   g_mutex_lock (&encoder->encoder_lock);
1743   pkt = vpx_codec_get_cx_data (&encoder->encoder, &iter);
1744   while (pkt != NULL) {
1745     GstBuffer *buffer;
1746     gboolean invisible;
1747
1748     GST_DEBUG_OBJECT (encoder, "packet %u type %d", (guint) pkt->data.frame.sz,
1749         pkt->kind);
1750
1751     if (pkt->kind == VPX_CODEC_STATS_PKT
1752         && encoder->cfg.g_pass == VPX_RC_FIRST_PASS) {
1753       GST_LOG_OBJECT (encoder, "handling STATS packet");
1754
1755       g_byte_array_append (encoder->first_pass_cache_content,
1756           pkt->data.twopass_stats.buf, pkt->data.twopass_stats.sz);
1757
1758       frame = gst_video_encoder_get_oldest_frame (video_encoder);
1759       if (frame != NULL) {
1760         buffer = gst_buffer_new ();
1761         GST_BUFFER_FLAG_SET (buffer, GST_BUFFER_FLAG_LIVE);
1762         frame->output_buffer = buffer;
1763         g_mutex_unlock (&encoder->encoder_lock);
1764         ret = gst_video_encoder_finish_frame (video_encoder, frame);
1765         g_mutex_lock (&encoder->encoder_lock);
1766       }
1767
1768       pkt = vpx_codec_get_cx_data (&encoder->encoder, &iter);
1769       continue;
1770     } else if (pkt->kind != VPX_CODEC_CX_FRAME_PKT) {
1771       GST_LOG_OBJECT (encoder, "non frame pkt: %d", pkt->kind);
1772       pkt = vpx_codec_get_cx_data (&encoder->encoder, &iter);
1773       continue;
1774     }
1775
1776     invisible = (pkt->data.frame.flags & VPX_FRAME_IS_INVISIBLE) != 0;
1777     frame = gst_video_encoder_get_oldest_frame (video_encoder);
1778     g_assert (frame != NULL);
1779     if ((pkt->data.frame.flags & VPX_FRAME_IS_KEY) != 0)
1780       GST_VIDEO_CODEC_FRAME_SET_SYNC_POINT (frame);
1781     else
1782       GST_VIDEO_CODEC_FRAME_UNSET_SYNC_POINT (frame);
1783
1784     /* FIXME : It would be nice to avoid the memory copy ... */
1785     buffer =
1786         gst_buffer_new_wrapped (g_memdup (pkt->data.frame.buf,
1787             pkt->data.frame.sz), pkt->data.frame.sz);
1788
1789     if (invisible) {
1790       g_mutex_unlock (&encoder->encoder_lock);
1791       ret = gst_pad_push (GST_VIDEO_ENCODER_SRC_PAD (encoder), buffer);
1792       g_mutex_lock (&encoder->encoder_lock);
1793       gst_video_codec_frame_unref (frame);
1794     } else {
1795       frame->output_buffer = buffer;
1796       g_mutex_unlock (&encoder->encoder_lock);
1797       ret = gst_video_encoder_finish_frame (video_encoder, frame);
1798       g_mutex_lock (&encoder->encoder_lock);
1799     }
1800
1801     pkt = vpx_codec_get_cx_data (&encoder->encoder, &iter);
1802   }
1803   g_mutex_unlock (&encoder->encoder_lock);
1804
1805   return ret;
1806 }
1807
1808 /* This function should be called holding then stream lock*/
1809 static GstFlowReturn
1810 gst_vp9_enc_drain (GstVideoEncoder * video_encoder)
1811 {
1812   GstVP9Enc *encoder;
1813   int flags = 0;
1814   vpx_codec_err_t status;
1815   gint64 deadline;
1816
1817   encoder = GST_VP9_ENC (video_encoder);
1818
1819   g_mutex_lock (&encoder->encoder_lock);
1820   deadline = encoder->deadline;
1821
1822   status =
1823       vpx_codec_encode (&encoder->encoder, NULL, encoder->n_frames, 1, flags,
1824       deadline);
1825   g_mutex_unlock (&encoder->encoder_lock);
1826
1827   if (status != 0) {
1828     GST_ERROR_OBJECT (encoder, "encode returned %d %s", status,
1829         gst_vpx_error_name (status));
1830     return GST_FLOW_ERROR;
1831   }
1832
1833   /* dispatch remaining frames */
1834   gst_vp9_enc_process (encoder);
1835
1836   g_mutex_lock (&encoder->encoder_lock);
1837   if (encoder->cfg.g_pass == VPX_RC_FIRST_PASS && encoder->multipass_cache_file) {
1838     GError *err = NULL;
1839
1840     if (!g_file_set_contents (encoder->multipass_cache_file,
1841             (const gchar *) encoder->first_pass_cache_content->data,
1842             encoder->first_pass_cache_content->len, &err)) {
1843       GST_ELEMENT_ERROR (encoder, RESOURCE, WRITE, (NULL),
1844           ("Failed to write multipass cache file: %s", err->message));
1845       g_error_free (err);
1846     }
1847   }
1848   g_mutex_unlock (&encoder->encoder_lock);
1849
1850   return GST_FLOW_OK;
1851 }
1852
1853 static GstFlowReturn
1854 gst_vp9_enc_finish (GstVideoEncoder * video_encoder)
1855 {
1856   GstFlowReturn ret;
1857
1858   GST_DEBUG_OBJECT (video_encoder, "finish");
1859
1860   ret = gst_vp9_enc_drain (video_encoder);
1861
1862   return ret;
1863 }
1864
1865 static vpx_image_t *
1866 gst_vp9_enc_buffer_to_image (GstVP9Enc * enc, GstVideoFrame * frame)
1867 {
1868   vpx_image_t *image = g_slice_new (vpx_image_t);
1869
1870   memcpy (image, &enc->image, sizeof (*image));
1871
1872   image->planes[VPX_PLANE_Y] = GST_VIDEO_FRAME_COMP_DATA (frame, 0);
1873   image->planes[VPX_PLANE_U] = GST_VIDEO_FRAME_COMP_DATA (frame, 1);
1874   image->planes[VPX_PLANE_V] = GST_VIDEO_FRAME_COMP_DATA (frame, 2);
1875
1876   image->stride[VPX_PLANE_Y] = GST_VIDEO_FRAME_COMP_STRIDE (frame, 0);
1877   image->stride[VPX_PLANE_U] = GST_VIDEO_FRAME_COMP_STRIDE (frame, 1);
1878   image->stride[VPX_PLANE_V] = GST_VIDEO_FRAME_COMP_STRIDE (frame, 2);
1879
1880   return image;
1881 }
1882
1883 static GstFlowReturn
1884 gst_vp9_enc_handle_frame (GstVideoEncoder * video_encoder,
1885     GstVideoCodecFrame * frame)
1886 {
1887   GstVP9Enc *encoder;
1888   vpx_codec_err_t status;
1889   int flags = 0;
1890   vpx_image_t *image;
1891   GstVideoFrame vframe;
1892
1893   GST_DEBUG_OBJECT (video_encoder, "handle_frame");
1894
1895   encoder = GST_VP9_ENC (video_encoder);
1896
1897   encoder->n_frames++;
1898
1899   GST_DEBUG_OBJECT (video_encoder, "size %d %d",
1900       GST_VIDEO_INFO_WIDTH (&encoder->input_state->info),
1901       GST_VIDEO_INFO_HEIGHT (&encoder->input_state->info));
1902
1903   gst_video_frame_map (&vframe, &encoder->input_state->info,
1904       frame->input_buffer, GST_MAP_READ);
1905   image = gst_vp9_enc_buffer_to_image (encoder, &vframe);
1906
1907   if (GST_VIDEO_CODEC_FRAME_IS_FORCE_KEYFRAME (frame)) {
1908     flags |= VPX_EFLAG_FORCE_KF;
1909   }
1910
1911   g_mutex_lock (&encoder->encoder_lock);
1912   status = vpx_codec_encode (&encoder->encoder, image,
1913       encoder->n_frames, 1, flags, encoder->deadline);
1914   g_mutex_unlock (&encoder->encoder_lock);
1915   gst_video_frame_unmap (&vframe);
1916
1917   if (status != 0) {
1918     GST_ELEMENT_ERROR (encoder, LIBRARY, ENCODE,
1919         ("Failed to encode frame"), ("%s", gst_vpx_error_name (status)));
1920     return FALSE;
1921   }
1922   gst_video_codec_frame_unref (frame);
1923   return gst_vp9_enc_process (encoder);
1924 }
1925
1926 static gboolean
1927 gst_vp9_enc_sink_event (GstVideoEncoder * benc, GstEvent * event)
1928 {
1929   GstVP9Enc *enc = GST_VP9_ENC (benc);
1930
1931   /* FIXME : Move this to base encoder class */
1932
1933   if (GST_EVENT_TYPE (event) == GST_EVENT_TAG) {
1934     GstTagList *list;
1935     GstTagSetter *setter = GST_TAG_SETTER (enc);
1936     const GstTagMergeMode mode = gst_tag_setter_get_tag_merge_mode (setter);
1937
1938     gst_event_parse_tag (event, &list);
1939     gst_tag_setter_merge_tags (setter, list, mode);
1940   }
1941
1942   /* just peeked, baseclass handles the rest */
1943   return GST_VIDEO_ENCODER_CLASS (parent_class)->sink_event (benc, event);
1944 }
1945
1946 static gboolean
1947 gst_vp9_enc_propose_allocation (GstVideoEncoder * encoder, GstQuery * query)
1948 {
1949   gst_query_add_allocation_meta (query, GST_VIDEO_META_API_TYPE, NULL);
1950
1951   return GST_VIDEO_ENCODER_CLASS (parent_class)->propose_allocation (encoder,
1952       query);
1953 }
1954
1955 #endif /* HAVE_VP9_ENCODER */