sys/msdk/gstmsdkh265enc.c

   1 /* GStreamer Intel MSDK plugin
   2  * Copyright (c) 2016, Oblong Industries, Inc.
   3  * All rights reserved.
   4  *
   5  * Redistribution and use in source and binary forms, with or without
   6  * modification, are permitted provided that the following conditions are met:
   7  *
   8  * 1. Redistributions of source code must retain the above copyright notice,
   9  *    this list of conditions and the following disclaimer.
  10  *
  11  * 2. Redistributions in binary form must reproduce the above copyright notice,
  12  *    this list of conditions and the following disclaimer in the documentation
  13  *    and/or other materials provided with the distribution.
  14  *
  15  * 3. Neither the name of the copyright holder nor the names of its contributors
  16  *    may be used to endorse or promote products derived from this software
  17  *    without specific prior written permission.
  18  *
  19  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS"
  20  * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO,
  21  * THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  22  * PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT HOLDER OR
  23  * CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  24  * EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  25  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS;
  26  * OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY,
  27  * WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE
  28  * OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE,
  29  * EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  30  */
  31
  32 #ifdef HAVE_CONFIG_H
  33 #  include <config.h>
  34 #endif
  35
  36 #include <gst/allocators/gstdmabuf.h>
  37
  38 #include "gstmsdkh265enc.h"
  39
  40 GST_DEBUG_CATEGORY_EXTERN (gst_msdkh265enc_debug);
  41 #define GST_CAT_DEFAULT gst_msdkh265enc_debug
  42
  43 enum
  44 {
  45   PROP_LOW_POWER = GST_MSDKENC_PROP_MAX,
  46   PROP_TILE_ROW,
  47   PROP_TILE_COL,
  48   PROP_MAX_SLICE_SIZE,
  49 };
  50
  51 #define PROP_LOWPOWER_DEFAULT           FALSE
  52 #define PROP_TILE_ROW_DEFAULT           1
  53 #define PROP_TILE_COL_DEFAULT           1
  54 #define PROP_MAX_SLICE_SIZE_DEFAULT     0
  55
  56 #define RAW_FORMATS "NV12, I420, YV12, YUY2, UYVY, BGRA, P010_10LE, VUYA"
  57
  58 #if (MFX_VERSION >= 1027)
  59 #define COMMON_FORMAT "{ " RAW_FORMATS ", Y410, Y210 }"
  60 #else
  61 #define COMMON_FORMAT "{ " RAW_FORMATS " }"
  62 #endif
  63
  64 static GstStaticPadTemplate sink_factory = GST_STATIC_PAD_TEMPLATE ("sink",
  65     GST_PAD_SINK,
  66     GST_PAD_ALWAYS,
  67     GST_STATIC_CAPS (GST_MSDK_CAPS_STR (COMMON_FORMAT,
  68             "{ NV12, P010_10LE }")));
  69
  70 static GstStaticPadTemplate src_factory = GST_STATIC_PAD_TEMPLATE ("src",
  71     GST_PAD_SRC,
  72     GST_PAD_ALWAYS,
  73     GST_STATIC_CAPS ("video/x-h265, "
  74         "framerate = (fraction) [0/1, MAX], "
  75         "width = (int) [ 1, MAX ], height = (int) [ 1, MAX ], "
  76         "stream-format = (string) byte-stream , alignment = (string) au , "
  77         "profile = (string) { main, main-10, main-444, main-444-10, main-422-10 } ")
  78     );
  79
  80 #define gst_msdkh265enc_parent_class parent_class
  81 G_DEFINE_TYPE (GstMsdkH265Enc, gst_msdkh265enc, GST_TYPE_MSDKENC);
  82
  83 static gboolean
  84 gst_msdkh265enc_set_format (GstMsdkEnc * encoder)
  85 {
  86   return TRUE;
  87 }
  88
  89 static gboolean
  90 gst_msdkh265enc_configure (GstMsdkEnc * encoder)
  91 {
  92   GstMsdkH265Enc *h265enc = GST_MSDKH265ENC (encoder);
  93   mfxSession session;
  94   const mfxPluginUID *uid;
  95
  96   session = gst_msdk_context_get_session (encoder->context);
  97
  98   if (encoder->hardware)
  99     uid = &MFX_PLUGINID_HEVCE_HW;
 100   else
 101     uid = &MFX_PLUGINID_HEVCE_SW;
 102
 103   if (!gst_msdk_load_plugin (session, uid, 1, "msdkh265enc"))
 104     return FALSE;
 105
 106   encoder->param.mfx.CodecId = MFX_CODEC_HEVC;
 107
 108   switch (encoder->param.mfx.FrameInfo.FourCC) {
 109     case MFX_FOURCC_P010:
 110       encoder->param.mfx.CodecProfile = MFX_PROFILE_HEVC_MAIN10;
 111       break;
 112     case MFX_FOURCC_AYUV:
 113     case MFX_FOURCC_YUY2:
 114 #if (MFX_VERSION >= 1027)
 115     case MFX_FOURCC_Y410:
 116     case MFX_FOURCC_Y210:
 117 #endif
 118       encoder->param.mfx.CodecProfile = MFX_PROFILE_HEVC_REXT;
 119       break;
 120     default:
 121       encoder->param.mfx.CodecProfile = MFX_PROFILE_HEVC_MAIN;
 122   }
 123
 124   /* IdrInterval field of MediaSDK HEVC encoder behaves differently
 125    * than other encoders. IdrInteval == 1 indicate every
 126    * I-frame should be an IDR, IdrInteval == 2 means every other
 127    * I-frame is an IDR etc. So we generalize the behaviour of property
 128    * "i-frames" by incrementing the value by one in each case*/
 129   encoder->param.mfx.IdrInterval += 1;
 130
 131   /* Enable Extended coding options */
 132   encoder->option2.MaxSliceSize = h265enc->max_slice_size;
 133   gst_msdkenc_ensure_extended_coding_options (encoder);
 134
 135   if (h265enc->num_tile_rows > 1 || h265enc->num_tile_cols > 1) {
 136     h265enc->ext_tiles.Header.BufferId = MFX_EXTBUFF_HEVC_TILES;
 137     h265enc->ext_tiles.Header.BufferSz = sizeof (h265enc->ext_tiles);
 138     h265enc->ext_tiles.NumTileRows = h265enc->num_tile_rows;
 139     h265enc->ext_tiles.NumTileColumns = h265enc->num_tile_cols;
 140
 141     gst_msdkenc_add_extra_param (encoder,
 142         (mfxExtBuffer *) & h265enc->ext_tiles);
 143
 144     /* Set a valid value to NumSlice */
 145     if (encoder->param.mfx.NumSlice == 0)
 146       encoder->param.mfx.NumSlice =
 147           h265enc->num_tile_rows * h265enc->num_tile_cols;
 148   }
 149
 150   encoder->param.mfx.LowPower =
 151       (h265enc->lowpower ? MFX_CODINGOPTION_ON : MFX_CODINGOPTION_OFF);
 152
 153   return TRUE;
 154 }
 155
 156 static inline const gchar *
 157 level_to_string (gint level)
 158 {
 159   switch (level) {
 160     case MFX_LEVEL_HEVC_1:
 161       return "1";
 162     case MFX_LEVEL_HEVC_2:
 163       return "2";
 164     case MFX_LEVEL_HEVC_21:
 165       return "2.1";
 166     case MFX_LEVEL_HEVC_3:
 167       return "3";
 168     case MFX_LEVEL_HEVC_31:
 169       return "3.1";
 170     case MFX_LEVEL_HEVC_4:
 171       return "4";
 172     case MFX_LEVEL_HEVC_41:
 173       return "4.1";
 174     case MFX_LEVEL_HEVC_5:
 175       return "5";
 176     case MFX_LEVEL_HEVC_51:
 177       return "5.1";
 178     case MFX_LEVEL_HEVC_52:
 179       return "5.2";
 180     case MFX_LEVEL_HEVC_6:
 181       return "6";
 182     case MFX_LEVEL_HEVC_61:
 183       return "6.1";
 184     case MFX_LEVEL_HEVC_62:
 185       return "6.2";
 186     default:
 187       break;
 188   }
 189
 190   return NULL;
 191 }
 192
 193 static GstCaps *
 194 gst_msdkh265enc_set_src_caps (GstMsdkEnc * encoder)
 195 {
 196   GstCaps *caps;
 197   GstStructure *structure;
 198   const gchar *level;
 199
 200   caps = gst_caps_new_empty_simple ("video/x-h265");
 201   structure = gst_caps_get_structure (caps, 0);
 202
 203   gst_structure_set (structure, "stream-format", G_TYPE_STRING, "byte-stream",
 204       NULL);
 205
 206   gst_structure_set (structure, "alignment", G_TYPE_STRING, "au", NULL);
 207
 208   switch (encoder->param.mfx.FrameInfo.FourCC) {
 209     case MFX_FOURCC_P010:
 210       gst_structure_set (structure, "profile", G_TYPE_STRING, "main-10", NULL);
 211       break;
 212     case MFX_FOURCC_AYUV:
 213       gst_structure_set (structure, "profile", G_TYPE_STRING, "main-444", NULL);
 214       break;
 215     case MFX_FOURCC_YUY2:
 216       /* The profile is main-422-10 for 8-bit 422 */
 217       gst_structure_set (structure, "profile", G_TYPE_STRING, "main-422-10",
 218           NULL);
 219       break;
 220 #if (MFX_VERSION >= 1027)
 221     case MFX_FOURCC_Y410:
 222       gst_structure_set (structure, "profile", G_TYPE_STRING, "main-444-10",
 223           NULL);
 224       break;
 225     case MFX_FOURCC_Y210:
 226       gst_structure_set (structure, "profile", G_TYPE_STRING, "main-422-10",
 227           NULL);
 228       break;
 229 #endif
 230     default:
 231       gst_structure_set (structure, "profile", G_TYPE_STRING, "main", NULL);
 232       break;
 233   }
 234
 235   level = level_to_string (encoder->param.mfx.CodecLevel);
 236   if (level)
 237     gst_structure_set (structure, "level", G_TYPE_STRING, level, NULL);
 238
 239   return caps;
 240 }
 241
 242 static void
 243 gst_msdkh265enc_set_property (GObject * object, guint prop_id,
 244     const GValue * value, GParamSpec * pspec)
 245 {
 246   GstMsdkH265Enc *thiz = GST_MSDKH265ENC (object);
 247
 248   if (gst_msdkenc_set_common_property (object, prop_id, value, pspec))
 249     return;
 250
 251   GST_OBJECT_LOCK (thiz);
 252
 253   switch (prop_id) {
 254     case PROP_LOW_POWER:
 255       thiz->lowpower = g_value_get_boolean (value);
 256       break;
 257
 258     case PROP_TILE_ROW:
 259       thiz->num_tile_rows = g_value_get_uint (value);
 260       break;
 261
 262     case PROP_TILE_COL:
 263       thiz->num_tile_cols = g_value_get_uint (value);
 264       break;
 265
 266     case PROP_MAX_SLICE_SIZE:
 267       thiz->max_slice_size = g_value_get_uint (value);
 268       break;
 269
 270     default:
 271       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
 272       break;
 273   }
 274   GST_OBJECT_UNLOCK (thiz);
 275 }
 276
 277 static void
 278 gst_msdkh265enc_get_property (GObject * object, guint prop_id, GValue * value,
 279     GParamSpec * pspec)
 280 {
 281   GstMsdkH265Enc *thiz = GST_MSDKH265ENC (object);
 282
 283   if (gst_msdkenc_get_common_property (object, prop_id, value, pspec))
 284     return;
 285
 286   GST_OBJECT_LOCK (thiz);
 287   switch (prop_id) {
 288     case PROP_LOW_POWER:
 289       g_value_set_boolean (value, thiz->lowpower);
 290       break;
 291
 292     case PROP_TILE_ROW:
 293       g_value_set_uint (value, thiz->num_tile_rows);
 294       break;
 295
 296     case PROP_TILE_COL:
 297       g_value_set_uint (value, thiz->num_tile_cols);
 298       break;
 299
 300     case PROP_MAX_SLICE_SIZE:
 301       g_value_set_uint (value, thiz->max_slice_size);
 302       break;
 303
 304     default:
 305       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
 306       break;
 307   }
 308   GST_OBJECT_UNLOCK (thiz);
 309 }
 310
 311 static gboolean
 312 gst_msdkh265enc_need_reconfig (GstMsdkEnc * encoder, GstVideoCodecFrame * frame)
 313 {
 314   GstMsdkH265Enc *h265enc = GST_MSDKH265ENC (encoder);
 315
 316   return gst_msdkenc_get_roi_params (encoder, frame, h265enc->roi);
 317 }
 318
 319 static void
 320 gst_msdkh265enc_set_extra_params (GstMsdkEnc * encoder,
 321     GstVideoCodecFrame * frame)
 322 {
 323   GstMsdkH265Enc *h265enc = GST_MSDKH265ENC (encoder);
 324
 325   if (h265enc->roi[0].NumROI)
 326     gst_msdkenc_add_extra_param (encoder, (mfxExtBuffer *) & h265enc->roi[0]);
 327 }
 328
 329 static gboolean
 330 gst_msdkh265enc_need_conversion (GstMsdkEnc * encoder, GstVideoInfo * info,
 331     GstVideoFormat * out_format)
 332 {
 333   GstMsdkH265Enc *h265enc = GST_MSDKH265ENC (encoder);
 334
 335   switch (GST_VIDEO_INFO_FORMAT (info)) {
 336     case GST_VIDEO_FORMAT_NV12:
 337     case GST_VIDEO_FORMAT_P010_10LE:
 338     case GST_VIDEO_FORMAT_VUYA:
 339 #if (MFX_VERSION >= 1027)
 340     case GST_VIDEO_FORMAT_Y410:
 341     case GST_VIDEO_FORMAT_Y210:
 342 #endif
 343       return FALSE;
 344
 345     case GST_VIDEO_FORMAT_YUY2:
 346 #if (MFX_VERSION >= 1027)
 347       if (encoder->codename >= MFX_PLATFORM_ICELAKE && !h265enc->lowpower)
 348         return FALSE;
 349 #endif
 350     default:
 351       if (GST_VIDEO_INFO_COMP_DEPTH (info, 0) == 10)
 352         *out_format = GST_VIDEO_FORMAT_P010_10LE;
 353       else
 354         *out_format = GST_VIDEO_FORMAT_NV12;
 355       return TRUE;
 356   }
 357 }
 358
 359 static void
 360 gst_msdkh265enc_class_init (GstMsdkH265EncClass * klass)
 361 {
 362   GObjectClass *gobject_class;
 363   GstElementClass *element_class;
 364   GstMsdkEncClass *encoder_class;
 365
 366   gobject_class = G_OBJECT_CLASS (klass);
 367   element_class = GST_ELEMENT_CLASS (klass);
 368   encoder_class = GST_MSDKENC_CLASS (klass);
 369
 370   gobject_class->set_property = gst_msdkh265enc_set_property;
 371   gobject_class->get_property = gst_msdkh265enc_get_property;
 372
 373   encoder_class->set_format = gst_msdkh265enc_set_format;
 374   encoder_class->configure = gst_msdkh265enc_configure;
 375   encoder_class->set_src_caps = gst_msdkh265enc_set_src_caps;
 376   encoder_class->need_reconfig = gst_msdkh265enc_need_reconfig;
 377   encoder_class->set_extra_params = gst_msdkh265enc_set_extra_params;
 378   encoder_class->need_conversion = gst_msdkh265enc_need_conversion;
 379
 380   gst_msdkenc_install_common_properties (encoder_class);
 381
 382   g_object_class_install_property (gobject_class, PROP_LOW_POWER,
 383       g_param_spec_boolean ("low-power", "Low power", "Enable low power mode",
 384           PROP_LOWPOWER_DEFAULT, G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
 385
 386   g_object_class_install_property (gobject_class, PROP_TILE_ROW,
 387       g_param_spec_uint ("num-tile-rows", "number of rows for tiled encoding",
 388           "number of rows for tiled encoding",
 389           1, 8192, PROP_TILE_ROW_DEFAULT,
 390           G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
 391
 392   g_object_class_install_property (gobject_class, PROP_TILE_COL,
 393       g_param_spec_uint ("num-tile-cols",
 394           "number of columns for tiled encoding",
 395           "number of columns for tiled encoding", 1, 8192,
 396           PROP_TILE_COL_DEFAULT, G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
 397
 398   g_object_class_install_property (gobject_class, PROP_MAX_SLICE_SIZE,
 399       g_param_spec_uint ("max-slice-size", "Max Slice Size",
 400           "Maximum slice size in bytes (if enabled MSDK will ignore the control over num-slices)",
 401           0, G_MAXUINT32, PROP_MAX_SLICE_SIZE_DEFAULT,
 402           G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
 403
 404   gst_element_class_set_static_metadata (element_class,
 405       "Intel MSDK H265 encoder",
 406       "Codec/Encoder/Video/Hardware",
 407       "H265 video encoder based on Intel Media SDK",
 408       "Josep Torra <jtorra@oblong.com>");
 409
 410   gst_element_class_add_static_pad_template (element_class, &sink_factory);
 411   gst_element_class_add_static_pad_template (element_class, &src_factory);
 412 }
 413
 414 static void
 415 gst_msdkh265enc_init (GstMsdkH265Enc * thiz)
 416 {
 417   GstMsdkEnc *msdk_enc = (GstMsdkEnc *) thiz;
 418   thiz->lowpower = PROP_LOWPOWER_DEFAULT;
 419   thiz->num_tile_rows = PROP_TILE_ROW_DEFAULT;
 420   thiz->num_tile_cols = PROP_TILE_COL_DEFAULT;
 421   thiz->max_slice_size = PROP_MAX_SLICE_SIZE_DEFAULT;
 422   msdk_enc->num_extra_frames = 1;
 423 }