libavcodec/qsvenc.h

   1 /*
   2  * Intel MediaSDK QSV encoder utility functions
   3  *
   4  * copyright (c) 2013 Yukinori Yamazoe
   5  *
   6  * This file is part of FFmpeg.
   7  *
   8  * FFmpeg is free software; you can redistribute it and/or
   9  * modify it under the terms of the GNU Lesser General Public
  10  * License as published by the Free Software Foundation; either
  11  * version 2.1 of the License, or (at your option) any later version.
  12  *
  13  * FFmpeg is distributed in the hope that it will be useful,
  14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  16  * Lesser General Public License for more details.
  17  *
  18  * You should have received a copy of the GNU Lesser General Public
  19  * License along with FFmpeg; if not, write to the Free Software
  20  * Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA
  21  */
  22
  23 #ifndef AVCODEC_QSVENC_H
  24 #define AVCODEC_QSVENC_H
  25
  26 #include <stdint.h>
  27 #include <sys/types.h>
  28
  29 #include <mfxvideo.h>
  30
  31 #include "libavutil/common.h"
  32 #include "libavutil/hwcontext.h"
  33 #include "libavutil/hwcontext_qsv.h"
  34 #include "libavutil/avutil.h"
  35 #include "libavutil/fifo.h"
  36
  37 #include "avcodec.h"
  38 #include "hwconfig.h"
  39 #include "qsv_internal.h"
  40
  41 #define QSV_HAVE_EXT_VP9_TILES QSV_VERSION_ATLEAST(1, 29)
  42 #define QSV_HAVE_EXT_AV1_PARAM QSV_VERSION_ATLEAST(2, 5)
  43
  44 #if defined(_WIN32) || defined(__CYGWIN__)
  45 #define QSV_HAVE_AVBR   1
  46 #define QSV_HAVE_VCM    1
  47 #define QSV_HAVE_MF     0
  48 #define QSV_HAVE_HE     QSV_VERSION_ATLEAST(2, 4)
  49 #else
  50 #define QSV_HAVE_AVBR   0
  51 #define QSV_HAVE_VCM    0
  52 #define QSV_HAVE_MF     !QSV_ONEVPL
  53 #define QSV_HAVE_HE     0
  54 #endif
  55
  56 #define QSV_COMMON_OPTS \
  57 { "async_depth", "Maximum processing parallelism", OFFSET(qsv.async_depth), AV_OPT_TYPE_INT, { .i64 = ASYNC_DEPTH_DEFAULT }, 1, INT_MAX, VE },                          \
  58 { "preset", NULL, OFFSET(qsv.preset), AV_OPT_TYPE_INT, { .i64 = MFX_TARGETUSAGE_UNKNOWN }, MFX_TARGETUSAGE_UNKNOWN, MFX_TARGETUSAGE_BEST_SPEED,   VE, "preset" },       \
  59 { "veryfast",    NULL, 0, AV_OPT_TYPE_CONST, { .i64 = MFX_TARGETUSAGE_BEST_SPEED  },   INT_MIN, INT_MAX, VE, "preset" },                                                \
  60 { "faster",      NULL, 0, AV_OPT_TYPE_CONST, { .i64 = MFX_TARGETUSAGE_6  },            INT_MIN, INT_MAX, VE, "preset" },                                                \
  61 { "fast",        NULL, 0, AV_OPT_TYPE_CONST, { .i64 = MFX_TARGETUSAGE_5  },            INT_MIN, INT_MAX, VE, "preset" },                                                \
  62 { "medium",      NULL, 0, AV_OPT_TYPE_CONST, { .i64 = MFX_TARGETUSAGE_BALANCED  },     INT_MIN, INT_MAX, VE, "preset" },                                                \
  63 { "slow",        NULL, 0, AV_OPT_TYPE_CONST, { .i64 = MFX_TARGETUSAGE_3  },            INT_MIN, INT_MAX, VE, "preset" },                                                \
  64 { "slower",      NULL, 0, AV_OPT_TYPE_CONST, { .i64 = MFX_TARGETUSAGE_2  },            INT_MIN, INT_MAX, VE, "preset" },                                                \
  65 { "veryslow",    NULL, 0, AV_OPT_TYPE_CONST, { .i64 = MFX_TARGETUSAGE_BEST_QUALITY  }, INT_MIN, INT_MAX, VE, "preset" },                                                \
  66 { "forced_idr",     "Forcing I frames as IDR frames",         OFFSET(qsv.forced_idr),     AV_OPT_TYPE_BOOL,{ .i64 = 0  },  0,          1, VE },                         \
  67 { "low_power", "enable low power mode(experimental: many limitations by mfx version, BRC modes, etc.)", OFFSET(qsv.low_power), AV_OPT_TYPE_BOOL, { .i64 = -1}, -1, 1, VE},
  68
  69 #if QSV_HAVE_HE
  70 #define QSV_HE_OPTIONS \
  71 { "dual_gfx", "Prefer processing on both iGfx and dGfx simultaneously",                                             OFFSET(qsv.dual_gfx), AV_OPT_TYPE_INT, { .i64 = MFX_HYPERMODE_OFF }, MFX_HYPERMODE_OFF, MFX_HYPERMODE_ADAPTIVE, VE, "dual_gfx" }, \
  72 { "off",      "Disable HyperEncode mode",                                                                           0, AV_OPT_TYPE_CONST, { .i64 = MFX_HYPERMODE_OFF       },   INT_MIN, INT_MAX, VE, "dual_gfx" }, \
  73 { "on",       "Enable HyperEncode mode and return error if incompatible parameters during initialization",          0, AV_OPT_TYPE_CONST, { .i64 = MFX_HYPERMODE_ON        },   INT_MIN, INT_MAX, VE, "dual_gfx" }, \
  74 { "adaptive", "Enable HyperEncode mode or fallback to single GPU if incompatible parameters during initialization", 0, AV_OPT_TYPE_CONST, { .i64 = MFX_HYPERMODE_ADAPTIVE  },   INT_MIN, INT_MAX, VE, "dual_gfx" },
  75 #endif
  76
  77 #define QSV_OPTION_RDO \
  78 { "rdo",            "Enable rate distortion optimization",    OFFSET(qsv.rdo),            AV_OPT_TYPE_INT, { .i64 = -1 }, -1,          1, VE },
  79
  80 #define QSV_OPTION_MAX_FRAME_SIZE \
  81 { "max_frame_size", "Maximum encoded frame size in bytes",    OFFSET(qsv.max_frame_size), AV_OPT_TYPE_INT, { .i64 = -1 }, -1,    INT_MAX, VE },                         \
  82 { "max_frame_size_i", "Maximum encoded I frame size in bytes",OFFSET(qsv.max_frame_size_i), AV_OPT_TYPE_INT, { .i64 = -1 }, -1,  INT_MAX, VE },                         \
  83 { "max_frame_size_p", "Maximum encoded P frame size in bytes",OFFSET(qsv.max_frame_size_p), AV_OPT_TYPE_INT, { .i64 = -1 }, -1,  INT_MAX, VE },
  84
  85 #define QSV_OPTION_MAX_SLICE_SIZE \
  86 { "max_slice_size", "Maximum encoded slice size in bytes",    OFFSET(qsv.max_slice_size), AV_OPT_TYPE_INT, { .i64 = -1 }, -1,    INT_MAX, VE },
  87
  88 #define QSV_OPTION_BITRATE_LIMIT \
  89 { "bitrate_limit",  "Toggle bitrate limitations",             OFFSET(qsv.bitrate_limit),  AV_OPT_TYPE_INT, { .i64 = -1 }, -1,          1, VE },
  90
  91 #define QSV_OPTION_MBBRC \
  92 { "mbbrc",          "MB level bitrate control",               OFFSET(qsv.mbbrc),          AV_OPT_TYPE_INT, { .i64 = -1 }, -1,          1, VE },
  93
  94 #define QSV_OPTION_EXTBRC \
  95 { "extbrc",         "Extended bitrate control",               OFFSET(qsv.extbrc),         AV_OPT_TYPE_INT, { .i64 = -1 }, -1,          1, VE },
  96
  97 #define QSV_OPTION_ADAPTIVE_I \
  98 { "adaptive_i",     "Adaptive I-frame placement",             OFFSET(qsv.adaptive_i),     AV_OPT_TYPE_INT, { .i64 = -1 }, -1,          1, VE },
  99
 100 #define QSV_OPTION_ADAPTIVE_B \
 101 { "adaptive_b",     "Adaptive B-frame placement",             OFFSET(qsv.adaptive_b),     AV_OPT_TYPE_INT, { .i64 = -1 }, -1,          1, VE },
 102
 103 #define QSV_OPTION_P_STRATEGY \
 104 { "p_strategy",     "Enable P-pyramid: 0-default 1-simple 2-pyramid(bf need to be set to 0).",    OFFSET(qsv.p_strategy), AV_OPT_TYPE_INT,    { .i64 = 0}, 0,    2, VE },
 105
 106 #define QSV_OPTION_B_STRATEGY \
 107 { "b_strategy",     "Strategy to choose between I/P/B-frames", OFFSET(qsv.b_strategy),    AV_OPT_TYPE_INT, { .i64 = -1 }, -1,          1, VE },
 108
 109 #define QSV_OPTION_DBLK_IDC \
 110 { "dblk_idc", "This option disable deblocking. It has value in range 0~2.",   OFFSET(qsv.dblk_idc),   AV_OPT_TYPE_INT,    { .i64 = 0 },   0,  2,  VE},
 111
 112 #define QSV_OPTION_LOW_DELAY_BRC \
 113 { "low_delay_brc",   "Allow to strictly obey avg frame size", OFFSET(qsv.low_delay_brc),  AV_OPT_TYPE_BOOL,{ .i64 = -1 }, -1,          1, VE },
 114
 115 #define QSV_OPTION_MAX_MIN_QP \
 116 { "max_qp_i", "Maximum video quantizer scale for I frame",       OFFSET(qsv.max_qp_i),       AV_OPT_TYPE_INT, { .i64 = -1 },  -1,          51, VE},                         \
 117 { "min_qp_i", "Minimum video quantizer scale for I frame",       OFFSET(qsv.min_qp_i),       AV_OPT_TYPE_INT, { .i64 = -1 },  -1,          51, VE},                         \
 118 { "max_qp_p", "Maximum video quantizer scale for P frame",       OFFSET(qsv.max_qp_p),       AV_OPT_TYPE_INT, { .i64 = -1 },  -1,          51, VE},                         \
 119 { "min_qp_p", "Minimum video quantizer scale for P frame",       OFFSET(qsv.min_qp_p),       AV_OPT_TYPE_INT, { .i64 = -1 },  -1,          51, VE},                         \
 120 { "max_qp_b", "Maximum video quantizer scale for B frame",       OFFSET(qsv.max_qp_b),       AV_OPT_TYPE_INT, { .i64 = -1 },  -1,          51, VE},                         \
 121 { "min_qp_b", "Minimum video quantizer scale for B frame",       OFFSET(qsv.min_qp_b),       AV_OPT_TYPE_INT, { .i64 = -1 },  -1,          51, VE},
 122
 123 #define QSV_OPTION_SCENARIO \
 124 { "scenario", "A hint to encoder about the scenario for the encoding session", OFFSET(qsv.scenario), AV_OPT_TYPE_INT, { .i64 = MFX_SCENARIO_UNKNOWN },          \
 125   MFX_SCENARIO_UNKNOWN, MFX_SCENARIO_REMOTE_GAMING, VE, "scenario" }, \
 126 { "unknown",            NULL, 0, AV_OPT_TYPE_CONST, { .i64 = MFX_SCENARIO_UNKNOWN },            .flags = VE, "scenario" },                                      \
 127 { "displayremoting",    NULL, 0, AV_OPT_TYPE_CONST, { .i64 = MFX_SCENARIO_DISPLAY_REMOTING },   .flags = VE, "scenario" },                                      \
 128 { "videoconference",    NULL, 0, AV_OPT_TYPE_CONST, { .i64 = MFX_SCENARIO_VIDEO_CONFERENCE },   .flags = VE, "scenario" },                                      \
 129 { "archive",            NULL, 0, AV_OPT_TYPE_CONST, { .i64 = MFX_SCENARIO_ARCHIVE },            .flags = VE, "scenario" },                                      \
 130 { "livestreaming",      NULL, 0, AV_OPT_TYPE_CONST, { .i64 = MFX_SCENARIO_LIVE_STREAMING },     .flags = VE, "scenario" },                                      \
 131 { "cameracapture",      NULL, 0, AV_OPT_TYPE_CONST, { .i64 = MFX_SCENARIO_CAMERA_CAPTURE },     .flags = VE, "scenario" },                                      \
 132 { "videosurveillance",  NULL, 0, AV_OPT_TYPE_CONST, { .i64 = MFX_SCENARIO_VIDEO_SURVEILLANCE }, .flags = VE, "scenario" },                                      \
 133 { "gamestreaming",      NULL, 0, AV_OPT_TYPE_CONST, { .i64 = MFX_SCENARIO_GAME_STREAMING },     .flags = VE, "scenario" },                                      \
 134 { "remotegaming",       NULL, 0, AV_OPT_TYPE_CONST, { .i64 = MFX_SCENARIO_REMOTE_GAMING },      .flags = VE, "scenario" },
 135
 136 #define QSV_OPTION_AVBR \
 137 { "avbr_accuracy",    "Accuracy of the AVBR ratecontrol (unit of tenth of percent)",    OFFSET(qsv.avbr_accuracy),    AV_OPT_TYPE_INT, { .i64 = 0 }, 0, UINT16_MAX, VE }, \
 138 { "avbr_convergence", "Convergence of the AVBR ratecontrol (unit of 100 frames)", OFFSET(qsv.avbr_convergence), AV_OPT_TYPE_INT, { .i64 = 0 }, 0, UINT16_MAX, VE },
 139
 140 #define QSV_OPTION_SKIP_FRAME \
 141 { "skip_frame",     "Allow frame skipping", OFFSET(qsv.skip_frame),  AV_OPT_TYPE_INT, { .i64 = MFX_SKIPFRAME_NO_SKIP }, \
 142    MFX_SKIPFRAME_NO_SKIP, MFX_SKIPFRAME_BRC_ONLY, VE, "skip_frame" }, \
 143 { "no_skip",        "Frame skipping is disabled", \
 144     0, AV_OPT_TYPE_CONST, { .i64 = MFX_SKIPFRAME_NO_SKIP },           .flags = VE, "skip_frame" },        \
 145 { "insert_dummy",   "Encoder inserts into bitstream frame where all macroblocks are encoded as skipped",  \
 146     0, AV_OPT_TYPE_CONST, { .i64 = MFX_SKIPFRAME_INSERT_DUMMY },      .flags = VE, "skip_frame" },        \
 147 { "insert_nothing", "Encoder inserts nothing into bitstream",                                             \
 148     0, AV_OPT_TYPE_CONST, { .i64 = MFX_SKIPFRAME_INSERT_NOTHING },    .flags = VE, "skip_frame" },        \
 149 { "brc_only",       "skip_frame metadata indicates the number of missed frames before the current frame", \
 150     0, AV_OPT_TYPE_CONST, { .i64 = MFX_SKIPFRAME_BRC_ONLY },          .flags = VE, "skip_frame" },
 151
 152 extern const AVCodecHWConfigInternal *const ff_qsv_enc_hw_configs[];
 153
 154 typedef int SetEncodeCtrlCB (AVCodecContext *avctx,
 155                              const AVFrame *frame, mfxEncodeCtrl* enc_ctrl);
 156 typedef struct QSVEncContext {
 157     AVCodecContext *avctx;
 158
 159     QSVFrame *work_frames;
 160
 161     mfxSession session;
 162     QSVSession internal_qs;
 163
 164     int packet_size;
 165     int width_align;
 166     int height_align;
 167
 168     mfxVideoParam param;
 169     mfxFrameAllocRequest req;
 170
 171     mfxExtCodingOption  extco;
 172     mfxExtCodingOption2 extco2;
 173     mfxExtCodingOption3 extco3;
 174 #if QSV_HAVE_MF
 175     mfxExtMultiFrameParam   extmfp;
 176     mfxExtMultiFrameControl extmfc;
 177 #endif
 178     mfxExtHEVCTiles exthevctiles;
 179     mfxExtVP9Param  extvp9param;
 180 #if QSV_HAVE_EXT_AV1_PARAM
 181     mfxExtAV1TileParam extav1tileparam;
 182     mfxExtAV1BitstreamParam extav1bsparam;
 183 #endif
 184 #if QSV_HAVE_HE
 185     mfxExtHyperModeParam exthypermodeparam;
 186 #endif
 187 #if QSV_HAVE_OPAQUE
 188     mfxExtOpaqueSurfaceAlloc opaque_alloc;
 189     mfxFrameSurface1       **opaque_surfaces;
 190     AVBufferRef             *opaque_alloc_buf;
 191 #endif
 192
 193     mfxExtVideoSignalInfo extvsi;
 194
 195     mfxExtBuffer  *extparam_internal[5 + (QSV_HAVE_MF * 2) + (QSV_HAVE_EXT_AV1_PARAM * 2) + QSV_HAVE_HE];
 196     int         nb_extparam_internal;
 197
 198     mfxExtBuffer **extparam;
 199
 200     AVFifo *async_fifo;
 201
 202     QSVFramesContext frames_ctx;
 203
 204     mfxVersion          ver;
 205
 206     int hevc_vps;
 207
 208     // options set by the caller
 209     int async_depth;
 210     int idr_interval;
 211     int profile;
 212     int tier;
 213     int preset;
 214     int avbr_accuracy;
 215     int avbr_convergence;
 216     int pic_timing_sei;
 217     int look_ahead;
 218     int look_ahead_depth;
 219     int look_ahead_downsampling;
 220     int vcm;
 221     int rdo;
 222     int max_frame_size;
 223     int max_frame_size_i;
 224     int max_frame_size_p;
 225     int max_slice_size;
 226     int dblk_idc;
 227     int scenario;
 228
 229     int tile_cols;
 230     int tile_rows;
 231
 232     int aud;
 233
 234     int single_sei_nal_unit;
 235     int max_dec_frame_buffering;
 236
 237     int bitrate_limit;
 238     int mbbrc;
 239     int extbrc;
 240     int adaptive_i;
 241     int adaptive_b;
 242     int b_strategy;
 243     int p_strategy;
 244     int cavlc;
 245
 246     int int_ref_type;
 247     int int_ref_cycle_size;
 248     int int_ref_qp_delta;
 249     int int_ref_cycle_dist;
 250     int recovery_point_sei;
 251
 252     int repeat_pps;
 253     int low_power;
 254     int gpb;
 255     int transform_skip;
 256
 257     int a53_cc;
 258
 259 #if QSV_HAVE_MF
 260     int mfmode;
 261 #endif
 262     char *load_plugins;
 263     SetEncodeCtrlCB *set_encode_ctrl_cb;
 264     int forced_idr;
 265     int low_delay_brc;
 266
 267     int co2_idx;
 268     int co3_idx;
 269     int exthevctiles_idx;
 270     int exthypermodeparam_idx;
 271     int vp9_idx;
 272
 273     int max_qp_i;
 274     int min_qp_i;
 275     int max_qp_p;
 276     int min_qp_p;
 277     int max_qp_b;
 278     int min_qp_b;
 279     // These are used for qp reset
 280     int old_global_quality;
 281     float old_i_quant_factor;
 282     float old_i_quant_offset;
 283     float old_b_quant_factor;
 284     float old_b_quant_offset;
 285     // This is used for max_frame_size reset
 286     int old_max_frame_size;
 287     // This is used for gop reset
 288     int old_gop_size;
 289     // These are used for intra refresh reset
 290     int old_int_ref_type;
 291     int old_int_ref_cycle_size;
 292     int old_int_ref_qp_delta;
 293     int old_int_ref_cycle_dist;
 294     // These are used for max/min qp reset;
 295     int old_qmax;
 296     int old_qmin;
 297     int old_max_qp_i;
 298     int old_min_qp_i;
 299     int old_max_qp_p;
 300     int old_min_qp_p;
 301     int old_max_qp_b;
 302     int old_min_qp_b;
 303     // This is used for low_delay_brc reset
 304     int old_low_delay_brc;
 305     // This is used for framerate reset
 306     AVRational old_framerate;
 307     // These are used for bitrate control reset
 308     int old_bit_rate;
 309     int old_rc_buffer_size;
 310     int old_rc_initial_buffer_occupancy;
 311     int old_rc_max_rate;
 312     // This is used for SEI Timing reset
 313     int old_pic_timing_sei;
 314     int skip_frame;
 315     // This is used for Hyper Encode
 316     int dual_gfx;
 317 } QSVEncContext;
 318
 319 int ff_qsv_enc_init(AVCodecContext *avctx, QSVEncContext *q);
 320
 321 int ff_qsv_encode(AVCodecContext *avctx, QSVEncContext *q,
 322                   AVPacket *pkt, const AVFrame *frame, int *got_packet);
 323
 324 int ff_qsv_enc_close(AVCodecContext *avctx, QSVEncContext *q);
 325
 326 #endif /* AVCODEC_QSVENC_H */