subprojects/gst-plugins-bad/sys/qsv/plugin.cpp

   1 /* GStreamer
   2  * Copyright (C) 2021 Seungha Yang <seungha@centricular.com>
   3  *
   4  * This library is free software; you can redistribute it and/or
   5  * modify it under the terms of the GNU Library General Public
   6  * License as published by the Free Software Foundation; either
   7  * version 2 of the License, or (at your option) any later version.
   8  *
   9  * This library is distributed in the hope that it will be useful,
  10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  12  * Library General Public License for more details.
  13  *
  14  * You should have received a copy of the GNU Library General Public
  15  * License along with this library; if not, write to the
  16  * Free Software Foundation, Inc., 51 Franklin St, Fifth Floor,
  17  * Boston, MA 02110-1301, USA.
  18  */
  19
  20 #ifdef HAVE_CONFIG_H
  21 #include "config.h"
  22 #endif
  23
  24 #include <gst/gst.h>
  25 #include <mfx.h>
  26 #include "gstqsvutils.h"
  27 #include "gstqsvh264dec.h"
  28 #include "gstqsvh264enc.h"
  29 #include "gstqsvh265enc.h"
  30 #include "gstqsvjpegenc.h"
  31 #include "gstqsvvp9enc.h"
  32 #include <string.h>
  33
  34 #ifdef G_OS_WIN32
  35 #define WIN32_LEAN_AND_MEAN
  36 #include <windows.h>
  37 #include <versionhelpers.h>
  38 #include <gst/d3d11/gstd3d11.h>
  39 #else
  40 #include <gst/va/gstva.h>
  41 #endif
  42
  43 GST_DEBUG_CATEGORY (gst_qsv_debug);
  44 GST_DEBUG_CATEGORY (gst_qsv_allocator_debug);
  45
  46 #define GST_CAT_DEFAULT gst_qsv_debug
  47
  48 #ifdef G_OS_WIN32
  49 #define MFX_ACCEL_MODE MFX_ACCEL_MODE_VIA_D3D11
  50 #else
  51 #define MFX_ACCEL_MODE MFX_ACCEL_MODE_VIA_VAAPI
  52 #endif
  53
  54 #ifdef G_OS_WIN32
  55 static mfxSession
  56 create_session_with_platform_device (mfxLoader loader,
  57     mfxImplDescription * desc, guint impl_index, GstObject ** d3d11_device,
  58     GList ** devices)
  59 {
  60   mfxSession session = nullptr;
  61   mfxStatus status;
  62   GstD3D11Device *selected = nullptr;
  63   GList *list = *devices;
  64   GList *iter;
  65   mfxU16 device_id = 0;
  66
  67   *d3d11_device = nullptr;
  68
  69   status = MFXCreateSession (loader, impl_index, &session);
  70   if (status != MFX_ERR_NONE) {
  71     GST_WARNING ("Failed to create session with index %d, %d (%s)",
  72         impl_index, QSV_STATUS_ARGS (status));
  73     return nullptr;
  74   }
  75
  76   if (desc->ApiVersion.Major >= 2 ||
  77       (desc->ApiVersion.Major == 1 && desc->ApiVersion.Minor >= 19)) {
  78     mfxPlatform platform;
  79
  80     memset (&platform, 0, sizeof (mfxPlatform));
  81
  82     if (MFXVideoCORE_QueryPlatform (session, &platform) == MFX_ERR_NONE) {
  83       device_id = platform.DeviceId;
  84
  85       /* XXX: re-create session, MFXVideoCORE_QueryPlatform() may cause
  86        * later MFXVideoCORE_SetHandle() call failed with
  87        * MFX_ERR_UNDEFINED_BEHAVIOR error */
  88       g_clear_pointer (&session, MFXClose);
  89
  90       status = MFXCreateSession (loader, impl_index, &session);
  91       if (status != MFX_ERR_NONE) {
  92         GST_WARNING ("Failed to re-create session with index %d, %d (%s)",
  93             impl_index, QSV_STATUS_ARGS (status));
  94         return nullptr;
  95       }
  96     }
  97   }
  98
  99   if (device_id) {
 100     for (iter = list; iter; iter = g_list_next (iter)) {
 101       GstD3D11Device *dev = GST_D3D11_DEVICE (iter->data);
 102       guint dev_id;
 103
 104       g_object_get (dev, "device-id", &dev_id, nullptr);
 105       if (dev_id == (guint) device_id) {
 106         selected = dev;
 107         list = g_list_delete_link (list, iter);
 108         break;
 109       }
 110     }
 111   }
 112
 113   if (!selected) {
 114     /* Unknown device id, pick the first device */
 115     selected = GST_D3D11_DEVICE (list->data);
 116     list = g_list_delete_link (list, list);
 117   }
 118
 119   *devices = list;
 120
 121   status = MFXVideoCORE_SetHandle (session, MFX_HANDLE_D3D11_DEVICE,
 122       gst_d3d11_device_get_device_handle (selected));
 123   if (status != MFX_ERR_NONE) {
 124     GST_WARNING ("Failed to set d3d11 device handle, %d (%s)",
 125         QSV_STATUS_ARGS (status));
 126     gst_object_unref (selected);
 127     MFXClose (session);
 128
 129     return nullptr;
 130   }
 131
 132   *d3d11_device = GST_OBJECT (selected);
 133
 134   return session;
 135 }
 136 #else
 137 static mfxSession
 138 create_session_with_platform_device (mfxLoader loader,
 139     mfxImplDescription * desc, guint impl_index, GstObject ** va_display,
 140     GList ** devices)
 141 {
 142   mfxSession session = nullptr;
 143   mfxStatus status;
 144   GstVaDisplay *selected;
 145   GList *list = *devices;
 146
 147   *va_display = nullptr;
 148
 149   status = MFXCreateSession (loader, impl_index, &session);
 150   if (status != MFX_ERR_NONE) {
 151     GST_WARNING ("Failed to create session with index %d, %d (%s)",
 152         impl_index, QSV_STATUS_ARGS (status));
 153     return nullptr;
 154   }
 155
 156   /* XXX: what's the relation between implementation index and VA display ?
 157    * Pick the first available device for now */
 158   selected = GST_VA_DISPLAY (list->data);
 159   list = g_list_delete_link (list, list);
 160   *devices = list;
 161
 162   status = MFXVideoCORE_SetHandle (session, MFX_HANDLE_VA_DISPLAY,
 163       gst_va_display_get_va_dpy (selected));
 164   if (status != MFX_ERR_NONE) {
 165     GST_WARNING ("Failed to set display handle, %d (%s)",
 166         QSV_STATUS_ARGS (status));
 167     gst_object_unref (selected);
 168     MFXClose (session);
 169
 170     return nullptr;
 171   }
 172
 173   *va_display = GST_OBJECT (selected);
 174
 175   return session;
 176 }
 177 #endif
 178
 179 static void
 180 plugin_deinit (gpointer data)
 181 {
 182   gst_qsv_deinit ();
 183 }
 184
 185 static gboolean
 186 plugin_init (GstPlugin * plugin)
 187 {
 188   mfxLoader loader;
 189   guint i = 0;
 190   GList *platform_devices = nullptr;
 191
 192 #ifdef G_OS_WIN32
 193   /* D3D11 Video API is supported since Windows 8.
 194    * Do we want to support old OS (Windows 7 for example) with D3D9 ?? */
 195   if (!IsWindows8OrGreater ())
 196     return TRUE;
 197 #endif
 198
 199   GST_DEBUG_CATEGORY_INIT (gst_qsv_debug, "qsv", 0, "Intel Quick Sync Video");
 200   GST_DEBUG_CATEGORY_INIT (gst_qsv_allocator_debug,
 201       "qsvallocator", 0, "qsvallocator");
 202
 203   loader = gst_qsv_get_loader ();
 204   if (!loader)
 205     return TRUE;
 206
 207   platform_devices = gst_qsv_get_platform_devices ();
 208   if (!platform_devices) {
 209     gst_qsv_deinit ();
 210     return TRUE;
 211   }
 212
 213   GST_INFO ("Found %d platform devices", g_list_length (platform_devices));
 214
 215   do {
 216     mfxStatus status = MFX_ERR_NONE;
 217     mfxSession session = nullptr;
 218     mfxImplDescription *desc = nullptr;
 219     GstObject *device = nullptr;
 220
 221     status = MFXEnumImplementations (loader,
 222         i, MFX_IMPLCAPS_IMPLDESCSTRUCTURE, (mfxHDL *) & desc);
 223
 224     if (status != MFX_ERR_NONE)
 225       break;
 226
 227     if ((desc->Impl & MFX_IMPL_TYPE_HARDWARE) == 0)
 228       goto next;
 229
 230     if ((desc->AccelerationMode & MFX_ACCEL_MODE) == 0)
 231       goto next;
 232
 233     session = create_session_with_platform_device (loader, desc, i, &device,
 234         &platform_devices);
 235     if (!session)
 236       goto next;
 237
 238     gst_qsv_h264_dec_register (plugin, GST_RANK_MARGINAL, i, device, session);
 239
 240     gst_qsv_h264_enc_register (plugin, GST_RANK_NONE, i, device, session);
 241     gst_qsv_h265_enc_register (plugin, GST_RANK_NONE, i, device, session);
 242     gst_qsv_jpeg_enc_register (plugin, GST_RANK_NONE, i, device, session);
 243     gst_qsv_vp9_enc_register (plugin, GST_RANK_NONE, i, device, session);
 244
 245   next:
 246     MFXDispReleaseImplDescription (loader, desc);
 247     g_clear_pointer (&session, MFXClose);
 248     gst_clear_object (&device);
 249     i++;
 250
 251     /* What's the possible maximum number of impl/device ? */
 252   } while (i < 16 && platform_devices != nullptr);
 253
 254   if (platform_devices)
 255     g_list_free_full (platform_devices, (GDestroyNotify) gst_object_unref);
 256
 257   g_object_set_data_full (G_OBJECT (plugin), "plugin-qsv-shutdown",
 258       (gpointer) "shutdown-data", (GDestroyNotify) plugin_deinit);
 259
 260   return TRUE;
 261 }
 262
 263 GST_PLUGIN_DEFINE (GST_VERSION_MAJOR,
 264     GST_VERSION_MINOR,
 265     qsv,
 266     "Intel Quick Sync Video plugin",
 267     plugin_init, VERSION, "LGPL", GST_PACKAGE_NAME, GST_PACKAGE_ORIGIN)