subprojects/gstreamer/gst/gstpluginloader.c

   1 /* GStreamer
   2  * Copyright (C) 2008 Jan Schmidt <jan.schmidt@sun.com>
   3  *
   4  * gstpluginloader.c: GstPluginLoader helper for loading plugin files
   5  * out of process.
   6  *
   7  * This library is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU Library General Public
   9  * License as published by the Free Software Foundation; either
  10  * version 2 of the License, or (at your option) any later version.
  11  *
  12  * This library is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15  * Library General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Library General Public
  18  * License along with this library; if not, write to the
  19  * Free Software Foundation, Inc., 51 Franklin St, Fifth Floor,
  20  * Boston, MA 02110-1301, USA.
  21  */
  22
  23 #ifdef HAVE_CONFIG_H
  24 #  include "config.h"
  25 #endif
  26
  27 #include <gst/gst_private.h>
  28
  29 #ifndef G_OS_WIN32
  30 #include <sys/types.h>
  31 #include <sys/wait.h>
  32 #include <sys/stat.h>
  33 #include <fcntl.h>
  34 #include <unistd.h>
  35 #else
  36 #define WIN32_LEAN_AND_MEAN
  37
  38 #define fsync(fd) _commit(fd)
  39 #include <io.h>
  40
  41 #include <windows.h>
  42 extern HMODULE _priv_gst_dll_handle;
  43 #endif
  44
  45 #ifdef HAVE_SYS_UTSNAME_H
  46 #include <sys/utsname.h>
  47 #endif
  48
  49 #include <errno.h>
  50
  51 #include <gst/gstconfig.h>
  52
  53 #include <gst/gstpoll.h>
  54 #include <gst/gstutils.h>
  55
  56 #include <gst/gstpluginloader.h>
  57 #include <gst/gstregistrychunks.h>
  58 #include <gst/gstregistrybinary.h>
  59
  60 /* IMPORTANT: Bump the version number if the plugin loader packet protocol
  61  * changes. Changes in the binary registry format itself are handled by
  62  * bumping the GST_MAGIC_BINARY_VERSION_STR
  63  */
  64 static const guint32 loader_protocol_version = 3;
  65
  66 #define GST_CAT_DEFAULT GST_CAT_PLUGIN_LOADING
  67
  68 static GstPluginLoader *plugin_loader_new (GstRegistry * registry);
  69 static gboolean plugin_loader_free (GstPluginLoader * loader);
  70 static gboolean plugin_loader_load (GstPluginLoader * loader,
  71     const gchar * filename, off_t file_size, time_t file_mtime);
  72
  73 /* functions used in GstRegistry scanning */
  74 const GstPluginLoaderFuncs _priv_gst_plugin_loader_funcs = {
  75   plugin_loader_new, plugin_loader_free, plugin_loader_load
  76 };
  77
  78 typedef struct _PendingPluginEntry
  79 {
  80   /* sequence number */
  81   guint32 tag;
  82   gchar *filename;
  83   off_t file_size;
  84   time_t file_mtime;
  85 } PendingPluginEntry;
  86
  87 struct _GstPluginLoader
  88 {
  89   GstRegistry *registry;
  90   GstPoll *fdset;
  91
  92   gboolean child_running;
  93   GPid child_pid;
  94   GstPollFD fd_w;
  95   GstPollFD fd_r;
  96
  97   gboolean is_child;
  98   gboolean got_plugin_details;
  99
 100   /* Transmit buffer */
 101   guint8 *tx_buf;
 102   guint tx_buf_size;
 103   guint tx_buf_write;
 104   guint tx_buf_read;
 105
 106   /* next sequence number (for PendingPluginEntry) */
 107   guint32 next_tag;
 108
 109   guint8 *rx_buf;
 110   guint rx_buf_size;
 111   gboolean rx_done;
 112   gboolean rx_got_sync;
 113
 114   /* Head and tail of the pending plugins list. List of
 115      PendingPluginEntry structs */
 116   GList *pending_plugins;
 117   GList *pending_plugins_tail;
 118 };
 119
 120 #define PACKET_EXIT 1
 121 #define PACKET_LOAD_PLUGIN 2
 122 #define PACKET_SYNC 3
 123 #define PACKET_PLUGIN_DETAILS 4
 124 #define PACKET_VERSION 5
 125
 126 #define BUF_INIT_SIZE 512
 127 #define BUF_GROW_EXTRA 512
 128 #define BUF_MAX_SIZE (32 * 1024 * 1024)
 129
 130 #define HEADER_SIZE 12
 131 /* 4 magic hex bytes to mark each packet */
 132 #define HEADER_MAGIC 0xbefec0ae
 133 #define ALIGNMENT   (sizeof (void *))
 134
 135 static gboolean gst_plugin_loader_spawn (GstPluginLoader * loader);
 136 static void put_packet (GstPluginLoader * loader, guint type, guint32 tag,
 137     const guint8 * payload, guint32 payload_len);
 138 static gboolean exchange_packets (GstPluginLoader * l);
 139 static gboolean plugin_loader_replay_pending (GstPluginLoader * l);
 140 static gboolean plugin_loader_load_and_sync (GstPluginLoader * l,
 141     PendingPluginEntry * entry);
 142 static void plugin_loader_create_blacklist_plugin (GstPluginLoader * l,
 143     PendingPluginEntry * entry);
 144 static void plugin_loader_cleanup_child (GstPluginLoader * loader);
 145 static gboolean plugin_loader_sync_with_child (GstPluginLoader * l);
 146
 147 static GstPluginLoader *
 148 plugin_loader_new (GstRegistry * registry)
 149 {
 150   GstPluginLoader *l = g_slice_new0 (GstPluginLoader);
 151
 152   if (registry)
 153     l->registry = gst_object_ref (registry);
 154   l->fdset = gst_poll_new (FALSE);
 155   gst_poll_fd_init (&l->fd_w);
 156   gst_poll_fd_init (&l->fd_r);
 157
 158   l->tx_buf_size = BUF_INIT_SIZE;
 159   l->tx_buf = g_malloc (BUF_INIT_SIZE);
 160
 161   l->next_tag = 0;
 162
 163   l->rx_buf_size = BUF_INIT_SIZE;
 164   l->rx_buf = g_malloc (BUF_INIT_SIZE);
 165
 166   return l;
 167 }
 168
 169 static gboolean
 170 plugin_loader_free (GstPluginLoader * loader)
 171 {
 172   GList *cur;
 173   gboolean got_plugin_details;
 174   gint fsync_ret;
 175
 176   do {
 177     fsync_ret = fsync (loader->fd_w.fd);
 178   } while (fsync_ret < 0 && errno == EINTR);
 179
 180   if (loader->child_running) {
 181     put_packet (loader, PACKET_EXIT, 0, NULL, 0);
 182
 183     /* Swap packets with the child until it exits cleanly */
 184     while (!loader->rx_done) {
 185       if (exchange_packets (loader) || loader->rx_done)
 186         continue;
 187
 188       if (!plugin_loader_replay_pending (loader))
 189         break;
 190       put_packet (loader, PACKET_EXIT, 0, NULL, 0);
 191     }
 192
 193     plugin_loader_cleanup_child (loader);
 194   } else {
 195     close (loader->fd_w.fd);
 196     close (loader->fd_r.fd);
 197   }
 198
 199   gst_poll_free (loader->fdset);
 200
 201   g_free (loader->rx_buf);
 202   g_free (loader->tx_buf);
 203
 204   if (loader->registry)
 205     gst_object_unref (loader->registry);
 206
 207   got_plugin_details = loader->got_plugin_details;
 208
 209   /* Free any pending plugin entries */
 210   cur = loader->pending_plugins;
 211   while (cur) {
 212     PendingPluginEntry *entry = (PendingPluginEntry *) (cur->data);
 213     g_free (entry->filename);
 214     g_slice_free (PendingPluginEntry, entry);
 215
 216     cur = g_list_delete_link (cur, cur);
 217   }
 218
 219   g_slice_free (GstPluginLoader, loader);
 220
 221   return got_plugin_details;
 222 }
 223
 224 static gboolean
 225 plugin_loader_load (GstPluginLoader * loader, const gchar * filename,
 226     off_t file_size, time_t file_mtime)
 227 {
 228   gint len;
 229   PendingPluginEntry *entry;
 230
 231   if (!gst_plugin_loader_spawn (loader))
 232     return FALSE;
 233
 234   /* Send a packet to the child requesting that it load the given file */
 235   GST_LOG_OBJECT (loader->registry,
 236       "Sending file %s to child. tag %u", filename, loader->next_tag);
 237
 238   entry = g_slice_new (PendingPluginEntry);
 239   entry->tag = loader->next_tag++;
 240   entry->filename = g_strdup (filename);
 241   entry->file_size = file_size;
 242   entry->file_mtime = file_mtime;
 243   loader->pending_plugins_tail =
 244       g_list_append (loader->pending_plugins_tail, entry);
 245
 246   if (loader->pending_plugins == NULL)
 247     loader->pending_plugins = loader->pending_plugins_tail;
 248   else
 249     loader->pending_plugins_tail = g_list_next (loader->pending_plugins_tail);
 250
 251   len = strlen (filename);
 252   put_packet (loader, PACKET_LOAD_PLUGIN, entry->tag,
 253       (guint8 *) filename, len + 1);
 254
 255   if (!exchange_packets (loader)) {
 256     if (!plugin_loader_replay_pending (loader))
 257       return FALSE;
 258   }
 259
 260   return TRUE;
 261 }
 262
 263 static gboolean
 264 plugin_loader_replay_pending (GstPluginLoader * l)
 265 {
 266   GList *cur, *next;
 267
 268 restart:
 269   if (!gst_plugin_loader_spawn (l))
 270     return FALSE;
 271
 272   /* Load each plugin one by one synchronously until we find the
 273    * crashing one */
 274   while ((cur = l->pending_plugins)) {
 275     PendingPluginEntry *entry = (PendingPluginEntry *) (cur->data);
 276
 277     if (!plugin_loader_load_and_sync (l, entry)) {
 278       /* Create dummy plugin entry to block re-scanning this file */
 279       GST_ERROR ("Plugin file %s failed to load. Blacklisting",
 280           entry->filename);
 281       plugin_loader_create_blacklist_plugin (l, entry);
 282       l->got_plugin_details = TRUE;
 283       /* Now remove this crashy plugin from the head of the list */
 284       l->pending_plugins = g_list_delete_link (cur, cur);
 285       g_free (entry->filename);
 286       g_slice_free (PendingPluginEntry, entry);
 287       if (l->pending_plugins == NULL)
 288         l->pending_plugins_tail = NULL;
 289       if (!gst_plugin_loader_spawn (l))
 290         return FALSE;
 291       break;
 292     }
 293   }
 294
 295   /* We exited after finding the crashing one. If there's any more pending,
 296    * dispatch them post-haste, but don't wait */
 297   for (cur = l->pending_plugins; cur != NULL; cur = next) {
 298     PendingPluginEntry *entry = (PendingPluginEntry *) (cur->data);
 299
 300     next = g_list_next (cur);
 301
 302     put_packet (l, PACKET_LOAD_PLUGIN, entry->tag,
 303         (guint8 *) entry->filename, strlen (entry->filename) + 1);
 304
 305     /* This might invalidate cur, which is why we grabbed 'next' above */
 306     if (!exchange_packets (l))
 307       goto restart;
 308   }
 309
 310   return TRUE;
 311 }
 312
 313 static gboolean
 314 plugin_loader_sync_with_child (GstPluginLoader * l)
 315 {
 316   put_packet (l, PACKET_SYNC, 0, NULL, 0);
 317
 318   l->rx_got_sync = FALSE;
 319   while (!l->rx_got_sync) {
 320     if (!exchange_packets (l))
 321       return FALSE;
 322   }
 323   return TRUE;
 324 }
 325
 326 static gboolean
 327 plugin_loader_load_and_sync (GstPluginLoader * l, PendingPluginEntry * entry)
 328 {
 329   gint len;
 330
 331   GST_DEBUG_OBJECT (l->registry, "Synchronously loading plugin file %s",
 332       entry->filename);
 333
 334   len = strlen (entry->filename);
 335   put_packet (l, PACKET_LOAD_PLUGIN, entry->tag,
 336       (guint8 *) entry->filename, len + 1);
 337
 338   return plugin_loader_sync_with_child (l);
 339 }
 340
 341 static void
 342 plugin_loader_create_blacklist_plugin (GstPluginLoader * l,
 343     PendingPluginEntry * entry)
 344 {
 345   GstPlugin *plugin = g_object_new (GST_TYPE_PLUGIN, NULL);
 346
 347   plugin->filename = g_strdup (entry->filename);
 348   plugin->file_mtime = entry->file_mtime;
 349   plugin->file_size = entry->file_size;
 350   GST_OBJECT_FLAG_SET (plugin, GST_PLUGIN_FLAG_BLACKLISTED);
 351
 352   plugin->basename = g_path_get_basename (plugin->filename);
 353   plugin->desc.name = g_intern_string (plugin->basename);
 354   plugin->desc.description = "Plugin for blacklisted file";
 355   plugin->desc.version = "0.0.0";
 356   plugin->desc.license = "BLACKLIST";
 357   plugin->desc.source = plugin->desc.license;
 358   plugin->desc.package = plugin->desc.license;
 359   plugin->desc.origin = plugin->desc.license;
 360
 361   GST_DEBUG ("Adding blacklist plugin '%s'", plugin->desc.name);
 362   gst_registry_add_plugin (l->registry, plugin);
 363 }
 364
 365 #ifdef __APPLE__
 366 #if defined(__x86_64__)
 367 #define USR_BIN_ARCH_SWITCH "-x86_64"
 368 #elif defined(__i386__)
 369 #define USR_BIN_ARCH_SWITCH "-i386"
 370 #elif defined(__ppc__)
 371 #define USR_BIN_ARCH_SWITCH "-ppc"
 372 #elif defined(__ppc64__)
 373 #define USR_BIN_ARCH_SWITCH "-ppc64"
 374 #endif
 375 #endif
 376
 377 #define YES_MULTIARCH 1
 378 #define NO_MULTIARCH  2
 379
 380 #if defined (__APPLE__) && defined (USR_BIN_ARCH_SWITCH)
 381 static gboolean
 382 gst_plugin_loader_use_usr_bin_arch (void)
 383 {
 384   static gsize multiarch = 0;
 385
 386   if (g_once_init_enter (&multiarch)) {
 387     gsize res = NO_MULTIARCH;
 388
 389 #ifdef HAVE_SYS_UTSNAME_H
 390     {
 391       struct utsname uname_data;
 392
 393       if (uname (&uname_data) == 0) {
 394         /* Check for OS X >= 10.5 (darwin kernel 9.0) */
 395         GST_LOG ("%s %s", uname_data.sysname, uname_data.release);
 396         if (g_ascii_strcasecmp (uname_data.sysname, "Darwin") == 0 &&
 397             g_strtod (uname_data.release, NULL) >= 9.0) {
 398           res = YES_MULTIARCH;
 399         }
 400       }
 401     }
 402 #endif
 403
 404     GST_INFO ("multiarch: %s", (res == YES_MULTIARCH) ? "yes" : "no");
 405     g_once_init_leave (&multiarch, res);
 406   }
 407   return (multiarch == YES_MULTIARCH);
 408 }
 409 #endif /* __APPLE__ && USR_BIN_ARCH_SWITCH */
 410
 411 static gboolean
 412 gst_plugin_loader_try_helper (GstPluginLoader * loader, gchar * location)
 413 {
 414   char *argv[6] = { NULL, };
 415   int c = 0;
 416   GError *error = NULL;
 417
 418 #if defined (__APPLE__) && defined (USR_BIN_ARCH_SWITCH)
 419   if (gst_plugin_loader_use_usr_bin_arch ()) {
 420     argv[c++] = (char *) "/usr/bin/arch";
 421     argv[c++] = (char *) USR_BIN_ARCH_SWITCH;
 422   }
 423 #endif
 424   argv[c++] = location;
 425   argv[c++] = (char *) "-l";
 426   argv[c++] = _gst_executable_path;
 427   argv[c++] = NULL;
 428
 429   if (c > 4) {
 430     GST_LOG ("Trying to spawn gst-plugin-scanner helper at %s with arch %s",
 431         location, argv[1]);
 432   } else {
 433     GST_LOG ("Trying to spawn gst-plugin-scanner helper at %s", location);
 434   }
 435
 436   g_spawn_async_with_pipes (NULL, argv, NULL,
 437       G_SPAWN_DO_NOT_REAP_CHILD /* | G_SPAWN_STDERR_TO_DEV_NULL */ ,
 438       NULL, NULL, &loader->child_pid, &loader->fd_w.fd, &loader->fd_r.fd,
 439       NULL, &error);
 440
 441   if (error) {
 442     GST_ERROR ("Spawning gst-plugin-scanner helper failed: %s", error->message);
 443     g_clear_error (&error);
 444     return FALSE;
 445   }
 446
 447   gst_poll_add_fd (loader->fdset, &loader->fd_w);
 448   gst_poll_add_fd (loader->fdset, &loader->fd_r);
 449
 450   gst_poll_fd_ctl_read (loader->fdset, &loader->fd_r, TRUE);
 451
 452   loader->tx_buf_write = loader->tx_buf_read = 0;
 453
 454   put_packet (loader, PACKET_VERSION, 0, NULL, 0);
 455   if (!plugin_loader_sync_with_child (loader))
 456     return FALSE;
 457
 458   loader->child_running = TRUE;
 459
 460   return TRUE;
 461 }
 462
 463 static int
 464 count_directories (const char *filepath)
 465 {
 466   int i = 0;
 467   char *tmp;
 468   gsize len;
 469
 470   g_return_val_if_fail (!g_path_is_absolute (filepath), 0);
 471
 472   tmp = g_strdup (filepath);
 473   len = strlen (tmp);
 474
 475 #if defined(G_OS_WIN32)
 476   /* ignore UNC share paths entirely */
 477   if (len >= 3 && G_IS_DIR_SEPARATOR (tmp[0]) && G_IS_DIR_SEPARATOR (tmp[1])
 478       && !G_IS_DIR_SEPARATOR (tmp[2])) {
 479     GST_WARNING ("found a UNC share path, ignoring");
 480     return 0;
 481   }
 482 #endif
 483
 484   /* remove trailing slashes if they exist */
 485   while (
 486 #if defined(G_OS_WIN32)
 487       /* don't remove the trailing slash for C:\.
 488        * UNC paths are at least \\s\s */
 489       len > 3
 490 #else
 491       /* don't remove the trailing slash for / */
 492       len > 1
 493 #endif
 494       && G_IS_DIR_SEPARATOR (tmp[len - 1])) {
 495     tmp[len - 1] = '\0';
 496     len--;
 497   }
 498
 499   while (tmp) {
 500     char *dirname, *basename;
 501     len = strlen (tmp);
 502
 503     if (g_strcmp0 (tmp, ".") == 0)
 504       break;
 505     if (g_strcmp0 (tmp, "/") == 0)
 506       break;
 507 #if defined(G_OS_WIN32)
 508     /* g_path_get_dirname() may return something of the form 'C:.', where C is
 509      * a drive letter */
 510     if (len == 3 && g_ascii_isalpha (tmp[0]) && tmp[1] == ':' && tmp[2] == '.')
 511       break;
 512 #endif
 513
 514     basename = g_path_get_basename (tmp);
 515     dirname = g_path_get_dirname (tmp);
 516
 517     if (g_strcmp0 (basename, "..") == 0) {
 518       i--;
 519     } else if (g_strcmp0 (basename, ".") == 0) {
 520       /* nothing to do */
 521     } else {
 522       i++;
 523     }
 524
 525     g_clear_pointer (&basename, g_free);
 526     g_clear_pointer (&tmp, g_free);
 527     tmp = dirname;
 528   }
 529
 530   g_clear_pointer (&tmp, g_free);
 531
 532   if (i < 0) {
 533     g_critical ("path counting resulted in a negative directory count!");
 534     return 0;
 535   }
 536
 537   return i;
 538 }
 539
 540 static gboolean
 541 gst_plugin_loader_spawn (GstPluginLoader * loader)
 542 {
 543   const gchar *env;
 544   char *helper_bin;
 545   gboolean res = FALSE;
 546
 547   if (loader->child_running)
 548     return TRUE;
 549
 550   /* Find the gst-plugin-scanner */
 551   env = g_getenv ("GST_PLUGIN_SCANNER_1_0");
 552   if (env == NULL)
 553     env = g_getenv ("GST_PLUGIN_SCANNER");
 554
 555   if (env != NULL && *env != '\0') {
 556     /* use the env-var if it is set */
 557     GST_LOG ("Trying GST_PLUGIN_SCANNER env var: %s", env);
 558     helper_bin = g_strdup (env);
 559     res = gst_plugin_loader_try_helper (loader, helper_bin);
 560     g_free (helper_bin);
 561   } else {
 562     char *relocated_libgstreamer;
 563
 564     /* use the installed version */
 565     GST_LOG ("Trying installed plugin scanner");
 566
 567 #ifdef G_OS_WIN32
 568 #define EXESUFFIX ".exe"
 569 #else
 570 #define EXESUFFIX
 571 #endif
 572
 573 #define MAX_PATH_DEPTH 64
 574
 575     relocated_libgstreamer = priv_gst_get_relocated_libgstreamer ();
 576     if (relocated_libgstreamer) {
 577       int plugin_subdir_depth = count_directories (GST_PLUGIN_SUBDIR);
 578
 579       GST_DEBUG ("found libgstreamer-" GST_API_VERSION " library "
 580           "at %s", relocated_libgstreamer);
 581
 582       if (plugin_subdir_depth < MAX_PATH_DEPTH) {
 583         const char *filenamev[MAX_PATH_DEPTH + 5];
 584         int i = 0, j;
 585
 586         filenamev[i++] = relocated_libgstreamer;
 587         for (j = 0; j < plugin_subdir_depth; j++)
 588           filenamev[i++] = "..";
 589         filenamev[i++] = GST_PLUGIN_SCANNER_SUBDIR;
 590         filenamev[i++] = "gstreamer-" GST_API_VERSION;
 591         filenamev[i++] = "gst-plugin-scanner" EXESUFFIX;
 592         filenamev[i++] = NULL;
 593         g_assert (i <= MAX_PATH_DEPTH + 5);
 594
 595         GST_DEBUG ("constructing path to system plugin scanner using "
 596             "plugin dir: \'%s\', plugin scanner dir: \'%s\'",
 597             GST_PLUGIN_SUBDIR, GST_PLUGIN_SCANNER_SUBDIR);
 598
 599         helper_bin = g_build_filenamev ((char **) filenamev);
 600       } else {
 601         GST_WARNING ("GST_PLUGIN_SUBDIR: \'%s\' has too many path segments",
 602             GST_PLUGIN_SUBDIR);
 603         helper_bin = g_strdup (GST_PLUGIN_SCANNER_INSTALLED);
 604       }
 605     } else {
 606       helper_bin = g_strdup (GST_PLUGIN_SCANNER_INSTALLED);
 607     }
 608
 609     GST_DEBUG ("using system plugin scanner at %s", helper_bin);
 610
 611     res = gst_plugin_loader_try_helper (loader, helper_bin);
 612     g_free (helper_bin);
 613     g_free (relocated_libgstreamer);
 614   }
 615
 616   if (!res) {
 617     GST_INFO ("No gst-plugin-scanner available, or not working");
 618   }
 619
 620   return loader->child_running;
 621 }
 622
 623 static void
 624 plugin_loader_cleanup_child (GstPluginLoader * l)
 625 {
 626   if (!l->child_running || l->is_child)
 627     return;
 628
 629   gst_poll_remove_fd (l->fdset, &l->fd_w);
 630   gst_poll_remove_fd (l->fdset, &l->fd_r);
 631
 632   close (l->fd_w.fd);
 633   close (l->fd_r.fd);
 634
 635 #ifndef G_OS_WIN32
 636   GST_LOG ("waiting for child process to exit");
 637   waitpid (l->child_pid, NULL, 0);
 638 #else
 639   g_warning ("FIXME: Implement child process shutdown for Win32");
 640 #endif
 641   g_spawn_close_pid (l->child_pid);
 642
 643   l->child_running = FALSE;
 644 }
 645
 646 gboolean
 647 _gst_plugin_loader_client_run (void)
 648 {
 649   gboolean res = TRUE;
 650   GstPluginLoader *l;
 651
 652   l = plugin_loader_new (NULL);
 653   if (l == NULL)
 654     return FALSE;
 655
 656   /* On entry, the inward pipe is STDIN, and outward is STDOUT.
 657    * Dup those somewhere better so that plugins printing things
 658    * won't interfere with anything */
 659 #ifndef G_OS_WIN32
 660   {
 661     int dup_fd;
 662
 663     dup_fd = dup (0);           /* STDIN */
 664     if (dup_fd == -1) {
 665       GST_ERROR ("Failed to start. Could not dup STDIN, errno %d", errno);
 666       res = FALSE;
 667       goto beach;
 668     }
 669     l->fd_r.fd = dup_fd;
 670     close (0);
 671
 672     dup_fd = dup (1);           /* STDOUT */
 673     if (dup_fd == -1) {
 674       GST_ERROR ("Failed to start. Could not dup STDOUT, errno %d", errno);
 675       res = FALSE;
 676       goto beach;
 677     }
 678     l->fd_w.fd = dup_fd;
 679     close (1);
 680
 681     /* Dup stderr down to stdout so things that plugins print are visible,
 682      * but don't care if it fails */
 683     dup2 (2, 1);
 684   }
 685 #else
 686   /* FIXME: Use DuplicateHandle and friends on win32 */
 687   l->fd_w.fd = 1;               /* STDOUT */
 688   l->fd_r.fd = 0;               /* STDIN */
 689 #endif
 690
 691   gst_poll_add_fd (l->fdset, &l->fd_w);
 692   gst_poll_add_fd (l->fdset, &l->fd_r);
 693   gst_poll_fd_ctl_read (l->fdset, &l->fd_r, TRUE);
 694
 695   l->is_child = TRUE;
 696
 697   GST_DEBUG ("Plugin scanner child running. Waiting for instructions");
 698
 699   /* Loop, listening for incoming packets on the fd and writing responses */
 700   while (!l->rx_done && exchange_packets (l));
 701
 702 #ifndef G_OS_WIN32
 703 beach:
 704 #endif
 705
 706   plugin_loader_free (l);
 707
 708   return res;
 709 }
 710
 711 static void
 712 put_packet (GstPluginLoader * l, guint type, guint32 tag,
 713     const guint8 * payload, guint32 payload_len)
 714 {
 715   guint8 *out;
 716   guint len = payload_len + HEADER_SIZE;
 717
 718   if (l->tx_buf_write + len >= l->tx_buf_size) {
 719     GST_LOG ("Expanding tx buf from %d to %d for packet of size %d",
 720         l->tx_buf_size, l->tx_buf_write + len + BUF_GROW_EXTRA, len);
 721     l->tx_buf_size = l->tx_buf_write + len + BUF_GROW_EXTRA;
 722     l->tx_buf = g_realloc (l->tx_buf, l->tx_buf_size);
 723   }
 724
 725   out = l->tx_buf + l->tx_buf_write;
 726
 727   /* one byte packet type */
 728   out[0] = type;
 729   /* 3 byte packet tag number */
 730   GST_WRITE_UINT24_BE (out + 1, tag);
 731   /* 4 bytes packet length */
 732   GST_WRITE_UINT32_BE (out + 4, payload_len);
 733   /* payload */
 734   if (payload && payload_len)
 735     memcpy (out + HEADER_SIZE, payload, payload_len);
 736   /* Write magic into the header */
 737   GST_WRITE_UINT32_BE (out + 8, HEADER_MAGIC);
 738
 739   l->tx_buf_write += len;
 740   gst_poll_fd_ctl_write (l->fdset, &l->fd_w, TRUE);
 741 }
 742
 743 static void
 744 put_chunk (GstPluginLoader * l, GstRegistryChunk * chunk, guint * pos)
 745 {
 746   guint padsize = 0;
 747   guint len;
 748   guint8 *out;
 749
 750   /* Might need to align the chunk */
 751   if (chunk->align && ((*pos) % ALIGNMENT) != 0)
 752     padsize = ALIGNMENT - ((*pos) % ALIGNMENT);
 753
 754   len = padsize + chunk->size;
 755
 756   if (G_UNLIKELY (l->tx_buf_write + len >= l->tx_buf_size)) {
 757     guint new_size = MAX (l->tx_buf_write + len,
 758         l->tx_buf_size + l->tx_buf_size / 4) + BUF_GROW_EXTRA;
 759     GST_LOG ("Expanding tx buf from %d to %d for chunk of size %d",
 760         l->tx_buf_size, new_size, chunk->size);
 761     l->tx_buf_size = new_size;
 762     l->tx_buf = g_realloc (l->tx_buf, l->tx_buf_size);
 763   }
 764
 765   out = l->tx_buf + l->tx_buf_write;
 766   /* Clear the padding */
 767   if (padsize)
 768     memset (out, 0, padsize);
 769   memcpy (out + padsize, chunk->data, chunk->size);
 770
 771   l->tx_buf_write += len;
 772   *pos += len;
 773
 774   gst_poll_fd_ctl_write (l->fdset, &l->fd_w, TRUE);
 775 };
 776
 777 static gboolean
 778 write_one (GstPluginLoader * l)
 779 {
 780   guint8 *out;
 781   guint32 to_write, magic;
 782   int res;
 783
 784   if (l->tx_buf_read + HEADER_SIZE > l->tx_buf_write)
 785     return FALSE;
 786
 787   out = l->tx_buf + l->tx_buf_read;
 788
 789   magic = GST_READ_UINT32_BE (out + 8);
 790   if (magic != HEADER_MAGIC) {
 791     GST_ERROR ("Packet magic number is missing. Memory corruption detected");
 792     goto fail_and_cleanup;
 793   }
 794
 795   to_write = GST_READ_UINT32_BE (out + 4) + HEADER_SIZE;
 796   /* Check that the magic is intact, and the size is sensible */
 797   if (to_write > l->tx_buf_size) {
 798     GST_ERROR ("Indicated packet size is too large. Corruption detected");
 799     goto fail_and_cleanup;
 800   }
 801
 802   l->tx_buf_read += to_write;
 803
 804   GST_LOG ("Writing packet of size %d bytes to fd %d", to_write, l->fd_w.fd);
 805
 806   do {
 807     res = write (l->fd_w.fd, out, to_write);
 808     if (G_UNLIKELY (res < 0)) {
 809       if (errno == EAGAIN || errno == EINTR)
 810         continue;
 811       /* Failed to write -> child died */
 812       goto fail_and_cleanup;
 813     } else if (G_UNLIKELY (res == 0)) {
 814       /* FD closed -> child died */
 815       goto fail_and_cleanup;
 816     }
 817     to_write -= res;
 818     out += res;
 819   } while (to_write > 0);
 820
 821   if (l->tx_buf_read == l->tx_buf_write) {
 822     gst_poll_fd_ctl_write (l->fdset, &l->fd_w, FALSE);
 823     l->tx_buf_read = l->tx_buf_write = 0;
 824   }
 825
 826   return TRUE;
 827
 828 fail_and_cleanup:
 829   plugin_loader_cleanup_child (l);
 830   return FALSE;
 831 }
 832
 833 static gboolean
 834 do_plugin_load (GstPluginLoader * l, const gchar * filename, guint tag)
 835 {
 836   GstPlugin *newplugin;
 837   GList *chunks = NULL;
 838
 839   GST_DEBUG ("Plugin scanner loading file %s. tag %u", filename, tag);
 840
 841 #if 0                           /* Test code - crash based on filename */
 842   if (strstr (filename, "coreelements") == NULL) {
 843     g_printerr ("Crashing on file %s\n", filename);
 844     g_printerr ("%d", *(gint *) (NULL));
 845   }
 846 #endif
 847
 848   newplugin = gst_plugin_load_file ((gchar *) filename, NULL);
 849   if (newplugin) {
 850     guint hdr_pos;
 851     guint offset;
 852
 853     /* Now serialise the plugin details and send */
 854     if (!_priv_gst_registry_chunks_save_plugin (&chunks,
 855             gst_registry_get (), newplugin))
 856       goto fail;
 857
 858     /* Store where the header is, write an empty one, then write
 859      * all the payload chunks, then fix up the header size */
 860     hdr_pos = l->tx_buf_write;
 861     offset = HEADER_SIZE;
 862     put_packet (l, PACKET_PLUGIN_DETAILS, tag, NULL, 0);
 863
 864     if (chunks) {
 865       GList *walk;
 866       for (walk = chunks; walk; walk = g_list_next (walk)) {
 867         GstRegistryChunk *cur = walk->data;
 868         put_chunk (l, cur, &offset);
 869
 870         _priv_gst_registry_chunk_free (cur);
 871       }
 872
 873       g_list_free (chunks);
 874
 875       /* Store the size of the written payload */
 876       GST_WRITE_UINT32_BE (l->tx_buf + hdr_pos + 4, offset - HEADER_SIZE);
 877     }
 878 #if 0                           /* Test code - corrupt the tx buffer based on filename */
 879     if (strstr (filename, "sink") != NULL) {
 880       int fd, res;
 881       g_printerr ("Corrupting tx buf on file %s\n", filename);
 882       fd = open ("/dev/urandom", O_RDONLY);
 883       res = read (fd, l->tx_buf, l->tx_buf_size);
 884       close (fd);
 885     }
 886 #endif
 887
 888     gst_object_unref (newplugin);
 889   } else {
 890     put_packet (l, PACKET_PLUGIN_DETAILS, tag, NULL, 0);
 891   }
 892
 893   return TRUE;
 894 fail:
 895   put_packet (l, PACKET_PLUGIN_DETAILS, tag, NULL, 0);
 896   if (chunks) {
 897     GList *walk;
 898     for (walk = chunks; walk; walk = g_list_next (walk)) {
 899       GstRegistryChunk *cur = walk->data;
 900
 901       _priv_gst_registry_chunk_free (cur);
 902     }
 903
 904     g_list_free (chunks);
 905   }
 906
 907   return FALSE;
 908 }
 909
 910 static gboolean
 911 check_protocol_version (GstPluginLoader * l, guint8 * payload,
 912     guint payload_len)
 913 {
 914   guint32 got_version;
 915   guint8 *binary_reg_ver;
 916
 917   if (payload_len < sizeof (guint32) + GST_MAGIC_BINARY_VERSION_LEN)
 918     return FALSE;
 919
 920   got_version = GST_READ_UINT32_BE (payload);
 921   GST_LOG ("Got VERSION %u from child. Ours is %u", got_version,
 922       loader_protocol_version);
 923   if (got_version != loader_protocol_version)
 924     return FALSE;
 925
 926   binary_reg_ver = payload + sizeof (guint32);
 927   if (strcmp ((gchar *) binary_reg_ver, GST_MAGIC_BINARY_VERSION_STR)) {
 928     GST_LOG ("Binary chunk format of child is different. Ours: %s, child %s\n",
 929         GST_MAGIC_BINARY_VERSION_STR, binary_reg_ver);
 930     return FALSE;
 931   }
 932
 933   return TRUE;
 934 };
 935
 936 static gboolean
 937 handle_rx_packet (GstPluginLoader * l,
 938     guint pack_type, guint32 tag, guint8 * payload, guint payload_len)
 939 {
 940   gboolean res = TRUE;
 941
 942   switch (pack_type) {
 943     case PACKET_EXIT:
 944       gst_poll_fd_ctl_read (l->fdset, &l->fd_r, FALSE);
 945       if (l->is_child) {
 946         /* Respond */
 947         put_packet (l, PACKET_EXIT, 0, NULL, 0);
 948       }
 949       l->rx_done = TRUE;
 950       return TRUE;
 951     case PACKET_LOAD_PLUGIN:{
 952       if (!l->is_child)
 953         return TRUE;
 954
 955       /* Payload is the filename to load */
 956       res = do_plugin_load (l, (gchar *) payload, tag);
 957
 958       break;
 959     }
 960     case PACKET_PLUGIN_DETAILS:{
 961       gchar *tmp = (gchar *) payload;
 962       PendingPluginEntry *entry = NULL;
 963       GList *cur;
 964
 965       GST_DEBUG_OBJECT (l->registry,
 966           "Received plugin details from child w/ tag %u. %d bytes info",
 967           tag, payload_len);
 968
 969       /* Assume that tagged details come back in the order
 970        * we requested, and delete anything before (but not
 971        * including) this one */
 972       cur = l->pending_plugins;
 973       while (cur) {
 974         PendingPluginEntry *e = (PendingPluginEntry *) (cur->data);
 975
 976         if (e->tag > tag)
 977           break;
 978
 979         if (e->tag == tag) {
 980           entry = e;
 981           break;
 982         } else {
 983           cur = g_list_delete_link (cur, cur);
 984           g_free (e->filename);
 985           g_slice_free (PendingPluginEntry, e);
 986         }
 987       }
 988
 989       l->pending_plugins = cur;
 990       if (cur == NULL)
 991         l->pending_plugins_tail = NULL;
 992
 993       if (payload_len > 0) {
 994         GstPlugin *newplugin = NULL;
 995         if (!_priv_gst_registry_chunks_load_plugin (l->registry, &tmp,
 996                 tmp + payload_len, &newplugin)) {
 997           /* Got garbage from the child, so fail and trigger replay of plugins */
 998           GST_ERROR_OBJECT (l->registry,
 999               "Problems loading plugin details with tag %u from scanner", tag);
1000           return FALSE;
1001         }
1002
1003         GST_OBJECT_FLAG_UNSET (newplugin, GST_PLUGIN_FLAG_CACHED);
1004         GST_LOG_OBJECT (l->registry,
1005             "marking plugin %p as registered as %s", newplugin,
1006             newplugin->filename);
1007         newplugin->registered = TRUE;
1008
1009         /* We got a set of plugin details - remember it for later */
1010         l->got_plugin_details = TRUE;
1011       } else if (entry != NULL) {
1012         /* Create a blacklist entry for this file to prevent scanning every time */
1013         plugin_loader_create_blacklist_plugin (l, entry);
1014         l->got_plugin_details = TRUE;
1015       }
1016
1017       if (entry != NULL) {
1018         g_free (entry->filename);
1019         g_slice_free (PendingPluginEntry, entry);
1020       }
1021
1022       /* Remove the plugin entry we just loaded */
1023       cur = l->pending_plugins;
1024       if (cur != NULL)
1025         cur = g_list_delete_link (cur, cur);
1026       l->pending_plugins = cur;
1027       if (cur == NULL)
1028         l->pending_plugins_tail = NULL;
1029
1030       break;
1031     }
1032     case PACKET_SYNC:
1033       if (l->is_child) {
1034         /* Respond with our reply - also a sync */
1035         put_packet (l, PACKET_SYNC, tag, NULL, 0);
1036         GST_LOG ("Got SYNC in child - replying");
1037       } else
1038         l->rx_got_sync = TRUE;
1039       break;
1040     case PACKET_VERSION:
1041       if (l->is_child) {
1042         /* Respond with our reply - a version packet, with the version */
1043         const gint version_len =
1044             sizeof (guint32) + GST_MAGIC_BINARY_VERSION_LEN;
1045         guint8 version_info[sizeof (guint32) + GST_MAGIC_BINARY_VERSION_LEN];
1046         memset (version_info, 0, version_len);
1047         GST_WRITE_UINT32_BE (version_info, loader_protocol_version);
1048         memcpy (version_info + sizeof (guint32), GST_MAGIC_BINARY_VERSION_STR,
1049             strlen (GST_MAGIC_BINARY_VERSION_STR));
1050         put_packet (l, PACKET_VERSION, tag, version_info, version_len);
1051         GST_LOG ("Got VERSION in child - replying %u", loader_protocol_version);
1052       } else {
1053         res = check_protocol_version (l, payload, payload_len);
1054       }
1055       break;
1056     default:
1057       return FALSE;             /* Invalid packet -> something is wrong */
1058   }
1059
1060   return res;
1061 }
1062
1063 static gboolean
1064 read_one (GstPluginLoader * l)
1065 {
1066   guint64 magic;
1067   guint32 to_read, packet_len, tag;
1068   guint8 *in;
1069   gint res;
1070
1071   to_read = HEADER_SIZE;
1072   in = l->rx_buf;
1073   do {
1074     res = read (l->fd_r.fd, in, to_read);
1075     if (G_UNLIKELY (res < 0)) {
1076       if (errno == EAGAIN || errno == EINTR)
1077         continue;
1078       GST_LOG ("Failed reading packet header");
1079       return FALSE;
1080     } else if (G_UNLIKELY (res == 0)) {
1081       GST_LOG ("Failed reading packet header: Unexpected EOF");
1082       return FALSE;
1083     }
1084     to_read -= res;
1085     in += res;
1086   } while (to_read > 0);
1087
1088   magic = GST_READ_UINT32_BE (l->rx_buf + 8);
1089   if (magic != HEADER_MAGIC) {
1090     GST_WARNING
1091         ("Invalid packet (bad magic number) received from plugin scanner subprocess");
1092     return FALSE;
1093   }
1094
1095   packet_len = GST_READ_UINT32_BE (l->rx_buf + 4);
1096   if (packet_len + HEADER_SIZE > BUF_MAX_SIZE) {
1097     GST_WARNING
1098         ("Received excessively large packet for plugin scanner subprocess");
1099     return FALSE;
1100   }
1101   tag = GST_READ_UINT24_BE (l->rx_buf + 1);
1102
1103   if (packet_len > 0) {
1104     if (packet_len + HEADER_SIZE >= l->rx_buf_size) {
1105       GST_LOG ("Expanding rx buf from %d to %d",
1106           l->rx_buf_size, packet_len + HEADER_SIZE + BUF_GROW_EXTRA);
1107       l->rx_buf_size = packet_len + HEADER_SIZE + BUF_GROW_EXTRA;
1108       l->rx_buf = g_realloc (l->rx_buf, l->rx_buf_size);
1109     }
1110
1111     in = l->rx_buf + HEADER_SIZE;
1112     to_read = packet_len;
1113     do {
1114       res = read (l->fd_r.fd, in, to_read);
1115       if (G_UNLIKELY (res < 0)) {
1116         if (errno == EAGAIN || errno == EINTR)
1117           continue;
1118         GST_ERROR ("Packet payload read failed");
1119         return FALSE;
1120       } else if (G_UNLIKELY (res == 0)) {
1121         GST_ERROR ("Packet payload read failed: Unexpected EOF");
1122         return FALSE;
1123       }
1124       to_read -= res;
1125       in += res;
1126     } while (to_read > 0);
1127   } else {
1128     GST_LOG ("No payload to read for 0 length packet type %d tag %u",
1129         l->rx_buf[0], tag);
1130   }
1131
1132   return handle_rx_packet (l, l->rx_buf[0], tag,
1133       l->rx_buf + HEADER_SIZE, packet_len);
1134 }
1135
1136 static gboolean
1137 exchange_packets (GstPluginLoader * l)
1138 {
1139   gint res;
1140
1141   /* Wait for activity on our FDs */
1142   do {
1143     do {
1144       res = gst_poll_wait (l->fdset, GST_SECOND);
1145     } while (res == -1 && (errno == EINTR || errno == EAGAIN));
1146
1147     if (res < 0)
1148       return FALSE;
1149
1150     GST_LOG ("Poll res = %d. %d bytes pending for write", res,
1151         l->tx_buf_write - l->tx_buf_read);
1152
1153     if (!l->rx_done) {
1154       if (gst_poll_fd_has_error (l->fdset, &l->fd_r)) {
1155         GST_LOG ("read fd %d errored", l->fd_r.fd);
1156         goto fail_and_cleanup;
1157       }
1158
1159       if (gst_poll_fd_can_read (l->fdset, &l->fd_r)) {
1160         if (!read_one (l))
1161           goto fail_and_cleanup;
1162       } else if (gst_poll_fd_has_closed (l->fdset, &l->fd_r)) {
1163         GST_LOG ("read fd %d closed", l->fd_r.fd);
1164         goto fail_and_cleanup;
1165       }
1166     }
1167
1168     if (l->tx_buf_read < l->tx_buf_write) {
1169       if (gst_poll_fd_has_error (l->fdset, &l->fd_w)) {
1170         GST_ERROR ("write fd %d errored", l->fd_w.fd);
1171         goto fail_and_cleanup;
1172       }
1173       if (gst_poll_fd_can_write (l->fdset, &l->fd_w)) {
1174         if (!write_one (l))
1175           goto fail_and_cleanup;
1176       } else if (gst_poll_fd_has_closed (l->fdset, &l->fd_w)) {
1177         GST_LOG ("write fd %d closed", l->fd_w.fd);
1178         goto fail_and_cleanup;
1179       }
1180     }
1181   } while (l->tx_buf_read < l->tx_buf_write);
1182
1183   return TRUE;
1184 fail_and_cleanup:
1185   plugin_loader_cleanup_child (l);
1186   return FALSE;
1187 }