gst/gstpluginloader.c

   1 /* GStreamer
   2  * Copyright (C) 2008 Jan Schmidt <jan.schmidt@sun.com>
   3  *
   4  * gstpluginloader.c: GstPluginLoader helper for loading plugin files
   5  * out of process.
   6  *
   7  * This library is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU Library General Public
   9  * License as published by the Free Software Foundation; either
  10  * version 2 of the License, or (at your option) any later version.
  11  *
  12  * This library is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15  * Library General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Library General Public
  18  * License along with this library; if not, write to the
  19  * Free Software Foundation, Inc., 51 Franklin St, Fifth Floor,
  20  * Boston, MA 02110-1301, USA.
  21  */
  22
  23 #ifdef HAVE_CONFIG_H
  24 #  include "config.h"
  25 #endif
  26
  27 #include <gst/gst_private.h>
  28
  29 #ifndef G_OS_WIN32
  30 #include <sys/types.h>
  31 #include <sys/wait.h>
  32 #include <sys/stat.h>
  33 #include <fcntl.h>
  34 #include <unistd.h>
  35 #else
  36 #define WIN32_LEAN_AND_MEAN
  37
  38 #define fsync(fd) _commit(fd)
  39 #include <io.h>
  40
  41 #include <windows.h>
  42 extern HMODULE _priv_gst_dll_handle;
  43 #endif
  44
  45 #ifdef HAVE_SYS_UTSNAME_H
  46 #include <sys/utsname.h>
  47 #endif
  48
  49 #include <errno.h>
  50
  51 #include <gst/gstconfig.h>
  52
  53 #include <gst/gstpoll.h>
  54 #include <gst/gstutils.h>
  55
  56 #include <gst/gstpluginloader.h>
  57 #include <gst/gstregistrychunks.h>
  58 #include <gst/gstregistrybinary.h>
  59
  60 /* IMPORTANT: Bump the version number if the plugin loader packet protocol
  61  * changes. Changes in the binary registry format itself are handled by
  62  * bumping the GST_MAGIC_BINARY_VERSION_STR
  63  */
  64 static const guint32 loader_protocol_version = 3;
  65
  66 #define GST_CAT_DEFAULT GST_CAT_PLUGIN_LOADING
  67
  68 static GstPluginLoader *plugin_loader_new (GstRegistry * registry);
  69 static gboolean plugin_loader_free (GstPluginLoader * loader);
  70 static gboolean plugin_loader_load (GstPluginLoader * loader,
  71     const gchar * filename, off_t file_size, time_t file_mtime);
  72
  73 /* functions used in GstRegistry scanning */
  74 const GstPluginLoaderFuncs _priv_gst_plugin_loader_funcs = {
  75   plugin_loader_new, plugin_loader_free, plugin_loader_load
  76 };
  77
  78 typedef struct _PendingPluginEntry
  79 {
  80   /* sequence number */
  81   guint32 tag;
  82   gchar *filename;
  83   off_t file_size;
  84   time_t file_mtime;
  85 } PendingPluginEntry;
  86
  87 struct _GstPluginLoader
  88 {
  89   GstRegistry *registry;
  90   GstPoll *fdset;
  91
  92   gboolean child_running;
  93   GPid child_pid;
  94   GstPollFD fd_w;
  95   GstPollFD fd_r;
  96
  97   gboolean is_child;
  98   gboolean got_plugin_details;
  99
 100   /* Transmit buffer */
 101   guint8 *tx_buf;
 102   guint tx_buf_size;
 103   guint tx_buf_write;
 104   guint tx_buf_read;
 105
 106   /* next sequence number (for PendingPluginEntry) */
 107   guint32 next_tag;
 108
 109   guint8 *rx_buf;
 110   guint rx_buf_size;
 111   gboolean rx_done;
 112   gboolean rx_got_sync;
 113
 114   /* Head and tail of the pending plugins list. List of
 115      PendingPluginEntry structs */
 116   GList *pending_plugins;
 117   GList *pending_plugins_tail;
 118 };
 119
 120 #define PACKET_EXIT 1
 121 #define PACKET_LOAD_PLUGIN 2
 122 #define PACKET_SYNC 3
 123 #define PACKET_PLUGIN_DETAILS 4
 124 #define PACKET_VERSION 5
 125
 126 #define BUF_INIT_SIZE 512
 127 #define BUF_GROW_EXTRA 512
 128 #define BUF_MAX_SIZE (32 * 1024 * 1024)
 129
 130 #define HEADER_SIZE 12
 131 /* 4 magic hex bytes to mark each packet */
 132 #define HEADER_MAGIC 0xbefec0ae
 133 #define ALIGNMENT   (sizeof (void *))
 134
 135 static gboolean gst_plugin_loader_spawn (GstPluginLoader * loader);
 136 static void put_packet (GstPluginLoader * loader, guint type, guint32 tag,
 137     const guint8 * payload, guint32 payload_len);
 138 static gboolean exchange_packets (GstPluginLoader * l);
 139 static gboolean plugin_loader_replay_pending (GstPluginLoader * l);
 140 static gboolean plugin_loader_load_and_sync (GstPluginLoader * l,
 141     PendingPluginEntry * entry);
 142 static void plugin_loader_create_blacklist_plugin (GstPluginLoader * l,
 143     PendingPluginEntry * entry);
 144 static void plugin_loader_cleanup_child (GstPluginLoader * loader);
 145 static gboolean plugin_loader_sync_with_child (GstPluginLoader * l);
 146
 147 static GstPluginLoader *
 148 plugin_loader_new (GstRegistry * registry)
 149 {
 150   GstPluginLoader *l = g_slice_new0 (GstPluginLoader);
 151
 152   if (registry)
 153     l->registry = gst_object_ref (registry);
 154   l->fdset = gst_poll_new (FALSE);
 155   gst_poll_fd_init (&l->fd_w);
 156   gst_poll_fd_init (&l->fd_r);
 157
 158   l->tx_buf_size = BUF_INIT_SIZE;
 159   l->tx_buf = g_malloc (BUF_INIT_SIZE);
 160
 161   l->next_tag = 0;
 162
 163   l->rx_buf_size = BUF_INIT_SIZE;
 164   l->rx_buf = g_malloc (BUF_INIT_SIZE);
 165
 166   return l;
 167 }
 168
 169 static gboolean
 170 plugin_loader_free (GstPluginLoader * loader)
 171 {
 172   GList *cur;
 173   gboolean got_plugin_details;
 174
 175   fsync (loader->fd_w.fd);
 176
 177   if (loader->child_running) {
 178     put_packet (loader, PACKET_EXIT, 0, NULL, 0);
 179
 180     /* Swap packets with the child until it exits cleanly */
 181     while (!loader->rx_done) {
 182       if (exchange_packets (loader) || loader->rx_done)
 183         continue;
 184
 185       if (!plugin_loader_replay_pending (loader))
 186         break;
 187       put_packet (loader, PACKET_EXIT, 0, NULL, 0);
 188     }
 189
 190     plugin_loader_cleanup_child (loader);
 191   } else {
 192     close (loader->fd_w.fd);
 193     close (loader->fd_r.fd);
 194   }
 195
 196   gst_poll_free (loader->fdset);
 197
 198   g_free (loader->rx_buf);
 199   g_free (loader->tx_buf);
 200
 201   if (loader->registry)
 202     gst_object_unref (loader->registry);
 203
 204   got_plugin_details = loader->got_plugin_details;
 205
 206   /* Free any pending plugin entries */
 207   cur = loader->pending_plugins;
 208   while (cur) {
 209     PendingPluginEntry *entry = (PendingPluginEntry *) (cur->data);
 210     g_free (entry->filename);
 211     g_slice_free (PendingPluginEntry, entry);
 212
 213     cur = g_list_delete_link (cur, cur);
 214   }
 215
 216   g_slice_free (GstPluginLoader, loader);
 217
 218   return got_plugin_details;
 219 }
 220
 221 static gboolean
 222 plugin_loader_load (GstPluginLoader * loader, const gchar * filename,
 223     off_t file_size, time_t file_mtime)
 224 {
 225   gint len;
 226   PendingPluginEntry *entry;
 227
 228   if (!gst_plugin_loader_spawn (loader))
 229     return FALSE;
 230
 231   /* Send a packet to the child requesting that it load the given file */
 232   GST_LOG_OBJECT (loader->registry,
 233       "Sending file %s to child. tag %u", filename, loader->next_tag);
 234
 235   entry = g_slice_new (PendingPluginEntry);
 236   entry->tag = loader->next_tag++;
 237   entry->filename = g_strdup (filename);
 238   entry->file_size = file_size;
 239   entry->file_mtime = file_mtime;
 240   loader->pending_plugins_tail =
 241       g_list_append (loader->pending_plugins_tail, entry);
 242
 243   if (loader->pending_plugins == NULL)
 244     loader->pending_plugins = loader->pending_plugins_tail;
 245   else
 246     loader->pending_plugins_tail = g_list_next (loader->pending_plugins_tail);
 247
 248   len = strlen (filename);
 249   put_packet (loader, PACKET_LOAD_PLUGIN, entry->tag,
 250       (guint8 *) filename, len + 1);
 251
 252   if (!exchange_packets (loader)) {
 253     if (!plugin_loader_replay_pending (loader))
 254       return FALSE;
 255   }
 256
 257   return TRUE;
 258 }
 259
 260 static gboolean
 261 plugin_loader_replay_pending (GstPluginLoader * l)
 262 {
 263   GList *cur, *next;
 264
 265 restart:
 266   if (!gst_plugin_loader_spawn (l))
 267     return FALSE;
 268
 269   /* Load each plugin one by one synchronously until we find the
 270    * crashing one */
 271   while ((cur = l->pending_plugins)) {
 272     PendingPluginEntry *entry = (PendingPluginEntry *) (cur->data);
 273
 274     if (!plugin_loader_load_and_sync (l, entry)) {
 275       /* Create dummy plugin entry to block re-scanning this file */
 276       GST_ERROR ("Plugin file %s failed to load. Blacklisting",
 277           entry->filename);
 278       plugin_loader_create_blacklist_plugin (l, entry);
 279       l->got_plugin_details = TRUE;
 280       /* Now remove this crashy plugin from the head of the list */
 281       l->pending_plugins = g_list_delete_link (cur, cur);
 282       g_free (entry->filename);
 283       g_slice_free (PendingPluginEntry, entry);
 284       if (l->pending_plugins == NULL)
 285         l->pending_plugins_tail = NULL;
 286       if (!gst_plugin_loader_spawn (l))
 287         return FALSE;
 288       break;
 289     }
 290   }
 291
 292   /* We exited after finding the crashing one. If there's any more pending,
 293    * dispatch them post-haste, but don't wait */
 294   for (cur = l->pending_plugins; cur != NULL; cur = next) {
 295     PendingPluginEntry *entry = (PendingPluginEntry *) (cur->data);
 296
 297     next = g_list_next (cur);
 298
 299     put_packet (l, PACKET_LOAD_PLUGIN, entry->tag,
 300         (guint8 *) entry->filename, strlen (entry->filename) + 1);
 301
 302     /* This might invalidate cur, which is why we grabbed 'next' above */
 303     if (!exchange_packets (l))
 304       goto restart;
 305   }
 306
 307   return TRUE;
 308 }
 309
 310 static gboolean
 311 plugin_loader_sync_with_child (GstPluginLoader * l)
 312 {
 313   put_packet (l, PACKET_SYNC, 0, NULL, 0);
 314
 315   l->rx_got_sync = FALSE;
 316   while (!l->rx_got_sync) {
 317     if (!exchange_packets (l))
 318       return FALSE;
 319   }
 320   return TRUE;
 321 }
 322
 323 static gboolean
 324 plugin_loader_load_and_sync (GstPluginLoader * l, PendingPluginEntry * entry)
 325 {
 326   gint len;
 327
 328   GST_DEBUG_OBJECT (l->registry, "Synchronously loading plugin file %s",
 329       entry->filename);
 330
 331   len = strlen (entry->filename);
 332   put_packet (l, PACKET_LOAD_PLUGIN, entry->tag,
 333       (guint8 *) entry->filename, len + 1);
 334
 335   return plugin_loader_sync_with_child (l);
 336 }
 337
 338 static void
 339 plugin_loader_create_blacklist_plugin (GstPluginLoader * l,
 340     PendingPluginEntry * entry)
 341 {
 342   GstPlugin *plugin = g_object_newv (GST_TYPE_PLUGIN, 0, NULL);
 343
 344   plugin->filename = g_strdup (entry->filename);
 345   plugin->file_mtime = entry->file_mtime;
 346   plugin->file_size = entry->file_size;
 347   GST_OBJECT_FLAG_SET (plugin, GST_PLUGIN_FLAG_BLACKLISTED);
 348
 349   plugin->basename = g_path_get_basename (plugin->filename);
 350   plugin->desc.name = g_intern_string (plugin->basename);
 351   plugin->desc.description = "Plugin for blacklisted file";
 352   plugin->desc.version = "0.0.0";
 353   plugin->desc.license = "BLACKLIST";
 354   plugin->desc.source = plugin->desc.license;
 355   plugin->desc.package = plugin->desc.license;
 356   plugin->desc.origin = plugin->desc.license;
 357
 358   GST_DEBUG ("Adding blacklist plugin '%s'", plugin->desc.name);
 359   gst_registry_add_plugin (l->registry, plugin);
 360 }
 361
 362 #ifdef __APPLE__
 363 #if defined(__x86_64__)
 364 #define USR_BIN_ARCH_SWITCH "-x86_64"
 365 #elif defined(__i386__)
 366 #define USR_BIN_ARCH_SWITCH "-i386"
 367 #elif defined(__ppc__)
 368 #define USR_BIN_ARCH_SWITCH "-ppc"
 369 #elif defined(__ppc64__)
 370 #define USR_BIN_ARCH_SWITCH "-ppc64"
 371 #endif
 372 #endif
 373
 374 #define YES_MULTIARCH 1
 375 #define NO_MULTIARCH  2
 376
 377 #if defined (__APPLE__) && defined (USR_BIN_ARCH_SWITCH)
 378 static gboolean
 379 gst_plugin_loader_use_usr_bin_arch (void)
 380 {
 381   static volatile gsize multiarch = 0;
 382
 383   if (g_once_init_enter (&multiarch)) {
 384     gsize res = NO_MULTIARCH;
 385
 386 #ifdef HAVE_SYS_UTSNAME_H
 387     {
 388       struct utsname uname_data;
 389
 390       if (uname (&uname_data) == 0) {
 391         /* Check for OS X >= 10.5 (darwin kernel 9.0) */
 392         GST_LOG ("%s %s", uname_data.sysname, uname_data.release);
 393         if (g_ascii_strcasecmp (uname_data.sysname, "Darwin") == 0 &&
 394             g_strtod (uname_data.release, NULL) >= 9.0) {
 395           res = YES_MULTIARCH;
 396         }
 397       }
 398     }
 399 #endif
 400
 401     GST_INFO ("multiarch: %s", (res == YES_MULTIARCH) ? "yes" : "no");
 402     g_once_init_leave (&multiarch, res);
 403   }
 404   return (multiarch == YES_MULTIARCH);
 405 }
 406 #endif /* __APPLE__ && USR_BIN_ARCH_SWITCH */
 407
 408 static gboolean
 409 gst_plugin_loader_try_helper (GstPluginLoader * loader, gchar * location)
 410 {
 411   char *argv[5] = { NULL, };
 412   int c = 0;
 413
 414 #if defined (__APPLE__) && defined (USR_BIN_ARCH_SWITCH)
 415   if (gst_plugin_loader_use_usr_bin_arch ()) {
 416     argv[c++] = (char *) "/usr/bin/arch";
 417     argv[c++] = (char *) USR_BIN_ARCH_SWITCH;
 418   }
 419 #endif
 420   argv[c++] = location;
 421   argv[c++] = (char *) "-l";
 422   argv[c++] = NULL;
 423
 424   if (c > 3) {
 425     GST_LOG ("Trying to spawn gst-plugin-scanner helper at %s with arch %s",
 426         location, argv[1]);
 427   } else {
 428     GST_LOG ("Trying to spawn gst-plugin-scanner helper at %s", location);
 429   }
 430
 431   if (!g_spawn_async_with_pipes (NULL, argv, NULL,
 432           G_SPAWN_DO_NOT_REAP_CHILD /* | G_SPAWN_STDERR_TO_DEV_NULL */ ,
 433           NULL, NULL, &loader->child_pid, &loader->fd_w.fd, &loader->fd_r.fd,
 434           NULL, NULL))
 435     return FALSE;
 436
 437   gst_poll_add_fd (loader->fdset, &loader->fd_w);
 438   gst_poll_add_fd (loader->fdset, &loader->fd_r);
 439
 440   gst_poll_fd_ctl_read (loader->fdset, &loader->fd_r, TRUE);
 441
 442   loader->tx_buf_write = loader->tx_buf_read = 0;
 443
 444   put_packet (loader, PACKET_VERSION, 0, NULL, 0);
 445   if (!plugin_loader_sync_with_child (loader))
 446     return FALSE;
 447
 448   loader->child_running = TRUE;
 449
 450   return TRUE;
 451 }
 452
 453 static gboolean
 454 gst_plugin_loader_spawn (GstPluginLoader * loader)
 455 {
 456   const gchar *env;
 457   char *helper_bin;
 458   gboolean res = FALSE;
 459
 460   if (loader->child_running)
 461     return TRUE;
 462
 463   /* Find the gst-plugin-scanner: first try the env-var if it is set,
 464    * otherwise use the installed version */
 465   env = g_getenv ("GST_PLUGIN_SCANNER_1_0");
 466   if (env == NULL)
 467     env = g_getenv ("GST_PLUGIN_SCANNER");
 468
 469   if (env != NULL && *env != '\0') {
 470     GST_LOG ("Trying GST_PLUGIN_SCANNER env var: %s", env);
 471     helper_bin = g_strdup (env);
 472     res = gst_plugin_loader_try_helper (loader, helper_bin);
 473     g_free (helper_bin);
 474   }
 475
 476   if (!res) {
 477     GST_LOG ("Trying installed plugin scanner");
 478
 479 #ifdef G_OS_WIN32
 480     {
 481       gchar *basedir;
 482
 483       basedir =
 484           g_win32_get_package_installation_directory_of_module
 485           (_priv_gst_dll_handle);
 486       helper_bin =
 487           g_build_filename (basedir, "lib", "gstreamer-" GST_API_VERSION,
 488           "gst-plugin-scanner.exe", NULL);
 489       g_free (basedir);
 490     }
 491 #else
 492     helper_bin = g_strdup (GST_PLUGIN_SCANNER_INSTALLED);
 493 #endif
 494     res = gst_plugin_loader_try_helper (loader, helper_bin);
 495     g_free (helper_bin);
 496
 497     if (!res) {
 498       GST_INFO ("No gst-plugin-scanner available, or not working");
 499     }
 500   }
 501
 502   return loader->child_running;
 503 }
 504
 505 static void
 506 plugin_loader_cleanup_child (GstPluginLoader * l)
 507 {
 508   if (!l->child_running || l->is_child)
 509     return;
 510
 511   gst_poll_remove_fd (l->fdset, &l->fd_w);
 512   gst_poll_remove_fd (l->fdset, &l->fd_r);
 513
 514   close (l->fd_w.fd);
 515   close (l->fd_r.fd);
 516
 517 #ifndef G_OS_WIN32
 518   GST_LOG ("waiting for child process to exit");
 519   waitpid (l->child_pid, NULL, 0);
 520 #else
 521   g_warning ("FIXME: Implement child process shutdown for Win32");
 522 #endif
 523   g_spawn_close_pid (l->child_pid);
 524
 525   l->child_running = FALSE;
 526 }
 527
 528 gboolean
 529 _gst_plugin_loader_client_run (void)
 530 {
 531   gboolean res = TRUE;
 532   GstPluginLoader *l;
 533
 534   l = plugin_loader_new (NULL);
 535   if (l == NULL)
 536     return FALSE;
 537
 538   /* On entry, the inward pipe is STDIN, and outward is STDOUT.
 539    * Dup those somewhere better so that plugins printing things
 540    * won't interfere with anything */
 541 #ifndef G_OS_WIN32
 542   {
 543     int dup_fd;
 544
 545     dup_fd = dup (0);           /* STDIN */
 546     if (dup_fd == -1) {
 547       GST_ERROR ("Failed to start. Could no dup STDIN, errno %d", errno);
 548       res = FALSE;
 549       goto beach;
 550     }
 551     l->fd_r.fd = dup_fd;
 552     close (0);
 553
 554     dup_fd = dup (1);           /* STDOUT */
 555     if (dup_fd == -1) {
 556       GST_ERROR ("Failed to start. Could no dup STDOUT, errno %d", errno);
 557       res = FALSE;
 558       goto beach;
 559     }
 560     l->fd_w.fd = dup_fd;
 561     close (1);
 562
 563     /* Dup stderr down to stdout so things that plugins print are visible,
 564      * but don't care if it fails */
 565     dup2 (2, 1);
 566   }
 567 #else
 568   /* FIXME: Use DuplicateHandle and friends on win32 */
 569   l->fd_w.fd = 1;               /* STDOUT */
 570   l->fd_r.fd = 0;               /* STDIN */
 571 #endif
 572
 573   gst_poll_add_fd (l->fdset, &l->fd_w);
 574   gst_poll_add_fd (l->fdset, &l->fd_r);
 575   gst_poll_fd_ctl_read (l->fdset, &l->fd_r, TRUE);
 576
 577   l->is_child = TRUE;
 578
 579   GST_DEBUG ("Plugin scanner child running. Waiting for instructions");
 580
 581   /* Loop, listening for incoming packets on the fd and writing responses */
 582   while (!l->rx_done && exchange_packets (l));
 583
 584 #ifndef G_OS_WIN32
 585 beach:
 586 #endif
 587
 588   plugin_loader_free (l);
 589
 590   return res;
 591 }
 592
 593 static void
 594 put_packet (GstPluginLoader * l, guint type, guint32 tag,
 595     const guint8 * payload, guint32 payload_len)
 596 {
 597   guint8 *out;
 598   guint len = payload_len + HEADER_SIZE;
 599
 600   if (l->tx_buf_write + len >= l->tx_buf_size) {
 601     GST_LOG ("Expanding tx buf from %d to %d for packet of size %d",
 602         l->tx_buf_size, l->tx_buf_write + len + BUF_GROW_EXTRA, len);
 603     l->tx_buf_size = l->tx_buf_write + len + BUF_GROW_EXTRA;
 604     l->tx_buf = g_realloc (l->tx_buf, l->tx_buf_size);
 605   }
 606
 607   out = l->tx_buf + l->tx_buf_write;
 608
 609   /* one byte packet type */
 610   out[0] = type;
 611   /* 3 byte packet tag number */
 612   GST_WRITE_UINT24_BE (out + 1, tag);
 613   /* 4 bytes packet length */
 614   GST_WRITE_UINT32_BE (out + 4, payload_len);
 615   /* payload */
 616   if (payload && payload_len)
 617     memcpy (out + HEADER_SIZE, payload, payload_len);
 618   /* Write magic into the header */
 619   GST_WRITE_UINT32_BE (out + 8, HEADER_MAGIC);
 620
 621   l->tx_buf_write += len;
 622   gst_poll_fd_ctl_write (l->fdset, &l->fd_w, TRUE);
 623 }
 624
 625 static void
 626 put_chunk (GstPluginLoader * l, GstRegistryChunk * chunk, guint * pos)
 627 {
 628   guint padsize = 0;
 629   guint len;
 630   guint8 *out;
 631
 632   /* Might need to align the chunk */
 633   if (chunk->align && ((*pos) % ALIGNMENT) != 0)
 634     padsize = ALIGNMENT - ((*pos) % ALIGNMENT);
 635
 636   len = padsize + chunk->size;
 637
 638   if (G_UNLIKELY (l->tx_buf_write + len >= l->tx_buf_size)) {
 639     guint new_size = MAX (l->tx_buf_write + len,
 640         l->tx_buf_size + l->tx_buf_size / 4) + BUF_GROW_EXTRA;
 641     GST_LOG ("Expanding tx buf from %d to %d for chunk of size %d",
 642         l->tx_buf_size, new_size, chunk->size);
 643     l->tx_buf_size = new_size;
 644     l->tx_buf = g_realloc (l->tx_buf, l->tx_buf_size);
 645   }
 646
 647   out = l->tx_buf + l->tx_buf_write;
 648   /* Clear the padding */
 649   if (padsize)
 650     memset (out, 0, padsize);
 651   memcpy (out + padsize, chunk->data, chunk->size);
 652
 653   l->tx_buf_write += len;
 654   *pos += len;
 655
 656   gst_poll_fd_ctl_write (l->fdset, &l->fd_w, TRUE);
 657 };
 658
 659 static gboolean
 660 write_one (GstPluginLoader * l)
 661 {
 662   guint8 *out;
 663   guint32 to_write, magic;
 664   int res;
 665
 666   if (l->tx_buf_read + HEADER_SIZE > l->tx_buf_write)
 667     return FALSE;
 668
 669   out = l->tx_buf + l->tx_buf_read;
 670
 671   magic = GST_READ_UINT32_BE (out + 8);
 672   if (magic != HEADER_MAGIC) {
 673     GST_ERROR ("Packet magic number is missing. Memory corruption detected");
 674     goto fail_and_cleanup;
 675   }
 676
 677   to_write = GST_READ_UINT32_BE (out + 4) + HEADER_SIZE;
 678   /* Check that the magic is intact, and the size is sensible */
 679   if (to_write > l->tx_buf_size) {
 680     GST_ERROR ("Indicated packet size is too large. Corruption detected");
 681     goto fail_and_cleanup;
 682   }
 683
 684   l->tx_buf_read += to_write;
 685
 686   GST_LOG ("Writing packet of size %d bytes to fd %d", to_write, l->fd_w.fd);
 687
 688   do {
 689     res = write (l->fd_w.fd, out, to_write);
 690     if (G_UNLIKELY (res < 0)) {
 691       if (errno == EAGAIN || errno == EINTR)
 692         continue;
 693       /* Failed to write -> child died */
 694       goto fail_and_cleanup;
 695     }
 696     to_write -= res;
 697     out += res;
 698   } while (to_write > 0);
 699
 700   if (l->tx_buf_read == l->tx_buf_write) {
 701     gst_poll_fd_ctl_write (l->fdset, &l->fd_w, FALSE);
 702     l->tx_buf_read = l->tx_buf_write = 0;
 703   }
 704
 705   return TRUE;
 706
 707 fail_and_cleanup:
 708   plugin_loader_cleanup_child (l);
 709   return FALSE;
 710 }
 711
 712 static gboolean
 713 do_plugin_load (GstPluginLoader * l, const gchar * filename, guint tag)
 714 {
 715   GstPlugin *newplugin;
 716   GList *chunks = NULL;
 717
 718   GST_DEBUG ("Plugin scanner loading file %s. tag %u", filename, tag);
 719
 720 #if 0                           /* Test code - crash based on filename */
 721   if (strstr (filename, "coreelements") == NULL) {
 722     g_printerr ("Crashing on file %s\n", filename);
 723     g_printerr ("%d", *(gint *) (NULL));
 724   }
 725 #endif
 726
 727   newplugin = gst_plugin_load_file ((gchar *) filename, NULL);
 728   if (newplugin) {
 729     guint hdr_pos;
 730     guint offset;
 731
 732     /* Now serialise the plugin details and send */
 733     if (!_priv_gst_registry_chunks_save_plugin (&chunks,
 734             gst_registry_get (), newplugin))
 735       goto fail;
 736
 737     /* Store where the header is, write an empty one, then write
 738      * all the payload chunks, then fix up the header size */
 739     hdr_pos = l->tx_buf_write;
 740     offset = HEADER_SIZE;
 741     put_packet (l, PACKET_PLUGIN_DETAILS, tag, NULL, 0);
 742
 743     if (chunks) {
 744       GList *walk;
 745       for (walk = chunks; walk; walk = g_list_next (walk)) {
 746         GstRegistryChunk *cur = walk->data;
 747         put_chunk (l, cur, &offset);
 748
 749         _priv_gst_registry_chunk_free (cur);
 750       }
 751
 752       g_list_free (chunks);
 753
 754       /* Store the size of the written payload */
 755       GST_WRITE_UINT32_BE (l->tx_buf + hdr_pos + 4, offset - HEADER_SIZE);
 756     }
 757 #if 0                           /* Test code - corrupt the tx buffer based on filename */
 758     if (strstr (filename, "sink") != NULL) {
 759       int fd, res;
 760       g_printerr ("Corrupting tx buf on file %s\n", filename);
 761       fd = open ("/dev/urandom", O_RDONLY);
 762       res = read (fd, l->tx_buf, l->tx_buf_size);
 763       close (fd);
 764     }
 765 #endif
 766
 767     gst_object_unref (newplugin);
 768   } else {
 769     put_packet (l, PACKET_PLUGIN_DETAILS, tag, NULL, 0);
 770   }
 771
 772   return TRUE;
 773 fail:
 774   put_packet (l, PACKET_PLUGIN_DETAILS, tag, NULL, 0);
 775   if (chunks) {
 776     GList *walk;
 777     for (walk = chunks; walk; walk = g_list_next (walk)) {
 778       GstRegistryChunk *cur = walk->data;
 779
 780       _priv_gst_registry_chunk_free (cur);
 781     }
 782
 783     g_list_free (chunks);
 784   }
 785
 786   return FALSE;
 787 }
 788
 789 static gboolean
 790 check_protocol_version (GstPluginLoader * l, guint8 * payload,
 791     guint payload_len)
 792 {
 793   guint32 got_version;
 794   guint8 *binary_reg_ver;
 795
 796   if (payload_len < sizeof (guint32) + GST_MAGIC_BINARY_VERSION_LEN)
 797     return FALSE;
 798
 799   got_version = GST_READ_UINT32_BE (payload);
 800   GST_LOG ("Got VERSION %u from child. Ours is %u", got_version,
 801       loader_protocol_version);
 802   if (got_version != loader_protocol_version)
 803     return FALSE;
 804
 805   binary_reg_ver = payload + sizeof (guint32);
 806   if (strcmp ((gchar *) binary_reg_ver, GST_MAGIC_BINARY_VERSION_STR)) {
 807     GST_LOG ("Binary chunk format of child is different. Ours: %s, child %s\n",
 808         GST_MAGIC_BINARY_VERSION_STR, binary_reg_ver);
 809     return FALSE;
 810   }
 811
 812   return TRUE;
 813 };
 814
 815 static gboolean
 816 handle_rx_packet (GstPluginLoader * l,
 817     guint pack_type, guint32 tag, guint8 * payload, guint payload_len)
 818 {
 819   gboolean res = TRUE;
 820
 821   switch (pack_type) {
 822     case PACKET_EXIT:
 823       gst_poll_fd_ctl_read (l->fdset, &l->fd_r, FALSE);
 824       if (l->is_child) {
 825         /* Respond */
 826         put_packet (l, PACKET_EXIT, 0, NULL, 0);
 827       }
 828       l->rx_done = TRUE;
 829       return TRUE;
 830     case PACKET_LOAD_PLUGIN:{
 831       if (!l->is_child)
 832         return TRUE;
 833
 834       /* Payload is the filename to load */
 835       res = do_plugin_load (l, (gchar *) payload, tag);
 836
 837       break;
 838     }
 839     case PACKET_PLUGIN_DETAILS:{
 840       gchar *tmp = (gchar *) payload;
 841       PendingPluginEntry *entry = NULL;
 842       GList *cur;
 843
 844       GST_DEBUG_OBJECT (l->registry,
 845           "Received plugin details from child w/ tag %u. %d bytes info",
 846           tag, payload_len);
 847
 848       /* Assume that tagged details come back in the order
 849        * we requested, and delete anything before (but not
 850        * including) this one */
 851       cur = l->pending_plugins;
 852       while (cur) {
 853         PendingPluginEntry *e = (PendingPluginEntry *) (cur->data);
 854
 855         if (e->tag > tag)
 856           break;
 857
 858         if (e->tag == tag) {
 859           entry = e;
 860           break;
 861         } else {
 862           cur = g_list_delete_link (cur, cur);
 863           g_free (e->filename);
 864           g_slice_free (PendingPluginEntry, e);
 865         }
 866       }
 867
 868       l->pending_plugins = cur;
 869       if (cur == NULL)
 870         l->pending_plugins_tail = NULL;
 871
 872       if (payload_len > 0) {
 873         GstPlugin *newplugin = NULL;
 874         if (!_priv_gst_registry_chunks_load_plugin (l->registry, &tmp,
 875                 tmp + payload_len, &newplugin)) {
 876           /* Got garbage from the child, so fail and trigger replay of plugins */
 877           GST_ERROR_OBJECT (l->registry,
 878               "Problems loading plugin details with tag %u from scanner", tag);
 879           return FALSE;
 880         }
 881
 882         GST_OBJECT_FLAG_UNSET (newplugin, GST_PLUGIN_FLAG_CACHED);
 883         GST_LOG_OBJECT (l->registry,
 884             "marking plugin %p as registered as %s", newplugin,
 885             newplugin->filename);
 886         newplugin->registered = TRUE;
 887
 888         /* We got a set of plugin details - remember it for later */
 889         l->got_plugin_details = TRUE;
 890       } else if (entry != NULL) {
 891         /* Create a blacklist entry for this file to prevent scanning every time */
 892         plugin_loader_create_blacklist_plugin (l, entry);
 893         l->got_plugin_details = TRUE;
 894       }
 895
 896       if (entry != NULL) {
 897         g_free (entry->filename);
 898         g_slice_free (PendingPluginEntry, entry);
 899       }
 900
 901       /* Remove the plugin entry we just loaded */
 902       cur = l->pending_plugins;
 903       if (cur != NULL)
 904         cur = g_list_delete_link (cur, cur);
 905       l->pending_plugins = cur;
 906       if (cur == NULL)
 907         l->pending_plugins_tail = NULL;
 908
 909       break;
 910     }
 911     case PACKET_SYNC:
 912       if (l->is_child) {
 913         /* Respond with our reply - also a sync */
 914         put_packet (l, PACKET_SYNC, tag, NULL, 0);
 915         GST_LOG ("Got SYNC in child - replying");
 916       } else
 917         l->rx_got_sync = TRUE;
 918       break;
 919     case PACKET_VERSION:
 920       if (l->is_child) {
 921         /* Respond with our reply - a version packet, with the version */
 922         const gint version_len =
 923             sizeof (guint32) + GST_MAGIC_BINARY_VERSION_LEN;
 924         guint8 version_info[sizeof (guint32) + GST_MAGIC_BINARY_VERSION_LEN];
 925         memset (version_info, 0, version_len);
 926         GST_WRITE_UINT32_BE (version_info, loader_protocol_version);
 927         memcpy (version_info + sizeof (guint32), GST_MAGIC_BINARY_VERSION_STR,
 928             strlen (GST_MAGIC_BINARY_VERSION_STR));
 929         put_packet (l, PACKET_VERSION, tag, version_info, version_len);
 930         GST_LOG ("Got VERSION in child - replying %u", loader_protocol_version);
 931       } else {
 932         res = check_protocol_version (l, payload, payload_len);
 933       }
 934       break;
 935     default:
 936       return FALSE;             /* Invalid packet -> something is wrong */
 937   }
 938
 939   return res;
 940 }
 941
 942 static gboolean
 943 read_one (GstPluginLoader * l)
 944 {
 945   guint64 magic;
 946   guint32 to_read, packet_len, tag;
 947   guint8 *in;
 948   gint res;
 949
 950   to_read = HEADER_SIZE;
 951   in = l->rx_buf;
 952   do {
 953     res = read (l->fd_r.fd, in, to_read);
 954     if (G_UNLIKELY (res < 0)) {
 955       if (errno == EAGAIN || errno == EINTR)
 956         continue;
 957       GST_LOG ("Failed reading packet header");
 958       return FALSE;
 959     }
 960     to_read -= res;
 961     in += res;
 962   } while (to_read > 0);
 963
 964   magic = GST_READ_UINT32_BE (l->rx_buf + 8);
 965   if (magic != HEADER_MAGIC) {
 966     GST_WARNING
 967         ("Invalid packet (bad magic number) received from plugin scanner subprocess");
 968     return FALSE;
 969   }
 970
 971   packet_len = GST_READ_UINT32_BE (l->rx_buf + 4);
 972   if (packet_len + HEADER_SIZE > BUF_MAX_SIZE) {
 973     GST_WARNING
 974         ("Received excessively large packet for plugin scanner subprocess");
 975     return FALSE;
 976   }
 977   tag = GST_READ_UINT24_BE (l->rx_buf + 1);
 978
 979   if (packet_len > 0) {
 980     if (packet_len + HEADER_SIZE >= l->rx_buf_size) {
 981       GST_LOG ("Expanding rx buf from %d to %d",
 982           l->rx_buf_size, packet_len + HEADER_SIZE + BUF_GROW_EXTRA);
 983       l->rx_buf_size = packet_len + HEADER_SIZE + BUF_GROW_EXTRA;
 984       l->rx_buf = g_realloc (l->rx_buf, l->rx_buf_size);
 985     }
 986
 987     in = l->rx_buf + HEADER_SIZE;
 988     to_read = packet_len;
 989     do {
 990       res = read (l->fd_r.fd, in, to_read);
 991       if (G_UNLIKELY (res < 0)) {
 992         if (errno == EAGAIN || errno == EINTR)
 993           continue;
 994         GST_ERROR ("Packet payload read failed");
 995         return FALSE;
 996       }
 997       to_read -= res;
 998       in += res;
 999     } while (to_read > 0);
1000   } else {
1001     GST_LOG ("No payload to read for 0 length packet type %d tag %u",
1002         l->rx_buf[0], tag);
1003   }
1004
1005   return handle_rx_packet (l, l->rx_buf[0], tag,
1006       l->rx_buf + HEADER_SIZE, packet_len);
1007 }
1008
1009 static gboolean
1010 exchange_packets (GstPluginLoader * l)
1011 {
1012   gint res;
1013
1014   /* Wait for activity on our FDs */
1015   do {
1016     do {
1017       res = gst_poll_wait (l->fdset, GST_SECOND);
1018     } while (res == -1 && (errno == EINTR || errno == EAGAIN));
1019
1020     if (res < 0)
1021       return FALSE;
1022
1023     GST_LOG ("Poll res = %d. %d bytes pending for write", res,
1024         l->tx_buf_write - l->tx_buf_read);
1025
1026     if (!l->rx_done) {
1027       if (gst_poll_fd_has_error (l->fdset, &l->fd_r)) {
1028         GST_LOG ("read fd %d errored", l->fd_r.fd);
1029         goto fail_and_cleanup;
1030       }
1031
1032       if (gst_poll_fd_can_read (l->fdset, &l->fd_r)) {
1033         if (!read_one (l))
1034           goto fail_and_cleanup;
1035       } else if (gst_poll_fd_has_closed (l->fdset, &l->fd_r)) {
1036         GST_LOG ("read fd %d closed", l->fd_r.fd);
1037         goto fail_and_cleanup;
1038       }
1039     }
1040
1041     if (l->tx_buf_read < l->tx_buf_write) {
1042       if (gst_poll_fd_has_error (l->fdset, &l->fd_w)) {
1043         GST_ERROR ("write fd %d errored", l->fd_w.fd);
1044         goto fail_and_cleanup;
1045       }
1046       if (gst_poll_fd_can_write (l->fdset, &l->fd_w)) {
1047         if (!write_one (l))
1048           goto fail_and_cleanup;
1049       } else if (gst_poll_fd_has_closed (l->fdset, &l->fd_w)) {
1050         GST_LOG ("write fd %d closed", l->fd_w.fd);
1051         goto fail_and_cleanup;
1052       }
1053     }
1054   } while (l->tx_buf_read < l->tx_buf_write);
1055
1056   return TRUE;
1057 fail_and_cleanup:
1058   plugin_loader_cleanup_child (l);
1059   return FALSE;
1060 }