gsubprocess: Fix a broken link in the documentation
[platform/upstream/glib.git] / gio / gsubprocess.c
1 /* GIO - GLib Input, Output and Streaming Library
2  *
3  * Copyright © 2012, 2013 Red Hat, Inc.
4  * Copyright © 2012, 2013 Canonical Limited
5  *
6  * This program is free software: you can redistribute it and/or modify
7  * it under the terms of the GNU Lesser General Public License as published
8  * by the Free Software Foundation; either version 2 of the licence or (at
9  * your option) any later version.
10  *
11  * See the included COPYING file for more information.
12  *
13  * Authors: Colin Walters <walters@verbum.org>
14  *          Ryan Lortie <desrt@desrt.ca>
15  */
16
17 /**
18  * SECTION:gsubprocess
19  * @title: GSubprocess
20  * @short_description: Child processes
21  * @include: gio/gio.h
22  * @see_also: #GSubprocessLauncher
23  *
24  * #GSubprocess allows the creation of and interaction with child
25  * processes.
26  *
27  * Processes can be communicated with using standard GIO-style APIs (ie:
28  * #GInputStream, #GOutputStream).  There are GIO-style APIs to wait for
29  * process termination (ie: cancellable and with an asynchronous
30  * variant).
31  *
32  * There is an API to force a process to terminate, as well as a
33  * race-free API for sending UNIX signals to a subprocess.
34  *
35  * One major advantage that GIO brings over the core GLib library is
36  * comprehensive API for asynchronous I/O, such
37  * g_output_stream_splice_async().  This makes GSubprocess
38  * significantly more powerful and flexible than equivalent APIs in
39  * some other languages such as the `subprocess.py`
40  * included with Python.  For example, using #GSubprocess one could
41  * create two child processes, reading standard output from the first,
42  * processing it, and writing to the input stream of the second, all
43  * without blocking the main loop.
44  *
45  * A powerful g_subprocess_communicate() API is provided similar to the
46  * `communicate()` method of `subprocess.py`. This enables very easy
47  * interaction with a subprocess that has been opened with pipes.
48  *
49  * #GSubprocess defaults to tight control over the file descriptors open
50  * in the child process, avoiding dangling-fd issues that are caused by
51  * a simple fork()/exec().  The only open file descriptors in the
52  * spawned process are ones that were explicitly specified by the
53  * #GSubprocess API (unless %G_SUBPROCESS_FLAGS_INHERIT_FDS was
54  * specified).
55  *
56  * #GSubprocess will quickly reap all child processes as they exit,
57  * avoiding "zombie processes" remaining around for long periods of
58  * time.  g_subprocess_wait() can be used to wait for this to happen,
59  * but it will happen even without the call being explicitly made.
60  *
61  * As a matter of principle, #GSubprocess has no API that accepts
62  * shell-style space-separated strings.  It will, however, match the
63  * typical shell behaviour of searching the PATH for executables that do
64  * not contain a directory separator in their name.
65  *
66  * #GSubprocess attempts to have a very simple API for most uses (ie:
67  * spawning a subprocess with arguments and support for most typical
68  * kinds of input and output redirection).  See g_subprocess_new(). The
69  * #GSubprocessLauncher API is provided for more complicated cases
70  * (advanced types of redirection, environment variable manipulation,
71  * change of working directory, child setup functions, etc).
72  *
73  * A typical use of #GSubprocess will involve calling
74  * g_subprocess_new(), followed by g_subprocess_wait_async() or
75  * g_subprocess_wait().  After the process exits, the status can be
76  * checked using functions such as g_subprocess_get_if_exited() (which
77  * are similar to the familiar WIFEXITED-style POSIX macros).
78  *
79  * Since: 2.40
80  **/
81
82 #include "config.h"
83
84 #include "gsubprocess.h"
85 #include "gsubprocesslauncher-private.h"
86 #include "gasyncresult.h"
87 #include "giostream.h"
88 #include "gmemoryinputstream.h"
89 #include "glibintl.h"
90 #include "glib-private.h"
91
92 #include <string.h>
93 #ifdef G_OS_UNIX
94 #include <gio/gunixoutputstream.h>
95 #include <gio/gfiledescriptorbased.h>
96 #include <gio/gunixinputstream.h>
97 #include <gstdio.h>
98 #include <glib-unix.h>
99 #include <fcntl.h>
100 #endif
101 #ifdef G_OS_WIN32
102 #include <windows.h>
103 #include <io.h>
104 #include "giowin32-priv.h"
105 #endif
106
107 #ifndef O_BINARY
108 #define O_BINARY 0
109 #endif
110
111 #ifndef O_CLOEXEC
112 #define O_CLOEXEC 0
113 #else
114 #define HAVE_O_CLOEXEC 1
115 #endif
116
117 #define COMMUNICATE_READ_SIZE 4096
118
119 /* A GSubprocess can have two possible states: running and not.
120  *
121  * These two states are reflected by the value of 'pid'.  If it is
122  * non-zero then the process is running, with that pid.
123  *
124  * When a GSubprocess is first created with g_object_new() it is not
125  * running.  When it is finalized, it is also not running.
126  *
127  * During initable_init(), if the g_spawn() is successful then we
128  * immediately register a child watch and take an extra ref on the
129  * subprocess.  That reference doesn't drop until the child has quit,
130  * which is why finalize can only happen in the non-running state.  In
131  * the event that the g_spawn() failed we will still be finalizing a
132  * non-running GSubprocess (before returning from g_subprocess_new())
133  * with NULL.
134  *
135  * We make extensive use of the glib worker thread to guarantee
136  * race-free operation.  As with all child watches, glib calls waitpid()
137  * in the worker thread.  It reports the child exiting to us via the
138  * worker thread (which means that we can do synchronous waits without
139  * running a separate loop).  We also send signals to the child process
140  * via the worker thread so that we don't race with waitpid() and
141  * accidentally send a signal to an already-reaped child.
142  */
143 static void initable_iface_init (GInitableIface         *initable_iface);
144
145 typedef GObjectClass GSubprocessClass;
146
147 struct _GSubprocess
148 {
149   GObject parent;
150
151   /* only used during construction */
152   GSubprocessLauncher *launcher;
153   GSubprocessFlags flags;
154   gchar **argv;
155
156   /* state tracking variables */
157   gchar identifier[24];
158   int status;
159   GPid pid;
160
161   /* list of GTask */
162   GMutex pending_waits_lock;
163   GSList *pending_waits;
164
165   /* These are the streams created if a pipe is requested via flags. */
166   GOutputStream *stdin_pipe;
167   GInputStream  *stdout_pipe;
168   GInputStream  *stderr_pipe;
169 };
170
171 G_DEFINE_TYPE_WITH_CODE (GSubprocess, g_subprocess, G_TYPE_OBJECT,
172                          G_IMPLEMENT_INTERFACE (G_TYPE_INITABLE, initable_iface_init));
173
174 enum
175 {
176   PROP_0,
177   PROP_FLAGS,
178   PROP_ARGV,
179   N_PROPS
180 };
181
182 #ifdef G_OS_UNIX
183 typedef struct
184 {
185   gint                 fds[3];
186   GSpawnChildSetupFunc child_setup_func;
187   gpointer             child_setup_data;
188   GArray              *basic_fd_assignments;
189   GArray              *needdup_fd_assignments;
190 } ChildData;
191
192 static void
193 unset_cloexec (int fd)
194 {
195   int flags;
196   int result;
197
198   flags = fcntl (fd, F_GETFD, 0);
199
200   if (flags != -1)
201     {
202       flags &= (~FD_CLOEXEC);
203       do
204         result = fcntl (fd, F_SETFD, flags);
205       while (result == -1 && errno == EINTR);
206     }
207 }
208
209 static int
210 dupfd_cloexec (int parent_fd)
211 {
212   int fd;
213 #ifdef F_DUPFD_CLOEXEC
214   do
215     fd = fcntl (parent_fd, F_DUPFD_CLOEXEC, 3);
216   while (fd == -1 && errno == EINTR);
217 #else
218   /* OS X Snow Lion and earlier don't have F_DUPFD_CLOEXEC:
219    * https://bugzilla.gnome.org/show_bug.cgi?id=710962
220    */
221   int result, flags;
222   do
223     fd = fcntl (parent_fd, F_DUPFD, 3);
224   while (fd == -1 && errno == EINTR);
225   flags = fcntl (fd, F_GETFD, 0);
226   if (flags != -1)
227     {
228       flags |= FD_CLOEXEC;
229       do
230         result = fcntl (fd, F_SETFD, flags);
231       while (result == -1 && errno == EINTR);
232     }
233 #endif
234   return fd;
235 }
236
237 /**
238  * Based on code derived from
239  * gnome-terminal:src/terminal-screen.c:terminal_screen_child_setup(),
240  * used under the LGPLv2+ with permission from author.
241  */
242 static void
243 child_setup (gpointer user_data)
244 {
245   ChildData *child_data = user_data;
246   gint i;
247   gint result;
248
249   /* We're on the child side now.  "Rename" the file descriptors in
250    * child_data.fds[] to stdin/stdout/stderr.
251    *
252    * We don't close the originals.  It's possible that the originals
253    * should not be closed and if they should be closed then they should
254    * have been created O_CLOEXEC.
255    */
256   for (i = 0; i < 3; i++)
257     if (child_data->fds[i] != -1 && child_data->fds[i] != i)
258       {
259         do
260           result = dup2 (child_data->fds[i], i);
261         while (result == -1 && errno == EINTR);
262       }
263
264   /* Basic fd assignments we can just unset FD_CLOEXEC */
265   if (child_data->basic_fd_assignments)
266     {
267       for (i = 0; i < child_data->basic_fd_assignments->len; i++)
268         {
269           gint fd = g_array_index (child_data->basic_fd_assignments, int, i);
270
271           unset_cloexec (fd);
272         }
273     }
274
275   /* If we're doing remapping fd assignments, we need to handle
276    * the case where the user has specified e.g.:
277    * 5 -> 4, 4 -> 6
278    *
279    * We do this by duping the source fds temporarily.
280    */ 
281   if (child_data->needdup_fd_assignments)
282     {
283       for (i = 0; i < child_data->needdup_fd_assignments->len; i += 2)
284         {
285           gint parent_fd = g_array_index (child_data->needdup_fd_assignments, int, i);
286           gint new_parent_fd;
287
288           new_parent_fd = dupfd_cloexec (parent_fd);
289
290           g_array_index (child_data->needdup_fd_assignments, int, i) = new_parent_fd;
291         }
292       for (i = 0; i < child_data->needdup_fd_assignments->len; i += 2)
293         {
294           gint parent_fd = g_array_index (child_data->needdup_fd_assignments, int, i);
295           gint child_fd = g_array_index (child_data->needdup_fd_assignments, int, i+1);
296
297           if (parent_fd == child_fd)
298             {
299               unset_cloexec (parent_fd);
300             }
301           else
302             {
303               do
304                 result = dup2 (parent_fd, child_fd);
305               while (result == -1 && errno == EINTR);
306               (void) close (parent_fd);
307             }
308         }
309     }
310
311   if (child_data->child_setup_func)
312     child_data->child_setup_func (child_data->child_setup_data);
313 }
314 #endif
315
316 static GInputStream *
317 platform_input_stream_from_spawn_fd (gint fd)
318 {
319   if (fd < 0)
320     return NULL;
321
322 #ifdef G_OS_UNIX
323   return g_unix_input_stream_new (fd, TRUE);
324 #else
325   return g_win32_input_stream_new_from_fd (fd, TRUE);
326 #endif
327 }
328
329 static GOutputStream *
330 platform_output_stream_from_spawn_fd (gint fd)
331 {
332   if (fd < 0)
333     return NULL;
334
335 #ifdef G_OS_UNIX
336   return g_unix_output_stream_new (fd, TRUE);
337 #else
338   return g_win32_output_stream_new_from_fd (fd, TRUE);
339 #endif
340 }
341
342 #ifdef G_OS_UNIX
343 static gint
344 unix_open_file (const char  *filename,
345                 gint         mode,
346                 GError     **error)
347 {
348   gint my_fd;
349
350   my_fd = g_open (filename, mode | O_BINARY | O_CLOEXEC, 0666);
351
352   /* If we return -1 we should also set the error */
353   if (my_fd < 0)
354     {
355       gint saved_errno = errno;
356       char *display_name;
357
358       display_name = g_filename_display_name (filename);
359       g_set_error (error, G_IO_ERROR, g_io_error_from_errno (saved_errno),
360                    _("Error opening file '%s': %s"), display_name,
361                    g_strerror (saved_errno));
362       g_free (display_name);
363       /* fall through... */
364     }
365 #ifndef HAVE_O_CLOEXEC
366   else
367     fcntl (my_fd, F_SETFD, FD_CLOEXEC);
368 #endif
369
370   return my_fd;
371 }
372 #endif
373
374 static void
375 g_subprocess_set_property (GObject      *object,
376                            guint         prop_id,
377                            const GValue *value,
378                            GParamSpec   *pspec)
379 {
380   GSubprocess *self = G_SUBPROCESS (object);
381
382   switch (prop_id)
383     {
384     case PROP_FLAGS:
385       self->flags = g_value_get_flags (value);
386       break;
387
388     case PROP_ARGV:
389       self->argv = g_value_dup_boxed (value);
390       break;
391
392     default:
393       g_assert_not_reached ();
394     }
395 }
396
397 static gboolean
398 g_subprocess_exited (GPid     pid,
399                      gint     status,
400                      gpointer user_data)
401 {
402   GSubprocess *self = user_data;
403   GSList *tasks;
404
405   g_assert (self->pid == pid);
406
407   g_mutex_lock (&self->pending_waits_lock);
408   self->status = status;
409   tasks = self->pending_waits;
410   self->pending_waits = NULL;
411   self->pid = 0;
412   g_mutex_unlock (&self->pending_waits_lock);
413
414   /* Signal anyone in g_subprocess_wait_async() to wake up now */
415   while (tasks)
416     {
417       g_task_return_boolean (tasks->data, TRUE);
418       g_object_unref (tasks->data);
419       tasks = g_slist_delete_link (tasks, tasks);
420     }
421
422   g_spawn_close_pid (pid);
423
424   return FALSE;
425 }
426
427 static gboolean
428 initable_init (GInitable     *initable,
429                GCancellable  *cancellable,
430                GError       **error)
431 {
432   GSubprocess *self = G_SUBPROCESS (initable);
433 #ifdef G_OS_UNIX
434   ChildData child_data = { { -1, -1, -1 }, 0 };
435 #endif
436   gint *pipe_ptrs[3] = { NULL, NULL, NULL };
437   gint pipe_fds[3] = { -1, -1, -1 };
438   gint close_fds[3] = { -1, -1, -1 };
439   GSpawnFlags spawn_flags = 0;
440   gboolean success = FALSE;
441   gint i;
442
443   /* this is a programmer error */
444   if (!self->argv || !self->argv[0] || !self->argv[0][0])
445     return FALSE;
446
447   if (g_cancellable_set_error_if_cancelled (cancellable, error))
448     return FALSE;
449
450   /* We must setup the three fds that will end up in the child as stdin,
451    * stdout and stderr.
452    *
453    * First, stdin.
454    */
455   if (self->flags & G_SUBPROCESS_FLAGS_STDIN_INHERIT)
456     spawn_flags |= G_SPAWN_CHILD_INHERITS_STDIN;
457   else if (self->flags & G_SUBPROCESS_FLAGS_STDIN_PIPE)
458     pipe_ptrs[0] = &pipe_fds[0];
459 #ifdef G_OS_UNIX
460   else if (self->launcher)
461     {
462       if (self->launcher->stdin_fd != -1)
463         child_data.fds[0] = self->launcher->stdin_fd;
464       else if (self->launcher->stdin_path != NULL)
465         {
466           child_data.fds[0] = close_fds[0] = unix_open_file (self->launcher->stdin_path, O_RDONLY, error);
467           if (child_data.fds[0] == -1)
468             goto out;
469         }
470     }
471 #endif
472
473   /* Next, stdout. */
474   if (self->flags & G_SUBPROCESS_FLAGS_STDOUT_SILENCE)
475     spawn_flags |= G_SPAWN_STDOUT_TO_DEV_NULL;
476   else if (self->flags & G_SUBPROCESS_FLAGS_STDOUT_PIPE)
477     pipe_ptrs[1] = &pipe_fds[1];
478 #ifdef G_OS_UNIX
479   else if (self->launcher)
480     {
481       if (self->launcher->stdout_fd != -1)
482         child_data.fds[1] = self->launcher->stdout_fd;
483       else if (self->launcher->stdout_path != NULL)
484         {
485           child_data.fds[1] = close_fds[1] = unix_open_file (self->launcher->stdout_path, O_CREAT | O_WRONLY, error);
486           if (child_data.fds[1] == -1)
487             goto out;
488         }
489     }
490 #endif
491
492   /* Finally, stderr. */
493   if (self->flags & G_SUBPROCESS_FLAGS_STDERR_SILENCE)
494     spawn_flags |= G_SPAWN_STDERR_TO_DEV_NULL;
495   else if (self->flags & G_SUBPROCESS_FLAGS_STDERR_PIPE)
496     pipe_ptrs[2] = &pipe_fds[2];
497 #ifdef G_OS_UNIX
498   else if (self->flags & G_SUBPROCESS_FLAGS_STDERR_MERGE)
499     /* This will work because stderr gets setup after stdout. */
500     child_data.fds[2] = 1;
501   else if (self->launcher)
502     {
503       if (self->launcher->stderr_fd != -1)
504         child_data.fds[2] = self->launcher->stderr_fd;
505       else if (self->launcher->stderr_path != NULL)
506         {
507           child_data.fds[2] = close_fds[2] = unix_open_file (self->launcher->stderr_path, O_CREAT | O_WRONLY, error);
508           if (child_data.fds[2] == -1)
509             goto out;
510         }
511     }
512 #endif
513
514 #ifdef G_OS_UNIX
515   if (self->launcher)
516     {
517       child_data.basic_fd_assignments = self->launcher->basic_fd_assignments;
518       child_data.needdup_fd_assignments = self->launcher->needdup_fd_assignments;
519     }
520 #endif
521
522   /* argv0 has no '/' in it?  We better do a PATH lookup. */
523   if (strchr (self->argv[0], G_DIR_SEPARATOR) == NULL)
524     {
525       if (self->launcher && self->launcher->path_from_envp)
526         spawn_flags |= G_SPAWN_SEARCH_PATH_FROM_ENVP;
527       else
528         spawn_flags |= G_SPAWN_SEARCH_PATH;
529     }
530
531   if (self->flags & G_SUBPROCESS_FLAGS_INHERIT_FDS)
532     spawn_flags |= G_SPAWN_LEAVE_DESCRIPTORS_OPEN;
533
534   spawn_flags |= G_SPAWN_DO_NOT_REAP_CHILD;
535   spawn_flags |= G_SPAWN_CLOEXEC_PIPES;
536
537 #ifdef G_OS_UNIX
538   child_data.child_setup_func = self->launcher ? self->launcher->child_setup_func : NULL;
539   child_data.child_setup_data = self->launcher ? self->launcher->child_setup_user_data : NULL;
540 #endif
541
542   success = g_spawn_async_with_pipes (self->launcher ? self->launcher->cwd : NULL,
543                                       self->argv,
544                                       self->launcher ? self->launcher->envp : NULL,
545                                       spawn_flags,
546 #ifdef G_OS_UNIX
547                                       child_setup, &child_data,
548 #else
549                                       NULL, NULL,
550 #endif
551                                       &self->pid,
552                                       pipe_ptrs[0], pipe_ptrs[1], pipe_ptrs[2],
553                                       error);
554   g_assert (success == (self->pid != 0));
555
556   {
557     guint64 identifier;
558     gint s;
559
560 #ifdef G_OS_WIN32
561     identifier = (guint64) GetProcessId (self->pid);
562 #else
563     identifier = (guint64) self->pid;
564 #endif
565
566     s = g_snprintf (self->identifier, sizeof self->identifier, "%"G_GUINT64_FORMAT, identifier);
567     g_assert (0 < s && s < sizeof self->identifier);
568   }
569
570   /* Start attempting to reap the child immediately */
571   if (success)
572     {
573       GMainContext *worker_context;
574       GSource *source;
575
576       worker_context = GLIB_PRIVATE_CALL (g_get_worker_context) ();
577       source = g_child_watch_source_new (self->pid);
578       g_source_set_callback (source, (GSourceFunc) g_subprocess_exited, g_object_ref (self), g_object_unref);
579       g_source_attach (source, worker_context);
580       g_source_unref (source);
581     }
582
583 #ifdef G_OS_UNIX
584 out:
585 #endif
586   /* we don't need this past init... */
587   self->launcher = NULL;
588
589   for (i = 0; i < 3; i++)
590     if (close_fds[i] != -1)
591       close (close_fds[i]);
592
593   self->stdin_pipe = platform_output_stream_from_spawn_fd (pipe_fds[0]);
594   self->stdout_pipe = platform_input_stream_from_spawn_fd (pipe_fds[1]);
595   self->stderr_pipe = platform_input_stream_from_spawn_fd (pipe_fds[2]);
596
597   return success;
598 }
599
600 static void
601 g_subprocess_finalize (GObject *object)
602 {
603   GSubprocess *self = G_SUBPROCESS (object);
604
605   g_assert (self->pending_waits == NULL);
606   g_assert (self->pid == 0);
607
608   g_clear_object (&self->stdin_pipe);
609   g_clear_object (&self->stdout_pipe);
610   g_clear_object (&self->stderr_pipe);
611   g_strfreev (self->argv);
612
613   G_OBJECT_CLASS (g_subprocess_parent_class)->finalize (object);
614 }
615
616 static void
617 g_subprocess_init (GSubprocess  *self)
618 {
619 }
620
621 static void
622 initable_iface_init (GInitableIface *initable_iface)
623 {
624   initable_iface->init = initable_init;
625 }
626
627 static void
628 g_subprocess_class_init (GSubprocessClass *class)
629 {
630   GObjectClass *gobject_class = G_OBJECT_CLASS (class);
631
632   gobject_class->finalize = g_subprocess_finalize;
633   gobject_class->set_property = g_subprocess_set_property;
634
635   g_object_class_install_property (gobject_class, PROP_FLAGS,
636                                    g_param_spec_flags ("flags", P_("Flags"), P_("Subprocess flags"),
637                                                        G_TYPE_SUBPROCESS_FLAGS, 0, G_PARAM_WRITABLE |
638                                                        G_PARAM_CONSTRUCT_ONLY | G_PARAM_STATIC_STRINGS));
639   g_object_class_install_property (gobject_class, PROP_ARGV,
640                                    g_param_spec_boxed ("argv", P_("Arguments"), P_("Argument vector"),
641                                                        G_TYPE_STRV, G_PARAM_WRITABLE |
642                                                        G_PARAM_CONSTRUCT_ONLY | G_PARAM_STATIC_STRINGS));
643 }
644
645 /**
646  * g_subprocess_new: (skip)
647  * @flags: flags that define the behaviour of the subprocess
648  * @error: (allow-none): return location for an error, or %NULL
649  * @argv0: first commandline argument to pass to the subprocess,
650  *     followed by more arguments, followed by %NULL
651  *
652  * Create a new process with the given flags and varargs argument
653  * list.  By default, matching the g_spawn_async() defaults, the
654  * child's stdin will be set to the system null device, and
655  * stdout/stderr will be inherited from the parent.  You can use
656  * @flags to control this behavior.
657  *
658  * The argument list must be terminated with %NULL.
659  *
660  * Returns: A newly created #GSubprocess, or %NULL on error (and @error
661  *   will be set)
662  *
663  * Since: 2.40
664  */
665 GSubprocess *
666 g_subprocess_new (GSubprocessFlags   flags,
667                   GError           **error,
668                   const gchar       *argv0,
669                   ...)
670 {
671   GSubprocess *result;
672   GPtrArray *args;
673   const gchar *arg;
674   va_list ap;
675
676   g_return_val_if_fail (argv0 != NULL && argv0[0] != '\0', NULL);
677   g_return_val_if_fail (error == NULL || *error == NULL, NULL);
678
679   args = g_ptr_array_new ();
680
681   va_start (ap, argv0);
682   g_ptr_array_add (args, (gchar *) argv0);
683   while ((arg = va_arg (ap, const gchar *)))
684     g_ptr_array_add (args, (gchar *) arg);
685   g_ptr_array_add (args, NULL);
686
687   result = g_subprocess_newv ((const gchar * const *) args->pdata, flags, error);
688
689   g_ptr_array_free (args, TRUE);
690
691   return result;
692 }
693
694 /**
695  * g_subprocess_newv:
696  * @argv: (array zero-terminated=1) (element-type utf8): commandline arguments for the subprocess
697  * @flags: flags that define the behaviour of the subprocess
698  * @error: (allow-none): return location for an error, or %NULL
699  *
700  * Create a new process with the given flags and argument list.
701  *
702  * The argument list is expected to be %NULL-terminated.
703  *
704  * Returns: A newly created #GSubprocess, or %NULL on error (and @error
705  *   will be set)
706  *
707  * Since: 2.40
708  * Rename to: g_subprocess_new
709  */
710 GSubprocess *
711 g_subprocess_newv (const gchar * const  *argv,
712                    GSubprocessFlags      flags,
713                    GError              **error)
714 {
715   g_return_val_if_fail (argv != NULL && argv[0] != NULL && argv[0][0] != '\0', NULL);
716
717   return g_initable_new (G_TYPE_SUBPROCESS, NULL, error,
718                          "argv", argv,
719                          "flags", flags,
720                          NULL);
721 }
722
723 /**
724  * g_subprocess_get_identifier:
725  * @subprocess: a #GSubprocess
726  *
727  * On UNIX, returns the process ID as a decimal string.  On Windows,
728  * returns the result of GetProcessId() also as a string.
729  */
730 const gchar *
731 g_subprocess_get_identifier (GSubprocess *subprocess)
732 {
733   g_return_val_if_fail (G_IS_SUBPROCESS (subprocess), NULL);
734
735   if (subprocess->pid)
736     return subprocess->identifier;
737   else
738     return NULL;
739 }
740
741 /**
742  * g_subprocess_get_stdin_pipe:
743  * @subprocess: a #GSubprocess
744  *
745  * Gets the #GOutputStream that you can write to in order to give data
746  * to the stdin of @subprocess.
747  *
748  * The process must have been created with
749  * %G_SUBPROCESS_FLAGS_STDIN_PIPE.
750  *
751  * Returns: (transfer none): the stdout pipe
752  *
753  * Since: 2.40
754  **/
755 GOutputStream *
756 g_subprocess_get_stdin_pipe (GSubprocess *subprocess)
757 {
758   g_return_val_if_fail (G_IS_SUBPROCESS (subprocess), NULL);
759   g_return_val_if_fail (subprocess->stdin_pipe, NULL);
760
761   return subprocess->stdin_pipe;
762 }
763
764 /**
765  * g_subprocess_get_stdout_pipe:
766  * @subprocess: a #GSubprocess
767  *
768  * Gets the #GInputStream from which to read the stdout output of
769  * @subprocess.
770  *
771  * The process must have been created with
772  * %G_SUBPROCESS_FLAGS_STDOUT_PIPE.
773  *
774  * Returns: (transfer none): the stdout pipe
775  *
776  * Since: 2.40
777  **/
778 GInputStream *
779 g_subprocess_get_stdout_pipe (GSubprocess *subprocess)
780 {
781   g_return_val_if_fail (G_IS_SUBPROCESS (subprocess), NULL);
782   g_return_val_if_fail (subprocess->stdout_pipe, NULL);
783
784   return subprocess->stdout_pipe;
785 }
786
787 /**
788  * g_subprocess_get_stderr_pipe:
789  * @subprocess: a #GSubprocess
790  *
791  * Gets the #GInputStream from which to read the stderr output of
792  * @subprocess.
793  *
794  * The process must have been created with
795  * %G_SUBPROCESS_FLAGS_STDERR_PIPE.
796  *
797  * Returns: (transfer none): the stderr pipe
798  *
799  * Since: 2.40
800  **/
801 GInputStream *
802 g_subprocess_get_stderr_pipe (GSubprocess *subprocess)
803 {
804   g_return_val_if_fail (G_IS_SUBPROCESS (subprocess), NULL);
805   g_return_val_if_fail (subprocess->stderr_pipe, NULL);
806
807   return subprocess->stderr_pipe;
808 }
809
810 static void
811 g_subprocess_wait_cancelled (GCancellable *cancellable,
812                              gpointer      user_data)
813 {
814   GTask *task = user_data;
815   GSubprocess *self;
816
817   self = g_task_get_source_object (task);
818
819   g_mutex_lock (&self->pending_waits_lock);
820   self->pending_waits = g_slist_remove (self->pending_waits, task);
821   g_mutex_unlock (&self->pending_waits_lock);
822
823   g_task_return_boolean (task, FALSE);
824   g_object_unref (task);
825 }
826
827 /**
828  * g_subprocess_wait_async:
829  * @subprocess: a #GSubprocess
830  * @cancellable: a #GCancellable, or %NULL
831  * @callback: a #GAsyncReadyCallback to call when the operation is complete
832  * @user_data: user_data for @callback
833  *
834  * Wait for the subprocess to terminate.
835  *
836  * This is the asynchronous version of g_subprocess_wait().
837  *
838  * Since: 2.40
839  */
840 void
841 g_subprocess_wait_async (GSubprocess         *subprocess,
842                          GCancellable        *cancellable,
843                          GAsyncReadyCallback  callback,
844                          gpointer             user_data)
845 {
846   GTask *task;
847
848   task = g_task_new (subprocess, cancellable, callback, user_data);
849
850   g_mutex_lock (&subprocess->pending_waits_lock);
851   if (subprocess->pid)
852     {
853       /* Only bother with cancellable if we're putting it in the list.
854        * If not, it's going to dispatch immediately anyway and we will
855        * see the cancellation in the _finish().
856        */
857       if (cancellable)
858         g_signal_connect_object (cancellable, "cancelled", G_CALLBACK (g_subprocess_wait_cancelled), task, 0);
859
860       subprocess->pending_waits = g_slist_prepend (subprocess->pending_waits, task);
861       task = NULL;
862     }
863   g_mutex_unlock (&subprocess->pending_waits_lock);
864
865   /* If we still have task then it's because did_exit is already TRUE */
866   if (task != NULL)
867     {
868       g_task_return_boolean (task, TRUE);
869       g_object_unref (task);
870     }
871 }
872
873 /**
874  * g_subprocess_wait_finish:
875  * @subprocess: a #GSubprocess
876  * @result: the #GAsyncResult passed to your #GAsyncReadyCallback
877  * @error: a pointer to a %NULL #GError, or %NULL
878  *
879  * Collects the result of a previous call to
880  * g_subprocess_wait_async().
881  *
882  * Returns: %TRUE if successful, or %FALSE with @error set
883  *
884  * Since: 2.40
885  */
886 gboolean
887 g_subprocess_wait_finish (GSubprocess   *subprocess,
888                           GAsyncResult  *result,
889                           GError       **error)
890 {
891   return g_task_propagate_boolean (G_TASK (result), error);
892 }
893
894 /* Some generic helpers for emulating synchronous operations using async
895  * operations.
896  */
897 static void
898 g_subprocess_sync_setup (void)
899 {
900   g_main_context_push_thread_default (g_main_context_new ());
901 }
902
903 static void
904 g_subprocess_sync_done (GObject      *source_object,
905                         GAsyncResult *result,
906                         gpointer      user_data)
907 {
908   GAsyncResult **result_ptr = user_data;
909
910   *result_ptr = g_object_ref (result);
911 }
912
913 static void
914 g_subprocess_sync_complete (GAsyncResult **result)
915 {
916   GMainContext *context = g_main_context_get_thread_default ();
917
918   while (!*result)
919     g_main_context_iteration (context, TRUE);
920
921   g_main_context_pop_thread_default (context);
922   g_main_context_unref (context);
923 }
924
925 /**
926  * g_subprocess_wait:
927  * @subprocess: a #GSubprocess
928  * @cancellable: a #GCancellable
929  * @error: a #GError
930  *
931  * Synchronously wait for the subprocess to terminate.
932  *
933  * After the process terminates you can query its exit status with
934  * functions such as g_subprocess_get_if_exited() and
935  * g_subprocess_get_exit_status().
936  *
937  * This function does not fail in the case of the subprocess having
938  * abnormal termination.  See g_subprocess_wait_check() for that.
939  *
940  * Returns: %TRUE on success, %FALSE if @cancellable was cancelled
941  *
942  * Since: 2.40
943  */
944 gboolean
945 g_subprocess_wait (GSubprocess   *subprocess,
946                    GCancellable  *cancellable,
947                    GError       **error)
948 {
949   GAsyncResult *result = NULL;
950   gboolean success;
951
952   g_return_val_if_fail (G_IS_SUBPROCESS (subprocess), FALSE);
953
954   /* Synchronous waits are actually the 'more difficult' case because we
955    * need to deal with the possibility of cancellation.  That more or
956    * less implies that we need a main context (to dispatch either of the
957    * possible reasons for the operation ending).
958    *
959    * So we make one and then do this async...
960    */
961
962   if (g_cancellable_set_error_if_cancelled (cancellable, error))
963     return FALSE;
964
965   /* We can shortcut in the case that the process already quit (but only
966    * after we checked the cancellable).
967    */
968   if (subprocess->pid == 0)
969     return TRUE;
970
971   /* Otherwise, we need to do this the long way... */
972   g_subprocess_sync_setup ();
973   g_subprocess_wait_async (subprocess, cancellable, g_subprocess_sync_done, &result);
974   g_subprocess_sync_complete (&result);
975   success = g_subprocess_wait_finish (subprocess, result, error);
976   g_object_unref (result);
977
978   return success;
979 }
980
981 /**
982  * g_subprocess_wait_check:
983  * @subprocess: a #GSubprocess
984  * @cancellable: a #GCancellable
985  * @error: a #GError
986  *
987  * Combines g_subprocess_wait() with g_spawn_check_exit_status().
988  *
989  * Returns: %TRUE on success, %FALSE if process exited abnormally, or
990  * @cancellable was cancelled
991  *
992  * Since: 2.40
993  */
994 gboolean
995 g_subprocess_wait_check (GSubprocess   *subprocess,
996                          GCancellable  *cancellable,
997                          GError       **error)
998 {
999   return g_subprocess_wait (subprocess, cancellable, error) &&
1000          g_spawn_check_exit_status (subprocess->status, error);
1001 }
1002
1003 /**
1004  * g_subprocess_wait_check_async:
1005  * @subprocess: a #GSubprocess
1006  * @cancellable: a #GCancellable, or %NULL
1007  * @callback: a #GAsyncReadyCallback to call when the operation is complete
1008  * @user_data: user_data for @callback
1009  *
1010  * Combines g_subprocess_wait_async() with g_spawn_check_exit_status().
1011  *
1012  * This is the asynchronous version of g_subprocess_wait_check().
1013  *
1014  * Since: 2.40
1015  */
1016 void
1017 g_subprocess_wait_check_async (GSubprocess         *subprocess,
1018                                GCancellable        *cancellable,
1019                                GAsyncReadyCallback  callback,
1020                                gpointer             user_data)
1021 {
1022   g_subprocess_wait_async (subprocess, cancellable, callback, user_data);
1023 }
1024
1025 /**
1026  * g_subprocess_wait_check_finish:
1027  * @subprocess: a #GSubprocess
1028  * @result: the #GAsyncResult passed to your #GAsyncReadyCallback
1029  * @error: a pointer to a %NULL #GError, or %NULL
1030  *
1031  * Collects the result of a previous call to
1032  * g_subprocess_wait_check_async().
1033  *
1034  * Returns: %TRUE if successful, or %FALSE with @error set
1035  *
1036  * Since: 2.40
1037  */
1038 gboolean
1039 g_subprocess_wait_check_finish (GSubprocess   *subprocess,
1040                                 GAsyncResult  *result,
1041                                 GError       **error)
1042 {
1043   return g_subprocess_wait_finish (subprocess, result, error) &&
1044          g_spawn_check_exit_status (subprocess->status, error);
1045 }
1046
1047 #ifdef G_OS_UNIX
1048 typedef struct
1049 {
1050   GSubprocess *subprocess;
1051   gint signalnum;
1052 } SignalRecord;
1053
1054 static gboolean
1055 g_subprocess_actually_send_signal (gpointer user_data)
1056 {
1057   SignalRecord *signal_record = user_data;
1058
1059   /* The pid is set to zero from the worker thread as well, so we don't
1060    * need to take a lock in order to prevent it from changing under us.
1061    */
1062   if (signal_record->subprocess->pid)
1063     kill (signal_record->subprocess->pid, signal_record->signalnum);
1064
1065   g_object_unref (signal_record->subprocess);
1066
1067   g_slice_free (SignalRecord, signal_record);
1068
1069   return FALSE;
1070 }
1071
1072 static void
1073 g_subprocess_dispatch_signal (GSubprocess *subprocess,
1074                               gint         signalnum)
1075 {
1076   SignalRecord signal_record = { g_object_ref (subprocess), signalnum };
1077
1078   g_return_if_fail (G_IS_SUBPROCESS (subprocess));
1079
1080   /* This MUST be a lower priority than the priority that the child
1081    * watch source uses in initable_init().
1082    *
1083    * Reaping processes, reporting the results back to GSubprocess and
1084    * sending signals is all done in the glib worker thread.  We cannot
1085    * have a kill() done after the reap and before the report without
1086    * risking killing a process that's no longer there so the kill()
1087    * needs to have the lower priority.
1088    *
1089    * G_PRIORITY_HIGH_IDLE is lower priority than G_PRIORITY_DEFAULT.
1090    */
1091   g_main_context_invoke_full (GLIB_PRIVATE_CALL (g_get_worker_context) (),
1092                               G_PRIORITY_HIGH_IDLE,
1093                               g_subprocess_actually_send_signal,
1094                               g_slice_dup (SignalRecord, &signal_record),
1095                               NULL);
1096 }
1097
1098 /**
1099  * g_subprocess_send_signal:
1100  * @subprocess: a #GSubprocess
1101  * @signal_num: the signal number to send
1102  *
1103  * Sends the UNIX signal @signal_num to the subprocess, if it is still
1104  * running.
1105  *
1106  * This API is race-free.  If the subprocess has terminated, it will not
1107  * be signalled.
1108  *
1109  * This API is not available on Windows.
1110  *
1111  * Since: 2.40
1112  **/
1113 void
1114 g_subprocess_send_signal (GSubprocess *subprocess,
1115                           gint         signal_num)
1116 {
1117   g_return_if_fail (G_IS_SUBPROCESS (subprocess));
1118
1119   g_subprocess_dispatch_signal (subprocess, signal_num);
1120 }
1121 #endif
1122
1123 /**
1124  * g_subprocess_force_exit:
1125  * @subprocess: a #GSubprocess
1126  *
1127  * Use an operating-system specific method to attempt an immediate,
1128  * forceful termination of the process.  There is no mechanism to
1129  * determine whether or not the request itself was successful;
1130  * however, you can use g_subprocess_wait() to monitor the status of
1131  * the process after calling this function.
1132  *
1133  * On Unix, this function sends %SIGKILL.
1134  *
1135  * Since: 2.40
1136  **/
1137 void
1138 g_subprocess_force_exit (GSubprocess *subprocess)
1139 {
1140   g_return_if_fail (G_IS_SUBPROCESS (subprocess));
1141
1142 #ifdef G_OS_UNIX
1143   g_subprocess_dispatch_signal (subprocess, SIGKILL);
1144 #else
1145   TerminateProcess (subprocess->pid, 1);
1146 #endif
1147 }
1148
1149 /**
1150  * g_subprocess_get_status:
1151  * @subprocess: a #GSubprocess
1152  *
1153  * Gets the raw status code of the process, as from waitpid().
1154  *
1155  * This value has no particular meaning, but it can be used with the
1156  * macros defined by the system headers such as WIFEXITED.  It can also
1157  * be used with g_spawn_check_exit_status().
1158  *
1159  * It is more likely that you want to use g_subprocess_get_if_exited()
1160  * followed by g_subprocess_get_exit_status().
1161  *
1162  * It is an error to call this function before g_subprocess_wait() has
1163  * returned.
1164  *
1165  * Returns: the (meaningless) waitpid() exit status from the kernel
1166  *
1167  * Since: 2.40
1168  **/
1169 gint
1170 g_subprocess_get_status (GSubprocess *subprocess)
1171 {
1172   g_return_val_if_fail (G_IS_SUBPROCESS (subprocess), FALSE);
1173   g_return_val_if_fail (subprocess->pid == 0, FALSE);
1174
1175   return subprocess->status;
1176 }
1177
1178 /**
1179  * g_subprocess_get_successful:
1180  * @subprocess: a #GSubprocess
1181  *
1182  * Checks if the process was "successful".  A process is considered
1183  * successful if it exited cleanly with an exit status of 0, either by
1184  * way of the exit() system call or return from main().
1185  *
1186  * It is an error to call this function before g_subprocess_wait() has
1187  * returned.
1188  *
1189  * Returns: %TRUE if the process exited cleanly with a exit status of 0
1190  *
1191  * Since: 2.40
1192  **/
1193 gboolean
1194 g_subprocess_get_successful (GSubprocess *subprocess)
1195 {
1196   g_return_val_if_fail (G_IS_SUBPROCESS (subprocess), FALSE);
1197   g_return_val_if_fail (subprocess->pid == 0, FALSE);
1198
1199 #ifdef G_OS_UNIX
1200   return WIFEXITED (subprocess->status) && WEXITSTATUS (subprocess->status) == 0;
1201 #else
1202   return subprocess->status == 0;
1203 #endif
1204 }
1205
1206 /**
1207  * g_subprocess_get_if_exited:
1208  * @subprocess: a #GSubprocess
1209  *
1210  * Check if the given subprocess exited normally (ie: by way of exit()
1211  * or return from main()).
1212  *
1213  * This is equivalent to the system WIFEXITED macro.
1214  *
1215  * It is an error to call this function before g_subprocess_wait() has
1216  * returned.
1217  *
1218  * Returns: %TRUE if the case of a normal exit
1219  *
1220  * Since: 2.40
1221  **/
1222 gboolean
1223 g_subprocess_get_if_exited (GSubprocess *subprocess)
1224 {
1225   g_return_val_if_fail (G_IS_SUBPROCESS (subprocess), FALSE);
1226   g_return_val_if_fail (subprocess->pid == 0, FALSE);
1227
1228 #ifdef G_OS_UNIX
1229   return WIFEXITED (subprocess->status);
1230 #else
1231   return TRUE;
1232 #endif
1233 }
1234
1235 /**
1236  * g_subprocess_get_exit_status:
1237  * @subprocess: a #GSubprocess
1238  *
1239  * Check the exit status of the subprocess, given that it exited
1240  * normally.  This is the value passed to the exit() system call or the
1241  * return value from main.
1242  *
1243  * This is equivalent to the system WEXITSTATUS macro.
1244  *
1245  * It is an error to call this function before g_subprocess_wait() and
1246  * unless g_subprocess_get_if_exited() returned %TRUE.
1247  *
1248  * Returns: the exit status
1249  *
1250  * Since: 2.40
1251  **/
1252 gint
1253 g_subprocess_get_exit_status (GSubprocess *subprocess)
1254 {
1255   g_return_val_if_fail (G_IS_SUBPROCESS (subprocess), 1);
1256   g_return_val_if_fail (subprocess->pid == 0, 1);
1257
1258 #ifdef G_OS_UNIX
1259   g_return_val_if_fail (WIFEXITED (subprocess->status), 1);
1260
1261   return WEXITSTATUS (subprocess->status);
1262 #else
1263   return subprocess->status;
1264 #endif
1265 }
1266
1267 /**
1268  * g_subprocess_get_if_signaled:
1269  * @subprocess: a #GSubprocess
1270  *
1271  * Check if the given subprocess terminated in response to a signal.
1272  *
1273  * This is equivalent to the system WIFSIGNALED macro.
1274  *
1275  * It is an error to call this function before g_subprocess_wait() has
1276  * returned.
1277  *
1278  * Returns: %TRUE if the case of termination due to a signal
1279  *
1280  * Since: 2.40
1281  **/
1282 gboolean
1283 g_subprocess_get_if_signaled (GSubprocess *subprocess)
1284 {
1285   g_return_val_if_fail (G_IS_SUBPROCESS (subprocess), FALSE);
1286   g_return_val_if_fail (subprocess->pid == 0, FALSE);
1287
1288 #ifdef G_OS_UNIX
1289   return WIFSIGNALED (subprocess->status);
1290 #else
1291   return FALSE;
1292 #endif
1293 }
1294
1295 /**
1296  * g_subprocess_get_term_sig:
1297  * @subprocess: a #GSubprocess
1298  *
1299  * Get the signal number that caused the subprocess to terminate, given
1300  * that it terminated due to a signal.
1301  *
1302  * This is equivalent to the system WTERMSIG macro.
1303  *
1304  * It is an error to call this function before g_subprocess_wait() and
1305  * unless g_subprocess_get_if_signaled() returned %TRUE.
1306  *
1307  * Returns: the signal causing termination
1308  *
1309  * Since: 2.40
1310  **/
1311 gint
1312 g_subprocess_get_term_sig (GSubprocess *subprocess)
1313 {
1314   g_return_val_if_fail (G_IS_SUBPROCESS (subprocess), 0);
1315   g_return_val_if_fail (subprocess->pid == 0, 0);
1316
1317 #ifdef G_OS_UNIX
1318   g_return_val_if_fail (WIFSIGNALED (subprocess->status), 0);
1319
1320   return WTERMSIG (subprocess->status);
1321 #else
1322   g_critical ("g_subprocess_get_term_sig() called on Windows, where "
1323               "g_subprocess_get_if_signaled() always returns FALSE...");
1324   return 0;
1325 #endif
1326 }
1327
1328 /*< private >*/
1329 void
1330 g_subprocess_set_launcher (GSubprocess         *subprocess,
1331                            GSubprocessLauncher *launcher)
1332 {
1333   subprocess->launcher = launcher;
1334 }
1335
1336
1337 /* g_subprocess_communicate implementation below:
1338  *
1339  * This is a tough problem.  We have to watch 5 things at the same time:
1340  *
1341  *  - writing to stdin made progress
1342  *  - reading from stdout made progress
1343  *  - reading from stderr made progress
1344  *  - process terminated
1345  *  - cancellable being cancelled by caller
1346  *
1347  * We use a GMainContext for all of these (either as async function
1348  * calls or as a GSource (in the case of the cancellable).  That way at
1349  * least we don't have to worry about threading.
1350  *
1351  * For the sync case we use the usual trick of creating a private main
1352  * context and iterating it until completion.
1353  *
1354  * It's very possible that the process will dump a lot of data to stdout
1355  * just before it quits, so we can easily have data to read from stdout
1356  * and see the process has terminated at the same time.  We want to make
1357  * sure that we read all of the data from the pipes first, though, so we
1358  * do IO operations at a higher priority than the wait operation (which
1359  * is at G_IO_PRIORITY_DEFAULT).  Even in the case that we have to do
1360  * multiple reads to get this data, the pipe() will always be polling
1361  * as ready and with the async result for the read at a higher priority,
1362  * the main context will not dispatch the completion for the wait().
1363  *
1364  * We keep our own private GCancellable.  In the event that any of the
1365  * above suffers from an error condition (including the user cancelling
1366  * their cancellable) we immediately dispatch the GTask with the error
1367  * result and fire our cancellable to cleanup any pending operations.
1368  * In the case that the error is that the user's cancellable was fired,
1369  * it's vaguely wasteful to report an error because GTask will handle
1370  * this automatically, so we just return FALSE.
1371  *
1372  * We let each pending sub-operation take a ref on the GTask of the
1373  * communicate operation.  We have to be careful that we don't report
1374  * the task completion more than once, though, so we keep a flag for
1375  * that.
1376  */
1377 typedef struct
1378 {
1379   const gchar *stdin_data;
1380   gsize stdin_length;
1381   gsize stdin_offset;
1382
1383   gboolean add_nul;
1384
1385   GInputStream *stdin_buf;
1386   GMemoryOutputStream *stdout_buf;
1387   GMemoryOutputStream *stderr_buf;
1388
1389   GCancellable *cancellable;
1390   GSource      *cancellable_source;
1391
1392   guint         outstanding_ops;
1393   gboolean      reported_error;
1394 } CommunicateState;
1395
1396 static void
1397 g_subprocess_communicate_made_progress (GObject      *source_object,
1398                                         GAsyncResult *result,
1399                                         gpointer      user_data)
1400 {
1401   CommunicateState *state;
1402   GSubprocess *subprocess;
1403   GError *error = NULL;
1404   gpointer source;
1405   GTask *task;
1406
1407   g_assert (source_object != NULL);
1408
1409   task = user_data;
1410   subprocess = g_task_get_source_object (task);
1411   state = g_task_get_task_data (task);
1412   source = source_object;
1413
1414   state->outstanding_ops--;
1415
1416   if (source == subprocess->stdin_pipe ||
1417       source == state->stdout_buf ||
1418       source == state->stderr_buf)
1419     {
1420       if (!g_output_stream_splice_finish ((GOutputStream*)source, result, &error))
1421         goto out;
1422
1423       if (source == state->stdout_buf ||
1424           source == state->stderr_buf)
1425         {
1426           /* This is a memory stream, so it can't be cancelled or return
1427            * an error really.
1428            */
1429           if (state->add_nul)
1430             {
1431               gsize bytes_written;
1432               if (!g_output_stream_write_all (source, "\0", 1, &bytes_written,
1433                                               NULL, &error))
1434                 goto out;
1435             }
1436           if (!g_output_stream_close (source, NULL, &error))
1437             goto out;
1438         }
1439     }
1440   else if (source == subprocess)
1441     {
1442       (void) g_subprocess_wait_finish (subprocess, result, &error);
1443     }
1444   else
1445     g_assert_not_reached ();
1446
1447  out:
1448   if (error)
1449     {
1450       /* Only report the first error we see.
1451        *
1452        * We might be seeing an error as a result of the cancellation
1453        * done when the process quits.
1454        */
1455       if (!state->reported_error)
1456         {
1457           state->reported_error = TRUE;
1458           g_cancellable_cancel (state->cancellable);
1459           g_task_return_error (task, error);
1460         }
1461       else
1462         g_error_free (error);
1463     }
1464   else if (state->outstanding_ops == 0)
1465     {
1466       g_task_return_boolean (task, TRUE);
1467     }
1468
1469   /* And drop the original ref */
1470   g_object_unref (task);
1471 }
1472
1473 static gboolean
1474 g_subprocess_communicate_cancelled (gpointer user_data)
1475 {
1476   CommunicateState *state = user_data;
1477
1478   g_cancellable_cancel (state->cancellable);
1479
1480   return FALSE;
1481 }
1482
1483 static void
1484 g_subprocess_communicate_state_free (gpointer data)
1485 {
1486   CommunicateState *state = data;
1487
1488   g_clear_object (&state->cancellable);
1489   g_clear_object (&state->stdin_buf);
1490   g_clear_object (&state->stdout_buf);
1491   g_clear_object (&state->stderr_buf);
1492
1493   if (state->cancellable_source)
1494     {
1495       if (!g_source_is_destroyed (state->cancellable_source))
1496         g_source_destroy (state->cancellable_source);
1497       g_source_unref (state->cancellable_source);
1498     }
1499
1500   g_slice_free (CommunicateState, state);
1501 }
1502
1503 static CommunicateState *
1504 g_subprocess_communicate_internal (GSubprocess         *subprocess,
1505                                    gboolean             add_nul,
1506                                    GBytes              *stdin_buf,
1507                                    GCancellable        *cancellable,
1508                                    GAsyncReadyCallback  callback,
1509                                    gpointer             user_data)
1510 {
1511   CommunicateState *state;
1512   GTask *task;
1513
1514   task = g_task_new (subprocess, cancellable, callback, user_data);
1515   state = g_slice_new0 (CommunicateState);
1516   g_task_set_task_data (task, state, g_subprocess_communicate_state_free);
1517
1518   state->cancellable = g_cancellable_new ();
1519   state->add_nul = add_nul;
1520
1521   if (cancellable)
1522     {
1523       state->cancellable_source = g_cancellable_source_new (cancellable);
1524       /* No ref held here, but we unref the source from state's free function */
1525       g_source_set_callback (state->cancellable_source, g_subprocess_communicate_cancelled, state, NULL);
1526       g_source_attach (state->cancellable_source, g_main_context_get_thread_default ());
1527     }
1528
1529   if (subprocess->stdin_pipe)
1530     {
1531       g_assert (stdin_buf != NULL);
1532       state->stdin_buf = g_memory_input_stream_new_from_bytes (stdin_buf);
1533       g_output_stream_splice_async (subprocess->stdin_pipe, (GInputStream*)state->stdin_buf,
1534                                     G_OUTPUT_STREAM_SPLICE_CLOSE_SOURCE | G_OUTPUT_STREAM_SPLICE_CLOSE_TARGET,
1535                                     G_PRIORITY_DEFAULT, state->cancellable,
1536                                     g_subprocess_communicate_made_progress, g_object_ref (task));
1537       state->outstanding_ops++;
1538     }
1539
1540   if (subprocess->stdout_pipe)
1541     {
1542       state->stdout_buf = (GMemoryOutputStream*)g_memory_output_stream_new_resizable ();
1543       g_output_stream_splice_async ((GOutputStream*)state->stdout_buf, subprocess->stdout_pipe,
1544                                     G_OUTPUT_STREAM_SPLICE_CLOSE_SOURCE,
1545                                     G_PRIORITY_DEFAULT, state->cancellable,
1546                                     g_subprocess_communicate_made_progress, g_object_ref (task));
1547       state->outstanding_ops++;
1548     }
1549
1550   if (subprocess->stderr_pipe)
1551     {
1552       state->stderr_buf = (GMemoryOutputStream*)g_memory_output_stream_new_resizable ();
1553       g_output_stream_splice_async ((GOutputStream*)state->stderr_buf, subprocess->stderr_pipe,
1554                                     G_OUTPUT_STREAM_SPLICE_CLOSE_SOURCE,
1555                                     G_PRIORITY_DEFAULT, state->cancellable,
1556                                     g_subprocess_communicate_made_progress, g_object_ref (task));
1557       state->outstanding_ops++;
1558     }
1559
1560   g_subprocess_wait_async (subprocess, state->cancellable,
1561                            g_subprocess_communicate_made_progress, g_object_ref (task));
1562   state->outstanding_ops++;
1563
1564   g_object_unref (task);
1565   return state;
1566 }
1567
1568 /**
1569  * g_subprocess_communicate:
1570  * @subprocess: a #GSubprocess
1571  * @stdin_buf: (allow-none): data to send to the stdin of the subprocess, or %NULL
1572  * @cancellable: a #GCancellable
1573  * @stdout_buf: (out): data read from the subprocess stdout
1574  * @stderr_buf: (out): data read from the subprocess stderr
1575  * @error: a pointer to a %NULL #GError pointer, or %NULL
1576  *
1577  * Communicate with the subprocess until it terminates, and all input
1578  * and output has been completed.
1579  *
1580  * If @stdin_buf is given, the subprocess must have been created with
1581  * %G_SUBPROCESS_FLAGS_STDIN_PIPE.  The given data is fed to the
1582  * stdin of the subprocess and the pipe is closed (ie: EOF).
1583  *
1584  * At the same time (as not to cause blocking when dealing with large
1585  * amounts of data), if %G_SUBPROCESS_FLAGS_STDOUT_PIPE or
1586  * %G_SUBPROCESS_FLAGS_STDERR_PIPE were used, reads from those
1587  * streams.  The data that was read is returned in @stdout and/or
1588  * the @stderr.
1589  *
1590  * If the subprocess was created with %G_SUBPROCESS_FLAGS_STDOUT_PIPE,
1591  * @stdout_buf will contain the data read from stdout.  Otherwise, for
1592  * subprocesses not created with %G_SUBPROCESS_FLAGS_STDOUT_PIPE,
1593  * @stdout_buf will be set to %NULL.  Similar provisions apply to
1594  * @stderr_buf and %G_SUBPROCESS_FLAGS_STDERR_PIPE.
1595  *
1596  * As usual, any output variable may be given as %NULL to ignore it.
1597  *
1598  * If you desire the stdout and stderr data to be interleaved, create
1599  * the subprocess with %G_SUBPROCESS_FLAGS_STDOUT_PIPE and
1600  * %G_SUBPROCESS_FLAGS_STDERR_MERGE.  The merged result will be returned
1601  * in @stdout_buf and @stderr_buf will be set to %NULL.
1602  *
1603  * In case of any error (including cancellation), %FALSE will be
1604  * returned with @error set.  Some or all of the stdin data may have
1605  * been written.  Any stdout or stderr data that has been read will be
1606  * discarded. None of the out variables (aside from @error) will have
1607  * been set to anything in particular and should not be inspected.
1608  *
1609  * In the case that %TRUE is returned, the subprocess has exited and the
1610  * exit status inspection APIs (eg: g_subprocess_get_if_exited(),
1611  * g_subprocess_get_exit_status()) may be used.
1612  *
1613  * You should not attempt to use any of the subprocess pipes after
1614  * starting this function, since they may be left in strange states,
1615  * even if the operation was cancelled.  You should especially not
1616  * attempt to interact with the pipes while the operation is in progress
1617  * (either from another thread or if using the asynchronous version).
1618  *
1619  * Returns: %TRUE if successful
1620  *
1621  * Since: 2.40
1622  **/
1623 gboolean
1624 g_subprocess_communicate (GSubprocess   *subprocess,
1625                           GBytes        *stdin_buf,
1626                           GCancellable  *cancellable,
1627                           GBytes       **stdout_buf,
1628                           GBytes       **stderr_buf,
1629                           GError       **error)
1630 {
1631   GAsyncResult *result = NULL;
1632   gboolean success;
1633
1634   g_return_val_if_fail (G_IS_SUBPROCESS (subprocess), FALSE);
1635   g_return_val_if_fail (stdin_buf == NULL || (subprocess->flags & G_SUBPROCESS_FLAGS_STDIN_PIPE), FALSE);
1636   g_return_val_if_fail (cancellable == NULL || G_IS_CANCELLABLE (cancellable), FALSE);
1637   g_return_val_if_fail (error == NULL || *error == NULL, FALSE);
1638
1639   g_subprocess_sync_setup ();
1640   g_subprocess_communicate_internal (subprocess, FALSE, stdin_buf, cancellable,
1641                                      g_subprocess_sync_done, &result);
1642   g_subprocess_sync_complete (&result);
1643   success = g_subprocess_communicate_finish (subprocess, result, stdout_buf, stderr_buf, error);
1644   g_object_unref (result);
1645
1646   return success;
1647 }
1648
1649 /**
1650  * g_subprocess_communicate_async:
1651  * @subprocess: Self
1652  * @stdin_buf: (allow-none): Input data, or %NULL
1653  * @cancellable: (allow-none): Cancellable
1654  * @callback: Callback
1655  * @user_data: User data
1656  *
1657  * Asynchronous version of g_subprocess_communicate().  Complete
1658  * invocation with g_subprocess_communicate_finish().
1659  */
1660 void
1661 g_subprocess_communicate_async (GSubprocess         *subprocess,
1662                                 GBytes              *stdin_buf,
1663                                 GCancellable        *cancellable,
1664                                 GAsyncReadyCallback  callback,
1665                                 gpointer             user_data)
1666 {
1667   g_return_if_fail (G_IS_SUBPROCESS (subprocess));
1668   g_return_if_fail (stdin_buf == NULL || (subprocess->flags & G_SUBPROCESS_FLAGS_STDIN_PIPE));
1669   g_return_if_fail (cancellable == NULL || G_IS_CANCELLABLE (cancellable));
1670
1671   g_subprocess_communicate_internal (subprocess, FALSE, stdin_buf, cancellable, callback, user_data);
1672 }
1673
1674 /**
1675  * g_subprocess_communicate_finish:
1676  * @subprocess: Self
1677  * @result: Result
1678  * @stdout_buf: (out): Return location for stdout data
1679  * @stderr_buf: (out): Return location for stderr data
1680  * @error: Error
1681  *
1682  * Complete an invocation of g_subprocess_communicate_async().
1683  */
1684 gboolean
1685 g_subprocess_communicate_finish (GSubprocess   *subprocess,
1686                                  GAsyncResult  *result,
1687                                  GBytes       **stdout_buf,
1688                                  GBytes       **stderr_buf,
1689                                  GError       **error)
1690 {
1691   gboolean success;
1692   CommunicateState *state;
1693
1694   g_return_val_if_fail (G_IS_SUBPROCESS (subprocess), FALSE);
1695   g_return_val_if_fail (g_task_is_valid (result, subprocess), FALSE);
1696   g_return_val_if_fail (error == NULL || *error == NULL, FALSE);
1697
1698   g_object_ref (result);
1699
1700   state = g_task_get_task_data ((GTask*)result);
1701   success = g_task_propagate_boolean ((GTask*)result, error);
1702
1703   if (success)
1704     {
1705       if (stdout_buf)
1706         *stdout_buf = g_memory_output_stream_steal_as_bytes (state->stdout_buf);
1707       if (stderr_buf)
1708         *stderr_buf = g_memory_output_stream_steal_as_bytes (state->stderr_buf);
1709     }
1710
1711   g_object_unref (result);
1712   return success;
1713 }
1714
1715 /**
1716  * g_subprocess_communicate_utf8:
1717  * @subprocess: a #GSubprocess
1718  * @stdin_buf: (allow-none): data to send to the stdin of the subprocess, or %NULL
1719  * @cancellable: a #GCancellable
1720  * @stdout_buf: (out): data read from the subprocess stdout
1721  * @stderr_buf: (out): data read from the subprocess stderr
1722  * @error: a pointer to a %NULL #GError pointer, or %NULL
1723  *
1724  * Like g_subprocess_communicate(), but validates the output of the
1725  * process as UTF-8, and returns it as a regular NUL terminated string.
1726  */
1727 gboolean
1728 g_subprocess_communicate_utf8 (GSubprocess   *subprocess,
1729                                const char    *stdin_buf,
1730                                GCancellable  *cancellable,
1731                                char         **stdout_buf,
1732                                char         **stderr_buf,
1733                                GError       **error)
1734 {
1735   GAsyncResult *result = NULL;
1736   gboolean success;
1737   GBytes *stdin_bytes;
1738   size_t stdin_buf_len = 0;
1739
1740   g_return_val_if_fail (G_IS_SUBPROCESS (subprocess), FALSE);
1741   g_return_val_if_fail (stdin_buf == NULL || (subprocess->flags & G_SUBPROCESS_FLAGS_STDIN_PIPE), FALSE);
1742   g_return_val_if_fail (cancellable == NULL || G_IS_CANCELLABLE (cancellable), FALSE);
1743   g_return_val_if_fail (error == NULL || *error == NULL, FALSE);
1744
1745   if (stdin_buf != NULL)
1746     stdin_buf_len = strlen (stdin_buf);
1747   stdin_bytes = g_bytes_new (stdin_buf, stdin_buf_len);
1748
1749   g_subprocess_sync_setup ();
1750   g_subprocess_communicate_internal (subprocess, TRUE, stdin_bytes, cancellable,
1751                                      g_subprocess_sync_done, &result);
1752   g_subprocess_sync_complete (&result);
1753   success = g_subprocess_communicate_utf8_finish (subprocess, result, stdout_buf, stderr_buf, error);
1754   g_object_unref (result);
1755
1756   g_bytes_unref (stdin_bytes);
1757   return success;
1758 }
1759
1760 /**
1761  * g_subprocess_communicate_utf8_async:
1762  * @subprocess: Self
1763  * @stdin_buf: (allow-none): Input data, or %NULL
1764  * @cancellable: Cancellable
1765  * @callback: Callback
1766  * @user_data: User data
1767  *
1768  * Asynchronous version of g_subprocess_communicate_utf().  Complete
1769  * invocation with g_subprocess_communicate_utf8_finish().
1770  */
1771 void
1772 g_subprocess_communicate_utf8_async (GSubprocess         *subprocess,
1773                                      const char          *stdin_buf,
1774                                      GCancellable        *cancellable,
1775                                      GAsyncReadyCallback  callback,
1776                                      gpointer             user_data)
1777 {
1778   GBytes *stdin_bytes;
1779   size_t stdin_buf_len = 0;
1780
1781   g_return_if_fail (G_IS_SUBPROCESS (subprocess));
1782   g_return_if_fail (stdin_buf == NULL || (subprocess->flags & G_SUBPROCESS_FLAGS_STDIN_PIPE));
1783   g_return_if_fail (cancellable == NULL || G_IS_CANCELLABLE (cancellable));
1784
1785   if (stdin_buf != NULL)
1786     stdin_buf_len = strlen (stdin_buf);
1787   stdin_bytes = g_bytes_new (stdin_buf, stdin_buf_len);
1788
1789   g_subprocess_communicate_internal (subprocess, TRUE, stdin_bytes, cancellable, callback, user_data);
1790
1791   g_bytes_unref (stdin_bytes);
1792 }
1793
1794 static gboolean
1795 communicate_result_validate_utf8 (const char            *stream_name,
1796                                   char                 **return_location,
1797                                   GMemoryOutputStream   *buffer,
1798                                   GError               **error)
1799 {
1800   if (return_location == NULL)
1801     return TRUE;
1802
1803   if (buffer)
1804     {
1805       const char *end;
1806       *return_location = g_memory_output_stream_steal_data (buffer);
1807       if (!g_utf8_validate (*return_location, -1, &end))
1808         {
1809           g_free (*return_location);
1810           g_set_error (error, G_IO_ERROR, G_IO_ERROR_FAILED,
1811                        "Invalid UTF-8 in child %s at offset %lu",
1812                        stream_name,
1813                        (unsigned long) (end - *return_location));
1814           return FALSE;
1815         }
1816     }
1817   else
1818     *return_location = NULL;
1819
1820   return TRUE;
1821 }
1822
1823 /**
1824  * g_subprocess_communicate_utf8_finish:
1825  * @subprocess: Self
1826  * @result: Result
1827  * @stdout_buf: (out): Return location for stdout data
1828  * @stderr_buf: (out): Return location for stderr data
1829  * @error: Error
1830  *
1831  * Complete an invocation of g_subprocess_communicate_utf8_async().
1832  */
1833 gboolean
1834 g_subprocess_communicate_utf8_finish (GSubprocess   *subprocess,
1835                                       GAsyncResult  *result,
1836                                       char         **stdout_buf,
1837                                       char         **stderr_buf,
1838                                       GError       **error)
1839 {
1840   gboolean ret = FALSE;
1841   CommunicateState *state;
1842
1843   g_return_val_if_fail (G_IS_SUBPROCESS (subprocess), FALSE);
1844   g_return_val_if_fail (g_task_is_valid (result, subprocess), FALSE);
1845   g_return_val_if_fail (error == NULL || *error == NULL, FALSE);
1846
1847   g_object_ref (result);
1848
1849   state = g_task_get_task_data ((GTask*)result);
1850   if (!g_task_propagate_boolean ((GTask*)result, error))
1851     goto out;
1852
1853   /* TODO - validate UTF-8 while streaming, rather than all at once.
1854    */
1855   if (!communicate_result_validate_utf8 ("stdout", stdout_buf,
1856                                          state->stdout_buf,
1857                                          error))
1858     goto out;
1859   if (!communicate_result_validate_utf8 ("stderr", stderr_buf,
1860                                          state->stderr_buf,
1861                                          error))
1862     goto out;
1863
1864   ret = TRUE;
1865  out:
1866   g_object_unref (result);
1867   return ret;
1868 }