packaging: Add contrib installation
[platform/upstream/git.git] / run-command.h
1 #ifndef RUN_COMMAND_H
2 #define RUN_COMMAND_H
3
4 #include "thread-utils.h"
5
6 #include "strvec.h"
7
8 /**
9  * The run-command API offers a versatile tool to run sub-processes with
10  * redirected input and output as well as with a modified environment
11  * and an alternate current directory.
12  *
13  * A similar API offers the capability to run a function asynchronously,
14  * which is primarily used to capture the output that the function
15  * produces in the caller in order to process it.
16  */
17
18
19 /**
20  * This describes the arguments, redirections, and environment of a
21  * command to run in a sub-process.
22  *
23  * The caller:
24  *
25  * 1. allocates and clears (using child_process_init() or
26  *    CHILD_PROCESS_INIT) a struct child_process variable;
27  * 2. initializes the members;
28  * 3. calls start_command();
29  * 4. processes the data;
30  * 5. closes file descriptors (if necessary; see below);
31  * 6. calls finish_command().
32  *
33  * Special forms of redirection are available by setting these members
34  * to 1:
35  *
36  *  .no_stdin, .no_stdout, .no_stderr: The respective channel is
37  *              redirected to /dev/null.
38  *
39  *      .stdout_to_stderr: stdout of the child is redirected to its
40  *              stderr. This happens after stderr is itself redirected.
41  *              So stdout will follow stderr to wherever it is
42  *              redirected.
43  */
44 struct child_process {
45
46         /**
47          * The .argv member is set up as an array of string pointers (NULL
48          * terminated), of which .argv[0] is the program name to run (usually
49          * without a path). If the command to run is a git command, set argv[0] to
50          * the command name without the 'git-' prefix and set .git_cmd = 1.
51          *
52          * Note that the ownership of the memory pointed to by .argv stays with the
53          * caller, but it should survive until `finish_command` completes. If the
54          * .argv member is NULL, `start_command` will point it at the .args
55          * `strvec` (so you may use one or the other, but you must use exactly
56          * one). The memory in .args will be cleaned up automatically during
57          * `finish_command` (or during `start_command` when it is unsuccessful).
58          *
59          */
60         const char **argv;
61
62         struct strvec args;
63         struct strvec env_array;
64         pid_t pid;
65
66         int trace2_child_id;
67         uint64_t trace2_child_us_start;
68         const char *trace2_child_class;
69         const char *trace2_hook_name;
70
71         /*
72          * Using .in, .out, .err:
73          * - Specify 0 for no redirections. No new file descriptor is allocated.
74          * (child inherits stdin, stdout, stderr from parent).
75          * - Specify -1 to have a pipe allocated as follows:
76          *     .in: returns the writable pipe end; parent writes to it,
77          *          the readable pipe end becomes child's stdin
78          *     .out, .err: returns the readable pipe end; parent reads from
79          *          it, the writable pipe end becomes child's stdout/stderr
80          *   The caller of start_command() must close the returned FDs
81          *   after it has completed reading from/writing to it!
82          * - Specify > 0 to set a channel to a particular FD as follows:
83          *     .in: a readable FD, becomes child's stdin
84          *     .out: a writable FD, becomes child's stdout/stderr
85          *     .err: a writable FD, becomes child's stderr
86          *   The specified FD is closed by start_command(), even in case
87          *   of errors!
88          */
89         int in;
90         int out;
91         int err;
92
93         /**
94          * To specify a new initial working directory for the sub-process,
95          * specify it in the .dir member.
96          */
97         const char *dir;
98
99         /**
100          * To modify the environment of the sub-process, specify an array of
101          * string pointers (NULL terminated) in .env:
102          *
103          * - If the string is of the form "VAR=value", i.e. it contains '='
104          *   the variable is added to the child process's environment.
105          *
106          * - If the string does not contain '=', it names an environment
107          *   variable that will be removed from the child process's environment.
108          *
109          * If the .env member is NULL, `start_command` will point it at the
110          * .env_array `strvec` (so you may use one or the other, but not both).
111          * The memory in .env_array will be cleaned up automatically during
112          * `finish_command` (or during `start_command` when it is unsuccessful).
113          */
114         const char *const *env;
115
116         unsigned no_stdin:1;
117         unsigned no_stdout:1;
118         unsigned no_stderr:1;
119         unsigned git_cmd:1; /* if this is to be git sub-command */
120
121         /**
122          * If the program cannot be found, the functions return -1 and set
123          * errno to ENOENT. Normally, an error message is printed, but if
124          * .silent_exec_failure is set to 1, no message is printed for this
125          * special error condition.
126          */
127         unsigned silent_exec_failure:1;
128
129         unsigned stdout_to_stderr:1;
130         unsigned use_shell:1;
131         unsigned clean_on_exit:1;
132         unsigned wait_after_clean:1;
133         void (*clean_on_exit_handler)(struct child_process *process);
134         void *clean_on_exit_handler_cbdata;
135 };
136
137 #define CHILD_PROCESS_INIT { NULL, STRVEC_INIT, STRVEC_INIT }
138
139 /**
140  * The functions: child_process_init, start_command, finish_command,
141  * run_command, run_command_v_opt, run_command_v_opt_cd_env, child_process_clear
142  * do the following:
143  *
144  * - If a system call failed, errno is set and -1 is returned. A diagnostic
145  *   is printed.
146  *
147  * - If the program was not found, then -1 is returned and errno is set to
148  *   ENOENT; a diagnostic is printed only if .silent_exec_failure is 0.
149  *
150  * - Otherwise, the program is run. If it terminates regularly, its exit
151  *   code is returned. No diagnostic is printed, even if the exit code is
152  *   non-zero.
153  *
154  * - If the program terminated due to a signal, then the return value is the
155  *   signal number + 128, ie. the same value that a POSIX shell's $? would
156  *   report.  A diagnostic is printed.
157  *
158  */
159
160 /**
161  * Initialize a struct child_process variable.
162  */
163 void child_process_init(struct child_process *);
164
165 /**
166  * Release the memory associated with the struct child_process.
167  * Most users of the run-command API don't need to call this
168  * function explicitly because `start_command` invokes it on
169  * failure and `finish_command` calls it automatically already.
170  */
171 void child_process_clear(struct child_process *);
172
173 int is_executable(const char *name);
174
175 /**
176  * Start a sub-process. Takes a pointer to a `struct child_process`
177  * that specifies the details and returns pipe FDs (if requested).
178  * See below for details.
179  */
180 int start_command(struct child_process *);
181
182 /**
183  * Wait for the completion of a sub-process that was started with
184  * start_command().
185  */
186 int finish_command(struct child_process *);
187
188 int finish_command_in_signal(struct child_process *);
189
190 /**
191  * A convenience function that encapsulates a sequence of
192  * start_command() followed by finish_command(). Takes a pointer
193  * to a `struct child_process` that specifies the details.
194  */
195 int run_command(struct child_process *);
196
197 /*
198  * Returns the path to the hook file, or NULL if the hook is missing
199  * or disabled. Note that this points to static storage that will be
200  * overwritten by further calls to find_hook and run_hook_*.
201  */
202 const char *find_hook(const char *name);
203
204 /**
205  * Run a hook.
206  * The first argument is a pathname to an index file, or NULL
207  * if the hook uses the default index file or no index is needed.
208  * The second argument is the name of the hook.
209  * The further arguments correspond to the hook arguments.
210  * The last argument has to be NULL to terminate the arguments list.
211  * If the hook does not exist or is not executable, the return
212  * value will be zero.
213  * If it is executable, the hook will be executed and the exit
214  * status of the hook is returned.
215  * On execution, .stdout_to_stderr and .no_stdin will be set.
216  */
217 LAST_ARG_MUST_BE_NULL
218 int run_hook_le(const char *const *env, const char *name, ...);
219 int run_hook_ve(const char *const *env, const char *name, va_list args);
220
221 /*
222  * Trigger an auto-gc
223  */
224 int run_auto_maintenance(int quiet);
225
226 #define RUN_COMMAND_NO_STDIN 1
227 #define RUN_GIT_CMD          2  /*If this is to be git sub-command */
228 #define RUN_COMMAND_STDOUT_TO_STDERR 4
229 #define RUN_SILENT_EXEC_FAILURE 8
230 #define RUN_USING_SHELL 16
231 #define RUN_CLEAN_ON_EXIT 32
232 #define RUN_WAIT_AFTER_CLEAN 64
233
234 /**
235  * Convenience functions that encapsulate a sequence of
236  * start_command() followed by finish_command(). The argument argv
237  * specifies the program and its arguments. The argument opt is zero
238  * or more of the flags `RUN_COMMAND_NO_STDIN`, `RUN_GIT_CMD`,
239  * `RUN_COMMAND_STDOUT_TO_STDERR`, or `RUN_SILENT_EXEC_FAILURE`
240  * that correspond to the members .no_stdin, .git_cmd,
241  * .stdout_to_stderr, .silent_exec_failure of `struct child_process`.
242  * The argument dir corresponds the member .dir. The argument env
243  * corresponds to the member .env.
244  */
245 int run_command_v_opt(const char **argv, int opt);
246 int run_command_v_opt_tr2(const char **argv, int opt, const char *tr2_class);
247 /*
248  * env (the environment) is to be formatted like environ: "VAR=VALUE".
249  * To unset an environment variable use just "VAR".
250  */
251 int run_command_v_opt_cd_env(const char **argv, int opt, const char *dir, const char *const *env);
252 int run_command_v_opt_cd_env_tr2(const char **argv, int opt, const char *dir,
253                                  const char *const *env, const char *tr2_class);
254
255 /**
256  * Execute the given command, sending "in" to its stdin, and capturing its
257  * stdout and stderr in the "out" and "err" strbufs. Any of the three may
258  * be NULL to skip processing.
259  *
260  * Returns -1 if starting the command fails or reading fails, and otherwise
261  * returns the exit code of the command. Any output collected in the
262  * buffers is kept even if the command returns a non-zero exit. The hint fields
263  * gives starting sizes for the strbuf allocations.
264  *
265  * The fields of "cmd" should be set up as they would for a normal run_command
266  * invocation. But note that there is no need to set the in, out, or err
267  * fields; pipe_command handles that automatically.
268  */
269 int pipe_command(struct child_process *cmd,
270                  const char *in, size_t in_len,
271                  struct strbuf *out, size_t out_hint,
272                  struct strbuf *err, size_t err_hint);
273
274 /**
275  * Convenience wrapper around pipe_command for the common case
276  * of capturing only stdout.
277  */
278 static inline int capture_command(struct child_process *cmd,
279                                   struct strbuf *out,
280                                   size_t hint)
281 {
282         return pipe_command(cmd, NULL, 0, out, hint, NULL, 0);
283 }
284
285 /*
286  * The purpose of the following functions is to feed a pipe by running
287  * a function asynchronously and providing output that the caller reads.
288  *
289  * It is expected that no synchronization and mutual exclusion between
290  * the caller and the feed function is necessary so that the function
291  * can run in a thread without interfering with the caller.
292  *
293  * The caller:
294  *
295  * 1. allocates and clears (memset(&asy, 0, sizeof(asy));) a
296  *    struct async variable;
297  * 2. initializes .proc and .data;
298  * 3. calls start_async();
299  * 4. processes communicates with proc through .in and .out;
300  * 5. closes .in and .out;
301  * 6. calls finish_async().
302  *
303  * There are serious restrictions on what the asynchronous function can do
304  * because this facility is implemented by a thread in the same address
305  * space on most platforms (when pthreads is available), but by a pipe to
306  * a forked process otherwise:
307  *
308  * - It cannot change the program's state (global variables, environment,
309  *   etc.) in a way that the caller notices; in other words, .in and .out
310  *   are the only communication channels to the caller.
311  *
312  * - It must not change the program's state that the caller of the
313  *   facility also uses.
314  *
315  */
316 struct async {
317
318         /**
319          * The function pointer in .proc has the following signature:
320          *
321          *      int proc(int in, int out, void *data);
322          *
323          * - in, out specifies a set of file descriptors to which the function
324          *  must read/write the data that it needs/produces.  The function
325          *  *must* close these descriptors before it returns.  A descriptor
326          *  may be -1 if the caller did not configure a descriptor for that
327          *  direction.
328          *
329          * - data is the value that the caller has specified in the .data member
330          *  of struct async.
331          *
332          * - The return value of the function is 0 on success and non-zero
333          *  on failure. If the function indicates failure, finish_async() will
334          *  report failure as well.
335          *
336          */
337         int (*proc)(int in, int out, void *data);
338
339         void *data;
340
341         /**
342          * The members .in, .out are used to provide a set of fd's for
343          * communication between the caller and the callee as follows:
344          *
345          * - Specify 0 to have no file descriptor passed.  The callee will
346          *   receive -1 in the corresponding argument.
347          *
348          * - Specify < 0 to have a pipe allocated; start_async() replaces
349          *   with the pipe FD in the following way:
350          *
351          *      .in: Returns the writable pipe end into which the caller
352          *      writes; the readable end of the pipe becomes the function's
353          *      in argument.
354          *
355          *      .out: Returns the readable pipe end from which the caller
356          *      reads; the writable end of the pipe becomes the function's
357          *      out argument.
358          *
359          *   The caller of start_async() must close the returned FDs after it
360          *   has completed reading from/writing from them.
361          *
362          * - Specify a file descriptor > 0 to be used by the function:
363          *
364          *      .in: The FD must be readable; it becomes the function's in.
365          *      .out: The FD must be writable; it becomes the function's out.
366          *
367          *   The specified FD is closed by start_async(), even if it fails to
368          *   run the function.
369          */
370         int in;         /* caller writes here and closes it */
371         int out;        /* caller reads from here and closes it */
372 #ifdef NO_PTHREADS
373         pid_t pid;
374 #else
375         pthread_t tid;
376         int proc_in;
377         int proc_out;
378 #endif
379         int isolate_sigpipe;
380 };
381
382 /**
383  * Run a function asynchronously. Takes a pointer to a `struct
384  * async` that specifies the details and returns a set of pipe FDs
385  * for communication with the function. See below for details.
386  */
387 int start_async(struct async *async);
388
389 /**
390  * Wait for the completion of an asynchronous function that was
391  * started with start_async().
392  */
393 int finish_async(struct async *async);
394
395 int in_async(void);
396 int async_with_fork(void);
397 void check_pipe(int err);
398
399 /**
400  * This callback should initialize the child process and preload the
401  * error channel if desired. The preloading of is useful if you want to
402  * have a message printed directly before the output of the child process.
403  * pp_cb is the callback cookie as passed to run_processes_parallel.
404  * You can store a child process specific callback cookie in pp_task_cb.
405  *
406  * Even after returning 0 to indicate that there are no more processes,
407  * this function will be called again until there are no more running
408  * child processes.
409  *
410  * Return 1 if the next child is ready to run.
411  * Return 0 if there are currently no more tasks to be processed.
412  * To send a signal to other child processes for abortion,
413  * return the negative signal number.
414  */
415 typedef int (*get_next_task_fn)(struct child_process *cp,
416                                 struct strbuf *out,
417                                 void *pp_cb,
418                                 void **pp_task_cb);
419
420 /**
421  * This callback is called whenever there are problems starting
422  * a new process.
423  *
424  * You must not write to stdout or stderr in this function. Add your
425  * message to the strbuf out instead, which will be printed without
426  * messing up the output of the other parallel processes.
427  *
428  * pp_cb is the callback cookie as passed into run_processes_parallel,
429  * pp_task_cb is the callback cookie as passed into get_next_task_fn.
430  *
431  * Return 0 to continue the parallel processing. To abort return non zero.
432  * To send a signal to other child processes for abortion, return
433  * the negative signal number.
434  */
435 typedef int (*start_failure_fn)(struct strbuf *out,
436                                 void *pp_cb,
437                                 void *pp_task_cb);
438
439 /**
440  * This callback is called on every child process that finished processing.
441  *
442  * You must not write to stdout or stderr in this function. Add your
443  * message to the strbuf out instead, which will be printed without
444  * messing up the output of the other parallel processes.
445  *
446  * pp_cb is the callback cookie as passed into run_processes_parallel,
447  * pp_task_cb is the callback cookie as passed into get_next_task_fn.
448  *
449  * Return 0 to continue the parallel processing.  To abort return non zero.
450  * To send a signal to other child processes for abortion, return
451  * the negative signal number.
452  */
453 typedef int (*task_finished_fn)(int result,
454                                 struct strbuf *out,
455                                 void *pp_cb,
456                                 void *pp_task_cb);
457
458 /**
459  * Runs up to n processes at the same time. Whenever a process can be
460  * started, the callback get_next_task_fn is called to obtain the data
461  * required to start another child process.
462  *
463  * The children started via this function run in parallel. Their output
464  * (both stdout and stderr) is routed to stderr in a manner that output
465  * from different tasks does not interleave.
466  *
467  * start_failure_fn and task_finished_fn can be NULL to omit any
468  * special handling.
469  */
470 int run_processes_parallel(int n,
471                            get_next_task_fn,
472                            start_failure_fn,
473                            task_finished_fn,
474                            void *pp_cb);
475 int run_processes_parallel_tr2(int n, get_next_task_fn, start_failure_fn,
476                                task_finished_fn, void *pp_cb,
477                                const char *tr2_category, const char *tr2_label);
478
479 #endif