glib/gregex.c

   1 /* GRegex -- regular expression API wrapper around PCRE.
   2  *
   3  * Copyright (C) 1999, 2000 Scott Wimer
   4  * Copyright (C) 2004, Matthias Clasen <mclasen@redhat.com>
   5  * Copyright (C) 2005 - 2007, Marco Barisione <marco@barisione.org>
   6  *
   7  * This library is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU Lesser General Public
   9  * License as published by the Free Software Foundation; either
  10  * version 2.1 of the License, or (at your option) any later version.
  11  *
  12  * This library is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15  * Lesser General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Lesser General Public
  18  * License along with this library; if not, write to the Free Software
  19  * Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA  02110-1301  USA
  20  */
  21
  22 #include "config.h"
  23
  24 #include <string.h>
  25
  26 #ifdef USE_SYSTEM_PCRE
  27 #include <pcre.h>
  28 #else
  29 #include "pcre/pcre.h"
  30 #endif
  31
  32 #include "gtypes.h"
  33 #include "gregex.h"
  34 #include "glibintl.h"
  35 #include "glist.h"
  36 #include "gmessages.h"
  37 #include "gstrfuncs.h"
  38 #include "gatomic.h"
  39 #include "gthread.h"
  40
  41 /**
  42  * SECTION:gregex
  43  * @title: Perl-compatible regular expressions
  44  * @short_description: matches strings against regular expressions
  45  * @see_also: <xref linkend="glib-regex-syntax"/>
  46  *
  47  * The <function>g_regex_*()</function> functions implement regular
  48  * expression pattern matching using syntax and semantics similar to
  49  * Perl regular expression.
  50  *
  51  * Some functions accept a @start_position argument, setting it differs
  52  * from just passing over a shortened string and setting #G_REGEX_MATCH_NOTBOL
  53  * in the case of a pattern that begins with any kind of lookbehind assertion.
  54  * For example, consider the pattern "\Biss\B" which finds occurrences of "iss"
  55  * in the middle of words. ("\B" matches only if the current position in the
  56  * subject is not a word boundary.) When applied to the string "Mississipi"
  57  * from the fourth byte, namely "issipi", it does not match, because "\B" is
  58  * always false at the start of the subject, which is deemed to be a word
  59  * boundary. However, if the entire string is passed , but with
  60  * @start_position set to 4, it finds the second occurrence of "iss" because
  61  * it is able to look behind the starting point to discover that it is
  62  * preceded by a letter.
  63  *
  64  * Note that, unless you set the #G_REGEX_RAW flag, all the strings passed
  65  * to these functions must be encoded in UTF-8. The lengths and the positions
  66  * inside the strings are in bytes and not in characters, so, for instance,
  67  * "\xc3\xa0" (i.e. "&agrave;") is two bytes long but it is treated as a
  68  * single character. If you set #G_REGEX_RAW the strings can be non-valid
  69  * UTF-8 strings and a byte is treated as a character, so "\xc3\xa0" is two
  70  * bytes and two characters long.
  71  *
  72  * When matching a pattern, "\n" matches only against a "\n" character in
  73  * the string, and "\r" matches only a "\r" character. To match any newline
  74  * sequence use "\R". This particular group matches either the two-character
  75  * sequence CR + LF ("\r\n"), or one of the single characters LF (linefeed,
  76  * U+000A, "\n"), VT vertical tab, U+000B, "\v"), FF (formfeed, U+000C, "\f"),
  77  * CR (carriage return, U+000D, "\r"), NEL (next line, U+0085), LS (line
  78  * separator, U+2028), or PS (paragraph separator, U+2029).
  79  *
  80  * The behaviour of the dot, circumflex, and dollar metacharacters are
  81  * affected by newline characters, the default is to recognize any newline
  82  * character (the same characters recognized by "\R"). This can be changed
  83  * with #G_REGEX_NEWLINE_CR, #G_REGEX_NEWLINE_LF and #G_REGEX_NEWLINE_CRLF
  84  * compile options, and with #G_REGEX_MATCH_NEWLINE_ANY,
  85  * #G_REGEX_MATCH_NEWLINE_CR, #G_REGEX_MATCH_NEWLINE_LF and
  86  * #G_REGEX_MATCH_NEWLINE_CRLF match options. These settings are also
  87  * relevant when compiling a pattern if #G_REGEX_EXTENDED is set, and an
  88  * unescaped "#" outside a character class is encountered. This indicates
  89  * a comment that lasts until after the next newline.
  90  *
  91  * Creating and manipulating the same #GRegex structure from different
  92  * threads is not a problem as #GRegex does not modify its internal
  93  * state between creation and destruction, on the other hand #GMatchInfo
  94  * is not threadsafe.
  95  *
  96  * The regular expressions low-level functionalities are obtained through
  97  * the excellent <ulink url="http://www.pcre.org/">PCRE</ulink> library
  98  * written by Philip Hazel.
  99  */
 100
 101 /* Mask of all the possible values for GRegexCompileFlags. */
 102 #define G_REGEX_COMPILE_MASK (G_REGEX_CASELESS          | \
 103                               G_REGEX_MULTILINE         | \
 104                               G_REGEX_DOTALL            | \
 105                               G_REGEX_EXTENDED          | \
 106                               G_REGEX_ANCHORED          | \
 107                               G_REGEX_DOLLAR_ENDONLY    | \
 108                               G_REGEX_UNGREEDY          | \
 109                               G_REGEX_RAW               | \
 110                               G_REGEX_NO_AUTO_CAPTURE   | \
 111                               G_REGEX_OPTIMIZE          | \
 112                               G_REGEX_DUPNAMES          | \
 113                               G_REGEX_NEWLINE_CR        | \
 114                               G_REGEX_NEWLINE_LF        | \
 115                               G_REGEX_NEWLINE_CRLF      | \
 116                               G_REGEX_NEWLINE_ANYCRLF)
 117
 118 /* Mask of all the possible values for GRegexMatchFlags. */
 119 #define G_REGEX_MATCH_MASK (G_REGEX_MATCH_ANCHORED         | \
 120                             G_REGEX_MATCH_NOTBOL           | \
 121                             G_REGEX_MATCH_NOTEOL           | \
 122                             G_REGEX_MATCH_NOTEMPTY         | \
 123                             G_REGEX_MATCH_PARTIAL          | \
 124                             G_REGEX_MATCH_NEWLINE_CR       | \
 125                             G_REGEX_MATCH_NEWLINE_LF       | \
 126                             G_REGEX_MATCH_NEWLINE_CRLF     | \
 127                             G_REGEX_MATCH_NEWLINE_ANY      | \
 128                             G_REGEX_MATCH_NEWLINE_ANYCRLF)
 129
 130 /* we rely on these flags having the same values */
 131 G_STATIC_ASSERT (G_REGEX_CASELESS        == PCRE_CASELESS);
 132 G_STATIC_ASSERT (G_REGEX_MULTILINE       == PCRE_MULTILINE);
 133 G_STATIC_ASSERT (G_REGEX_DOTALL          == PCRE_DOTALL);
 134 G_STATIC_ASSERT (G_REGEX_EXTENDED        == PCRE_EXTENDED);
 135 G_STATIC_ASSERT (G_REGEX_ANCHORED        == PCRE_ANCHORED);
 136 G_STATIC_ASSERT (G_REGEX_DOLLAR_ENDONLY  == PCRE_DOLLAR_ENDONLY);
 137 G_STATIC_ASSERT (G_REGEX_UNGREEDY        == PCRE_UNGREEDY);
 138 G_STATIC_ASSERT (G_REGEX_NO_AUTO_CAPTURE == PCRE_NO_AUTO_CAPTURE);
 139 G_STATIC_ASSERT (G_REGEX_DUPNAMES        == PCRE_DUPNAMES);
 140 G_STATIC_ASSERT (G_REGEX_NEWLINE_CR      == PCRE_NEWLINE_CR);
 141 G_STATIC_ASSERT (G_REGEX_NEWLINE_LF      == PCRE_NEWLINE_LF);
 142 G_STATIC_ASSERT (G_REGEX_NEWLINE_CRLF    == PCRE_NEWLINE_CRLF);
 143 G_STATIC_ASSERT (G_REGEX_NEWLINE_ANYCRLF == PCRE_NEWLINE_ANYCRLF);
 144
 145 G_STATIC_ASSERT (G_REGEX_MATCH_ANCHORED        == PCRE_ANCHORED);
 146 G_STATIC_ASSERT (G_REGEX_MATCH_NOTBOL          == PCRE_NOTBOL);
 147 G_STATIC_ASSERT (G_REGEX_MATCH_NOTEOL          == PCRE_NOTEOL);
 148 G_STATIC_ASSERT (G_REGEX_MATCH_NOTEMPTY        == PCRE_NOTEMPTY);
 149 G_STATIC_ASSERT (G_REGEX_MATCH_PARTIAL         == PCRE_PARTIAL);
 150 G_STATIC_ASSERT (G_REGEX_MATCH_NEWLINE_CR      == PCRE_NEWLINE_CR);
 151 G_STATIC_ASSERT (G_REGEX_MATCH_NEWLINE_LF      == PCRE_NEWLINE_LF);
 152 G_STATIC_ASSERT (G_REGEX_MATCH_NEWLINE_CRLF    == PCRE_NEWLINE_CRLF);
 153 G_STATIC_ASSERT (G_REGEX_MATCH_NEWLINE_ANY     == PCRE_NEWLINE_ANY);
 154 G_STATIC_ASSERT (G_REGEX_MATCH_NEWLINE_ANYCRLF == PCRE_NEWLINE_ANYCRLF);
 155
 156 /* if the string is in UTF-8 use g_utf8_ functions, else use
 157  * use just +/- 1. */
 158 #define NEXT_CHAR(re, s) (((re)->compile_opts & PCRE_UTF8) ? \
 159                                 g_utf8_next_char (s) : \
 160                                 ((s) + 1))
 161 #define PREV_CHAR(re, s) (((re)->compile_opts & PCRE_UTF8) ? \
 162                                 g_utf8_prev_char (s) : \
 163                                 ((s) - 1))
 164
 165 struct _GMatchInfo
 166 {
 167   volatile gint ref_count;      /* the ref count */
 168   GRegex *regex;                /* the regex */
 169   GRegexMatchFlags match_opts;  /* options used at match time on the regex */
 170   gint matches;                 /* number of matching sub patterns */
 171   gint pos;                     /* position in the string where last match left off */
 172   gint  n_offsets;              /* number of offsets */
 173   gint *offsets;                /* array of offsets paired 0,1 ; 2,3 ; 3,4 etc */
 174   gint *workspace;              /* workspace for pcre_dfa_exec() */
 175   gint n_workspace;             /* number of workspace elements */
 176   const gchar *string;          /* string passed to the match function */
 177   gssize string_len;            /* length of string */
 178 };
 179
 180 struct _GRegex
 181 {
 182   volatile gint ref_count;      /* the ref count for the immutable part */
 183   gchar *pattern;               /* the pattern */
 184   pcre *pcre_re;                /* compiled form of the pattern */
 185   GRegexCompileFlags compile_opts;      /* options used at compile time on the pattern */
 186   GRegexMatchFlags match_opts;  /* options used at match time on the regex */
 187   pcre_extra *extra;            /* data stored when G_REGEX_OPTIMIZE is used */
 188 };
 189
 190 /* TRUE if ret is an error code, FALSE otherwise. */
 191 #define IS_PCRE_ERROR(ret) ((ret) < PCRE_ERROR_NOMATCH && (ret) != PCRE_ERROR_PARTIAL)
 192
 193 typedef struct _InterpolationData InterpolationData;
 194 static gboolean  interpolation_list_needs_match (GList *list);
 195 static gboolean  interpolate_replacement        (const GMatchInfo *match_info,
 196                                                  GString *result,
 197                                                  gpointer data);
 198 static GList    *split_replacement              (const gchar *replacement,
 199                                                  GError **error);
 200 static void      free_interpolation_data        (InterpolationData *data);
 201
 202
 203 static const gchar *
 204 match_error (gint errcode)
 205 {
 206   switch (errcode)
 207     {
 208     case PCRE_ERROR_NOMATCH:
 209       /* not an error */
 210       break;
 211     case PCRE_ERROR_NULL:
 212       /* NULL argument, this should not happen in GRegex */
 213       g_warning ("A NULL argument was passed to PCRE");
 214       break;
 215     case PCRE_ERROR_BADOPTION:
 216       return "bad options";
 217     case PCRE_ERROR_BADMAGIC:
 218       return _("corrupted object");
 219     case PCRE_ERROR_UNKNOWN_OPCODE:
 220       return N_("internal error or corrupted object");
 221     case PCRE_ERROR_NOMEMORY:
 222       return _("out of memory");
 223     case PCRE_ERROR_NOSUBSTRING:
 224       /* not used by pcre_exec() */
 225       break;
 226     case PCRE_ERROR_MATCHLIMIT:
 227       return _("backtracking limit reached");
 228     case PCRE_ERROR_CALLOUT:
 229       /* callouts are not implemented */
 230       break;
 231     case PCRE_ERROR_BADUTF8:
 232     case PCRE_ERROR_BADUTF8_OFFSET:
 233       /* we do not check if strings are valid */
 234       break;
 235     case PCRE_ERROR_PARTIAL:
 236       /* not an error */
 237       break;
 238     case PCRE_ERROR_BADPARTIAL:
 239       return _("the pattern contains items not supported for partial matching");
 240     case PCRE_ERROR_INTERNAL:
 241       return _("internal error");
 242     case PCRE_ERROR_BADCOUNT:
 243       /* negative ovecsize, this should not happen in GRegex */
 244       g_warning ("A negative ovecsize was passed to PCRE");
 245       break;
 246     case PCRE_ERROR_DFA_UITEM:
 247       return _("the pattern contains items not supported for partial matching");
 248     case PCRE_ERROR_DFA_UCOND:
 249       return _("back references as conditions are not supported for partial matching");
 250     case PCRE_ERROR_DFA_UMLIMIT:
 251       /* the match_field field is not used in GRegex */
 252       break;
 253     case PCRE_ERROR_DFA_WSSIZE:
 254       /* handled expanding the workspace */
 255       break;
 256     case PCRE_ERROR_DFA_RECURSE:
 257     case PCRE_ERROR_RECURSIONLIMIT:
 258       return _("recursion limit reached");
 259     case PCRE_ERROR_BADNEWLINE:
 260       return _("invalid combination of newline flags");
 261     case PCRE_ERROR_BADOFFSET:
 262       return _("bad offset");
 263     case PCRE_ERROR_SHORTUTF8:
 264       return _("short utf8");
 265     case PCRE_ERROR_RECURSELOOP:
 266       return _("recursion loop");
 267     default:
 268       break;
 269     }
 270   return _("unknown error");
 271 }
 272
 273 static void
 274 translate_compile_error (gint *errcode, const gchar **errmsg)
 275 {
 276   /* Compile errors are created adding 100 to the error code returned
 277    * by PCRE.
 278    * If errcode is known we put the translatable error message in
 279    * erromsg. If errcode is unknown we put the generic
 280    * G_REGEX_ERROR_COMPILE error code in errcode and keep the
 281    * untranslated error message returned by PCRE.
 282    * Note that there can be more PCRE errors with the same GRegexError
 283    * and that some PCRE errors are useless for us.
 284    */
 285   *errcode += 100;
 286
 287   switch (*errcode)
 288     {
 289     case G_REGEX_ERROR_STRAY_BACKSLASH:
 290       *errmsg = _("\\ at end of pattern");
 291       break;
 292     case G_REGEX_ERROR_MISSING_CONTROL_CHAR:
 293       *errmsg = _("\\c at end of pattern");
 294       break;
 295     case G_REGEX_ERROR_UNRECOGNIZED_ESCAPE:
 296       *errmsg = _("unrecognized character follows \\");
 297       break;
 298     case G_REGEX_ERROR_QUANTIFIERS_OUT_OF_ORDER:
 299       *errmsg = _("numbers out of order in {} quantifier");
 300       break;
 301     case G_REGEX_ERROR_QUANTIFIER_TOO_BIG:
 302       *errmsg = _("number too big in {} quantifier");
 303       break;
 304     case G_REGEX_ERROR_UNTERMINATED_CHARACTER_CLASS:
 305       *errmsg = _("missing terminating ] for character class");
 306       break;
 307     case G_REGEX_ERROR_INVALID_ESCAPE_IN_CHARACTER_CLASS:
 308       *errmsg = _("invalid escape sequence in character class");
 309       break;
 310     case G_REGEX_ERROR_RANGE_OUT_OF_ORDER:
 311       *errmsg = _("range out of order in character class");
 312       break;
 313     case G_REGEX_ERROR_NOTHING_TO_REPEAT:
 314       *errmsg = _("nothing to repeat");
 315       break;
 316     case 111: /* internal error: unexpected repeat */
 317       *errcode = G_REGEX_ERROR_INTERNAL;
 318       *errmsg = _("unexpected repeat");
 319       break;
 320     case G_REGEX_ERROR_UNRECOGNIZED_CHARACTER:
 321       *errmsg = _("unrecognized character after (? or (?-");
 322       break;
 323     case G_REGEX_ERROR_POSIX_NAMED_CLASS_OUTSIDE_CLASS:
 324       *errmsg = _("POSIX named classes are supported only within a class");
 325       break;
 326     case G_REGEX_ERROR_UNMATCHED_PARENTHESIS:
 327       *errmsg = _("missing terminating )");
 328       break;
 329     case G_REGEX_ERROR_INEXISTENT_SUBPATTERN_REFERENCE:
 330       *errmsg = _("reference to non-existent subpattern");
 331       break;
 332     case G_REGEX_ERROR_UNTERMINATED_COMMENT:
 333       *errmsg = _("missing ) after comment");
 334       break;
 335     case G_REGEX_ERROR_EXPRESSION_TOO_LARGE:
 336       *errmsg = _("regular expression is too large");
 337       break;
 338     case G_REGEX_ERROR_MEMORY_ERROR:
 339       *errmsg = _("failed to get memory");
 340       break;
 341     case 122: /* unmatched parentheses */
 342       *errcode = G_REGEX_ERROR_UNMATCHED_PARENTHESIS;
 343       *errmsg = _(") without opening (");
 344       break;
 345     case 123: /* internal error: code overflow */
 346       *errcode = G_REGEX_ERROR_INTERNAL;
 347       *errmsg = _("code overflow");
 348       break;
 349     case 124: /* "unrecognized character after (?<\0 */
 350       *errcode = G_REGEX_ERROR_UNRECOGNIZED_CHARACTER;
 351       *errmsg = _("unrecognized character after (?<");
 352       break;
 353     case G_REGEX_ERROR_VARIABLE_LENGTH_LOOKBEHIND:
 354       *errmsg = _("lookbehind assertion is not fixed length");
 355       break;
 356     case G_REGEX_ERROR_MALFORMED_CONDITION:
 357       *errmsg = _("malformed number or name after (?(");
 358       break;
 359     case G_REGEX_ERROR_TOO_MANY_CONDITIONAL_BRANCHES:
 360       *errmsg = _("conditional group contains more than two branches");
 361       break;
 362     case G_REGEX_ERROR_ASSERTION_EXPECTED:
 363       *errmsg = _("assertion expected after (?(");
 364       break;
 365     case 129:
 366       *errcode = G_REGEX_ERROR_UNMATCHED_PARENTHESIS;
 367       /* translators: '(?R' and '(?[+-]digits' are both meant as (groups of)
 368        * sequences here, '(?-54' would be an example for the second group.
 369        */
 370       *errmsg = _("(?R or (?[+-]digits must be followed by )");
 371       break;
 372     case G_REGEX_ERROR_UNKNOWN_POSIX_CLASS_NAME:
 373       *errmsg = _("unknown POSIX class name");
 374       break;
 375     case G_REGEX_ERROR_POSIX_COLLATING_ELEMENTS_NOT_SUPPORTED:
 376       *errmsg = _("POSIX collating elements are not supported");
 377       break;
 378     case G_REGEX_ERROR_HEX_CODE_TOO_LARGE:
 379       *errmsg = _("character value in \\x{...} sequence is too large");
 380       break;
 381     case G_REGEX_ERROR_INVALID_CONDITION:
 382       *errmsg = _("invalid condition (?(0)");
 383       break;
 384     case G_REGEX_ERROR_SINGLE_BYTE_MATCH_IN_LOOKBEHIND:
 385       *errmsg = _("\\C not allowed in lookbehind assertion");
 386       break;
 387     case 137: /* PCRE does not support \\L, \\l, \\N{name}, \\U, or \\u\0 */
 388       /* A number of Perl escapes are not handled by PCRE.
 389        * Therefore it explicitly raises ERR37.
 390        */
 391       *errcode = G_REGEX_ERROR_UNRECOGNIZED_ESCAPE;
 392       *errmsg = _("escapes \\L, \\l, \\N{name}, \\U, and \\u are not supported");
 393       break;
 394     case G_REGEX_ERROR_INFINITE_LOOP:
 395       *errmsg = _("recursive call could loop indefinitely");
 396       break;
 397     case 141: /* unrecognized character after (?P\0 */
 398       *errcode = G_REGEX_ERROR_UNRECOGNIZED_CHARACTER;
 399       *errmsg = _("unrecognized character after (?P");
 400       break;
 401     case G_REGEX_ERROR_MISSING_SUBPATTERN_NAME_TERMINATOR:
 402       *errmsg = _("missing terminator in subpattern name");
 403       break;
 404     case G_REGEX_ERROR_DUPLICATE_SUBPATTERN_NAME:
 405       *errmsg = _("two named subpatterns have the same name");
 406       break;
 407     case G_REGEX_ERROR_MALFORMED_PROPERTY:
 408       *errmsg = _("malformed \\P or \\p sequence");
 409       break;
 410     case G_REGEX_ERROR_UNKNOWN_PROPERTY:
 411       *errmsg = _("unknown property name after \\P or \\p");
 412       break;
 413     case G_REGEX_ERROR_SUBPATTERN_NAME_TOO_LONG:
 414       *errmsg = _("subpattern name is too long (maximum 32 characters)");
 415       break;
 416     case G_REGEX_ERROR_TOO_MANY_SUBPATTERNS:
 417       *errmsg = _("too many named subpatterns (maximum 10,000)");
 418       break;
 419     case G_REGEX_ERROR_INVALID_OCTAL_VALUE:
 420       *errmsg = _("octal value is greater than \\377");
 421       break;
 422     case 152: /* internal error: overran compiling workspace */
 423       *errcode = G_REGEX_ERROR_INTERNAL;
 424       *errmsg = _("overran compiling workspace");
 425       break;
 426     case 153: /* internal error: previously-checked referenced subpattern not found */
 427       *errcode = G_REGEX_ERROR_INTERNAL;
 428       *errmsg = _("previously-checked referenced subpattern not found");
 429       break;
 430     case G_REGEX_ERROR_TOO_MANY_BRANCHES_IN_DEFINE:
 431       *errmsg = _("DEFINE group contains more than one branch");
 432       break;
 433     case G_REGEX_ERROR_INCONSISTENT_NEWLINE_OPTIONS:
 434       *errmsg = _("inconsistent NEWLINE options");
 435       break;
 436     case G_REGEX_ERROR_MISSING_BACK_REFERENCE:
 437       *errmsg = _("\\g is not followed by a braced, angle-bracketed, or quoted name or "
 438                   "number, or by a plain number");
 439       break;
 440     case G_REGEX_ERROR_INVALID_RELATIVE_REFERENCE:
 441       *errmsg = _("a numbered reference must not be zero");
 442       break;
 443     case G_REGEX_ERROR_BACKTRACKING_CONTROL_VERB_ARGUMENT_FORBIDDEN:
 444       *errmsg = _("an argument is not allowed for (*ACCEPT), (*FAIL), or (*COMMIT)");
 445       break;
 446     case G_REGEX_ERROR_UNKNOWN_BACKTRACKING_CONTROL_VERB:
 447       *errmsg = _("(*VERB) not recognized");
 448       break;
 449     case G_REGEX_ERROR_NUMBER_TOO_BIG:
 450       *errmsg = _("number is too bug");
 451       break;
 452     case G_REGEX_ERROR_MISSING_SUBPATTERN_NAME:
 453       *errmsg = _("missing subpattern name after (?&");
 454       break;
 455     case G_REGEX_ERROR_MISSING_DIGIT:
 456       *errmsg = _("digit expected after (?+");
 457       break;
 458     case G_REGEX_ERROR_EXTRA_SUBPATTERN_NAME:
 459       *errmsg = _("different names for subpatterns of the same number are not allowed");
 460       break;
 461     case G_REGEX_ERROR_BACKTRACKING_CONTROL_VERB_ARGUMENT_REQUIRED:
 462       *errmsg = _("(*MARK) must have an argument");
 463       break;
 464     case G_REGEX_ERROR_INVALID_CONTROL_CHAR:
 465       *errmsg = _( "\\c must be followed by an ASCII character");
 466       break;
 467     case G_REGEX_ERROR_MISSING_NAME:
 468       *errmsg = _("\\k is not followed by a braced, angle-bracketed, or quoted name");
 469       break;
 470     case G_REGEX_ERROR_NOT_SUPPORTED_IN_CLASS:
 471       *errmsg = _("\\N is not supported in a class");
 472       break;
 473     case G_REGEX_ERROR_TOO_MANY_FORWARD_REFERENCES:
 474       *errmsg = _("too many forward references");
 475       break;
 476     case G_REGEX_ERROR_NAME_TOO_LONG:
 477       *errmsg = _("name is too long in (*MARK), (*PRUNE), (*SKIP), or (*THEN)");
 478       break;
 479
 480     case 116: /* erroffset passed as NULL */
 481       /* This should not happen as we never pass a NULL erroffset */
 482       g_warning ("erroffset passed as NULL");
 483       *errcode = G_REGEX_ERROR_COMPILE;
 484       break;
 485     case 117: /* unknown option bit(s) set */
 486       /* This should not happen as we check options before passing them
 487        * to pcre_compile2() */
 488       g_warning ("unknown option bit(s) set");
 489       *errcode = G_REGEX_ERROR_COMPILE;
 490       break;
 491     case 132: /* this version of PCRE is compiled without UTF support */
 492     case 144: /* invalid UTF-8 string */
 493     case 145: /* support for \\P, \\p, and \\X has not been compiled */
 494     case 167: /* this version of PCRE is not compiled with Unicode property support */
 495     case 173: /* disallowed Unicode code point (>= 0xd800 && <= 0xdfff) */
 496     case 174: /* invalid UTF-16 string */
 497       /* These errors should not happen as we are using an UTF-8 and UCP-enabled PCRE
 498        * and we do not check if strings are valid */
 499     case 164: /* ] is an invalid data character in JavaScript compatibility mode */
 500       /* This should not happen as we don't use PCRE_JAVASCRIPT_COMPAT */
 501       g_warning ("%s", *errmsg);
 502       *errcode = G_REGEX_ERROR_COMPILE;
 503       break;
 504     case 170: /* internal error: unknown opcode in find_fixedlength() */
 505       *errcode = G_REGEX_ERROR_INTERNAL;
 506       break;
 507
 508     default:
 509       *errcode = G_REGEX_ERROR_COMPILE;
 510     }
 511 }
 512
 513 /* GMatchInfo */
 514
 515 static GMatchInfo *
 516 match_info_new (const GRegex *regex,
 517                 const gchar  *string,
 518                 gint          string_len,
 519                 gint          start_position,
 520                 gint          match_options,
 521                 gboolean      is_dfa)
 522 {
 523   GMatchInfo *match_info;
 524
 525   if (string_len < 0)
 526     string_len = strlen (string);
 527
 528   match_info = g_new0 (GMatchInfo, 1);
 529   match_info->ref_count = 1;
 530   match_info->regex = g_regex_ref ((GRegex *)regex);
 531   match_info->string = string;
 532   match_info->string_len = string_len;
 533   match_info->matches = PCRE_ERROR_NOMATCH;
 534   match_info->pos = start_position;
 535   match_info->match_opts = match_options;
 536
 537   if (is_dfa)
 538     {
 539       /* These values should be enough for most cases, if they are not
 540        * enough g_regex_match_all_full() will expand them. */
 541       match_info->n_offsets = 24;
 542       match_info->n_workspace = 100;
 543       match_info->workspace = g_new (gint, match_info->n_workspace);
 544     }
 545   else
 546     {
 547       gint capture_count;
 548       pcre_fullinfo (regex->pcre_re, regex->extra,
 549                      PCRE_INFO_CAPTURECOUNT, &capture_count);
 550       match_info->n_offsets = (capture_count + 1) * 3;
 551     }
 552
 553   match_info->offsets = g_new0 (gint, match_info->n_offsets);
 554   /* Set an invalid position for the previous match. */
 555   match_info->offsets[0] = -1;
 556   match_info->offsets[1] = -1;
 557
 558   return match_info;
 559 }
 560
 561 /**
 562  * g_match_info_get_regex:
 563  * @match_info: a #GMatchInfo
 564  *
 565  * Returns #GRegex object used in @match_info. It belongs to Glib
 566  * and must not be freed. Use g_regex_ref() if you need to keep it
 567  * after you free @match_info object.
 568  *
 569  * Returns: #GRegex object used in @match_info
 570  *
 571  * Since: 2.14
 572  */
 573 GRegex *
 574 g_match_info_get_regex (const GMatchInfo *match_info)
 575 {
 576   g_return_val_if_fail (match_info != NULL, NULL);
 577   return match_info->regex;
 578 }
 579
 580 /**
 581  * g_match_info_get_string:
 582  * @match_info: a #GMatchInfo
 583  *
 584  * Returns the string searched with @match_info. This is the
 585  * string passed to g_regex_match() or g_regex_replace() so
 586  * you may not free it before calling this function.
 587  *
 588  * Returns: the string searched with @match_info
 589  *
 590  * Since: 2.14
 591  */
 592 const gchar *
 593 g_match_info_get_string (const GMatchInfo *match_info)
 594 {
 595   g_return_val_if_fail (match_info != NULL, NULL);
 596   return match_info->string;
 597 }
 598
 599 /**
 600  * g_match_info_ref:
 601  * @match_info: a #GMatchInfo
 602  *
 603  * Increases reference count of @match_info by 1.
 604  *
 605  * Returns: @match_info
 606  *
 607  * Since: 2.30
 608  */
 609 GMatchInfo       *
 610 g_match_info_ref (GMatchInfo *match_info)
 611 {
 612   g_return_val_if_fail (match_info != NULL, NULL);
 613   g_atomic_int_inc (&match_info->ref_count);
 614   return match_info;
 615 }
 616
 617 /**
 618  * g_match_info_unref:
 619  * @match_info: a #GMatchInfo
 620  *
 621  * Decreases reference count of @match_info by 1. When reference count drops
 622  * to zero, it frees all the memory associated with the match_info structure.
 623  *
 624  * Since: 2.30
 625  */
 626 void
 627 g_match_info_unref (GMatchInfo *match_info)
 628 {
 629   if (g_atomic_int_dec_and_test (&match_info->ref_count))
 630     {
 631       g_regex_unref (match_info->regex);
 632       g_free (match_info->offsets);
 633       g_free (match_info->workspace);
 634       g_free (match_info);
 635     }
 636 }
 637
 638 /**
 639  * g_match_info_free:
 640  * @match_info: (allow-none): a #GMatchInfo, or %NULL
 641  *
 642  * If @match_info is not %NULL, calls g_match_info_unref(); otherwise does
 643  * nothing.
 644  *
 645  * Since: 2.14
 646  */
 647 void
 648 g_match_info_free (GMatchInfo *match_info)
 649 {
 650   if (match_info == NULL)
 651     return;
 652
 653   g_match_info_unref (match_info);
 654 }
 655
 656 /**
 657  * g_match_info_next:
 658  * @match_info: a #GMatchInfo structure
 659  * @error: location to store the error occurring, or %NULL to ignore errors
 660  *
 661  * Scans for the next match using the same parameters of the previous
 662  * call to g_regex_match_full() or g_regex_match() that returned
 663  * @match_info.
 664  *
 665  * The match is done on the string passed to the match function, so you
 666  * cannot free it before calling this function.
 667  *
 668  * Returns: %TRUE is the string matched, %FALSE otherwise
 669  *
 670  * Since: 2.14
 671  */
 672 gboolean
 673 g_match_info_next (GMatchInfo  *match_info,
 674                    GError     **error)
 675 {
 676   gint prev_match_start;
 677   gint prev_match_end;
 678
 679   g_return_val_if_fail (match_info != NULL, FALSE);
 680   g_return_val_if_fail (error == NULL || *error == NULL, FALSE);
 681   g_return_val_if_fail (match_info->pos >= 0, FALSE);
 682
 683   prev_match_start = match_info->offsets[0];
 684   prev_match_end = match_info->offsets[1];
 685
 686   if (match_info->pos > match_info->string_len)
 687     {
 688       /* we have reached the end of the string */
 689       match_info->pos = -1;
 690       match_info->matches = PCRE_ERROR_NOMATCH;
 691       return FALSE;
 692     }
 693
 694   match_info->matches = pcre_exec (match_info->regex->pcre_re,
 695                                    match_info->regex->extra,
 696                                    match_info->string,
 697                                    match_info->string_len,
 698                                    match_info->pos,
 699                                    match_info->regex->match_opts | match_info->match_opts,
 700                                    match_info->offsets,
 701                                    match_info->n_offsets);
 702   if (IS_PCRE_ERROR (match_info->matches))
 703     {
 704       g_set_error (error, G_REGEX_ERROR, G_REGEX_ERROR_MATCH,
 705                    _("Error while matching regular expression %s: %s"),
 706                    match_info->regex->pattern, match_error (match_info->matches));
 707       return FALSE;
 708     }
 709
 710   /* avoid infinite loops if the pattern is an empty string or something
 711    * equivalent */
 712   if (match_info->pos == match_info->offsets[1])
 713     {
 714       if (match_info->pos > match_info->string_len)
 715         {
 716           /* we have reached the end of the string */
 717           match_info->pos = -1;
 718           match_info->matches = PCRE_ERROR_NOMATCH;
 719           return FALSE;
 720         }
 721
 722       match_info->pos = NEXT_CHAR (match_info->regex,
 723                                    &match_info->string[match_info->pos]) -
 724                                    match_info->string;
 725     }
 726   else
 727     {
 728       match_info->pos = match_info->offsets[1];
 729     }
 730
 731   /* it's possible to get two identical matches when we are matching
 732    * empty strings, for instance if the pattern is "(?=[A-Z0-9])" and
 733    * the string is "RegExTest" we have:
 734    *  - search at position 0: match from 0 to 0
 735    *  - search at position 1: match from 3 to 3
 736    *  - search at position 3: match from 3 to 3 (duplicate)
 737    *  - search at position 4: match from 5 to 5
 738    *  - search at position 5: match from 5 to 5 (duplicate)
 739    *  - search at position 6: no match -> stop
 740    * so we have to ignore the duplicates.
 741    * see bug #515944: http://bugzilla.gnome.org/show_bug.cgi?id=515944 */
 742   if (match_info->matches >= 0 &&
 743       prev_match_start == match_info->offsets[0] &&
 744       prev_match_end == match_info->offsets[1])
 745     {
 746       /* ignore this match and search the next one */
 747       return g_match_info_next (match_info, error);
 748     }
 749
 750   return match_info->matches >= 0;
 751 }
 752
 753 /**
 754  * g_match_info_matches:
 755  * @match_info: a #GMatchInfo structure
 756  *
 757  * Returns whether the previous match operation succeeded.
 758  *
 759  * Returns: %TRUE if the previous match operation succeeded,
 760  *   %FALSE otherwise
 761  *
 762  * Since: 2.14
 763  */
 764 gboolean
 765 g_match_info_matches (const GMatchInfo *match_info)
 766 {
 767   g_return_val_if_fail (match_info != NULL, FALSE);
 768
 769   return match_info->matches >= 0;
 770 }
 771
 772 /**
 773  * g_match_info_get_match_count:
 774  * @match_info: a #GMatchInfo structure
 775  *
 776  * Retrieves the number of matched substrings (including substring 0,
 777  * that is the whole matched text), so 1 is returned if the pattern
 778  * has no substrings in it and 0 is returned if the match failed.
 779  *
 780  * If the last match was obtained using the DFA algorithm, that is
 781  * using g_regex_match_all() or g_regex_match_all_full(), the retrieved
 782  * count is not that of the number of capturing parentheses but that of
 783  * the number of matched substrings.
 784  *
 785  * Returns: Number of matched substrings, or -1 if an error occurred
 786  *
 787  * Since: 2.14
 788  */
 789 gint
 790 g_match_info_get_match_count (const GMatchInfo *match_info)
 791 {
 792   g_return_val_if_fail (match_info, -1);
 793
 794   if (match_info->matches == PCRE_ERROR_NOMATCH)
 795     /* no match */
 796     return 0;
 797   else if (match_info->matches < PCRE_ERROR_NOMATCH)
 798     /* error */
 799     return -1;
 800   else
 801     /* match */
 802     return match_info->matches;
 803 }
 804
 805 /**
 806  * g_match_info_is_partial_match:
 807  * @match_info: a #GMatchInfo structure
 808  *
 809  * Usually if the string passed to g_regex_match*() matches as far as
 810  * it goes, but is too short to match the entire pattern, %FALSE is
 811  * returned. There are circumstances where it might be helpful to
 812  * distinguish this case from other cases in which there is no match.
 813  *
 814  * Consider, for example, an application where a human is required to
 815  * type in data for a field with specific formatting requirements. An
 816  * example might be a date in the form ddmmmyy, defined by the pattern
 817  * "^\d?\d(jan|feb|mar|apr|may|jun|jul|aug|sep|oct|nov|dec)\d\d$".
 818  * If the application sees the user’s keystrokes one by one, and can
 819  * check that what has been typed so far is potentially valid, it is
 820  * able to raise an error as soon as a mistake is made.
 821  *
 822  * GRegex supports the concept of partial matching by means of the
 823  * #G_REGEX_MATCH_PARTIAL flag. When this is set the return code for
 824  * g_regex_match() or g_regex_match_full() is, as usual, %TRUE
 825  * for a complete match, %FALSE otherwise. But, when these functions
 826  * return %FALSE, you can check if the match was partial calling
 827  * g_match_info_is_partial_match().
 828  *
 829  * When using partial matching you cannot use g_match_info_fetch*().
 830  *
 831  * Because of the way certain internal optimizations are implemented
 832  * the partial matching algorithm cannot be used with all patterns.
 833  * So repeated single characters such as "a{2,4}" and repeated single
 834  * meta-sequences such as "\d+" are not permitted if the maximum number
 835  * of occurrences is greater than one. Optional items such as "\d?"
 836  * (where the maximum is one) are permitted. Quantifiers with any values
 837  * are permitted after parentheses, so the invalid examples above can be
 838  * coded thus "(a){2,4}" and "(\d)+". If #G_REGEX_MATCH_PARTIAL is set
 839  * for a pattern that does not conform to the restrictions, matching
 840  * functions return an error.
 841  *
 842  * Returns: %TRUE if the match was partial, %FALSE otherwise
 843  *
 844  * Since: 2.14
 845  */
 846 gboolean
 847 g_match_info_is_partial_match (const GMatchInfo *match_info)
 848 {
 849   g_return_val_if_fail (match_info != NULL, FALSE);
 850
 851   return match_info->matches == PCRE_ERROR_PARTIAL;
 852 }
 853
 854 /**
 855  * g_match_info_expand_references:
 856  * @match_info: (allow-none): a #GMatchInfo or %NULL
 857  * @string_to_expand: the string to expand
 858  * @error: location to store the error occurring, or %NULL to ignore errors
 859  *
 860  * Returns a new string containing the text in @string_to_expand with
 861  * references and escape sequences expanded. References refer to the last
 862  * match done with @string against @regex and have the same syntax used by
 863  * g_regex_replace().
 864  *
 865  * The @string_to_expand must be UTF-8 encoded even if #G_REGEX_RAW was
 866  * passed to g_regex_new().
 867  *
 868  * The backreferences are extracted from the string passed to the match
 869  * function, so you cannot call this function after freeing the string.
 870  *
 871  * @match_info may be %NULL in which case @string_to_expand must not
 872  * contain references. For instance "foo\n" does not refer to an actual
 873  * pattern and '\n' merely will be replaced with \n character,
 874  * while to expand "\0" (whole match) one needs the result of a match.
 875  * Use g_regex_check_replacement() to find out whether @string_to_expand
 876  * contains references.
 877  *
 878  * Returns: (allow-none): the expanded string, or %NULL if an error occurred
 879  *
 880  * Since: 2.14
 881  */
 882 gchar *
 883 g_match_info_expand_references (const GMatchInfo  *match_info,
 884                                 const gchar       *string_to_expand,
 885                                 GError           **error)
 886 {
 887   GString *result;
 888   GList *list;
 889   GError *tmp_error = NULL;
 890
 891   g_return_val_if_fail (string_to_expand != NULL, NULL);
 892   g_return_val_if_fail (error == NULL || *error == NULL, NULL);
 893
 894   list = split_replacement (string_to_expand, &tmp_error);
 895   if (tmp_error != NULL)
 896     {
 897       g_propagate_error (error, tmp_error);
 898       return NULL;
 899     }
 900
 901   if (!match_info && interpolation_list_needs_match (list))
 902     {
 903       g_critical ("String '%s' contains references to the match, can't "
 904                   "expand references without GMatchInfo object",
 905                   string_to_expand);
 906       return NULL;
 907     }
 908
 909   result = g_string_sized_new (strlen (string_to_expand));
 910   interpolate_replacement (match_info, result, list);
 911
 912   g_list_free_full (list, (GDestroyNotify) free_interpolation_data);
 913
 914   return g_string_free (result, FALSE);
 915 }
 916
 917 /**
 918  * g_match_info_fetch:
 919  * @match_info: #GMatchInfo structure
 920  * @match_num: number of the sub expression
 921  *
 922  * Retrieves the text matching the @match_num<!-- -->'th capturing
 923  * parentheses. 0 is the full text of the match, 1 is the first paren
 924  * set, 2 the second, and so on.
 925  *
 926  * If @match_num is a valid sub pattern but it didn't match anything
 927  * (e.g. sub pattern 1, matching "b" against "(a)?b") then an empty
 928  * string is returned.
 929  *
 930  * If the match was obtained using the DFA algorithm, that is using
 931  * g_regex_match_all() or g_regex_match_all_full(), the retrieved
 932  * string is not that of a set of parentheses but that of a matched
 933  * substring. Substrings are matched in reverse order of length, so
 934  * 0 is the longest match.
 935  *
 936  * The string is fetched from the string passed to the match function,
 937  * so you cannot call this function after freeing the string.
 938  *
 939  * Returns: (allow-none): The matched substring, or %NULL if an error
 940  *     occurred. You have to free the string yourself
 941  *
 942  * Since: 2.14
 943  */
 944 gchar *
 945 g_match_info_fetch (const GMatchInfo *match_info,
 946                     gint              match_num)
 947 {
 948   /* we cannot use pcre_get_substring() because it allocates the
 949    * string using pcre_malloc(). */
 950   gchar *match = NULL;
 951   gint start, end;
 952
 953   g_return_val_if_fail (match_info != NULL, NULL);
 954   g_return_val_if_fail (match_num >= 0, NULL);
 955
 956   /* match_num does not exist or it didn't matched, i.e. matching "b"
 957    * against "(a)?b" then group 0 is empty. */
 958   if (!g_match_info_fetch_pos (match_info, match_num, &start, &end))
 959     match = NULL;
 960   else if (start == -1)
 961     match = g_strdup ("");
 962   else
 963     match = g_strndup (&match_info->string[start], end - start);
 964
 965   return match;
 966 }
 967
 968 /**
 969  * g_match_info_fetch_pos:
 970  * @match_info: #GMatchInfo structure
 971  * @match_num: number of the sub expression
 972  * @start_pos: (out) (allow-none): pointer to location where to store
 973  *     the start position, or %NULL
 974  * @end_pos: (out) (allow-none): pointer to location where to store
 975  *     the end position, or %NULL
 976  *
 977  * Retrieves the position in bytes of the @match_num<!-- -->'th capturing
 978  * parentheses. 0 is the full text of the match, 1 is the first
 979  * paren set, 2 the second, and so on.
 980  *
 981  * If @match_num is a valid sub pattern but it didn't match anything
 982  * (e.g. sub pattern 1, matching "b" against "(a)?b") then @start_pos
 983  * and @end_pos are set to -1 and %TRUE is returned.
 984  *
 985  * If the match was obtained using the DFA algorithm, that is using
 986  * g_regex_match_all() or g_regex_match_all_full(), the retrieved
 987  * position is not that of a set of parentheses but that of a matched
 988  * substring. Substrings are matched in reverse order of length, so
 989  * 0 is the longest match.
 990  *
 991  * Returns: %TRUE if the position was fetched, %FALSE otherwise. If
 992  *   the position cannot be fetched, @start_pos and @end_pos are left
 993  *   unchanged
 994  *
 995  * Since: 2.14
 996  */
 997 gboolean
 998 g_match_info_fetch_pos (const GMatchInfo *match_info,
 999                         gint              match_num,
1000                         gint             *start_pos,
1001                         gint             *end_pos)
1002 {
1003   g_return_val_if_fail (match_info != NULL, FALSE);
1004   g_return_val_if_fail (match_num >= 0, FALSE);
1005
1006   /* make sure the sub expression number they're requesting is less than
1007    * the total number of sub expressions that were matched. */
1008   if (match_num >= match_info->matches)
1009     return FALSE;
1010
1011   if (start_pos != NULL)
1012     *start_pos = match_info->offsets[2 * match_num];
1013
1014   if (end_pos != NULL)
1015     *end_pos = match_info->offsets[2 * match_num + 1];
1016
1017   return TRUE;
1018 }
1019
1020 /*
1021  * Returns number of first matched subpattern with name @name.
1022  * There may be more than one in case when DUPNAMES is used,
1023  * and not all subpatterns with that name match;
1024  * pcre_get_stringnumber() does not work in that case.
1025  */
1026 static gint
1027 get_matched_substring_number (const GMatchInfo *match_info,
1028                               const gchar      *name)
1029 {
1030   gint entrysize;
1031   gchar *first, *last;
1032   guchar *entry;
1033
1034   if (!(match_info->regex->compile_opts & G_REGEX_DUPNAMES))
1035     return pcre_get_stringnumber (match_info->regex->pcre_re, name);
1036
1037   /* This code is copied from pcre_get.c: get_first_set() */
1038   entrysize = pcre_get_stringtable_entries (match_info->regex->pcre_re,
1039                                             name,
1040                                             &first,
1041                                             &last);
1042
1043   if (entrysize <= 0)
1044     return entrysize;
1045
1046   for (entry = (guchar*) first; entry <= (guchar*) last; entry += entrysize)
1047     {
1048       gint n = (entry[0] << 8) + entry[1];
1049       if (match_info->offsets[n*2] >= 0)
1050         return n;
1051     }
1052
1053   return (first[0] << 8) + first[1];
1054 }
1055
1056 /**
1057  * g_match_info_fetch_named:
1058  * @match_info: #GMatchInfo structure
1059  * @name: name of the subexpression
1060  *
1061  * Retrieves the text matching the capturing parentheses named @name.
1062  *
1063  * If @name is a valid sub pattern name but it didn't match anything
1064  * (e.g. sub pattern "X", matching "b" against "(?P&lt;X&gt;a)?b")
1065  * then an empty string is returned.
1066  *
1067  * The string is fetched from the string passed to the match function,
1068  * so you cannot call this function after freeing the string.
1069  *
1070  * Returns: (allow-none): The matched substring, or %NULL if an error
1071  *     occurred. You have to free the string yourself
1072  *
1073  * Since: 2.14
1074  */
1075 gchar *
1076 g_match_info_fetch_named (const GMatchInfo *match_info,
1077                           const gchar      *name)
1078 {
1079   /* we cannot use pcre_get_named_substring() because it allocates the
1080    * string using pcre_malloc(). */
1081   gint num;
1082
1083   g_return_val_if_fail (match_info != NULL, NULL);
1084   g_return_val_if_fail (name != NULL, NULL);
1085
1086   num = get_matched_substring_number (match_info, name);
1087   if (num < 0)
1088     return NULL;
1089   else
1090     return g_match_info_fetch (match_info, num);
1091 }
1092
1093 /**
1094  * g_match_info_fetch_named_pos:
1095  * @match_info: #GMatchInfo structure
1096  * @name: name of the subexpression
1097  * @start_pos: (out) (allow-none): pointer to location where to store
1098  *     the start position, or %NULL
1099  * @end_pos: (out) (allow-none): pointer to location where to store
1100  *     the end position, or %NULL
1101  *
1102  * Retrieves the position in bytes of the capturing parentheses named @name.
1103  *
1104  * If @name is a valid sub pattern name but it didn't match anything
1105  * (e.g. sub pattern "X", matching "b" against "(?P&lt;X&gt;a)?b")
1106  * then @start_pos and @end_pos are set to -1 and %TRUE is returned.
1107  *
1108  * Returns: %TRUE if the position was fetched, %FALSE otherwise.
1109  *     If the position cannot be fetched, @start_pos and @end_pos
1110  *     are left unchanged.
1111  *
1112  * Since: 2.14
1113  */
1114 gboolean
1115 g_match_info_fetch_named_pos (const GMatchInfo *match_info,
1116                               const gchar      *name,
1117                               gint             *start_pos,
1118                               gint             *end_pos)
1119 {
1120   gint num;
1121
1122   g_return_val_if_fail (match_info != NULL, FALSE);
1123   g_return_val_if_fail (name != NULL, FALSE);
1124
1125   num = get_matched_substring_number (match_info, name);
1126   if (num < 0)
1127     return FALSE;
1128
1129   return g_match_info_fetch_pos (match_info, num, start_pos, end_pos);
1130 }
1131
1132 /**
1133  * g_match_info_fetch_all:
1134  * @match_info: a #GMatchInfo structure
1135  *
1136  * Bundles up pointers to each of the matching substrings from a match
1137  * and stores them in an array of gchar pointers. The first element in
1138  * the returned array is the match number 0, i.e. the entire matched
1139  * text.
1140  *
1141  * If a sub pattern didn't match anything (e.g. sub pattern 1, matching
1142  * "b" against "(a)?b") then an empty string is inserted.
1143  *
1144  * If the last match was obtained using the DFA algorithm, that is using
1145  * g_regex_match_all() or g_regex_match_all_full(), the retrieved
1146  * strings are not that matched by sets of parentheses but that of the
1147  * matched substring. Substrings are matched in reverse order of length,
1148  * so the first one is the longest match.
1149  *
1150  * The strings are fetched from the string passed to the match function,
1151  * so you cannot call this function after freeing the string.
1152  *
1153  * Returns: (allow-none): a %NULL-terminated array of gchar * pointers.
1154  *     It must be freed using g_strfreev(). If the previous match failed
1155  *     %NULL is returned
1156  *
1157  * Since: 2.14
1158  */
1159 gchar **
1160 g_match_info_fetch_all (const GMatchInfo *match_info)
1161 {
1162   /* we cannot use pcre_get_substring_list() because the returned value
1163    * isn't suitable for g_strfreev(). */
1164   gchar **result;
1165   gint i;
1166
1167   g_return_val_if_fail (match_info != NULL, NULL);
1168
1169   if (match_info->matches < 0)
1170     return NULL;
1171
1172   result = g_new (gchar *, match_info->matches + 1);
1173   for (i = 0; i < match_info->matches; i++)
1174     result[i] = g_match_info_fetch (match_info, i);
1175   result[i] = NULL;
1176
1177   return result;
1178 }
1179
1180
1181 /* GRegex */
1182
1183 GQuark
1184 g_regex_error_quark (void)
1185 {
1186   static GQuark error_quark = 0;
1187
1188   if (error_quark == 0)
1189     error_quark = g_quark_from_static_string ("g-regex-error-quark");
1190
1191   return error_quark;
1192 }
1193
1194 /**
1195  * g_regex_ref:
1196  * @regex: a #GRegex
1197  *
1198  * Increases reference count of @regex by 1.
1199  *
1200  * Returns: @regex
1201  *
1202  * Since: 2.14
1203  */
1204 GRegex *
1205 g_regex_ref (GRegex *regex)
1206 {
1207   g_return_val_if_fail (regex != NULL, NULL);
1208   g_atomic_int_inc (&regex->ref_count);
1209   return regex;
1210 }
1211
1212 /**
1213  * g_regex_unref:
1214  * @regex: a #GRegex
1215  *
1216  * Decreases reference count of @regex by 1. When reference count drops
1217  * to zero, it frees all the memory associated with the regex structure.
1218  *
1219  * Since: 2.14
1220  */
1221 void
1222 g_regex_unref (GRegex *regex)
1223 {
1224   g_return_if_fail (regex != NULL);
1225
1226   if (g_atomic_int_dec_and_test (&regex->ref_count))
1227     {
1228       g_free (regex->pattern);
1229       if (regex->pcre_re != NULL)
1230         pcre_free (regex->pcre_re);
1231       if (regex->extra != NULL)
1232         pcre_free (regex->extra);
1233       g_free (regex);
1234     }
1235 }
1236
1237 /**
1238  * g_regex_new:
1239  * @pattern: the regular expression
1240  * @compile_options: compile options for the regular expression, or 0
1241  * @match_options: match options for the regular expression, or 0
1242  * @error: return location for a #GError
1243  *
1244  * Compiles the regular expression to an internal form, and does
1245  * the initial setup of the #GRegex structure.
1246  *
1247  * Returns: a #GRegex structure. Call g_regex_unref() when you
1248  *   are done with it
1249  *
1250  * Since: 2.14
1251  */
1252 GRegex *
1253 g_regex_new (const gchar         *pattern,
1254              GRegexCompileFlags   compile_options,
1255              GRegexMatchFlags     match_options,
1256              GError             **error)
1257 {
1258   GRegex *regex;
1259   pcre *re;
1260   const gchar *errmsg;
1261   gint erroffset;
1262   gint errcode;
1263   gboolean optimize = FALSE;
1264   static volatile gsize initialised = 0;
1265   unsigned long int pcre_compile_options;
1266
1267   g_return_val_if_fail (pattern != NULL, NULL);
1268   g_return_val_if_fail (error == NULL || *error == NULL, NULL);
1269   g_return_val_if_fail ((compile_options & ~G_REGEX_COMPILE_MASK) == 0, NULL);
1270   g_return_val_if_fail ((match_options & ~G_REGEX_MATCH_MASK) == 0, NULL);
1271
1272   if (g_once_init_enter (&initialised))
1273     {
1274       int supports_utf8, supports_ucp;
1275
1276       pcre_config (PCRE_CONFIG_UTF8, &supports_utf8);
1277       if (!supports_utf8)
1278         g_critical (_("PCRE library is compiled without UTF8 support"));
1279
1280       pcre_config (PCRE_CONFIG_UNICODE_PROPERTIES, &supports_ucp);
1281       if (!supports_ucp)
1282         g_critical (_("PCRE library is compiled without UTF8 properties support"));
1283
1284       g_once_init_leave (&initialised, supports_utf8 && supports_ucp ? 1 : 2);
1285     }
1286
1287   if (G_UNLIKELY (initialised != 1))
1288     {
1289       g_set_error_literal (error, G_REGEX_ERROR, G_REGEX_ERROR_COMPILE,
1290                            _("PCRE library is compiled with incompatible options"));
1291       return NULL;
1292     }
1293
1294   /* G_REGEX_OPTIMIZE has the same numeric value of PCRE_NO_UTF8_CHECK,
1295    * as we do not need to wrap PCRE_NO_UTF8_CHECK. */
1296   if (compile_options & G_REGEX_OPTIMIZE)
1297     optimize = TRUE;
1298
1299   /* In GRegex the string are, by default, UTF-8 encoded. PCRE
1300    * instead uses UTF-8 only if required with PCRE_UTF8. */
1301   if (compile_options & G_REGEX_RAW)
1302     {
1303       /* disable utf-8 */
1304       compile_options &= ~G_REGEX_RAW;
1305     }
1306   else
1307     {
1308       /* enable utf-8 */
1309       compile_options |= PCRE_UTF8 | PCRE_NO_UTF8_CHECK;
1310       match_options |= PCRE_NO_UTF8_CHECK;
1311     }
1312
1313   /* PCRE_NEWLINE_ANY is the default for the internal PCRE but
1314    * not for the system one. */
1315   if (!(compile_options & G_REGEX_NEWLINE_CR) &&
1316       !(compile_options & G_REGEX_NEWLINE_LF))
1317     {
1318       compile_options |= PCRE_NEWLINE_ANY;
1319     }
1320
1321   compile_options |= PCRE_UCP;
1322
1323   /* PCRE_BSR_UNICODE is the default for the internal PCRE but
1324    * possibly not for the system one.
1325    */
1326   if (~compile_options & G_REGEX_BSR_ANYCRLF)
1327     compile_options |= PCRE_BSR_UNICODE;
1328
1329   /* compile the pattern */
1330   re = pcre_compile2 (pattern, compile_options, &errcode,
1331                       &errmsg, &erroffset, NULL);
1332
1333   /* if the compilation failed, set the error member and return
1334    * immediately */
1335   if (re == NULL)
1336     {
1337       GError *tmp_error;
1338
1339       /* Translate the PCRE error code to GRegexError and use a translated
1340        * error message if possible */
1341       translate_compile_error (&errcode, &errmsg);
1342
1343       /* PCRE uses byte offsets but we want to show character offsets */
1344       erroffset = g_utf8_pointer_to_offset (pattern, &pattern[erroffset]);
1345
1346       tmp_error = g_error_new (G_REGEX_ERROR, errcode,
1347                                _("Error while compiling regular "
1348                                  "expression %s at char %d: %s"),
1349                                pattern, erroffset, errmsg);
1350       g_propagate_error (error, tmp_error);
1351
1352       return NULL;
1353     }
1354
1355   /* For options set at the beginning of the pattern, pcre puts them into
1356    * compile options, e.g. "(?i)foo" will make the pcre structure store
1357    * PCRE_CASELESS even though it wasn't explicitly given for compilation. */
1358   pcre_fullinfo (re, NULL, PCRE_INFO_OPTIONS, &pcre_compile_options);
1359   compile_options = pcre_compile_options;
1360
1361   if (!(compile_options & G_REGEX_DUPNAMES))
1362     {
1363       gboolean jchanged = FALSE;
1364       pcre_fullinfo (re, NULL, PCRE_INFO_JCHANGED, &jchanged);
1365       if (jchanged)
1366         compile_options |= G_REGEX_DUPNAMES;
1367     }
1368
1369   regex = g_new0 (GRegex, 1);
1370   regex->ref_count = 1;
1371   regex->pattern = g_strdup (pattern);
1372   regex->pcre_re = re;
1373   regex->compile_opts = compile_options;
1374   regex->match_opts = match_options;
1375
1376   if (optimize)
1377     {
1378       regex->extra = pcre_study (regex->pcre_re, 0, &errmsg);
1379       if (errmsg != NULL)
1380         {
1381           GError *tmp_error = g_error_new (G_REGEX_ERROR,
1382                                            G_REGEX_ERROR_OPTIMIZE,
1383                                            _("Error while optimizing "
1384                                              "regular expression %s: %s"),
1385                                            regex->pattern,
1386                                            errmsg);
1387           g_propagate_error (error, tmp_error);
1388
1389           g_regex_unref (regex);
1390           return NULL;
1391         }
1392     }
1393
1394   return regex;
1395 }
1396
1397 /**
1398  * g_regex_get_pattern:
1399  * @regex: a #GRegex structure
1400  *
1401  * Gets the pattern string associated with @regex, i.e. a copy of
1402  * the string passed to g_regex_new().
1403  *
1404  * Returns: the pattern of @regex
1405  *
1406  * Since: 2.14
1407  */
1408 const gchar *
1409 g_regex_get_pattern (const GRegex *regex)
1410 {
1411   g_return_val_if_fail (regex != NULL, NULL);
1412
1413   return regex->pattern;
1414 }
1415
1416 /**
1417  * g_regex_get_max_backref:
1418  * @regex: a #GRegex
1419  *
1420  * Returns the number of the highest back reference
1421  * in the pattern, or 0 if the pattern does not contain
1422  * back references.
1423  *
1424  * Returns: the number of the highest back reference
1425  *
1426  * Since: 2.14
1427  */
1428 gint
1429 g_regex_get_max_backref (const GRegex *regex)
1430 {
1431   gint value;
1432
1433   pcre_fullinfo (regex->pcre_re, regex->extra,
1434                  PCRE_INFO_BACKREFMAX, &value);
1435
1436   return value;
1437 }
1438
1439 /**
1440  * g_regex_get_capture_count:
1441  * @regex: a #GRegex
1442  *
1443  * Returns the number of capturing subpatterns in the pattern.
1444  *
1445  * Returns: the number of capturing subpatterns
1446  *
1447  * Since: 2.14
1448  */
1449 gint
1450 g_regex_get_capture_count (const GRegex *regex)
1451 {
1452   gint value;
1453
1454   pcre_fullinfo (regex->pcre_re, regex->extra,
1455                  PCRE_INFO_CAPTURECOUNT, &value);
1456
1457   return value;
1458 }
1459
1460 /**
1461  * g_regex_get_has_cr_or_lf:
1462  * @regex: a #GRegex structure
1463  *
1464  * Checks whether the pattern contains explicit CR or LF references.
1465  *
1466  * Returns: %TRUE if the pattern contains explicit CR or LF references
1467  *
1468  * Since: 2.34
1469  */
1470 gboolean
1471 g_regex_get_has_cr_or_lf (const GRegex *regex)
1472 {
1473   gint value;
1474
1475   pcre_fullinfo (regex->pcre_re, regex->extra,
1476                  PCRE_INFO_HASCRORLF, &value);
1477
1478   return !!value;
1479 }
1480
1481 /**
1482  * g_regex_get_compile_flags:
1483  * @regex: a #GRegex
1484  *
1485  * Returns the compile options that @regex was created with.
1486  *
1487  * Returns: flags from #GRegexCompileFlags
1488  *
1489  * Since: 2.26
1490  */
1491 GRegexCompileFlags
1492 g_regex_get_compile_flags (const GRegex *regex)
1493 {
1494   g_return_val_if_fail (regex != NULL, 0);
1495
1496   return regex->compile_opts;
1497 }
1498
1499 /**
1500  * g_regex_get_match_flags:
1501  * @regex: a #GRegex
1502  *
1503  * Returns the match options that @regex was created with.
1504  *
1505  * Returns: flags from #GRegexMatchFlags
1506  *
1507  * Since: 2.26
1508  */
1509 GRegexMatchFlags
1510 g_regex_get_match_flags (const GRegex *regex)
1511 {
1512   g_return_val_if_fail (regex != NULL, 0);
1513
1514   return regex->match_opts;
1515 }
1516
1517 /**
1518  * g_regex_match_simple:
1519  * @pattern: the regular expression
1520  * @string: the string to scan for matches
1521  * @compile_options: compile options for the regular expression, or 0
1522  * @match_options: match options, or 0
1523  *
1524  * Scans for a match in @string for @pattern.
1525  *
1526  * This function is equivalent to g_regex_match() but it does not
1527  * require to compile the pattern with g_regex_new(), avoiding some
1528  * lines of code when you need just to do a match without extracting
1529  * substrings, capture counts, and so on.
1530  *
1531  * If this function is to be called on the same @pattern more than
1532  * once, it's more efficient to compile the pattern once with
1533  * g_regex_new() and then use g_regex_match().
1534  *
1535  * Returns: %TRUE if the string matched, %FALSE otherwise
1536  *
1537  * Since: 2.14
1538  */
1539 gboolean
1540 g_regex_match_simple (const gchar        *pattern,
1541                       const gchar        *string,
1542                       GRegexCompileFlags  compile_options,
1543                       GRegexMatchFlags    match_options)
1544 {
1545   GRegex *regex;
1546   gboolean result;
1547
1548   regex = g_regex_new (pattern, compile_options, 0, NULL);
1549   if (!regex)
1550     return FALSE;
1551   result = g_regex_match_full (regex, string, -1, 0, match_options, NULL, NULL);
1552   g_regex_unref (regex);
1553   return result;
1554 }
1555
1556 /**
1557  * g_regex_match:
1558  * @regex: a #GRegex structure from g_regex_new()
1559  * @string: the string to scan for matches
1560  * @match_options: match options
1561  * @match_info: (out) (allow-none): pointer to location where to store
1562  *     the #GMatchInfo, or %NULL if you do not need it
1563  *
1564  * Scans for a match in string for the pattern in @regex.
1565  * The @match_options are combined with the match options specified
1566  * when the @regex structure was created, letting you have more
1567  * flexibility in reusing #GRegex structures.
1568  *
1569  * A #GMatchInfo structure, used to get information on the match,
1570  * is stored in @match_info if not %NULL. Note that if @match_info
1571  * is not %NULL then it is created even if the function returns %FALSE,
1572  * i.e. you must free it regardless if regular expression actually matched.
1573  *
1574  * To retrieve all the non-overlapping matches of the pattern in
1575  * string you can use g_match_info_next().
1576  *
1577  * |[
1578  * static void
1579  * print_uppercase_words (const gchar *string)
1580  * {
1581  *   /&ast; Print all uppercase-only words. &ast;/
1582  *   GRegex *regex;
1583  *   GMatchInfo *match_info;
1584  *   &nbsp;
1585  *   regex = g_regex_new ("[A-Z]+", 0, 0, NULL);
1586  *   g_regex_match (regex, string, 0, &amp;match_info);
1587  *   while (g_match_info_matches (match_info))
1588  *     {
1589  *       gchar *word = g_match_info_fetch (match_info, 0);
1590  *       g_print ("Found: %s\n", word);
1591  *       g_free (word);
1592  *       g_match_info_next (match_info, NULL);
1593  *     }
1594  *   g_match_info_free (match_info);
1595  *   g_regex_unref (regex);
1596  * }
1597  * ]|
1598  *
1599  * @string is not copied and is used in #GMatchInfo internally. If
1600  * you use any #GMatchInfo method (except g_match_info_free()) after
1601  * freeing or modifying @string then the behaviour is undefined.
1602  *
1603  * Returns: %TRUE is the string matched, %FALSE otherwise
1604  *
1605  * Since: 2.14
1606  */
1607 gboolean
1608 g_regex_match (const GRegex      *regex,
1609                const gchar       *string,
1610                GRegexMatchFlags   match_options,
1611                GMatchInfo       **match_info)
1612 {
1613   return g_regex_match_full (regex, string, -1, 0, match_options,
1614                              match_info, NULL);
1615 }
1616
1617 /**
1618  * g_regex_match_full:
1619  * @regex: a #GRegex structure from g_regex_new()
1620  * @string: (array length=string_len): the string to scan for matches
1621  * @string_len: the length of @string, or -1 if @string is nul-terminated
1622  * @start_position: starting index of the string to match
1623  * @match_options: match options
1624  * @match_info: (out) (allow-none): pointer to location where to store
1625  *     the #GMatchInfo, or %NULL if you do not need it
1626  * @error: location to store the error occurring, or %NULL to ignore errors
1627  *
1628  * Scans for a match in string for the pattern in @regex.
1629  * The @match_options are combined with the match options specified
1630  * when the @regex structure was created, letting you have more
1631  * flexibility in reusing #GRegex structures.
1632  *
1633  * Setting @start_position differs from just passing over a shortened
1634  * string and setting #G_REGEX_MATCH_NOTBOL in the case of a pattern
1635  * that begins with any kind of lookbehind assertion, such as "\b".
1636  *
1637  * A #GMatchInfo structure, used to get information on the match, is
1638  * stored in @match_info if not %NULL. Note that if @match_info is
1639  * not %NULL then it is created even if the function returns %FALSE,
1640  * i.e. you must free it regardless if regular expression actually
1641  * matched.
1642  *
1643  * @string is not copied and is used in #GMatchInfo internally. If
1644  * you use any #GMatchInfo method (except g_match_info_free()) after
1645  * freeing or modifying @string then the behaviour is undefined.
1646  *
1647  * To retrieve all the non-overlapping matches of the pattern in
1648  * string you can use g_match_info_next().
1649  *
1650  * |[
1651  * static void
1652  * print_uppercase_words (const gchar *string)
1653  * {
1654  *   /&ast; Print all uppercase-only words. &ast;/
1655  *   GRegex *regex;
1656  *   GMatchInfo *match_info;
1657  *   GError *error = NULL;
1658  *   &nbsp;
1659  *   regex = g_regex_new ("[A-Z]+", 0, 0, NULL);
1660  *   g_regex_match_full (regex, string, -1, 0, 0, &amp;match_info, &amp;error);
1661  *   while (g_match_info_matches (match_info))
1662  *     {
1663  *       gchar *word = g_match_info_fetch (match_info, 0);
1664  *       g_print ("Found: %s\n", word);
1665  *       g_free (word);
1666  *       g_match_info_next (match_info, &amp;error);
1667  *     }
1668  *   g_match_info_free (match_info);
1669  *   g_regex_unref (regex);
1670  *   if (error != NULL)
1671  *     {
1672  *       g_printerr ("Error while matching: %s\n", error->message);
1673  *       g_error_free (error);
1674  *     }
1675  * }
1676  * ]|
1677  *
1678  * Returns: %TRUE is the string matched, %FALSE otherwise
1679  *
1680  * Since: 2.14
1681  */
1682 gboolean
1683 g_regex_match_full (const GRegex      *regex,
1684                     const gchar       *string,
1685                     gssize             string_len,
1686                     gint               start_position,
1687                     GRegexMatchFlags   match_options,
1688                     GMatchInfo       **match_info,
1689                     GError           **error)
1690 {
1691   GMatchInfo *info;
1692   gboolean match_ok;
1693
1694   g_return_val_if_fail (regex != NULL, FALSE);
1695   g_return_val_if_fail (string != NULL, FALSE);
1696   g_return_val_if_fail (start_position >= 0, FALSE);
1697   g_return_val_if_fail (error == NULL || *error == NULL, FALSE);
1698   g_return_val_if_fail ((match_options & ~G_REGEX_MATCH_MASK) == 0, FALSE);
1699
1700   info = match_info_new (regex, string, string_len, start_position,
1701                          match_options, FALSE);
1702   match_ok = g_match_info_next (info, error);
1703   if (match_info != NULL)
1704     *match_info = info;
1705   else
1706     g_match_info_free (info);
1707
1708   return match_ok;
1709 }
1710
1711 /**
1712  * g_regex_match_all:
1713  * @regex: a #GRegex structure from g_regex_new()
1714  * @string: the string to scan for matches
1715  * @match_options: match options
1716  * @match_info: (out) (allow-none): pointer to location where to store
1717  *     the #GMatchInfo, or %NULL if you do not need it
1718  *
1719  * Using the standard algorithm for regular expression matching only
1720  * the longest match in the string is retrieved. This function uses
1721  * a different algorithm so it can retrieve all the possible matches.
1722  * For more documentation see g_regex_match_all_full().
1723  *
1724  * A #GMatchInfo structure, used to get information on the match, is
1725  * stored in @match_info if not %NULL. Note that if @match_info is
1726  * not %NULL then it is created even if the function returns %FALSE,
1727  * i.e. you must free it regardless if regular expression actually
1728  * matched.
1729  *
1730  * @string is not copied and is used in #GMatchInfo internally. If
1731  * you use any #GMatchInfo method (except g_match_info_free()) after
1732  * freeing or modifying @string then the behaviour is undefined.
1733  *
1734  * Returns: %TRUE is the string matched, %FALSE otherwise
1735  *
1736  * Since: 2.14
1737  */
1738 gboolean
1739 g_regex_match_all (const GRegex      *regex,
1740                    const gchar       *string,
1741                    GRegexMatchFlags   match_options,
1742                    GMatchInfo       **match_info)
1743 {
1744   return g_regex_match_all_full (regex, string, -1, 0, match_options,
1745                                  match_info, NULL);
1746 }
1747
1748 /**
1749  * g_regex_match_all_full:
1750  * @regex: a #GRegex structure from g_regex_new()
1751  * @string: (array length=string_len): the string to scan for matches
1752  * @string_len: the length of @string, or -1 if @string is nul-terminated
1753  * @start_position: starting index of the string to match
1754  * @match_options: match options
1755  * @match_info: (out) (allow-none): pointer to location where to store
1756  *     the #GMatchInfo, or %NULL if you do not need it
1757  * @error: location to store the error occurring, or %NULL to ignore errors
1758  *
1759  * Using the standard algorithm for regular expression matching only
1760  * the longest match in the string is retrieved, it is not possible
1761  * to obtain all the available matches. For instance matching
1762  * "&lt;a&gt; &lt;b&gt; &lt;c&gt;" against the pattern "&lt;.*&gt;"
1763  * you get "&lt;a&gt; &lt;b&gt; &lt;c&gt;".
1764  *
1765  * This function uses a different algorithm (called DFA, i.e. deterministic
1766  * finite automaton), so it can retrieve all the possible matches, all
1767  * starting at the same point in the string. For instance matching
1768  * "&lt;a&gt; &lt;b&gt; &lt;c&gt;" against the pattern "&lt;.*&gt;"
1769  * you would obtain three matches: "&lt;a&gt; &lt;b&gt; &lt;c&gt;",
1770  * "&lt;a&gt; &lt;b&gt;" and "&lt;a&gt;".
1771  *
1772  * The number of matched strings is retrieved using
1773  * g_match_info_get_match_count(). To obtain the matched strings and
1774  * their position you can use, respectively, g_match_info_fetch() and
1775  * g_match_info_fetch_pos(). Note that the strings are returned in
1776  * reverse order of length; that is, the longest matching string is
1777  * given first.
1778  *
1779  * Note that the DFA algorithm is slower than the standard one and it
1780  * is not able to capture substrings, so backreferences do not work.
1781  *
1782  * Setting @start_position differs from just passing over a shortened
1783  * string and setting #G_REGEX_MATCH_NOTBOL in the case of a pattern
1784  * that begins with any kind of lookbehind assertion, such as "\b".
1785  *
1786  * A #GMatchInfo structure, used to get information on the match, is
1787  * stored in @match_info if not %NULL. Note that if @match_info is
1788  * not %NULL then it is created even if the function returns %FALSE,
1789  * i.e. you must free it regardless if regular expression actually
1790  * matched.
1791  *
1792  * @string is not copied and is used in #GMatchInfo internally. If
1793  * you use any #GMatchInfo method (except g_match_info_free()) after
1794  * freeing or modifying @string then the behaviour is undefined.
1795  *
1796  * Returns: %TRUE is the string matched, %FALSE otherwise
1797  *
1798  * Since: 2.14
1799  */
1800 gboolean
1801 g_regex_match_all_full (const GRegex      *regex,
1802                         const gchar       *string,
1803                         gssize             string_len,
1804                         gint               start_position,
1805                         GRegexMatchFlags   match_options,
1806                         GMatchInfo       **match_info,
1807                         GError           **error)
1808 {
1809   GMatchInfo *info;
1810   gboolean done;
1811
1812   g_return_val_if_fail (regex != NULL, FALSE);
1813   g_return_val_if_fail (string != NULL, FALSE);
1814   g_return_val_if_fail (start_position >= 0, FALSE);
1815   g_return_val_if_fail (error == NULL || *error == NULL, FALSE);
1816   g_return_val_if_fail ((match_options & ~G_REGEX_MATCH_MASK) == 0, FALSE);
1817
1818   info = match_info_new (regex, string, string_len, start_position,
1819                          match_options, TRUE);
1820
1821   done = FALSE;
1822   while (!done)
1823     {
1824       done = TRUE;
1825       info->matches = pcre_dfa_exec (regex->pcre_re, regex->extra,
1826                                      info->string, info->string_len,
1827                                      info->pos,
1828                                      regex->match_opts | match_options,
1829                                      info->offsets, info->n_offsets,
1830                                      info->workspace, info->n_workspace);
1831       if (info->matches == PCRE_ERROR_DFA_WSSIZE)
1832         {
1833           /* info->workspace is too small. */
1834           info->n_workspace *= 2;
1835           info->workspace = g_realloc (info->workspace,
1836                                        info->n_workspace * sizeof (gint));
1837           done = FALSE;
1838         }
1839       else if (info->matches == 0)
1840         {
1841           /* info->offsets is too small. */
1842           info->n_offsets *= 2;
1843           info->offsets = g_realloc (info->offsets,
1844                                      info->n_offsets * sizeof (gint));
1845           done = FALSE;
1846         }
1847       else if (IS_PCRE_ERROR (info->matches))
1848         {
1849           g_set_error (error, G_REGEX_ERROR, G_REGEX_ERROR_MATCH,
1850                        _("Error while matching regular expression %s: %s"),
1851                        regex->pattern, match_error (info->matches));
1852         }
1853     }
1854
1855   /* set info->pos to -1 so that a call to g_match_info_next() fails. */
1856   info->pos = -1;
1857
1858   if (match_info != NULL)
1859     *match_info = info;
1860   else
1861     g_match_info_free (info);
1862
1863   return info->matches >= 0;
1864 }
1865
1866 /**
1867  * g_regex_get_string_number:
1868  * @regex: #GRegex structure
1869  * @name: name of the subexpression
1870  *
1871  * Retrieves the number of the subexpression named @name.
1872  *
1873  * Returns: The number of the subexpression or -1 if @name
1874  *   does not exists
1875  *
1876  * Since: 2.14
1877  */
1878 gint
1879 g_regex_get_string_number (const GRegex *regex,
1880                            const gchar  *name)
1881 {
1882   gint num;
1883
1884   g_return_val_if_fail (regex != NULL, -1);
1885   g_return_val_if_fail (name != NULL, -1);
1886
1887   num = pcre_get_stringnumber (regex->pcre_re, name);
1888   if (num == PCRE_ERROR_NOSUBSTRING)
1889     num = -1;
1890
1891   return num;
1892 }
1893
1894 /**
1895  * g_regex_split_simple:
1896  * @pattern: the regular expression
1897  * @string: the string to scan for matches
1898  * @compile_options: compile options for the regular expression, or 0
1899  * @match_options: match options, or 0
1900  *
1901  * Breaks the string on the pattern, and returns an array of
1902  * the tokens. If the pattern contains capturing parentheses,
1903  * then the text for each of the substrings will also be returned.
1904  * If the pattern does not match anywhere in the string, then the
1905  * whole string is returned as the first token.
1906  *
1907  * This function is equivalent to g_regex_split() but it does
1908  * not require to compile the pattern with g_regex_new(), avoiding
1909  * some lines of code when you need just to do a split without
1910  * extracting substrings, capture counts, and so on.
1911  *
1912  * If this function is to be called on the same @pattern more than
1913  * once, it's more efficient to compile the pattern once with
1914  * g_regex_new() and then use g_regex_split().
1915  *
1916  * As a special case, the result of splitting the empty string ""
1917  * is an empty vector, not a vector containing a single string.
1918  * The reason for this special case is that being able to represent
1919  * a empty vector is typically more useful than consistent handling
1920  * of empty elements. If you do need to represent empty elements,
1921  * you'll need to check for the empty string before calling this
1922  * function.
1923  *
1924  * A pattern that can match empty strings splits @string into
1925  * separate characters wherever it matches the empty string between
1926  * characters. For example splitting "ab c" using as a separator
1927  * "\s*", you will get "a", "b" and "c".
1928  *
1929  * Returns: a %NULL-terminated array of strings. Free it using g_strfreev()
1930  *
1931  * Since: 2.14
1932  **/
1933 gchar **
1934 g_regex_split_simple (const gchar        *pattern,
1935                       const gchar        *string,
1936                       GRegexCompileFlags  compile_options,
1937                       GRegexMatchFlags    match_options)
1938 {
1939   GRegex *regex;
1940   gchar **result;
1941
1942   regex = g_regex_new (pattern, compile_options, 0, NULL);
1943   if (!regex)
1944     return NULL;
1945
1946   result = g_regex_split_full (regex, string, -1, 0, match_options, 0, NULL);
1947   g_regex_unref (regex);
1948   return result;
1949 }
1950
1951 /**
1952  * g_regex_split:
1953  * @regex: a #GRegex structure
1954  * @string: the string to split with the pattern
1955  * @match_options: match time option flags
1956  *
1957  * Breaks the string on the pattern, and returns an array of the tokens.
1958  * If the pattern contains capturing parentheses, then the text for each
1959  * of the substrings will also be returned. If the pattern does not match
1960  * anywhere in the string, then the whole string is returned as the first
1961  * token.
1962  *
1963  * As a special case, the result of splitting the empty string "" is an
1964  * empty vector, not a vector containing a single string. The reason for
1965  * this special case is that being able to represent a empty vector is
1966  * typically more useful than consistent handling of empty elements. If
1967  * you do need to represent empty elements, you'll need to check for the
1968  * empty string before calling this function.
1969  *
1970  * A pattern that can match empty strings splits @string into separate
1971  * characters wherever it matches the empty string between characters.
1972  * For example splitting "ab c" using as a separator "\s*", you will get
1973  * "a", "b" and "c".
1974  *
1975  * Returns: a %NULL-terminated gchar ** array. Free it using g_strfreev()
1976  *
1977  * Since: 2.14
1978  **/
1979 gchar **
1980 g_regex_split (const GRegex     *regex,
1981                const gchar      *string,
1982                GRegexMatchFlags  match_options)
1983 {
1984   return g_regex_split_full (regex, string, -1, 0,
1985                              match_options, 0, NULL);
1986 }
1987
1988 /**
1989  * g_regex_split_full:
1990  * @regex: a #GRegex structure
1991  * @string: (array length=string_len): the string to split with the pattern
1992  * @string_len: the length of @string, or -1 if @string is nul-terminated
1993  * @start_position: starting index of the string to match
1994  * @match_options: match time option flags
1995  * @max_tokens: the maximum number of tokens to split @string into.
1996  *   If this is less than 1, the string is split completely
1997  * @error: return location for a #GError
1998  *
1999  * Breaks the string on the pattern, and returns an array of the tokens.
2000  * If the pattern contains capturing parentheses, then the text for each
2001  * of the substrings will also be returned. If the pattern does not match
2002  * anywhere in the string, then the whole string is returned as the first
2003  * token.
2004  *
2005  * As a special case, the result of splitting the empty string "" is an
2006  * empty vector, not a vector containing a single string. The reason for
2007  * this special case is that being able to represent a empty vector is
2008  * typically more useful than consistent handling of empty elements. If
2009  * you do need to represent empty elements, you'll need to check for the
2010  * empty string before calling this function.
2011  *
2012  * A pattern that can match empty strings splits @string into separate
2013  * characters wherever it matches the empty string between characters.
2014  * For example splitting "ab c" using as a separator "\s*", you will get
2015  * "a", "b" and "c".
2016  *
2017  * Setting @start_position differs from just passing over a shortened
2018  * string and setting #G_REGEX_MATCH_NOTBOL in the case of a pattern
2019  * that begins with any kind of lookbehind assertion, such as "\b".
2020  *
2021  * Returns: a %NULL-terminated gchar ** array. Free it using g_strfreev()
2022  *
2023  * Since: 2.14
2024  **/
2025 gchar **
2026 g_regex_split_full (const GRegex      *regex,
2027                     const gchar       *string,
2028                     gssize             string_len,
2029                     gint               start_position,
2030                     GRegexMatchFlags   match_options,
2031                     gint               max_tokens,
2032                     GError           **error)
2033 {
2034   GError *tmp_error = NULL;
2035   GMatchInfo *match_info;
2036   GList *list, *last;
2037   gint i;
2038   gint token_count;
2039   gboolean match_ok;
2040   /* position of the last separator. */
2041   gint last_separator_end;
2042   /* was the last match 0 bytes long? */
2043   gboolean last_match_is_empty;
2044   /* the returned array of char **s */
2045   gchar **string_list;
2046
2047   g_return_val_if_fail (regex != NULL, NULL);
2048   g_return_val_if_fail (string != NULL, NULL);
2049   g_return_val_if_fail (start_position >= 0, NULL);
2050   g_return_val_if_fail (error == NULL || *error == NULL, NULL);
2051   g_return_val_if_fail ((match_options & ~G_REGEX_MATCH_MASK) == 0, NULL);
2052
2053   if (max_tokens <= 0)
2054     max_tokens = G_MAXINT;
2055
2056   if (string_len < 0)
2057     string_len = strlen (string);
2058
2059   /* zero-length string */
2060   if (string_len - start_position == 0)
2061     return g_new0 (gchar *, 1);
2062
2063   if (max_tokens == 1)
2064     {
2065       string_list = g_new0 (gchar *, 2);
2066       string_list[0] = g_strndup (&string[start_position],
2067                                   string_len - start_position);
2068       return string_list;
2069     }
2070
2071   list = NULL;
2072   token_count = 0;
2073   last_separator_end = start_position;
2074   last_match_is_empty = FALSE;
2075
2076   match_ok = g_regex_match_full (regex, string, string_len, start_position,
2077                                  match_options, &match_info, &tmp_error);
2078
2079   while (tmp_error == NULL)
2080     {
2081       if (match_ok)
2082         {
2083           last_match_is_empty =
2084                     (match_info->offsets[0] == match_info->offsets[1]);
2085
2086           /* we need to skip empty separators at the same position of the end
2087            * of another separator. e.g. the string is "a b" and the separator
2088            * is " *", so from 1 to 2 we have a match and at position 2 we have
2089            * an empty match. */
2090           if (last_separator_end != match_info->offsets[1])
2091             {
2092               gchar *token;
2093               gint match_count;
2094
2095               token = g_strndup (string + last_separator_end,
2096                                  match_info->offsets[0] - last_separator_end);
2097               list = g_list_prepend (list, token);
2098               token_count++;
2099
2100               /* if there were substrings, these need to be added to
2101                * the list. */
2102               match_count = g_match_info_get_match_count (match_info);
2103               if (match_count > 1)
2104                 {
2105                   for (i = 1; i < match_count; i++)
2106                     list = g_list_prepend (list, g_match_info_fetch (match_info, i));
2107                 }
2108             }
2109         }
2110       else
2111         {
2112           /* if there was no match, copy to end of string. */
2113           if (!last_match_is_empty)
2114             {
2115               gchar *token = g_strndup (string + last_separator_end,
2116                                         match_info->string_len - last_separator_end);
2117               list = g_list_prepend (list, token);
2118             }
2119           /* no more tokens, end the loop. */
2120           break;
2121         }
2122
2123       /* -1 to leave room for the last part. */
2124       if (token_count >= max_tokens - 1)
2125         {
2126           /* we have reached the maximum number of tokens, so we copy
2127            * the remaining part of the string. */
2128           if (last_match_is_empty)
2129             {
2130               /* the last match was empty, so we have moved one char
2131                * after the real position to avoid empty matches at the
2132                * same position. */
2133               match_info->pos = PREV_CHAR (regex, &string[match_info->pos]) - string;
2134             }
2135           /* the if is needed in the case we have terminated the available
2136            * tokens, but we are at the end of the string, so there are no
2137            * characters left to copy. */
2138           if (string_len > match_info->pos)
2139             {
2140               gchar *token = g_strndup (string + match_info->pos,
2141                                         string_len - match_info->pos);
2142               list = g_list_prepend (list, token);
2143             }
2144           /* end the loop. */
2145           break;
2146         }
2147
2148       last_separator_end = match_info->pos;
2149       if (last_match_is_empty)
2150         /* if the last match was empty, g_match_info_next() has moved
2151          * forward to avoid infinite loops, but we still need to copy that
2152          * character. */
2153         last_separator_end = PREV_CHAR (regex, &string[last_separator_end]) - string;
2154
2155       match_ok = g_match_info_next (match_info, &tmp_error);
2156     }
2157   g_match_info_free (match_info);
2158   if (tmp_error != NULL)
2159     {
2160       g_propagate_error (error, tmp_error);
2161       g_list_free_full (list, g_free);
2162       match_info->pos = -1;
2163       return NULL;
2164     }
2165
2166   string_list = g_new (gchar *, g_list_length (list) + 1);
2167   i = 0;
2168   for (last = g_list_last (list); last; last = g_list_previous (last))
2169     string_list[i++] = last->data;
2170   string_list[i] = NULL;
2171   g_list_free (list);
2172
2173   return string_list;
2174 }
2175
2176 enum
2177 {
2178   REPL_TYPE_STRING,
2179   REPL_TYPE_CHARACTER,
2180   REPL_TYPE_SYMBOLIC_REFERENCE,
2181   REPL_TYPE_NUMERIC_REFERENCE,
2182   REPL_TYPE_CHANGE_CASE
2183 };
2184
2185 typedef enum
2186 {
2187   CHANGE_CASE_NONE         = 1 << 0,
2188   CHANGE_CASE_UPPER        = 1 << 1,
2189   CHANGE_CASE_LOWER        = 1 << 2,
2190   CHANGE_CASE_UPPER_SINGLE = 1 << 3,
2191   CHANGE_CASE_LOWER_SINGLE = 1 << 4,
2192   CHANGE_CASE_SINGLE_MASK  = CHANGE_CASE_UPPER_SINGLE | CHANGE_CASE_LOWER_SINGLE,
2193   CHANGE_CASE_LOWER_MASK   = CHANGE_CASE_LOWER | CHANGE_CASE_LOWER_SINGLE,
2194   CHANGE_CASE_UPPER_MASK   = CHANGE_CASE_UPPER | CHANGE_CASE_UPPER_SINGLE
2195 } ChangeCase;
2196
2197 struct _InterpolationData
2198 {
2199   gchar     *text;
2200   gint       type;
2201   gint       num;
2202   gchar      c;
2203   ChangeCase change_case;
2204 };
2205
2206 static void
2207 free_interpolation_data (InterpolationData *data)
2208 {
2209   g_free (data->text);
2210   g_free (data);
2211 }
2212
2213 static const gchar *
2214 expand_escape (const gchar        *replacement,
2215                const gchar        *p,
2216                InterpolationData  *data,
2217                GError            **error)
2218 {
2219   const gchar *q, *r;
2220   gint x, d, h, i;
2221   const gchar *error_detail;
2222   gint base = 0;
2223   GError *tmp_error = NULL;
2224
2225   p++;
2226   switch (*p)
2227     {
2228     case 't':
2229       p++;
2230       data->c = '\t';
2231       data->type = REPL_TYPE_CHARACTER;
2232       break;
2233     case 'n':
2234       p++;
2235       data->c = '\n';
2236       data->type = REPL_TYPE_CHARACTER;
2237       break;
2238     case 'v':
2239       p++;
2240       data->c = '\v';
2241       data->type = REPL_TYPE_CHARACTER;
2242       break;
2243     case 'r':
2244       p++;
2245       data->c = '\r';
2246       data->type = REPL_TYPE_CHARACTER;
2247       break;
2248     case 'f':
2249       p++;
2250       data->c = '\f';
2251       data->type = REPL_TYPE_CHARACTER;
2252       break;
2253     case 'a':
2254       p++;
2255       data->c = '\a';
2256       data->type = REPL_TYPE_CHARACTER;
2257       break;
2258     case 'b':
2259       p++;
2260       data->c = '\b';
2261       data->type = REPL_TYPE_CHARACTER;
2262       break;
2263     case '\\':
2264       p++;
2265       data->c = '\\';
2266       data->type = REPL_TYPE_CHARACTER;
2267       break;
2268     case 'x':
2269       p++;
2270       x = 0;
2271       if (*p == '{')
2272         {
2273           p++;
2274           do
2275             {
2276               h = g_ascii_xdigit_value (*p);
2277               if (h < 0)
2278                 {
2279                   error_detail = _("hexadecimal digit or '}' expected");
2280                   goto error;
2281                 }
2282               x = x * 16 + h;
2283               p++;
2284             }
2285           while (*p != '}');
2286           p++;
2287         }
2288       else
2289         {
2290           for (i = 0; i < 2; i++)
2291             {
2292               h = g_ascii_xdigit_value (*p);
2293               if (h < 0)
2294                 {
2295                   error_detail = _("hexadecimal digit expected");
2296                   goto error;
2297                 }
2298               x = x * 16 + h;
2299               p++;
2300             }
2301         }
2302       data->type = REPL_TYPE_STRING;
2303       data->text = g_new0 (gchar, 8);
2304       g_unichar_to_utf8 (x, data->text);
2305       break;
2306     case 'l':
2307       p++;
2308       data->type = REPL_TYPE_CHANGE_CASE;
2309       data->change_case = CHANGE_CASE_LOWER_SINGLE;
2310       break;
2311     case 'u':
2312       p++;
2313       data->type = REPL_TYPE_CHANGE_CASE;
2314       data->change_case = CHANGE_CASE_UPPER_SINGLE;
2315       break;
2316     case 'L':
2317       p++;
2318       data->type = REPL_TYPE_CHANGE_CASE;
2319       data->change_case = CHANGE_CASE_LOWER;
2320       break;
2321     case 'U':
2322       p++;
2323       data->type = REPL_TYPE_CHANGE_CASE;
2324       data->change_case = CHANGE_CASE_UPPER;
2325       break;
2326     case 'E':
2327       p++;
2328       data->type = REPL_TYPE_CHANGE_CASE;
2329       data->change_case = CHANGE_CASE_NONE;
2330       break;
2331     case 'g':
2332       p++;
2333       if (*p != '<')
2334         {
2335           error_detail = _("missing '<' in symbolic reference");
2336           goto error;
2337         }
2338       q = p + 1;
2339       do
2340         {
2341           p++;
2342           if (!*p)
2343             {
2344               error_detail = _("unfinished symbolic reference");
2345               goto error;
2346             }
2347         }
2348       while (*p != '>');
2349       if (p - q == 0)
2350         {
2351           error_detail = _("zero-length symbolic reference");
2352           goto error;
2353         }
2354       if (g_ascii_isdigit (*q))
2355         {
2356           x = 0;
2357           do
2358             {
2359               h = g_ascii_digit_value (*q);
2360               if (h < 0)
2361                 {
2362                   error_detail = _("digit expected");
2363                   p = q;
2364                   goto error;
2365                 }
2366               x = x * 10 + h;
2367               q++;
2368             }
2369           while (q != p);
2370           data->num = x;
2371           data->type = REPL_TYPE_NUMERIC_REFERENCE;
2372         }
2373       else
2374         {
2375           r = q;
2376           do
2377             {
2378               if (!g_ascii_isalnum (*r))
2379                 {
2380                   error_detail = _("illegal symbolic reference");
2381                   p = r;
2382                   goto error;
2383                 }
2384               r++;
2385             }
2386           while (r != p);
2387           data->text = g_strndup (q, p - q);
2388           data->type = REPL_TYPE_SYMBOLIC_REFERENCE;
2389         }
2390       p++;
2391       break;
2392     case '0':
2393       /* if \0 is followed by a number is an octal number representing a
2394        * character, else it is a numeric reference. */
2395       if (g_ascii_digit_value (*g_utf8_next_char (p)) >= 0)
2396         {
2397           base = 8;
2398           p = g_utf8_next_char (p);
2399         }
2400     case '1':
2401     case '2':
2402     case '3':
2403     case '4':
2404     case '5':
2405     case '6':
2406     case '7':
2407     case '8':
2408     case '9':
2409       x = 0;
2410       d = 0;
2411       for (i = 0; i < 3; i++)
2412         {
2413           h = g_ascii_digit_value (*p);
2414           if (h < 0)
2415             break;
2416           if (h > 7)
2417             {
2418               if (base == 8)
2419                 break;
2420               else
2421                 base = 10;
2422             }
2423           if (i == 2 && base == 10)
2424             break;
2425           x = x * 8 + h;
2426           d = d * 10 + h;
2427           p++;
2428         }
2429       if (base == 8 || i == 3)
2430         {
2431           data->type = REPL_TYPE_STRING;
2432           data->text = g_new0 (gchar, 8);
2433           g_unichar_to_utf8 (x, data->text);
2434         }
2435       else
2436         {
2437           data->type = REPL_TYPE_NUMERIC_REFERENCE;
2438           data->num = d;
2439         }
2440       break;
2441     case 0:
2442       error_detail = _("stray final '\\'");
2443       goto error;
2444       break;
2445     default:
2446       error_detail = _("unknown escape sequence");
2447       goto error;
2448     }
2449
2450   return p;
2451
2452  error:
2453   /* G_GSSIZE_FORMAT doesn't work with gettext, so we use %lu */
2454   tmp_error = g_error_new (G_REGEX_ERROR,
2455                            G_REGEX_ERROR_REPLACE,
2456                            _("Error while parsing replacement "
2457                              "text \"%s\" at char %lu: %s"),
2458                            replacement,
2459                            (gulong)(p - replacement),
2460                            error_detail);
2461   g_propagate_error (error, tmp_error);
2462
2463   return NULL;
2464 }
2465
2466 static GList *
2467 split_replacement (const gchar  *replacement,
2468                    GError      **error)
2469 {
2470   GList *list = NULL;
2471   InterpolationData *data;
2472   const gchar *p, *start;
2473
2474   start = p = replacement;
2475   while (*p)
2476     {
2477       if (*p == '\\')
2478         {
2479           data = g_new0 (InterpolationData, 1);
2480           start = p = expand_escape (replacement, p, data, error);
2481           if (p == NULL)
2482             {
2483               g_list_free_full (list, (GDestroyNotify) free_interpolation_data);
2484               free_interpolation_data (data);
2485
2486               return NULL;
2487             }
2488           list = g_list_prepend (list, data);
2489         }
2490       else
2491         {
2492           p++;
2493           if (*p == '\\' || *p == '\0')
2494             {
2495               if (p - start > 0)
2496                 {
2497                   data = g_new0 (InterpolationData, 1);
2498                   data->text = g_strndup (start, p - start);
2499                   data->type = REPL_TYPE_STRING;
2500                   list = g_list_prepend (list, data);
2501                 }
2502             }
2503         }
2504     }
2505
2506   return g_list_reverse (list);
2507 }
2508
2509 /* Change the case of c based on change_case. */
2510 #define CHANGE_CASE(c, change_case) \
2511         (((change_case) & CHANGE_CASE_LOWER_MASK) ? \
2512                 g_unichar_tolower (c) : \
2513                 g_unichar_toupper (c))
2514
2515 static void
2516 string_append (GString     *string,
2517                const gchar *text,
2518                ChangeCase  *change_case)
2519 {
2520   gunichar c;
2521
2522   if (text[0] == '\0')
2523     return;
2524
2525   if (*change_case == CHANGE_CASE_NONE)
2526     {
2527       g_string_append (string, text);
2528     }
2529   else if (*change_case & CHANGE_CASE_SINGLE_MASK)
2530     {
2531       c = g_utf8_get_char (text);
2532       g_string_append_unichar (string, CHANGE_CASE (c, *change_case));
2533       g_string_append (string, g_utf8_next_char (text));
2534       *change_case = CHANGE_CASE_NONE;
2535     }
2536   else
2537     {
2538       while (*text != '\0')
2539         {
2540           c = g_utf8_get_char (text);
2541           g_string_append_unichar (string, CHANGE_CASE (c, *change_case));
2542           text = g_utf8_next_char (text);
2543         }
2544     }
2545 }
2546
2547 static gboolean
2548 interpolate_replacement (const GMatchInfo *match_info,
2549                          GString          *result,
2550                          gpointer          data)
2551 {
2552   GList *list;
2553   InterpolationData *idata;
2554   gchar *match;
2555   ChangeCase change_case = CHANGE_CASE_NONE;
2556
2557   for (list = data; list; list = list->next)
2558     {
2559       idata = list->data;
2560       switch (idata->type)
2561         {
2562         case REPL_TYPE_STRING:
2563           string_append (result, idata->text, &change_case);
2564           break;
2565         case REPL_TYPE_CHARACTER:
2566           g_string_append_c (result, CHANGE_CASE (idata->c, change_case));
2567           if (change_case & CHANGE_CASE_SINGLE_MASK)
2568             change_case = CHANGE_CASE_NONE;
2569           break;
2570         case REPL_TYPE_NUMERIC_REFERENCE:
2571           match = g_match_info_fetch (match_info, idata->num);
2572           if (match)
2573             {
2574               string_append (result, match, &change_case);
2575               g_free (match);
2576             }
2577           break;
2578         case REPL_TYPE_SYMBOLIC_REFERENCE:
2579           match = g_match_info_fetch_named (match_info, idata->text);
2580           if (match)
2581             {
2582               string_append (result, match, &change_case);
2583               g_free (match);
2584             }
2585           break;
2586         case REPL_TYPE_CHANGE_CASE:
2587           change_case = idata->change_case;
2588           break;
2589         }
2590     }
2591
2592   return FALSE;
2593 }
2594
2595 /* whether actual match_info is needed for replacement, i.e.
2596  * whether there are references
2597  */
2598 static gboolean
2599 interpolation_list_needs_match (GList *list)
2600 {
2601   while (list != NULL)
2602     {
2603       InterpolationData *data = list->data;
2604
2605       if (data->type == REPL_TYPE_SYMBOLIC_REFERENCE ||
2606           data->type == REPL_TYPE_NUMERIC_REFERENCE)
2607         {
2608           return TRUE;
2609         }
2610
2611       list = list->next;
2612     }
2613
2614   return FALSE;
2615 }
2616
2617 /**
2618  * g_regex_replace:
2619  * @regex: a #GRegex structure
2620  * @string: (array length=string_len): the string to perform matches against
2621  * @string_len: the length of @string, or -1 if @string is nul-terminated
2622  * @start_position: starting index of the string to match
2623  * @replacement: text to replace each match with
2624  * @match_options: options for the match
2625  * @error: location to store the error occurring, or %NULL to ignore errors
2626  *
2627  * Replaces all occurrences of the pattern in @regex with the
2628  * replacement text. Backreferences of the form '\number' or
2629  * '\g&lt;number&gt;' in the replacement text are interpolated by the
2630  * number-th captured subexpression of the match, '\g&lt;name&gt;' refers
2631  * to the captured subexpression with the given name. '\0' refers to the
2632  * complete match, but '\0' followed by a number is the octal representation
2633  * of a character. To include a literal '\' in the replacement, write '\\'.
2634  * There are also escapes that changes the case of the following text:
2635  *
2636  * <variablelist>
2637  * <varlistentry><term>\l</term>
2638  * <listitem>
2639  * <para>Convert to lower case the next character</para>
2640  * </listitem>
2641  * </varlistentry>
2642  * <varlistentry><term>\u</term>
2643  * <listitem>
2644  * <para>Convert to upper case the next character</para>
2645  * </listitem>
2646  * </varlistentry>
2647  * <varlistentry><term>\L</term>
2648  * <listitem>
2649  * <para>Convert to lower case till \E</para>
2650  * </listitem>
2651  * </varlistentry>
2652  * <varlistentry><term>\U</term>
2653  * <listitem>
2654  * <para>Convert to upper case till \E</para>
2655  * </listitem>
2656  * </varlistentry>
2657  * <varlistentry><term>\E</term>
2658  * <listitem>
2659  * <para>End case modification</para>
2660  * </listitem>
2661  * </varlistentry>
2662  * </variablelist>
2663  *
2664  * If you do not need to use backreferences use g_regex_replace_literal().
2665  *
2666  * The @replacement string must be UTF-8 encoded even if #G_REGEX_RAW was
2667  * passed to g_regex_new(). If you want to use not UTF-8 encoded stings
2668  * you can use g_regex_replace_literal().
2669  *
2670  * Setting @start_position differs from just passing over a shortened
2671  * string and setting #G_REGEX_MATCH_NOTBOL in the case of a pattern that
2672  * begins with any kind of lookbehind assertion, such as "\b".
2673  *
2674  * Returns: a newly allocated string containing the replacements
2675  *
2676  * Since: 2.14
2677  */
2678 gchar *
2679 g_regex_replace (const GRegex      *regex,
2680                  const gchar       *string,
2681                  gssize             string_len,
2682                  gint               start_position,
2683                  const gchar       *replacement,
2684                  GRegexMatchFlags   match_options,
2685                  GError           **error)
2686 {
2687   gchar *result;
2688   GList *list;
2689   GError *tmp_error = NULL;
2690
2691   g_return_val_if_fail (regex != NULL, NULL);
2692   g_return_val_if_fail (string != NULL, NULL);
2693   g_return_val_if_fail (start_position >= 0, NULL);
2694   g_return_val_if_fail (replacement != NULL, NULL);
2695   g_return_val_if_fail (error == NULL || *error == NULL, NULL);
2696   g_return_val_if_fail ((match_options & ~G_REGEX_MATCH_MASK) == 0, NULL);
2697
2698   list = split_replacement (replacement, &tmp_error);
2699   if (tmp_error != NULL)
2700     {
2701       g_propagate_error (error, tmp_error);
2702       return NULL;
2703     }
2704
2705   result = g_regex_replace_eval (regex,
2706                                  string, string_len, start_position,
2707                                  match_options,
2708                                  interpolate_replacement,
2709                                  (gpointer)list,
2710                                  &tmp_error);
2711   if (tmp_error != NULL)
2712     g_propagate_error (error, tmp_error);
2713
2714   g_list_free_full (list, (GDestroyNotify) free_interpolation_data);
2715
2716   return result;
2717 }
2718
2719 static gboolean
2720 literal_replacement (const GMatchInfo *match_info,
2721                      GString          *result,
2722                      gpointer          data)
2723 {
2724   g_string_append (result, data);
2725   return FALSE;
2726 }
2727
2728 /**
2729  * g_regex_replace_literal:
2730  * @regex: a #GRegex structure
2731  * @string: (array length=string_len): the string to perform matches against
2732  * @string_len: the length of @string, or -1 if @string is nul-terminated
2733  * @start_position: starting index of the string to match
2734  * @replacement: text to replace each match with
2735  * @match_options: options for the match
2736  * @error: location to store the error occurring, or %NULL to ignore errors
2737  *
2738  * Replaces all occurrences of the pattern in @regex with the
2739  * replacement text. @replacement is replaced literally, to
2740  * include backreferences use g_regex_replace().
2741  *
2742  * Setting @start_position differs from just passing over a
2743  * shortened string and setting #G_REGEX_MATCH_NOTBOL in the
2744  * case of a pattern that begins with any kind of lookbehind
2745  * assertion, such as "\b".
2746  *
2747  * Returns: a newly allocated string containing the replacements
2748  *
2749  * Since: 2.14
2750  */
2751 gchar *
2752 g_regex_replace_literal (const GRegex      *regex,
2753                          const gchar       *string,
2754                          gssize             string_len,
2755                          gint               start_position,
2756                          const gchar       *replacement,
2757                          GRegexMatchFlags   match_options,
2758                          GError           **error)
2759 {
2760   g_return_val_if_fail (replacement != NULL, NULL);
2761   g_return_val_if_fail ((match_options & ~G_REGEX_MATCH_MASK) == 0, NULL);
2762
2763   return g_regex_replace_eval (regex,
2764                                string, string_len, start_position,
2765                                match_options,
2766                                literal_replacement,
2767                                (gpointer)replacement,
2768                                error);
2769 }
2770
2771 /**
2772  * g_regex_replace_eval:
2773  * @regex: a #GRegex structure from g_regex_new()
2774  * @string: (array length=string_len): string to perform matches against
2775  * @string_len: the length of @string, or -1 if @string is nul-terminated
2776  * @start_position: starting index of the string to match
2777  * @match_options: options for the match
2778  * @eval: a function to call for each match
2779  * @user_data: user data to pass to the function
2780  * @error: location to store the error occurring, or %NULL to ignore errors
2781  *
2782  * Replaces occurrences of the pattern in regex with the output of
2783  * @eval for that occurrence.
2784  *
2785  * Setting @start_position differs from just passing over a shortened
2786  * string and setting #G_REGEX_MATCH_NOTBOL in the case of a pattern
2787  * that begins with any kind of lookbehind assertion, such as "\b".
2788  *
2789  * The following example uses g_regex_replace_eval() to replace multiple
2790  * strings at once:
2791  * |[
2792  * static gboolean
2793  * eval_cb (const GMatchInfo *info,
2794  *          GString          *res,
2795  *          gpointer          data)
2796  * {
2797  *   gchar *match;
2798  *   gchar *r;
2799  *
2800  *    match = g_match_info_fetch (info, 0);
2801  *    r = g_hash_table_lookup ((GHashTable *)data, match);
2802  *    g_string_append (res, r);
2803  *    g_free (match);
2804  *
2805  *    return FALSE;
2806  * }
2807  *
2808  * /&ast; ... &ast;/
2809  *
2810  * GRegex *reg;
2811  * GHashTable *h;
2812  * gchar *res;
2813  *
2814  * h = g_hash_table_new (g_str_hash, g_str_equal);
2815  *
2816  * g_hash_table_insert (h, "1", "ONE");
2817  * g_hash_table_insert (h, "2", "TWO");
2818  * g_hash_table_insert (h, "3", "THREE");
2819  * g_hash_table_insert (h, "4", "FOUR");
2820  *
2821  * reg = g_regex_new ("1|2|3|4", 0, 0, NULL);
2822  * res = g_regex_replace_eval (reg, text, -1, 0, 0, eval_cb, h, NULL);
2823  * g_hash_table_destroy (h);
2824  *
2825  * /&ast; ... &ast;/
2826  * ]|
2827  *
2828  * Returns: a newly allocated string containing the replacements
2829  *
2830  * Since: 2.14
2831  */
2832 gchar *
2833 g_regex_replace_eval (const GRegex        *regex,
2834                       const gchar         *string,
2835                       gssize               string_len,
2836                       gint                 start_position,
2837                       GRegexMatchFlags     match_options,
2838                       GRegexEvalCallback   eval,
2839                       gpointer             user_data,
2840                       GError             **error)
2841 {
2842   GMatchInfo *match_info;
2843   GString *result;
2844   gint str_pos = 0;
2845   gboolean done = FALSE;
2846   GError *tmp_error = NULL;
2847
2848   g_return_val_if_fail (regex != NULL, NULL);
2849   g_return_val_if_fail (string != NULL, NULL);
2850   g_return_val_if_fail (start_position >= 0, NULL);
2851   g_return_val_if_fail (eval != NULL, NULL);
2852   g_return_val_if_fail ((match_options & ~G_REGEX_MATCH_MASK) == 0, NULL);
2853
2854   if (string_len < 0)
2855     string_len = strlen (string);
2856
2857   result = g_string_sized_new (string_len);
2858
2859   /* run down the string making matches. */
2860   g_regex_match_full (regex, string, string_len, start_position,
2861                       match_options, &match_info, &tmp_error);
2862   while (!done && g_match_info_matches (match_info))
2863     {
2864       g_string_append_len (result,
2865                            string + str_pos,
2866                            match_info->offsets[0] - str_pos);
2867       done = (*eval) (match_info, result, user_data);
2868       str_pos = match_info->offsets[1];
2869       g_match_info_next (match_info, &tmp_error);
2870     }
2871   g_match_info_free (match_info);
2872   if (tmp_error != NULL)
2873     {
2874       g_propagate_error (error, tmp_error);
2875       g_string_free (result, TRUE);
2876       return NULL;
2877     }
2878
2879   g_string_append_len (result, string + str_pos, string_len - str_pos);
2880   return g_string_free (result, FALSE);
2881 }
2882
2883 /**
2884  * g_regex_check_replacement:
2885  * @replacement: the replacement string
2886  * @has_references: (out) (allow-none): location to store information about
2887  *   references in @replacement or %NULL
2888  * @error: location to store error
2889  *
2890  * Checks whether @replacement is a valid replacement string
2891  * (see g_regex_replace()), i.e. that all escape sequences in
2892  * it are valid.
2893  *
2894  * If @has_references is not %NULL then @replacement is checked
2895  * for pattern references. For instance, replacement text 'foo\n'
2896  * does not contain references and may be evaluated without information
2897  * about actual match, but '\0\1' (whole match followed by first
2898  * subpattern) requires valid #GMatchInfo object.
2899  *
2900  * Returns: whether @replacement is a valid replacement string
2901  *
2902  * Since: 2.14
2903  */
2904 gboolean
2905 g_regex_check_replacement (const gchar  *replacement,
2906                            gboolean     *has_references,
2907                            GError      **error)
2908 {
2909   GList *list;
2910   GError *tmp = NULL;
2911
2912   list = split_replacement (replacement, &tmp);
2913
2914   if (tmp)
2915   {
2916     g_propagate_error (error, tmp);
2917     return FALSE;
2918   }
2919
2920   if (has_references)
2921     *has_references = interpolation_list_needs_match (list);
2922
2923   g_list_free_full (list, (GDestroyNotify) free_interpolation_data);
2924
2925   return TRUE;
2926 }
2927
2928 /**
2929  * g_regex_escape_nul:
2930  * @string: the string to escape
2931  * @length: the length of @string
2932  *
2933  * Escapes the nul characters in @string to "\x00".  It can be used
2934  * to compile a regex with embedded nul characters.
2935  *
2936  * For completeness, @length can be -1 for a nul-terminated string.
2937  * In this case the output string will be of course equal to @string.
2938  *
2939  * Returns: a newly-allocated escaped string
2940  *
2941  * Since: 2.30
2942  */
2943 gchar *
2944 g_regex_escape_nul (const gchar *string,
2945                     gint         length)
2946 {
2947   GString *escaped;
2948   const gchar *p, *piece_start, *end;
2949   gint backslashes;
2950
2951   g_return_val_if_fail (string != NULL, NULL);
2952
2953   if (length < 0)
2954     return g_strdup (string);
2955
2956   end = string + length;
2957   p = piece_start = string;
2958   escaped = g_string_sized_new (length + 1);
2959
2960   backslashes = 0;
2961   while (p < end)
2962     {
2963       switch (*p)
2964         {
2965         case '\0':
2966           if (p != piece_start)
2967             {
2968               /* copy the previous piece. */
2969               g_string_append_len (escaped, piece_start, p - piece_start);
2970             }
2971           if ((backslashes & 1) == 0)
2972             g_string_append_c (escaped, '\\');
2973           g_string_append_c (escaped, 'x');
2974           g_string_append_c (escaped, '0');
2975           g_string_append_c (escaped, '0');
2976           piece_start = ++p;
2977           backslashes = 0;
2978           break;
2979         case '\\':
2980           backslashes++;
2981           ++p;
2982           break;
2983         default:
2984           backslashes = 0;
2985           p = g_utf8_next_char (p);
2986           break;
2987         }
2988     }
2989
2990   if (piece_start < end)
2991     g_string_append_len (escaped, piece_start, end - piece_start);
2992
2993   return g_string_free (escaped, FALSE);
2994 }
2995
2996 /**
2997  * g_regex_escape_string:
2998  * @string: (array length=length): the string to escape
2999  * @length: the length of @string, or -1 if @string is nul-terminated
3000  *
3001  * Escapes the special characters used for regular expressions
3002  * in @string, for instance "a.b*c" becomes "a\.b\*c". This
3003  * function is useful to dynamically generate regular expressions.
3004  *
3005  * @string can contain nul characters that are replaced with "\0",
3006  * in this case remember to specify the correct length of @string
3007  * in @length.
3008  *
3009  * Returns: a newly-allocated escaped string
3010  *
3011  * Since: 2.14
3012  */
3013 gchar *
3014 g_regex_escape_string (const gchar *string,
3015                        gint         length)
3016 {
3017   GString *escaped;
3018   const char *p, *piece_start, *end;
3019
3020   g_return_val_if_fail (string != NULL, NULL);
3021
3022   if (length < 0)
3023     length = strlen (string);
3024
3025   end = string + length;
3026   p = piece_start = string;
3027   escaped = g_string_sized_new (length + 1);
3028
3029   while (p < end)
3030     {
3031       switch (*p)
3032         {
3033         case '\0':
3034         case '\\':
3035         case '|':
3036         case '(':
3037         case ')':
3038         case '[':
3039         case ']':
3040         case '{':
3041         case '}':
3042         case '^':
3043         case '$':
3044         case '*':
3045         case '+':
3046         case '?':
3047         case '.':
3048           if (p != piece_start)
3049             /* copy the previous piece. */
3050             g_string_append_len (escaped, piece_start, p - piece_start);
3051           g_string_append_c (escaped, '\\');
3052           if (*p == '\0')
3053             g_string_append_c (escaped, '0');
3054           else
3055             g_string_append_c (escaped, *p);
3056           piece_start = ++p;
3057           break;
3058         default:
3059           p = g_utf8_next_char (p);
3060           break;
3061         }
3062   }
3063
3064   if (piece_start < end)
3065     g_string_append_len (escaped, piece_start, end - piece_start);
3066
3067   return g_string_free (escaped, FALSE);
3068 }