Add GRegex for regular expression matching. (#50075)
[platform/upstream/glib.git] / glib / pcre / pcre_internal.h
1 /*************************************************
2 *      Perl-Compatible Regular Expressions       *
3 *************************************************/
4
5
6 /* PCRE is a library of functions to support regular expressions whose syntax
7 and semantics are as close as possible to those of the Perl 5 language.
8
9                        Written by Philip Hazel
10            Copyright (c) 1997-2006 University of Cambridge
11
12 -----------------------------------------------------------------------------
13 Redistribution and use in source and binary forms, with or without
14 modification, are permitted provided that the following conditions are met:
15
16     * Redistributions of source code must retain the above copyright notice,
17       this list of conditions and the following disclaimer.
18
19     * Redistributions in binary form must reproduce the above copyright
20       notice, this list of conditions and the following disclaimer in the
21       documentation and/or other materials provided with the distribution.
22
23     * Neither the name of the University of Cambridge nor the names of its
24       contributors may be used to endorse or promote products derived from
25       this software without specific prior written permission.
26
27 THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS"
28 AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
29 IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
30 ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR CONTRIBUTORS BE
31 LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
32 CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
33 SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
34 INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
35 CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
36 ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE
37 POSSIBILITY OF SUCH DAMAGE.
38 -----------------------------------------------------------------------------
39 */
40
41 /* This header contains definitions that are shared between the different
42 modules, but which are not relevant to the exported API. This includes some
43 functions whose names all begin with "_pcre_". */
44
45 #ifndef PCRE_INTERNAL_H
46 #define PCRE_INTERNAL_H
47
48 /* Define DEBUG to get debugging output on stdout. */
49
50 #if 0
51 #define DEBUG
52 #endif
53
54 /* Use a macro for debugging printing, 'cause that eliminates the use of #ifdef
55 inline, and there are *still* stupid compilers about that don't like indented
56 pre-processor statements, or at least there were when I first wrote this. After
57 all, it had only been about 10 years then...
58
59 It turns out that the Mac Debugging.h header also defines the macro DPRINTF, so
60 be absolutely sure we get our version. */
61
62 #undef DPRINTF
63 #ifdef DEBUG
64 #define DPRINTF(p) printf p
65 #else
66 #define DPRINTF(p) /* Nothing */
67 #endif
68
69
70 /* Get the definitions provided by running "configure" */
71
72 #include "config.h"
73
74 /* Standard C headers plus the external interface definition. The only time
75 setjmp and stdarg are used is when NO_RECURSE is set. */
76
77 #include <ctype.h>
78 #include <limits.h>
79 #include <setjmp.h>
80 #include <stdarg.h>
81 #include <stddef.h>
82 #include <stdio.h>
83 #include <stdlib.h>
84 #include <string.h>
85
86 #ifndef PCRE_SPY
87 #define PCRE_DEFINITION       /* Win32 __declspec(export) trigger for .dll */
88 #endif
89
90 /* We need to have types that specify unsigned 16-bit and 32-bit integers. We
91 cannot determine these outside the compilation (e.g. by running a program as
92 part of "configure") because PCRE is often cross-compiled for use on other
93 systems. Instead we make use of the maximum sizes that are available at
94 preprocessor time in standard C environments. */
95
96 #if USHRT_MAX == 65535
97   typedef unsigned short pcre_uint16;
98 #elif UINT_MAX == 65535
99   typedef unsigned int pcre_uint16;
100 #else
101   #error Cannot determine a type for 16-bit unsigned integers
102 #endif
103
104 #if UINT_MAX == 4294967295
105   typedef unsigned int pcre_uint32;
106 #elif ULONG_MAX == 4294967295
107   typedef unsigned long int pcre_uint32;
108 #else
109   #error Cannot determine a type for 32-bit unsigned integers
110 #endif
111
112 /* All character handling must be done as unsigned characters. Otherwise there
113 are problems with top-bit-set characters and functions such as isspace().
114 However, we leave the interface to the outside world as char *, because that
115 should make things easier for callers. We define a short type for unsigned char
116 to save lots of typing. I tried "uchar", but it causes problems on Digital
117 Unix, where it is defined in sys/types, so use "uschar" instead. */
118
119 typedef unsigned char uschar;
120
121 /* This is an unsigned int value that no character can ever have. UTF-8
122 characters only go up to 0x7fffffff (though Unicode doesn't go beyond
123 0x0010ffff). */
124
125 #define NOTACHAR 0xffffffff
126
127 /* PCRE is able to support several different kinds of newline (CR, LF, CRLF,
128 and "all" at present). The following macros are used to package up testing for
129 newlines. NLBLOCK, PSSTART, and PSEND are defined in the various modules to
130 indicate in which datablock the parameters exist, and what the start/end of
131 string field names are. */
132
133 #define NLTYPE_FIXED   0     /* Newline is a fixed length string */
134 #define NLTYPE_ANY     1     /* Newline is any Unicode line ending */
135
136 /* This macro checks for a newline at the given position */
137
138 #define IS_NEWLINE(p) \
139   ((NLBLOCK->nltype != NLTYPE_FIXED)? \
140     ((p) < NLBLOCK->PSEND && \
141      _pcre_is_newline((p), NLBLOCK->PSEND, &(NLBLOCK->nllen), utf8) \
142     ) \
143     : \
144     ((p) <= NLBLOCK->PSEND - NLBLOCK->nllen && \
145      (p)[0] == NLBLOCK->nl[0] && \
146      (NLBLOCK->nllen == 1 || (p)[1] == NLBLOCK->nl[1]) \
147     ) \
148   )
149
150 /* This macro checks for a newline immediately preceding the given position */
151
152 #define WAS_NEWLINE(p) \
153   ((NLBLOCK->nltype != NLTYPE_FIXED)? \
154     ((p) > NLBLOCK->PSSTART && \
155      _pcre_was_newline((p), NLBLOCK->PSSTART, &(NLBLOCK->nllen), utf8) \
156     ) \
157     : \
158     ((p) >= NLBLOCK->PSSTART + NLBLOCK->nllen && \
159      (p)[-NLBLOCK->nllen] == NLBLOCK->nl[0] && \
160      (NLBLOCK->nllen == 1 || (p)[-NLBLOCK->nllen+1] == NLBLOCK->nl[1]) \
161     ) \
162   )
163
164 /* When PCRE is compiled as a C++ library, the subject pointer can be replaced
165 with a custom type. This makes it possible, for example, to allow pcre_exec()
166 to process subject strings that are discontinuous by using a smart pointer
167 class. It must always be possible to inspect all of the subject string in
168 pcre_exec() because of the way it backtracks. Two macros are required in the
169 normal case, for sign-unspecified and unsigned char pointers. The former is
170 used for the external interface and appears in pcre.h, which is why its name
171 must begin with PCRE_. */
172
173 #ifdef CUSTOM_SUBJECT_PTR
174 #define PCRE_SPTR CUSTOM_SUBJECT_PTR
175 #define USPTR CUSTOM_SUBJECT_PTR
176 #else
177 #define PCRE_SPTR const char *
178 #define USPTR const unsigned char *
179 #endif
180
181 /* Include the public PCRE header and the definitions of UCP character property
182 values. */
183
184 #include "pcre.h"
185 #include "ucp.h"
186
187 /* When compiling for use with the Virtual Pascal compiler, these functions
188 need to have their names changed. PCRE must be compiled with the -DVPCOMPAT
189 option on the command line. */
190
191 #ifdef VPCOMPAT
192 #define strncmp(s1,s2,m) _strncmp(s1,s2,m)
193 #define memcpy(d,s,n)    _memcpy(d,s,n)
194 #define memmove(d,s,n)   _memmove(d,s,n)
195 #define memset(s,c,n)    _memset(s,c,n)
196 #else  /* VPCOMPAT */
197
198 /* To cope with SunOS4 and other systems that lack memmove() but have bcopy(),
199 define a macro for memmove() if HAVE_MEMMOVE is false, provided that HAVE_BCOPY
200 is set. Otherwise, include an emulating function for those systems that have
201 neither (there some non-Unix environments where this is the case). This assumes
202 that all calls to memmove are moving strings upwards in store, which is the
203 case in PCRE. */
204
205 #if ! HAVE_MEMMOVE
206 #undef  memmove        /* some systems may have a macro */
207 #if HAVE_BCOPY
208 #define memmove(a, b, c) bcopy(b, a, c)
209 #else  /* HAVE_BCOPY */
210 static void *
211 pcre_memmove(unsigned char *dest, const unsigned char *src, size_t n)
212 {
213 size_t i;
214 dest += n;
215 src += n;
216 for (i = 0; i < n; ++i) *(--dest) =  *(--src);
217 return dest;
218 }
219 #define memmove(a, b, c) pcre_memmove(a, b, c)
220 #endif   /* not HAVE_BCOPY */
221 #endif   /* not HAVE_MEMMOVE */
222 #endif   /* not VPCOMPAT */
223
224
225 /* PCRE keeps offsets in its compiled code as 2-byte quantities (always stored
226 in big-endian order) by default. These are used, for example, to link from the
227 start of a subpattern to its alternatives and its end. The use of 2 bytes per
228 offset limits the size of the compiled regex to around 64K, which is big enough
229 for almost everybody. However, I received a request for an even bigger limit.
230 For this reason, and also to make the code easier to maintain, the storing and
231 loading of offsets from the byte string is now handled by the macros that are
232 defined here.
233
234 The macros are controlled by the value of LINK_SIZE. This defaults to 2 in
235 the config.h file, but can be overridden by using -D on the command line. This
236 is automated on Unix systems via the "configure" command. */
237
238 #if LINK_SIZE == 2
239
240 #define PUT(a,n,d)   \
241   (a[n] = (d) >> 8), \
242   (a[(n)+1] = (d) & 255)
243
244 #define GET(a,n) \
245   (((a)[n] << 8) | (a)[(n)+1])
246
247 #define MAX_PATTERN_SIZE (1 << 16)
248
249
250 #elif LINK_SIZE == 3
251
252 #define PUT(a,n,d)       \
253   (a[n] = (d) >> 16),    \
254   (a[(n)+1] = (d) >> 8), \
255   (a[(n)+2] = (d) & 255)
256
257 #define GET(a,n) \
258   (((a)[n] << 16) | ((a)[(n)+1] << 8) | (a)[(n)+2])
259
260 #define MAX_PATTERN_SIZE (1 << 24)
261
262
263 #elif LINK_SIZE == 4
264
265 #define PUT(a,n,d)        \
266   (a[n] = (d) >> 24),     \
267   (a[(n)+1] = (d) >> 16), \
268   (a[(n)+2] = (d) >> 8),  \
269   (a[(n)+3] = (d) & 255)
270
271 #define GET(a,n) \
272   (((a)[n] << 24) | ((a)[(n)+1] << 16) | ((a)[(n)+2] << 8) | (a)[(n)+3])
273
274 #define MAX_PATTERN_SIZE (1 << 30)   /* Keep it positive */
275
276
277 #else
278 #error LINK_SIZE must be either 2, 3, or 4
279 #endif
280
281
282 /* Convenience macro defined in terms of the others */
283
284 #define PUTINC(a,n,d)   PUT(a,n,d), a += LINK_SIZE
285
286
287 /* PCRE uses some other 2-byte quantities that do not change when the size of
288 offsets changes. There are used for repeat counts and for other things such as
289 capturing parenthesis numbers in back references. */
290
291 #define PUT2(a,n,d)   \
292   a[n] = (d) >> 8; \
293   a[(n)+1] = (d) & 255
294
295 #define GET2(a,n) \
296   (((a)[n] << 8) | (a)[(n)+1])
297
298 #define PUT2INC(a,n,d)  PUT2(a,n,d), a += 2
299
300
301 /* When UTF-8 encoding is being used, a character is no longer just a single
302 byte. The macros for character handling generate simple sequences when used in
303 byte-mode, and more complicated ones for UTF-8 characters. */
304
305 #ifndef SUPPORT_UTF8
306 #define GETCHAR(c, eptr) c = *eptr;
307 #define GETCHARTEST(c, eptr) c = *eptr;
308 #define GETCHARINC(c, eptr) c = *eptr++;
309 #define GETCHARINCTEST(c, eptr) c = *eptr++;
310 #define GETCHARLEN(c, eptr, len) c = *eptr;
311 #define BACKCHAR(eptr)
312
313 #else   /* SUPPORT_UTF8 */
314
315 /* Get the next UTF-8 character, not advancing the pointer. This is called when
316 we know we are in UTF-8 mode. */
317
318 #define GETCHAR(c, eptr) \
319   c = *eptr; \
320   if (c >= 0xc0) \
321     { \
322     int gcii; \
323     int gcaa = _pcre_utf8_table4[c & 0x3f];  /* Number of additional bytes */ \
324     int gcss = 6*gcaa; \
325     c = (c & _pcre_utf8_table3[gcaa]) << gcss; \
326     for (gcii = 1; gcii <= gcaa; gcii++) \
327       { \
328       gcss -= 6; \
329       c |= (eptr[gcii] & 0x3f) << gcss; \
330       } \
331     }
332
333 /* Get the next UTF-8 character, testing for UTF-8 mode, and not advancing the
334 pointer. */
335
336 #define GETCHARTEST(c, eptr) \
337   c = *eptr; \
338   if (utf8 && c >= 0xc0) \
339     { \
340     int gcii; \
341     int gcaa = _pcre_utf8_table4[c & 0x3f];  /* Number of additional bytes */ \
342     int gcss = 6*gcaa; \
343     c = (c & _pcre_utf8_table3[gcaa]) << gcss; \
344     for (gcii = 1; gcii <= gcaa; gcii++) \
345       { \
346       gcss -= 6; \
347       c |= (eptr[gcii] & 0x3f) << gcss; \
348       } \
349     }
350
351 /* Get the next UTF-8 character, advancing the pointer. This is called when we
352 know we are in UTF-8 mode. */
353
354 #define GETCHARINC(c, eptr) \
355   c = *eptr++; \
356   if (c >= 0xc0) \
357     { \
358     int gcaa = _pcre_utf8_table4[c & 0x3f];  /* Number of additional bytes */ \
359     int gcss = 6*gcaa; \
360     c = (c & _pcre_utf8_table3[gcaa]) << gcss; \
361     while (gcaa-- > 0) \
362       { \
363       gcss -= 6; \
364       c |= (*eptr++ & 0x3f) << gcss; \
365       } \
366     }
367
368 /* Get the next character, testing for UTF-8 mode, and advancing the pointer */
369
370 #define GETCHARINCTEST(c, eptr) \
371   c = *eptr++; \
372   if (utf8 && c >= 0xc0) \
373     { \
374     int gcaa = _pcre_utf8_table4[c & 0x3f];  /* Number of additional bytes */ \
375     int gcss = 6*gcaa; \
376     c = (c & _pcre_utf8_table3[gcaa]) << gcss; \
377     while (gcaa-- > 0) \
378       { \
379       gcss -= 6; \
380       c |= (*eptr++ & 0x3f) << gcss; \
381       } \
382     }
383
384 /* Get the next UTF-8 character, not advancing the pointer, incrementing length
385 if there are extra bytes. This is called when we know we are in UTF-8 mode. */
386
387 #define GETCHARLEN(c, eptr, len) \
388   c = *eptr; \
389   if (c >= 0xc0) \
390     { \
391     int gcii; \
392     int gcaa = _pcre_utf8_table4[c & 0x3f];  /* Number of additional bytes */ \
393     int gcss = 6*gcaa; \
394     c = (c & _pcre_utf8_table3[gcaa]) << gcss; \
395     for (gcii = 1; gcii <= gcaa; gcii++) \
396       { \
397       gcss -= 6; \
398       c |= (eptr[gcii] & 0x3f) << gcss; \
399       } \
400     len += gcaa; \
401     }
402
403 /* If the pointer is not at the start of a character, move it back until
404 it is. Called only in UTF-8 mode. */
405
406 #define BACKCHAR(eptr) while((*eptr & 0xc0) == 0x80) eptr--;
407
408 #endif
409
410
411 /* In case there is no definition of offsetof() provided - though any proper
412 Standard C system should have one. */
413
414 #ifndef offsetof
415 #define offsetof(p_type,field) ((size_t)&(((p_type *)0)->field))
416 #endif
417
418
419 /* These are the public options that can change during matching. */
420
421 #define PCRE_IMS (PCRE_CASELESS|PCRE_MULTILINE|PCRE_DOTALL)
422
423 /* Private options flags start at the most significant end of the four bytes.
424 The public options defined in pcre.h start at the least significant end. Make
425 sure they don't overlap! The bits are getting a bit scarce now -- when we run
426 out, there is a dummy word in the structure that could be used for the private
427 bits. */
428
429 #define PCRE_NOPARTIAL     0x80000000  /* can't use partial with this regex */
430 #define PCRE_FIRSTSET      0x40000000  /* first_byte is set */
431 #define PCRE_REQCHSET      0x20000000  /* req_byte is set */
432 #define PCRE_STARTLINE     0x10000000  /* start after \n for multiline */
433 #define PCRE_JCHANGED      0x08000000  /* j option changes within regex */
434
435 /* Options for the "extra" block produced by pcre_study(). */
436
437 #define PCRE_STUDY_MAPPED   0x01     /* a map of starting chars exists */
438
439 /* Masks for identifying the public options that are permitted at compile
440 time, run time, or study time, respectively. */
441
442 #define PCRE_NEWLINE_BITS (PCRE_NEWLINE_CR|PCRE_NEWLINE_LF|PCRE_NEWLINE_ANY)
443
444 #define PUBLIC_OPTIONS \
445   (PCRE_CASELESS|PCRE_EXTENDED|PCRE_ANCHORED|PCRE_MULTILINE| \
446    PCRE_DOTALL|PCRE_DOLLAR_ENDONLY|PCRE_EXTRA|PCRE_UNGREEDY|PCRE_UTF8| \
447    PCRE_NO_AUTO_CAPTURE|PCRE_NO_UTF8_CHECK|PCRE_AUTO_CALLOUT|PCRE_FIRSTLINE| \
448    PCRE_DUPNAMES|PCRE_NEWLINE_BITS)
449
450 #define PUBLIC_EXEC_OPTIONS \
451   (PCRE_ANCHORED|PCRE_NOTBOL|PCRE_NOTEOL|PCRE_NOTEMPTY|PCRE_NO_UTF8_CHECK| \
452    PCRE_PARTIAL|PCRE_NEWLINE_BITS)
453
454 #define PUBLIC_DFA_EXEC_OPTIONS \
455   (PCRE_ANCHORED|PCRE_NOTBOL|PCRE_NOTEOL|PCRE_NOTEMPTY|PCRE_NO_UTF8_CHECK| \
456    PCRE_PARTIAL|PCRE_DFA_SHORTEST|PCRE_DFA_RESTART|PCRE_NEWLINE_BITS)
457
458 #define PUBLIC_STUDY_OPTIONS 0   /* None defined */
459
460 /* Magic number to provide a small check against being handed junk. Also used
461 to detect whether a pattern was compiled on a host of different endianness. */
462
463 #define MAGIC_NUMBER  0x50435245UL   /* 'PCRE' */
464
465 /* Negative values for the firstchar and reqchar variables */
466
467 #define REQ_UNSET (-2)
468 #define REQ_NONE  (-1)
469
470 /* The maximum remaining length of subject we are prepared to search for a
471 req_byte match. */
472
473 #define REQ_BYTE_MAX 1000
474
475 /* Flags added to firstbyte or reqbyte; a "non-literal" item is either a
476 variable-length repeat, or a anything other than literal characters. */
477
478 #define REQ_CASELESS 0x0100    /* indicates caselessness */
479 #define REQ_VARY     0x0200    /* reqbyte followed non-literal item */
480
481 /* Miscellaneous definitions */
482
483 typedef gboolean BOOL;
484
485 /* Escape items that are just an encoding of a particular data value. */
486
487 #ifndef ESC_e
488 #define ESC_e 27
489 #endif
490
491 #ifndef ESC_f
492 #define ESC_f '\f'
493 #endif
494
495 #ifndef ESC_n
496 #define ESC_n '\n'
497 #endif
498
499 #ifndef ESC_r
500 #define ESC_r '\r'
501 #endif
502
503 /* We can't officially use ESC_t because it is a POSIX reserved identifier
504 (presumably because of all the others like size_t). */
505
506 #ifndef ESC_tee
507 #define ESC_tee '\t'
508 #endif
509
510 /* Codes for different types of Unicode property */
511
512 #define PT_ANY        0    /* Any property - matches all chars */
513 #define PT_LAMP       1    /* L& - the union of Lu, Ll, Lt */
514 #define PT_GC         2    /* General characteristic (e.g. L) */
515 #define PT_PC         3    /* Particular characteristic (e.g. Lu) */
516 #define PT_SC         4    /* Script (e.g. Han) */
517
518 /* Flag bits and data types for the extended class (OP_XCLASS) for classes that
519 contain UTF-8 characters with values greater than 255. */
520
521 #define XCL_NOT    0x01    /* Flag: this is a negative class */
522 #define XCL_MAP    0x02    /* Flag: a 32-byte map is present */
523
524 #define XCL_END       0    /* Marks end of individual items */
525 #define XCL_SINGLE    1    /* Single item (one multibyte char) follows */
526 #define XCL_RANGE     2    /* A range (two multibyte chars) follows */
527 #define XCL_PROP      3    /* Unicode property (2-byte property code follows) */
528 #define XCL_NOTPROP   4    /* Unicode inverted property (ditto) */
529
530 /* These are escaped items that aren't just an encoding of a particular data
531 value such as \n. They must have non-zero values, as check_escape() returns
532 their negation. Also, they must appear in the same order as in the opcode
533 definitions below, up to ESC_z. There's a dummy for OP_ANY because it
534 corresponds to "." rather than an escape sequence. The final one must be
535 ESC_REF as subsequent values are used for backreferences (\1, \2, \3, etc).
536 There are two tests in the code for an escape greater than ESC_b and less than
537 ESC_Z to detect the types that may be repeated. These are the types that
538 consume characters. If any new escapes are put in between that don't consume a
539 character, that code will have to change. */
540
541 enum { ESC_A = 1, ESC_G, ESC_B, ESC_b, ESC_D, ESC_d, ESC_S, ESC_s, ESC_W,
542        ESC_w, ESC_dum1, ESC_C, ESC_P, ESC_p, ESC_R, ESC_X, ESC_Z, ESC_z,
543        ESC_E, ESC_Q, ESC_k, ESC_REF };
544
545
546 /* Opcode table: OP_BRA must be last, as all values >= it are used for brackets
547 that extract substrings. Starting from 1 (i.e. after OP_END), the values up to
548 OP_EOD must correspond in order to the list of escapes immediately above.
549
550 To keep stored, compiled patterns compatible, new opcodes should be added
551 immediately before OP_BRA, where (since release 7.0) a gap is left for this
552 purpose.
553
554 *** NOTE NOTE NOTE *** Whenever this list is updated, the two macro definitions
555 that follow must also be updated to match. There is also a table called
556 "coptable" in pcre_dfa_exec.c that must be updated. */
557
558 enum {
559   OP_END,            /* 0 End of pattern */
560
561   /* Values corresponding to backslashed metacharacters */
562
563   OP_SOD,            /* 1 Start of data: \A */
564   OP_SOM,            /* 2 Start of match (subject + offset): \G */
565   OP_NOT_WORD_BOUNDARY,  /*  3 \B */
566   OP_WORD_BOUNDARY,      /*  4 \b */
567   OP_NOT_DIGIT,          /*  5 \D */
568   OP_DIGIT,              /*  6 \d */
569   OP_NOT_WHITESPACE,     /*  7 \S */
570   OP_WHITESPACE,         /*  8 \s */
571   OP_NOT_WORDCHAR,       /*  9 \W */
572   OP_WORDCHAR,           /* 10 \w */
573   OP_ANY,            /* 11 Match any character */
574   OP_ANYBYTE,        /* 12 Match any byte (\C); different to OP_ANY for UTF-8 */
575   OP_NOTPROP,        /* 13 \P (not Unicode property) */
576   OP_PROP,           /* 14 \p (Unicode property) */
577   OP_ANYNL,          /* 15 \R (any newline sequence) */
578   OP_EXTUNI,         /* 16 \X (extended Unicode sequence */
579   OP_EODN,           /* 17 End of data or \n at end of data: \Z. */
580   OP_EOD,            /* 18 End of data: \z */
581
582   OP_OPT,            /* 19 Set runtime options */
583   OP_CIRC,           /* 20 Start of line - varies with multiline switch */
584   OP_DOLL,           /* 21 End of line - varies with multiline switch */
585   OP_CHAR,           /* 22 Match one character, casefully */
586   OP_CHARNC,         /* 23 Match one character, caselessly */
587   OP_NOT,            /* 24 Match one character, not the following one */
588
589   OP_STAR,           /* 25 The maximizing and minimizing versions of */
590   OP_MINSTAR,        /* 26 these six opcodes must come in pairs, with */
591   OP_PLUS,           /* 27 the minimizing one second. */
592   OP_MINPLUS,        /* 28 This first set applies to single characters.*/
593   OP_QUERY,          /* 29 */
594   OP_MINQUERY,       /* 30 */
595
596   OP_UPTO,           /* 31 From 0 to n matches */
597   OP_MINUPTO,        /* 32 */
598   OP_EXACT,          /* 33 Exactly n matches */
599
600   OP_POSSTAR,        /* 34 Possessified star */
601   OP_POSPLUS,        /* 35 Possessified plus */
602   OP_POSQUERY,       /* 36 Posesssified query */
603   OP_POSUPTO,        /* 37 Possessified upto */
604
605   OP_NOTSTAR,        /* 38 The maximizing and minimizing versions of */
606   OP_NOTMINSTAR,     /* 39 these six opcodes must come in pairs, with */
607   OP_NOTPLUS,        /* 40 the minimizing one second. They must be in */
608   OP_NOTMINPLUS,     /* 41 exactly the same order as those above. */
609   OP_NOTQUERY,       /* 42 This set applies to "not" single characters. */
610   OP_NOTMINQUERY,    /* 43 */
611
612   OP_NOTUPTO,        /* 44 From 0 to n matches */
613   OP_NOTMINUPTO,     /* 45 */
614   OP_NOTEXACT,       /* 46 Exactly n matches */
615
616   OP_NOTPOSSTAR,     /* 47 Possessified versions */
617   OP_NOTPOSPLUS,     /* 48 */
618   OP_NOTPOSQUERY,    /* 49 */
619   OP_NOTPOSUPTO,     /* 50 */
620
621   OP_TYPESTAR,       /* 51 The maximizing and minimizing versions of */
622   OP_TYPEMINSTAR,    /* 52 these six opcodes must come in pairs, with */
623   OP_TYPEPLUS,       /* 53 the minimizing one second. These codes must */
624   OP_TYPEMINPLUS,    /* 54 be in exactly the same order as those above. */
625   OP_TYPEQUERY,      /* 55 This set applies to character types such as \d */
626   OP_TYPEMINQUERY,   /* 56 */
627
628   OP_TYPEUPTO,       /* 57 From 0 to n matches */
629   OP_TYPEMINUPTO,    /* 58 */
630   OP_TYPEEXACT,      /* 59 Exactly n matches */
631
632   OP_TYPEPOSSTAR,    /* 60 Possessified versions */
633   OP_TYPEPOSPLUS,    /* 61 */
634   OP_TYPEPOSQUERY,   /* 62 */
635   OP_TYPEPOSUPTO,    /* 63 */
636
637   OP_CRSTAR,         /* 64 The maximizing and minimizing versions of */
638   OP_CRMINSTAR,      /* 65 all these opcodes must come in pairs, with */
639   OP_CRPLUS,         /* 66 the minimizing one second. These codes must */
640   OP_CRMINPLUS,      /* 67 be in exactly the same order as those above. */
641   OP_CRQUERY,        /* 68 These are for character classes and back refs */
642   OP_CRMINQUERY,     /* 69 */
643   OP_CRRANGE,        /* 70 These are different to the three sets above. */
644   OP_CRMINRANGE,     /* 71 */
645
646   OP_CLASS,          /* 72 Match a character class, chars < 256 only */
647   OP_NCLASS,         /* 73 Same, but the bitmap was created from a negative
648                            class - the difference is relevant only when a UTF-8
649                            character > 255 is encountered. */
650
651   OP_XCLASS,         /* 74 Extended class for handling UTF-8 chars within the
652                            class. This does both positive and negative. */
653
654   OP_REF,            /* 75 Match a back reference */
655   OP_RECURSE,        /* 76 Match a numbered subpattern (possibly recursive) */
656   OP_CALLOUT,        /* 77 Call out to external function if provided */
657
658   OP_ALT,            /* 78 Start of alternation */
659   OP_KET,            /* 79 End of group that doesn't have an unbounded repeat */
660   OP_KETRMAX,        /* 80 These two must remain together and in this */
661   OP_KETRMIN,        /* 81 order. They are for groups the repeat for ever. */
662
663   /* The assertions must come before BRA, CBRA, ONCE, and COND.*/
664
665   OP_ASSERT,         /* 82 Positive lookahead */
666   OP_ASSERT_NOT,     /* 83 Negative lookahead */
667   OP_ASSERTBACK,     /* 84 Positive lookbehind */
668   OP_ASSERTBACK_NOT, /* 85 Negative lookbehind */
669   OP_REVERSE,        /* 86 Move pointer back - used in lookbehind assertions */
670
671   /* ONCE, BRA, CBRA, and COND must come after the assertions, with ONCE first,
672   as there's a test for >= ONCE for a subpattern that isn't an assertion. */
673
674   OP_ONCE,           /* 87 Atomic group */
675   OP_BRA,            /* 88 Start of non-capturing bracket */
676   OP_CBRA,           /* 89 Start of capturing bracket */
677   OP_COND,           /* 90 Conditional group */
678
679   /* These three must follow the previous three, in the same order. There's a
680   check for >= SBRA to distinguish the two sets. */
681
682   OP_SBRA,           /* 91 Start of non-capturing bracket, check empty  */
683   OP_SCBRA,          /* 92 Start of capturing bracket, check empty */
684   OP_SCOND,          /* 93 Conditional group, check empty */
685
686   OP_CREF,           /* 94 Used to hold a capture number as condition */
687   OP_RREF,           /* 95 Used to hold a recursion number as condition */
688   OP_DEF,            /* 96 The DEFINE condition */
689
690   OP_BRAZERO,        /* 97 These two must remain together and in this */
691   OP_BRAMINZERO      /* 98 order. */
692 };
693
694
695 /* This macro defines textual names for all the opcodes. These are used only
696 for debugging. The macro is referenced only in pcre_printint.c. */
697
698 #define OP_NAME_LIST \
699   "End", "\\A", "\\G", "\\B", "\\b", "\\D", "\\d",                \
700   "\\S", "\\s", "\\W", "\\w", "Any", "Anybyte",                   \
701   "notprop", "prop", "anynl", "extuni",                           \
702   "\\Z", "\\z",                                                   \
703   "Opt", "^", "$", "char", "charnc", "not",                       \
704   "*", "*?", "+", "+?", "?", "??", "{", "{", "{",                 \
705   "*+","++", "?+", "{",                                           \
706   "*", "*?", "+", "+?", "?", "??", "{", "{", "{",                 \
707   "*+","++", "?+", "{",                                           \
708   "*", "*?", "+", "+?", "?", "??", "{", "{", "{",                 \
709   "*+","++", "?+", "{",                                           \
710   "*", "*?", "+", "+?", "?", "??", "{", "{",                      \
711   "class", "nclass", "xclass", "Ref", "Recurse", "Callout",       \
712   "Alt", "Ket", "KetRmax", "KetRmin", "Assert", "Assert not",     \
713   "AssertB", "AssertB not", "Reverse",                            \
714   "Once", "Bra 0", "Bra", "Cond", "SBra 0", "SBra", "SCond",      \
715   "Cond ref", "Cond rec", "Cond def", "Brazero", "Braminzero"
716
717
718 /* This macro defines the length of fixed length operations in the compiled
719 regex. The lengths are used when searching for specific things, and also in the
720 debugging printing of a compiled regex. We use a macro so that it can be
721 defined close to the definitions of the opcodes themselves.
722
723 As things have been extended, some of these are no longer fixed lenths, but are
724 minima instead. For example, the length of a single-character repeat may vary
725 in UTF-8 mode. The code that uses this table must know about such things. */
726
727 #define OP_LENGTHS \
728   1,                             /* End                                    */ \
729   1, 1, 1, 1, 1, 1, 1, 1, 1, 1,  /* \A, \G, \B, \B, \D, \d, \S, \s, \W, \w */ \
730   1, 1,                          /* Any, Anybyte                           */ \
731   3, 3, 1, 1,                    /* NOTPROP, PROP, EXTUNI, ANYNL           */ \
732   1, 1, 2, 1, 1,                 /* \Z, \z, Opt, ^, $                      */ \
733   2,                             /* Char  - the minimum length             */ \
734   2,                             /* Charnc  - the minimum length           */ \
735   2,                             /* not                                    */ \
736   /* Positive single-char repeats                            ** These are  */ \
737   2, 2, 2, 2, 2, 2,              /* *, *?, +, +?, ?, ??      ** minima in  */ \
738   4, 4, 4,                       /* upto, minupto, exact     ** UTF-8 mode */ \
739   2, 2, 2, 4,                    /* *+, ++, ?+, upto+                      */ \
740   /* Negative single-char repeats - only for chars < 256                   */ \
741   2, 2, 2, 2, 2, 2,              /* NOT *, *?, +, +?, ?, ??                */ \
742   4, 4, 4,                       /* NOT upto, minupto, exact               */ \
743   2, 2, 2, 4,                    /* Possessive *, +, ?, upto               */ \
744   /* Positive type repeats                                                 */ \
745   2, 2, 2, 2, 2, 2,              /* Type *, *?, +, +?, ?, ??               */ \
746   4, 4, 4,                       /* Type upto, minupto, exact              */ \
747   2, 2, 2, 4,                    /* Possessive *+, ++, ?+, upto+           */ \
748   /* Character class & ref repeats                                         */ \
749   1, 1, 1, 1, 1, 1,              /* *, *?, +, +?, ?, ??                    */ \
750   5, 5,                          /* CRRANGE, CRMINRANGE                    */ \
751  33,                             /* CLASS                                  */ \
752  33,                             /* NCLASS                                 */ \
753   0,                             /* XCLASS - variable length               */ \
754   3,                             /* REF                                    */ \
755   1+LINK_SIZE,                   /* RECURSE                                */ \
756   2+2*LINK_SIZE,                 /* CALLOUT                                */ \
757   1+LINK_SIZE,                   /* Alt                                    */ \
758   1+LINK_SIZE,                   /* Ket                                    */ \
759   1+LINK_SIZE,                   /* KetRmax                                */ \
760   1+LINK_SIZE,                   /* KetRmin                                */ \
761   1+LINK_SIZE,                   /* Assert                                 */ \
762   1+LINK_SIZE,                   /* Assert not                             */ \
763   1+LINK_SIZE,                   /* Assert behind                          */ \
764   1+LINK_SIZE,                   /* Assert behind not                      */ \
765   1+LINK_SIZE,                   /* Reverse                                */ \
766   1+LINK_SIZE,                   /* ONCE                                   */ \
767   1+LINK_SIZE,                   /* BRA                                    */ \
768   3+LINK_SIZE,                   /* CBRA                                   */ \
769   1+LINK_SIZE,                   /* COND                                   */ \
770   1+LINK_SIZE,                   /* SBRA                                   */ \
771   3+LINK_SIZE,                   /* SCBRA                                  */ \
772   1+LINK_SIZE,                   /* SCOND                                  */ \
773   3,                             /* CREF                                   */ \
774   3,                             /* RREF                                   */ \
775   1,                             /* DEF                                    */ \
776   1, 1,                          /* BRAZERO, BRAMINZERO                    */ \
777
778
779 /* A magic value for OP_RREF to indicate the "any recursion" condition. */
780
781 #define RREF_ANY  0xffff
782
783 /* Error code numbers. They are given names so that they can more easily be
784 tracked. */
785
786 enum { ERR0,  ERR1,  ERR2,  ERR3,  ERR4,  ERR5,  ERR6,  ERR7,  ERR8,  ERR9,
787        ERR10, ERR11, ERR12, ERR13, ERR14, ERR15, ERR16, ERR17, ERR18, ERR19,
788        ERR20, ERR21, ERR22, ERR23, ERR24, ERR25, ERR26, ERR27, ERR28, ERR29,
789        ERR30, ERR31, ERR32, ERR33, ERR34, ERR35, ERR36, ERR37, ERR38, ERR39,
790        ERR40, ERR41, ERR42, ERR43, ERR44, ERR45, ERR46, ERR47, ERR48, ERR49,
791        ERR50, ERR51, ERR52, ERR53, ERR54, ERR55, ERR56, ERR57 };
792
793 /* The real format of the start of the pcre block; the index of names and the
794 code vector run on as long as necessary after the end. We store an explicit
795 offset to the name table so that if a regex is compiled on one host, saved, and
796 then run on another where the size of pointers is different, all might still
797 be well. For the case of compiled-on-4 and run-on-8, we include an extra
798 pointer that is always NULL. For future-proofing, a few dummy fields were
799 originally included - even though you can never get this planning right - but
800 there is only one left now.
801
802 NOTE NOTE NOTE:
803 Because people can now save and re-use compiled patterns, any additions to this
804 structure should be made at the end, and something earlier (e.g. a new
805 flag in the options or one of the dummy fields) should indicate that the new
806 fields are present. Currently PCRE always sets the dummy fields to zero.
807 NOTE NOTE NOTE:
808 */
809
810 typedef struct real_pcre {
811   pcre_uint32 magic_number;
812   pcre_uint32 size;               /* Total that was malloced */
813   pcre_uint32 options;
814   pcre_uint32 dummy1;             /* For future use, maybe */
815
816   pcre_uint16 top_bracket;
817   pcre_uint16 top_backref;
818   pcre_uint16 first_byte;
819   pcre_uint16 req_byte;
820   pcre_uint16 name_table_offset;  /* Offset to name table that follows */
821   pcre_uint16 name_entry_size;    /* Size of any name items */
822   pcre_uint16 name_count;         /* Number of name items */
823   pcre_uint16 ref_count;          /* Reference count */
824
825   const unsigned char *tables;    /* Pointer to tables or NULL for std */
826   const unsigned char *nullpad;   /* NULL padding */
827 } real_pcre;
828
829 /* The format of the block used to store data from pcre_study(). The same
830 remark (see NOTE above) about extending this structure applies. */
831
832 typedef struct pcre_study_data {
833   pcre_uint32 size;               /* Total that was malloced */
834   pcre_uint32 options;
835   uschar start_bits[32];
836 } pcre_study_data;
837
838 /* Structure for passing "static" information around between the functions
839 doing the compiling, so that they are thread-safe. */
840
841 typedef struct compile_data {
842   const uschar *lcc;            /* Points to lower casing table */
843   const uschar *fcc;            /* Points to case-flipping table */
844   const uschar *cbits;          /* Points to character type table */
845   const uschar *ctypes;         /* Points to table of type maps */
846   const uschar *start_workspace;/* The start of working space */
847   const uschar *start_code;     /* The start of the compiled code */
848   const uschar *start_pattern;  /* The start of the pattern */
849   const uschar *end_pattern;    /* The end of the pattern */
850   uschar *hwm;                  /* High watermark of workspace */
851   uschar *name_table;           /* The name/number table */
852   int  names_found;             /* Number of entries so far */
853   int  name_entry_size;         /* Size of each entry */
854   int  bracount;                /* Count of capturing parens */
855   int  top_backref;             /* Maximum back reference */
856   unsigned int backref_map;     /* Bitmap of low back refs */
857   int  external_options;        /* External (initial) options */
858   int  req_varyopt;             /* "After variable item" flag for reqbyte */
859   BOOL nopartial;               /* Set TRUE if partial won't work */
860   int  nltype;                  /* Newline type */
861   int  nllen;                   /* Newline string length */
862   uschar nl[4];                 /* Newline string when fixed length */
863 } compile_data;
864
865 /* Structure for maintaining a chain of pointers to the currently incomplete
866 branches, for testing for left recursion. */
867
868 typedef struct branch_chain {
869   struct branch_chain *outer;
870   uschar *current;
871 } branch_chain;
872
873 /* Structure for items in a linked list that represents an explicit recursive
874 call within the pattern. */
875
876 typedef struct recursion_info {
877   struct recursion_info *prevrec; /* Previous recursion record (or NULL) */
878   int group_num;                /* Number of group that was called */
879   const uschar *after_call;     /* "Return value": points after the call in the expr */
880   USPTR save_start;             /* Old value of md->start_match */
881   int *offset_save;             /* Pointer to start of saved offsets */
882   int saved_max;                /* Number of saved offsets */
883 } recursion_info;
884
885 /* When compiling in a mode that doesn't use recursive calls to match(),
886 a structure is used to remember local variables on the heap. It is defined in
887 pcre_exec.c, close to the match() function, so that it is easy to keep it in
888 step with any changes of local variable. However, the pointer to the current
889 frame must be saved in some "static" place over a longjmp(). We declare the
890 structure here so that we can put a pointer in the match_data structure. NOTE:
891 This isn't used for a "normal" compilation of pcre. */
892
893 struct heapframe;
894
895 /* Structure for building a chain of data for holding the values of the subject
896 pointer at the start of each subpattern, so as to detect when an empty string
897 has been matched by a subpattern - to break infinite loops. */
898
899 typedef struct eptrblock {
900   struct eptrblock *epb_prev;
901   USPTR epb_saved_eptr;
902 } eptrblock;
903
904
905 /* Structure for passing "static" information around between the functions
906 doing traditional NFA matching, so that they are thread-safe. */
907
908 typedef struct match_data {
909   unsigned long int match_call_count;      /* As it says */
910   unsigned long int match_limit;           /* As it says */
911   unsigned long int match_limit_recursion; /* As it says */
912   int   *offset_vector;         /* Offset vector */
913   int    offset_end;            /* One past the end */
914   int    offset_max;            /* The maximum usable for return data */
915   int    nltype;                /* Newline type */
916   int    nllen;                 /* Newline string length */
917   uschar nl[4];                 /* Newline string when fixed */
918   const uschar *lcc;            /* Points to lower casing table */
919   const uschar *ctypes;         /* Points to table of type maps */
920   BOOL   offset_overflow;       /* Set if too many extractions */
921   BOOL   notbol;                /* NOTBOL flag */
922   BOOL   noteol;                /* NOTEOL flag */
923   BOOL   utf8;                  /* UTF8 flag */
924   BOOL   endonly;               /* Dollar not before final \n */
925   BOOL   notempty;              /* Empty string match not wanted */
926   BOOL   partial;               /* PARTIAL flag */
927   BOOL   hitend;                /* Hit the end of the subject at some point */
928   const uschar *start_code;     /* For use when recursing */
929   USPTR  start_subject;         /* Start of the subject string */
930   USPTR  end_subject;           /* End of the subject string */
931   USPTR  start_match;           /* Start of this match attempt */
932   USPTR  end_match_ptr;         /* Subject position at end match */
933   int    end_offset_top;        /* Highwater mark at end of match */
934   int    capture_last;          /* Most recent capture number */
935   int    start_offset;          /* The start offset value */
936   eptrblock *eptrchain;         /* Chain of eptrblocks for tail recursions */
937   int    eptrn;                 /* Next free eptrblock */
938   recursion_info *recursive;    /* Linked list of recursion data */
939   void  *callout_data;          /* To pass back to callouts */
940   struct heapframe *thisframe;  /* Used only when compiling for no recursion */
941 } match_data;
942
943 /* A similar structure is used for the same purpose by the DFA matching
944 functions. */
945
946 typedef struct dfa_match_data {
947   const uschar *start_code;     /* Start of the compiled pattern */
948   const uschar *start_subject;  /* Start of the subject string */
949   const uschar *end_subject;    /* End of subject string */
950   const uschar *tables;         /* Character tables */
951   int   moptions;               /* Match options */
952   int   poptions;               /* Pattern options */
953   int    nltype;                /* Newline type */
954   int    nllen;                 /* Newline string length */
955   uschar nl[4];                 /* Newline string when fixed */
956   void  *callout_data;          /* To pass back to callouts */
957 } dfa_match_data;
958
959 /* Bit definitions for entries in the pcre_ctypes table. */
960
961 #define ctype_space   0x01
962 #define ctype_letter  0x02
963 #define ctype_digit   0x04
964 #define ctype_xdigit  0x08
965 #define ctype_word    0x10   /* alphameric or '_' */
966 #define ctype_meta    0x80   /* regexp meta char or zero (end pattern) */
967
968 /* Offsets for the bitmap tables in pcre_cbits. Each table contains a set
969 of bits for a class map. Some classes are built by combining these tables. */
970
971 #define cbit_space     0      /* [:space:] or \s */
972 #define cbit_xdigit   32      /* [:xdigit:] */
973 #define cbit_digit    64      /* [:digit:] or \d */
974 #define cbit_upper    96      /* [:upper:] */
975 #define cbit_lower   128      /* [:lower:] */
976 #define cbit_word    160      /* [:word:] or \w */
977 #define cbit_graph   192      /* [:graph:] */
978 #define cbit_print   224      /* [:print:] */
979 #define cbit_punct   256      /* [:punct:] */
980 #define cbit_cntrl   288      /* [:cntrl:] */
981 #define cbit_length  320      /* Length of the cbits table */
982
983 /* Offsets of the various tables from the base tables pointer, and
984 total length. */
985
986 #define lcc_offset      0
987 #define fcc_offset    256
988 #define cbits_offset  512
989 #define ctypes_offset (cbits_offset + cbit_length)
990 #define tables_length (ctypes_offset + 256)
991
992 /* Layout of the UCP type table that translates property names into types and
993 codes. */
994
995 typedef struct {
996   pcre_uint16 offset;
997   pcre_uint16 type;
998   pcre_uint16 value;
999 } ucp_type_table;
1000
1001
1002 /* Internal shared data tables. These are tables that are used by more than one
1003 of the exported public functions. They have to be "external" in the C sense,
1004 but are not part of the PCRE public API. The data for these tables is in the
1005 pcre_tables.c module. */
1006
1007 extern const int    _pcre_utf8_table1[];
1008 extern const int    _pcre_utf8_table2[];
1009 extern const int    _pcre_utf8_table3[];
1010 extern const uschar _pcre_utf8_table4[];
1011
1012 extern const int    _pcre_utf8_table1_size;
1013
1014 extern const char _pcre_ucp_names[];
1015 extern const ucp_type_table _pcre_utt[];
1016 extern const int _pcre_utt_size;
1017
1018 extern const uschar _pcre_default_tables[];
1019
1020 extern const uschar _pcre_OP_lengths[];
1021
1022
1023 /* Internal shared functions. These are functions that are used by more than
1024 one of the exported public functions. They have to be "external" in the C
1025 sense, but are not part of the PCRE public API. */
1026
1027 extern BOOL         _pcre_is_newline(const uschar *, const uschar *, int *,
1028                       BOOL);
1029 extern int          _pcre_ord2utf8(int, uschar *);
1030 extern real_pcre   *_pcre_try_flipped(const real_pcre *, real_pcre *,
1031                       const pcre_study_data *, pcre_study_data *);
1032 extern int          _pcre_ucp_findprop(const unsigned int, int *, int *);
1033 extern unsigned int _pcre_ucp_othercase(const unsigned int);
1034 extern int          _pcre_valid_utf8(const uschar *, int);
1035 extern BOOL         _pcre_was_newline(const uschar *, const uschar *, int *,
1036                       BOOL);
1037 extern BOOL         _pcre_xclass(int, const uschar *);
1038
1039 #endif
1040
1041 /* End of pcre_internal.h */