src/xkbcomp/rules.c

   1 /************************************************************
   2  * Copyright (c) 1996 by Silicon Graphics Computer Systems, Inc.
   3  *
   4  * Permission to use, copy, modify, and distribute this
   5  * software and its documentation for any purpose and without
   6  * fee is hereby granted, provided that the above copyright
   7  * notice appear in all copies and that both that copyright
   8  * notice and this permission notice appear in supporting
   9  * documentation, and that the name of Silicon Graphics not be
  10  * used in advertising or publicity pertaining to distribution
  11  * of the software without specific prior written permission.
  12  * Silicon Graphics makes no representation about the suitability
  13  * of this software for any purpose. It is provided "as is"
  14  * without any express or implied warranty.
  15  *
  16  * SILICON GRAPHICS DISCLAIMS ALL WARRANTIES WITH REGARD TO THIS
  17  * SOFTWARE, INCLUDING ALL IMPLIED WARRANTIES OF MERCHANTABILITY
  18  * AND FITNESS FOR A PARTICULAR PURPOSE. IN NO EVENT SHALL SILICON
  19  * GRAPHICS BE LIABLE FOR ANY SPECIAL, INDIRECT OR CONSEQUENTIAL
  20  * DAMAGES OR ANY DAMAGES WHATSOEVER RESULTING FROM LOSS OF USE,
  21  * DATA OR PROFITS, WHETHER IN AN ACTION OF CONTRACT, NEGLIGENCE
  22  * OR OTHER TORTIOUS ACTION, ARISING OUT OF OR IN CONNECTION  WITH
  23  * THE USE OR PERFORMANCE OF THIS SOFTWARE.
  24  *
  25  ********************************************************/
  26
  27 /*
  28  * Copyright © 2012 Ran Benita <ran234@gmail.com>
  29  *
  30  * Permission is hereby granted, free of charge, to any person obtaining a
  31  * copy of this software and associated documentation files (the "Software"),
  32  * to deal in the Software without restriction, including without limitation
  33  * the rights to use, copy, modify, merge, publish, distribute, sublicense,
  34  * and/or sell copies of the Software, and to permit persons to whom the
  35  * Software is furnished to do so, subject to the following conditions:
  36  *
  37  * The above copyright notice and this permission notice (including the next
  38  * paragraph) shall be included in all copies or substantial portions of the
  39  * Software.
  40  *
  41  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
  42  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  43  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT.  IN NO EVENT SHALL
  44  * THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
  45  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING
  46  * FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER
  47  * DEALINGS IN THE SOFTWARE.
  48  */
  49
  50 #include <stdarg.h>
  51 #include <stdio.h>
  52 #include <ctype.h>
  53 #include <fcntl.h>
  54 #include <unistd.h>
  55 #include <sys/mman.h>
  56 #include <sys/stat.h>
  57 #include <sys/types.h>
  58
  59 #include "xkbcomp-priv.h"
  60 #include "rules.h"
  61 #include "include.h"
  62
  63 /*
  64  * The rules file
  65  * ==============
  66  * The purpose of this file is to map between configuration values that
  67  * are easy for a user to specify and understand, and the configuration
  68  * values xkbcomp uses and understands.
  69  * xkbcomp uses the xkb_component_names struct, which maps directly to
  70  * include statements of the appropriate sections, called for short
  71  * KcCGST (see keycodes.c, types.c, compat.c, symbols.c; geometry.c was
  72  * removed). These are not really intuitive or straight-forward for
  73  * the uninitiated.
  74  * Instead, the user passes in a xkb_rule_names struct, which consists
  75  * of the name of a rules file (in Linux this is usually "evdev"), a
  76  * keyboard model (e.g. "pc105"), a set of layouts (which will end up
  77  * in different groups, e.g. "us,fr"), variants (used to alter/augment
  78  * the respective layout, e.g. "intl,dvorak"), and a set of options
  79  * (used to tweak some general behavior of the keyboard, e.g.
  80  * "ctrl:nocaps,compose:menu" to make the Caps Lock key act like Ctrl
  81  * and the Menu key like Compose). We call these RMLVO.
  82  *
  83  * Format of the file
  84  * ------------------
  85  * The file consists of rule sets, each consisting of rules (one per
  86  * line), which match the MLVO values on the left hand side, and, if
  87  * the values match to the values the user passed in, results in the
  88  * values on the right hand side being added to the resulting KcCGST.
  89  * Since some values are related and repeated often, it is possible
  90  * to group them together and refer to them by a group name in the
  91  * rules.
  92  * Along with matching values by simple string equality, and for
  93  * membership in a group defined previously, rules may also contain
  94  * "wildcard" values - "*" - which always match. These usually appear
  95  * near the end.
  96  *
  97  * Grammer
  98  * -------
  99  * (It might be helpful to look at a file like rules/evdev along with
 100  * this grammer. Comments, whitespace, etc. are not shown.)
 101  *
 102  * File         ::= { "!" (Group | RuleSet) }
 103  *
 104  * Group        ::= GroupName "=" { GroupElement } "\n"
 105  * GroupName    ::= "$"<ident>
 106  * GroupElement ::= <ident>
 107  *
 108  * RuleSet      ::= Mapping { Rule }
 109  *
 110  * Mapping      ::= { Mlvo } "=" { Kccgst } "\n"
 111  * Mlvo         ::= "model" | "option" | ("layout" | "variant") [ Index ]
 112  * Index        ::= "[" 1..XKB_NUM_GROUPS "]"
 113  * Kccgst       ::= "keycodes" | "symbols" | "types" | "compat" | "geometry"
 114  *
 115  * Rule         ::= { MlvoValue } "=" { KccgstValue } "\n"
 116  * MlvoValue    ::= "*" | GroupName | <ident>
 117  * KccgstValue  ::= <ident>
 118  *
 119  * Notes:
 120  * - The order of values in a Rule must be the same as the Mapping it
 121  *   follows. The mapping line determines the meaning of the values in
 122  *   the rules which follow in the RuleSet.
 123  * - If a Rule is matched, %-expansion is performed on the KccgstValue,
 124  *   as follows:
 125  *   %m, %l, %v:
 126  *      The model, layout or variant, if only one was given (e.g.
 127  *      %l for "us,il" is invalid).
 128  *   %l[1], %v[1]:
 129  *      Layout or variant for the specified group Index, if more than
 130  *      one was given (e.g. %l[1] for "us" is invalid).
 131  *   %+m, %+l, %+v, %+l[1], %+v[1]
 132  *      As above, but prefixed with '+'. Similarly, '|', '-', '_' may be
 133  *      used instead of '+'.
 134  *   %(m), %(l), %(l[1]), %(v), %(v[1]):
 135  *      As above, but prefixed by '(' and suffixed by ')'.
 136  *   In case the expansion is invalid, as described above, it is
 137  *   skipped (the rest of the string is still processed); this includes
 138  *   the prefix and suffix (that's why you shouldn't use e.g. "(%v[1])").
 139  */
 140
 141 /* Scanner / Lexer */
 142
 143 /* Point to some substring in the file; used to avoid copying. */
 144 struct sval {
 145     const char *start;
 146     unsigned int len;
 147 };
 148 typedef darray(struct sval) darray_sval;
 149
 150 static inline bool
 151 svaleq(struct sval s1, struct sval s2)
 152 {
 153     return s1.len == s2.len && strncmp(s1.start, s2.start, s1.len) == 0;
 154 }
 155
 156 static inline bool
 157 svaleq_prefix(struct sval s1, struct sval s2)
 158 {
 159     return s1.len <= s2.len && strncmp(s1.start, s2.start, s1.len) == 0;
 160 }
 161
 162 /* Values returned with some tokens, like yylval. */
 163 union lvalue {
 164     struct sval string;
 165 };
 166
 167 /*
 168  * Holds the location in the file of the last processed token,
 169  * like yylloc.
 170  */
 171 struct location {
 172     int line, column;
 173 };
 174
 175 struct scanner {
 176     const char *s;
 177     size_t pos;
 178     size_t len;
 179     int line, column;
 180     const char *file_name;
 181     struct xkb_context *ctx;
 182 };
 183
 184 enum rules_token {
 185     TOK_END_OF_FILE = 0,
 186     TOK_END_OF_LINE,
 187     TOK_IDENTIFIER,
 188     TOK_GROUP_NAME,
 189     TOK_BANG,
 190     TOK_EQUALS,
 191     TOK_STAR,
 192     TOK_ERROR
 193 };
 194
 195 static void
 196 scanner_init(struct scanner *s, struct xkb_context *ctx,
 197              const char *string, size_t len, const char *file_name)
 198 {
 199     s->s = string;
 200     s->len = len;
 201     s->pos = 0;
 202     s->line = s->column = 1;
 203     s->file_name = file_name;
 204     s->ctx = ctx;
 205 }
 206
 207 /* C99 is stupid. Just use the 1 variant when there are no args. */
 208 #define scanner_error1(scanner, loc, msg) \
 209     log_warn(scanner->ctx, "rules/%s:%d:%d: " msg "\n", \
 210              scanner->file_name, loc->line, loc->column)
 211 #define scanner_error(scanner, loc, fmt, ...) \
 212     log_warn(scanner->ctx, "rules/%s:%d:%d: " fmt "\n", \
 213              scanner->file_name, loc->line, loc->column, __VA_ARGS__)
 214
 215 static char
 216 peek(struct scanner *s)
 217 {
 218     return s->s[s->pos];
 219 }
 220
 221 static bool
 222 eof(struct scanner *s)
 223 {
 224     return s->s[s->pos] == '\0' || s->pos >= s->len;
 225 }
 226
 227 static bool
 228 eol(struct scanner *s)
 229 {
 230     return s->s[s->pos] == '\n';
 231 }
 232
 233 /*
 234  * Use the check_nl variant when the current char might be a new line;
 235  * just an optimization.
 236  */
 237 static char
 238 next(struct scanner *s)
 239 {
 240     s->column++;
 241     return s->s[s->pos++];
 242 }
 243
 244 static char
 245 next_check_nl(struct scanner *s)
 246 {
 247     if (eol(s)) {
 248         s->line++;
 249         s->column = 1;
 250     }
 251     else {
 252         s->column++;
 253     }
 254     return s->s[s->pos++];
 255 }
 256
 257 static bool
 258 chr(struct scanner *s, char ch)
 259 {
 260     if (peek(s) != ch)
 261         return false;
 262     s->pos++; s->column++;
 263     return true;
 264 }
 265
 266 static bool
 267 str(struct scanner *s, const char *string, size_t len)
 268 {
 269     if (strncasecmp(s->s + s->pos, string, len) != 0)
 270         return false;
 271     s->pos += len; s->column += len;
 272     return true;
 273 }
 274
 275 #define lit(s, literal) str(s, literal, sizeof(literal) - 1)
 276
 277 static enum rules_token
 278 lex(struct scanner *s, union lvalue *val, struct location *loc)
 279 {
 280 skip_more_whitespace_and_comments:
 281     /* Skip spaces. */
 282     while (chr(s, ' ') || chr(s, '\t'));
 283
 284     /* Skip comments. */
 285     if (lit(s, "//")) {
 286         while (!eof(s) && !eol(s)) next(s);
 287     }
 288
 289     /* New line. */
 290     if (eol(s)) {
 291         while (eol(s)) next_check_nl(s);
 292         return TOK_END_OF_LINE;
 293     }
 294
 295     /* Escaped line continuation. */
 296     if (chr(s, '\\')) {
 297         if (!eol(s)) {
 298             scanner_error1(s, loc,
 299                            "illegal new line escape; must appear at end of line");
 300             return TOK_ERROR;
 301         }
 302         next_check_nl(s);
 303         goto skip_more_whitespace_and_comments;
 304     }
 305
 306     /* See if we're done. */
 307     if (eof(s)) return TOK_END_OF_FILE;
 308
 309     /* New token. */
 310     loc->line = s->line;
 311     loc->column = s->column;
 312
 313     /* Operators and punctuation. */
 314     if (chr(s, '!')) return TOK_BANG;
 315     if (chr(s, '=')) return TOK_EQUALS;
 316     if (chr(s, '*')) return TOK_STAR;
 317
 318     /* Group name. */
 319     if (chr(s, '$')) {
 320         val->string.start = s->s + s->pos;
 321         val->string.len = 0;
 322         while (isgraph(peek(s))) {
 323             next(s);
 324             val->string.len++;
 325         }
 326         if (val->string.len == 0) {
 327             scanner_error1(s, loc,
 328                            "unexpected character after \'$\'; expected name");
 329             return TOK_ERROR;
 330         }
 331         return TOK_GROUP_NAME;
 332     }
 333
 334     /* Identifier. */
 335     if (isgraph(peek(s))) {
 336         val->string.start = s->s + s->pos;
 337         val->string.len = 0;
 338         while (isgraph(peek(s))) {
 339             next(s);
 340             val->string.len++;
 341         }
 342         return TOK_IDENTIFIER;
 343     }
 344
 345     scanner_error1(s, loc, "unrecognized token");
 346     return TOK_ERROR;
 347 }
 348
 349 /***====================================================================***/
 350
 351 enum rules_mlvo {
 352     MLVO_MODEL,
 353     MLVO_LAYOUT,
 354     MLVO_VARIANT,
 355     MLVO_OPTION,
 356     _MLVO_NUM_ENTRIES
 357 };
 358
 359 #define SVAL_LIT(literal) { literal, sizeof(literal) - 1 }
 360
 361 static const struct sval rules_mlvo_svals[_MLVO_NUM_ENTRIES] = {
 362     [MLVO_MODEL] = SVAL_LIT("model"),
 363     [MLVO_LAYOUT] = SVAL_LIT("layout"),
 364     [MLVO_VARIANT] = SVAL_LIT("variant"),
 365     [MLVO_OPTION] = SVAL_LIT("option"),
 366 };
 367
 368 enum rules_kccgst {
 369     KCCGST_KEYCODES,
 370     KCCGST_TYPES,
 371     KCCGST_COMPAT,
 372     KCCGST_SYMBOLS,
 373     KCCGST_GEOMETRY,
 374     _KCCGST_NUM_ENTRIES
 375 };
 376
 377 static const struct sval rules_kccgst_svals[_KCCGST_NUM_ENTRIES] = {
 378     [KCCGST_KEYCODES] = SVAL_LIT("keycodes"),
 379     [KCCGST_TYPES] = SVAL_LIT("types"),
 380     [KCCGST_COMPAT] = SVAL_LIT("compat"),
 381     [KCCGST_SYMBOLS] = SVAL_LIT("symbols"),
 382     [KCCGST_GEOMETRY] = SVAL_LIT("geometry"),
 383 };
 384
 385 /*
 386  * A broken-down version of xkb_rule_names (without the rules,
 387  * obviously).
 388  */
 389 struct rule_names {
 390     struct sval model;
 391     darray_sval layouts;
 392     darray_sval variants;
 393     darray_sval options;
 394 };
 395
 396 struct group {
 397     struct sval name;
 398     darray_sval elements;
 399 };
 400
 401 struct mapping {
 402     int mlvo_at_pos[_MLVO_NUM_ENTRIES];
 403     unsigned int num_mlvo;
 404     unsigned int defined_mlvo_mask;
 405     xkb_group_index_t layout_idx, variant_idx;
 406     int kccgst_at_pos[_KCCGST_NUM_ENTRIES];
 407     unsigned int num_kccgst;
 408     unsigned int defined_kccgst_mask;
 409     bool skip;
 410 };
 411
 412 enum mlvo_match_type {
 413     MLVO_MATCH_NORMAL = 0,
 414     MLVO_MATCH_WILDCARD,
 415     MLVO_MATCH_GROUP,
 416 };
 417
 418 struct rule {
 419     struct sval mlvo_value_at_pos[_MLVO_NUM_ENTRIES];
 420     enum mlvo_match_type match_type_at_pos[_MLVO_NUM_ENTRIES];
 421     unsigned int num_mlvo_values;
 422     struct sval kccgst_value_at_pos[_KCCGST_NUM_ENTRIES];
 423     unsigned int num_kccgst_values;
 424     bool skip;
 425 };
 426
 427 /*
 428  * This is the main object used to match a given RMLVO against a rules
 429  * file and aggragate the results in a KcCGST. It goes through a simple
 430  * matching state machine, with tokens as transitions (see
 431  * matcher_match()).
 432  */
 433 struct matcher {
 434     struct xkb_context *ctx;
 435     /* Input.*/
 436     struct rule_names rmlvo;
 437     struct location loc;
 438     union lvalue val;
 439     struct scanner scanner;
 440     darray(struct group) groups;
 441     /* Current mapping. */
 442     struct mapping mapping;
 443     /* Current rule. */
 444     struct rule rule;
 445     /* Output. */
 446     darray_char kccgst[_KCCGST_NUM_ENTRIES];
 447 };
 448
 449 static struct sval
 450 strip_spaces(struct sval v)
 451 {
 452     while (v.len > 0 && isspace(v.start[0])) { v.len--; v.start++; }
 453     while (v.len > 0 && isspace(v.start[v.len - 1])) v.len--;
 454     return v;
 455 }
 456
 457 static darray_sval
 458 split_comma_separated_string(const char *s)
 459 {
 460     darray_sval arr = darray_new();
 461     struct sval val = { NULL, 0 };
 462
 463     /*
 464      * Make sure the array returned by this function always includes at
 465      * least one value, e.g. "" -> { "" } and "," -> { "", "" }.
 466      */
 467
 468     if (!s) {
 469         darray_append(arr, val);
 470         return arr;
 471     }
 472
 473     while (true) {
 474         val.start = s; val.len = 0;
 475         while (*s != '\0' && *s != ',') { s++; val.len++; }
 476         darray_append(arr, strip_spaces(val));
 477         if (*s == '\0') break;
 478         if (*s == ',') s++;
 479     }
 480
 481     return arr;
 482 }
 483
 484 static struct matcher *
 485 matcher_new(struct xkb_context *ctx,
 486             const struct xkb_rule_names *rmlvo)
 487 {
 488     struct matcher *m = calloc(1, sizeof(*m));
 489     if (!m)
 490         return NULL;
 491
 492     m->ctx = ctx;
 493     m->rmlvo.model.start = rmlvo->model;
 494     m->rmlvo.model.len = rmlvo->model ? strlen(rmlvo->model) : 0;
 495     m->rmlvo.layouts = split_comma_separated_string(rmlvo->layout);
 496     m->rmlvo.variants = split_comma_separated_string(rmlvo->variant);
 497     m->rmlvo.options = split_comma_separated_string(rmlvo->options);
 498
 499     return m;
 500 }
 501
 502 static void
 503 matcher_free(struct matcher *m)
 504 {
 505     struct group *group;
 506     if (!m)
 507         return;
 508     darray_free(m->rmlvo.layouts);
 509     darray_free(m->rmlvo.variants);
 510     darray_free(m->rmlvo.options);
 511     darray_foreach(group, m->groups)
 512         darray_free(group->elements);
 513     darray_free(m->groups);
 514     free(m);
 515 }
 516
 517 /* C99 is stupid. Just use the 1 variant when there are no args. */
 518 #define matcher_error1(matcher, msg) \
 519     log_warn(matcher->ctx, "rules/%s:%d:%d: " msg "\n", \
 520              matcher->scanner.file_name, matcher->loc.line, \
 521              matcher->loc.column)
 522 #define matcher_error(matcher, fmt, ...) \
 523     log_warn(matcher->ctx, "rules/%s:%d:%d: " fmt "\n", \
 524              matcher->scanner.file_name, matcher->loc.line, \
 525              matcher->loc.column, __VA_ARGS__)
 526
 527 static void
 528 matcher_group_start_new(struct matcher *m, struct sval name)
 529 {
 530     struct group group = { .name = name, .elements = darray_new() };
 531     darray_append(m->groups, group);
 532 }
 533
 534 static void
 535 matcher_group_add_element(struct matcher *m, struct sval element)
 536 {
 537     darray_append(darray_item(m->groups, darray_size(m->groups) - 1).elements,
 538                   element);
 539 }
 540
 541 static void
 542 matcher_mapping_start_new(struct matcher *m)
 543 {
 544     unsigned int i;
 545     for (i = 0; i < _MLVO_NUM_ENTRIES; i++)
 546         m->mapping.mlvo_at_pos[i] = -1;
 547     for (i = 0; i < _KCCGST_NUM_ENTRIES; i++)
 548         m->mapping.kccgst_at_pos[i] = -1;
 549     m->mapping.layout_idx = m->mapping.variant_idx = XKB_GROUP_INVALID;
 550     m->mapping.num_mlvo = m->mapping.num_kccgst = 0;
 551     m->mapping.defined_mlvo_mask = 0;
 552     m->mapping.defined_kccgst_mask = 0;
 553     m->mapping.skip = false;
 554 }
 555
 556 static int
 557 extract_group_index(const char *s, size_t max_len, xkb_group_index_t *out)
 558 {
 559     /* This function is pretty stupid, but works for now. */
 560     if (max_len < 3)
 561         return -1;
 562     if (s[0] != '[' || !isdigit(s[1]) || s[2] != ']')
 563         return -1;
 564     if (s[1] - '0' < 1 || s[1] - '0' > XKB_NUM_GROUPS)
 565         return -1;
 566     /* To zero-based index. */
 567     *out = s[1] - '0' - 1;
 568     return 3;
 569 }
 570
 571 static void
 572 matcher_mapping_set_mlvo(struct matcher *m, struct sval ident)
 573 {
 574     enum rules_mlvo mlvo;
 575     struct sval mlvo_sval;
 576     xkb_group_index_t idx;
 577     int consumed;
 578
 579     for (mlvo = 0; mlvo < _MLVO_NUM_ENTRIES; mlvo++) {
 580         mlvo_sval = rules_mlvo_svals[mlvo];
 581
 582         if (svaleq_prefix(mlvo_sval, ident))
 583             break;
 584     }
 585
 586     /* Not found. */
 587     if (mlvo >= _MLVO_NUM_ENTRIES) {
 588         matcher_error(m,
 589                       "invalid mapping: %.*s is not a valid value here; "
 590                       "ignoring rule set",
 591                       ident.len, ident.start);
 592         m->mapping.skip = true;
 593         return;
 594     }
 595
 596     if (m->mapping.defined_mlvo_mask & (1 << mlvo)) {
 597         matcher_error(m,
 598                       "invalid mapping: %.*s appears twice on the same line; "
 599                       "ignoring rule set",
 600                       mlvo_sval.len, mlvo_sval.start);
 601         m->mapping.skip = true;
 602         return;
 603     }
 604
 605     /* If there are leftovers still, it must be an index. */
 606     if (mlvo_sval.len < ident.len) {
 607         consumed = extract_group_index(ident.start + mlvo_sval.len,
 608                                        ident.len - mlvo_sval.len, &idx);
 609         if ((int) (ident.len - mlvo_sval.len) != consumed) {
 610             matcher_error(m,
 611                           "invalid mapping:\" %.*s\" may only be followed by a valid group index; "
 612                           "ignoring rule set",
 613                           mlvo_sval.len, mlvo_sval.start);
 614             m->mapping.skip = true;
 615             return;
 616         }
 617
 618         if (mlvo == MLVO_LAYOUT) {
 619             m->mapping.layout_idx = idx;
 620         }
 621         else if (mlvo == MLVO_VARIANT) {
 622             m->mapping.variant_idx = idx;
 623         }
 624         else {
 625             matcher_error(m,
 626                           "invalid mapping: \"%.*s\" cannot be followed by a group index; "
 627                           "ignoring rule set",
 628                           mlvo_sval.len, mlvo_sval.start);
 629             m->mapping.skip = true;
 630             return;
 631         }
 632     }
 633
 634     m->mapping.mlvo_at_pos[m->mapping.num_mlvo] = mlvo;
 635     m->mapping.defined_mlvo_mask |= 1 << mlvo;
 636     m->mapping.num_mlvo++;
 637 }
 638
 639 static void
 640 matcher_mapping_set_kccgst(struct matcher *m, struct sval ident)
 641 {
 642     enum rules_kccgst kccgst;
 643     struct sval kccgst_sval;
 644
 645     for (kccgst = 0; kccgst < _KCCGST_NUM_ENTRIES; kccgst++) {
 646         kccgst_sval = rules_kccgst_svals[kccgst];
 647
 648         if (svaleq(rules_kccgst_svals[kccgst], ident))
 649             break;
 650     }
 651
 652     /* Not found. */
 653     if (kccgst >= _KCCGST_NUM_ENTRIES) {
 654         matcher_error(m,
 655                       "invalid mapping: %.*s is not a valid value here; "
 656                       "ignoring rule set",
 657                       ident.len, ident.start);
 658         m->mapping.skip = true;
 659         return;
 660     }
 661
 662     if (m->mapping.defined_kccgst_mask & (1 << kccgst)) {
 663         matcher_error(m,
 664                       "invalid mapping: %.*s appears twice on the same line; "
 665                       "ignoring rule set",
 666                       kccgst_sval.len, kccgst_sval.start);
 667         m->mapping.skip = true;
 668         return;
 669     }
 670
 671     m->mapping.kccgst_at_pos[m->mapping.num_kccgst] = kccgst;
 672     m->mapping.defined_kccgst_mask |= 1 << kccgst;
 673     m->mapping.num_kccgst++;
 674 }
 675
 676 static void
 677 matcher_mapping_verify(struct matcher *m)
 678 {
 679     if (m->mapping.num_mlvo == 0) {
 680         matcher_error1(m,
 681                        "invalid mapping: must have at least one value on the left hand side; "
 682                        "ignoring rule set");
 683         goto skip;
 684     }
 685
 686     if (m->mapping.num_kccgst == 0) {
 687         matcher_error1(m,
 688                        "invalid mapping: must have at least one value on the right hand side; "
 689                        "ignoring rule set");
 690         goto skip;
 691     }
 692
 693     /*
 694      * This following is very stupid, but this is how it works.
 695      * See the "Notes" section in the overview above.
 696      */
 697
 698     if (m->mapping.defined_mlvo_mask & (1 << MLVO_LAYOUT)) {
 699         if (m->mapping.layout_idx == XKB_GROUP_INVALID) {
 700             if (darray_size(m->rmlvo.layouts) > 1)
 701                 goto skip;
 702         }
 703         else {
 704             if (darray_size(m->rmlvo.layouts) == 1 ||
 705                 m->mapping.layout_idx >= darray_size(m->rmlvo.layouts))
 706                 goto skip;
 707         }
 708     }
 709
 710     if (m->mapping.defined_mlvo_mask & (1 << MLVO_VARIANT)) {
 711         if (m->mapping.variant_idx == XKB_GROUP_INVALID) {
 712             if (darray_size(m->rmlvo.variants) > 1)
 713                 goto skip;
 714         }
 715         else {
 716             if (darray_size(m->rmlvo.variants) == 1 ||
 717                 m->mapping.variant_idx >= darray_size(m->rmlvo.variants))
 718                 goto skip;
 719         }
 720     }
 721
 722     return;
 723
 724 skip:
 725     m->mapping.skip = true;
 726 }
 727
 728 static void
 729 matcher_rule_start_new(struct matcher *m)
 730 {
 731     memset(&m->rule, 0, sizeof(m->rule));
 732     m->rule.skip = m->mapping.skip;
 733 }
 734
 735 static void
 736 matcher_rule_set_mlvo_common(struct matcher *m, struct sval ident,
 737                              enum mlvo_match_type match_type)
 738 {
 739     if (m->rule.num_mlvo_values + 1 > m->mapping.num_mlvo) {
 740         matcher_error1(m,
 741                        "invalid rule: has more values than the mapping line; "
 742                        "ignoring rule");
 743         m->rule.skip = true;
 744         return;
 745     }
 746     m->rule.match_type_at_pos[m->rule.num_mlvo_values] = match_type;
 747     m->rule.mlvo_value_at_pos[m->rule.num_mlvo_values] = ident;
 748     m->rule.num_mlvo_values++;
 749 }
 750
 751 static void
 752 matcher_rule_set_mlvo_wildcard(struct matcher *m)
 753 {
 754     struct sval dummy = { NULL, 0 };
 755     matcher_rule_set_mlvo_common(m, dummy, MLVO_MATCH_WILDCARD);
 756 }
 757
 758 static void
 759 matcher_rule_set_mlvo_group(struct matcher *m, struct sval ident)
 760 {
 761     matcher_rule_set_mlvo_common(m, ident, MLVO_MATCH_GROUP);
 762 }
 763
 764 static void
 765 matcher_rule_set_mlvo(struct matcher *m, struct sval ident)
 766 {
 767     matcher_rule_set_mlvo_common(m, ident, MLVO_MATCH_NORMAL);
 768 }
 769
 770 static void
 771 matcher_rule_set_kccgst(struct matcher *m, struct sval ident)
 772 {
 773     if (m->rule.num_kccgst_values + 1 > m->mapping.num_kccgst) {
 774         matcher_error1(m,
 775                        "invalid rule: has more values than the mapping line; "
 776                        "ignoring rule");
 777         m->rule.skip = true;
 778         return;
 779     }
 780     m->rule.kccgst_value_at_pos[m->rule.num_kccgst_values] = ident;
 781     m->rule.num_kccgst_values++;
 782 }
 783
 784 static bool
 785 match_group(struct matcher *m, struct sval group_name, struct sval to)
 786 {
 787     struct group *group;
 788     struct sval *element;
 789     bool found = false;
 790
 791     darray_foreach(group, m->groups) {
 792         if (svaleq(group->name, group_name)) {
 793             found = true;
 794             break;
 795         }
 796     }
 797
 798     if (!found) {
 799         /*
 800          * rules/evdev intentionally uses some undeclared group names
 801          * in rules (e.g. commented group definitions which may be
 802          * uncommented if needed). So we continue silently.
 803          */
 804         return false;
 805     }
 806
 807     darray_foreach(element, group->elements)
 808         if (svaleq(to, *element))
 809             return true;
 810
 811     return false;
 812 }
 813
 814 static bool
 815 match_value(struct matcher *m, struct sval val, struct sval to,
 816           enum mlvo_match_type match_type)
 817 {
 818     if (match_type == MLVO_MATCH_WILDCARD)
 819         return true;
 820     if (match_type == MLVO_MATCH_GROUP)
 821         return match_group(m, val, to);
 822     return svaleq(val, to);
 823 }
 824
 825 /*
 826  * This function performs %-expansion on @value (see overview above),
 827  * and appends the result to @to.
 828  */
 829 static bool
 830 append_expanded_kccgst_value(struct matcher *m, darray_char *to,
 831                              struct sval value)
 832 {
 833     unsigned int i;
 834     size_t original_size = darray_size(*to);
 835     const char *s = value.start;
 836     xkb_group_index_t idx;
 837     int consumed;
 838     enum rules_mlvo mlv;
 839     struct sval expanded;
 840     char pfx, sfx;
 841
 842     /*
 843      * Appending  bar to  foo ->  foo (not an error if this happens)
 844      * Appending +bar to  foo ->  foo+bar
 845      * Appending  bar to +foo ->  bar+foo
 846      * Appending +bar to +foo -> +foo+bar
 847      */
 848     if (!darray_empty(*to) && s[0] != '+' && s[0] != '|') {
 849         if (darray_item(*to, 0) == '+' || darray_item(*to, 0) == '|')
 850             darray_prepend_items_nullterminate(*to, value.start, value.len);
 851         return true;
 852     }
 853
 854     /*
 855      * Some ugly hand-lexing here, but going through the scanner is more
 856      * trouble than it's worth, and the format is ugly on its own merit.
 857      */
 858     for (i = 0; i < value.len; ) {
 859         /* Check if that's a start of an expansion. */
 860         if (s[i] != '%') {
 861             /* Just a normal character. */
 862             darray_append_items_nullterminate(*to, &s[i++], 1);
 863             continue;
 864         }
 865         if (++i >= value.len) goto error;
 866
 867         pfx = sfx = 0;
 868
 869         /* Check for prefix. */
 870         if (s[i] == '(' || s[i] == '+' || s[i] == '|' ||
 871             s[i] == '_' || s[i] == '-') {
 872             pfx = s[i];
 873             if (s[i] == '(') sfx = ')';
 874             if (++i >= value.len) goto error;
 875         }
 876
 877         /* Mandatory model/layout/variant specifier. */
 878         switch (s[i++]) {
 879         case 'm': mlv = MLVO_MODEL; break;
 880         case 'l': mlv = MLVO_LAYOUT; break;
 881         case 'v': mlv = MLVO_VARIANT; break;
 882         default: goto error;
 883         }
 884
 885         /* Check for index. */
 886         if (i < value.len) {
 887             if (s[i] == '[') {
 888                 if (mlv != MLVO_LAYOUT && mlv != MLVO_VARIANT) {
 889                     matcher_error1(m,
 890                                    "invalid index in %%-expansion; "
 891                                    "may only index layout or variant");
 892                     goto error;
 893                 }
 894
 895                 consumed = extract_group_index(s + i, value.len - i, &idx);
 896                 if (consumed == -1) goto error;
 897                 i += consumed;
 898             }
 899             else {
 900                 idx = XKB_GROUP_INVALID;
 901             }
 902         }
 903
 904         /* Check for suffix, if there supposed to be one. */
 905         if (sfx != 0) {
 906             if (i >= value.len) goto error;
 907             if (s[i++] != sfx) goto error;
 908         }
 909
 910         /* Get the expanded value. */
 911         expanded.len = 0;
 912
 913         if (mlv == MLVO_LAYOUT) {
 914             if (idx != XKB_GROUP_INVALID &&
 915                 idx < darray_size(m->rmlvo.layouts) &&
 916                 darray_size(m->rmlvo.layouts) > 1)
 917                 expanded = darray_item(m->rmlvo.layouts, idx);
 918             else if (idx == XKB_GROUP_INVALID &&
 919                      darray_size(m->rmlvo.layouts) == 1)
 920                 expanded = darray_item(m->rmlvo.layouts, 0);
 921         }
 922         else if (mlv == MLVO_VARIANT) {
 923             if (idx != XKB_GROUP_INVALID &&
 924                 idx < darray_size(m->rmlvo.variants) &&
 925                 darray_size(m->rmlvo.variants) > 1)
 926                 expanded = darray_item(m->rmlvo.variants, idx);
 927             else if (idx == XKB_GROUP_INVALID &&
 928                      darray_size(m->rmlvo.variants) == 1)
 929                 expanded = darray_item(m->rmlvo.variants, 0);
 930         }
 931         else if (mlv == MLVO_MODEL) {
 932             expanded = m->rmlvo.model;
 933         }
 934
 935         /* If we didn't get one, skip silently. */
 936         if (expanded.len <= 0)
 937             continue;
 938
 939         if (pfx != 0)
 940             darray_append_items_nullterminate(*to, &pfx, 1);
 941         darray_append_items_nullterminate(*to, expanded.start, expanded.len);
 942         if (sfx != 0)
 943             darray_append_items_nullterminate(*to, &sfx, 1);
 944     }
 945
 946     return true;
 947
 948 error:
 949     matcher_error1(m, "invalid %%-expansion in value; not used");
 950     darray_resize(*to, original_size);
 951     return false;
 952 }
 953
 954 static void
 955 matcher_rule_verify(struct matcher *m)
 956 {
 957     if (m->rule.num_mlvo_values != m->mapping.num_mlvo ||
 958         m->rule.num_kccgst_values != m->mapping.num_kccgst) {
 959         matcher_error1(m,
 960                        "invalid rule: must have same number of values as mapping line;"
 961                        "ignoring rule");
 962         m->rule.skip = true;
 963     }
 964 }
 965
 966 static void
 967 matcher_rule_apply_if_matches(struct matcher *m)
 968 {
 969     unsigned int i;
 970     enum rules_mlvo mlvo;
 971     enum rules_kccgst kccgst;
 972     struct sval value, *option;
 973     enum mlvo_match_type match_type;
 974     bool matched = false;
 975     xkb_group_index_t idx;
 976
 977     for (i = 0; i < m->mapping.num_mlvo; i++) {
 978         mlvo = m->mapping.mlvo_at_pos[i];
 979         value = m->rule.mlvo_value_at_pos[i];
 980         match_type = m->rule.match_type_at_pos[i];
 981
 982         if (mlvo == MLVO_MODEL) {
 983             matched = match_value(m, value, m->rmlvo.model, match_type);
 984         }
 985         else if (mlvo == MLVO_LAYOUT) {
 986             idx = m->mapping.layout_idx;
 987             idx = (idx == XKB_GROUP_INVALID ? 0 : idx);
 988             matched = match_value(m, value,
 989                                   darray_item(m->rmlvo.layouts, idx),
 990                                   match_type);
 991         }
 992         else if (mlvo == MLVO_VARIANT) {
 993             idx = m->mapping.layout_idx;
 994             idx = (idx == XKB_GROUP_INVALID ? 0 : idx);
 995             matched = match_value(m, value,
 996                                   darray_item(m->rmlvo.variants, idx),
 997                                   match_type);
 998         }
 999         else if (mlvo == MLVO_OPTION) {
1000             darray_foreach(option, m->rmlvo.options) {
1001                 matched = match_value(m, value, *option, match_type);
1002                 if (matched)
1003                     break;
1004             }
1005         }
1006
1007         if (!matched)
1008             return;
1009     }
1010
1011     for (i = 0; i < m->mapping.num_kccgst; i++) {
1012         kccgst = m->mapping.kccgst_at_pos[i];
1013         value = m->rule.kccgst_value_at_pos[i];
1014         append_expanded_kccgst_value(m, &m->kccgst[kccgst], value);
1015     }
1016
1017     /*
1018      * If a rule matches in a rule set, the rest of the set should be
1019      * skipped. However, rule sets matching against options may contain
1020      * several legitimate rules, so they are processed entirely.
1021      */
1022     if (!(m->mapping.defined_mlvo_mask & (1 << MLVO_OPTION)))
1023         m->mapping.skip = true;
1024 }
1025
1026 static enum rules_token
1027 gettok(struct matcher *m)
1028 {
1029     return lex(&m->scanner, &m->val, &m->loc);
1030 }
1031
1032 static bool
1033 matcher_match(struct matcher *m, const char *string, size_t len,
1034               const char *file_name, struct xkb_component_names *out)
1035 {
1036     enum rules_token tok;
1037
1038     if (!m)
1039         return false;
1040
1041     scanner_init(&m->scanner, m->ctx, string, len, file_name);
1042
1043 initial:
1044     switch (tok = gettok(m)) {
1045     case TOK_BANG:
1046         goto bang;
1047     case TOK_END_OF_LINE:
1048         goto initial;
1049     case TOK_END_OF_FILE:
1050         goto finish;
1051     default:
1052         goto unexpected;
1053     }
1054
1055 bang:
1056     switch (tok = gettok(m)) {
1057     case TOK_GROUP_NAME:
1058         matcher_group_start_new(m, m->val.string);
1059         goto group_name;
1060     case TOK_IDENTIFIER:
1061         matcher_mapping_start_new(m);
1062         matcher_mapping_set_mlvo(m, m->val.string);
1063         goto mapping_mlvo;
1064     default:
1065         goto unexpected;
1066     }
1067
1068 group_name:
1069     switch (tok = gettok(m)) {
1070     case TOK_EQUALS:
1071         goto group_element;
1072     default:
1073         goto unexpected;
1074     }
1075
1076 group_element:
1077     switch (tok = gettok(m)) {
1078     case TOK_IDENTIFIER:
1079         matcher_group_add_element(m, m->val.string);
1080         goto group_element;
1081     case TOK_END_OF_LINE:
1082         goto initial;
1083     default:
1084         goto unexpected;
1085     }
1086
1087 mapping_mlvo:
1088     switch (tok = gettok(m)) {
1089     case TOK_IDENTIFIER:
1090         if (!m->mapping.skip)
1091             matcher_mapping_set_mlvo(m, m->val.string);
1092         goto mapping_mlvo;
1093     case TOK_EQUALS:
1094         goto mapping_kccgst;
1095     default:
1096         goto unexpected;
1097     }
1098
1099 mapping_kccgst:
1100     switch (tok = gettok(m)) {
1101     case TOK_IDENTIFIER:
1102         if (!m->mapping.skip)
1103             matcher_mapping_set_kccgst(m, m->val.string);
1104         goto mapping_kccgst;
1105     case TOK_END_OF_LINE:
1106         if (!m->mapping.skip)
1107             matcher_mapping_verify(m);
1108         goto rule_mlvo_first;
1109     default:
1110         goto unexpected;
1111     }
1112
1113 rule_mlvo_first:
1114     switch (tok = gettok(m)) {
1115     case TOK_BANG:
1116         goto bang;
1117     case TOK_END_OF_LINE:
1118         goto rule_mlvo_first;
1119     case TOK_END_OF_FILE:
1120         goto finish;
1121     default:
1122         matcher_rule_start_new(m);
1123         goto rule_mlvo_no_tok;
1124     }
1125
1126 rule_mlvo:
1127     tok = gettok(m);
1128 rule_mlvo_no_tok:
1129     switch (tok) {
1130     case TOK_IDENTIFIER:
1131         if (!m->rule.skip)
1132             matcher_rule_set_mlvo(m, m->val.string);
1133         goto rule_mlvo;
1134     case TOK_STAR:
1135         if (!m->rule.skip)
1136             matcher_rule_set_mlvo_wildcard(m);
1137         goto rule_mlvo;
1138     case TOK_GROUP_NAME:
1139         if (!m->rule.skip)
1140             matcher_rule_set_mlvo_group(m, m->val.string);
1141         goto rule_mlvo;
1142     case TOK_EQUALS:
1143         goto rule_kccgst;
1144     default:
1145         goto unexpected;
1146     }
1147
1148 rule_kccgst:
1149     switch (tok = gettok(m)) {
1150     case TOK_IDENTIFIER:
1151         if (!m->rule.skip)
1152             matcher_rule_set_kccgst(m, m->val.string);
1153         goto rule_kccgst;
1154     case TOK_END_OF_LINE:
1155         if (!m->rule.skip)
1156             matcher_rule_verify(m);
1157         if (!m->rule.skip)
1158             matcher_rule_apply_if_matches(m);
1159         goto rule_mlvo_first;
1160     default:
1161         goto unexpected;
1162     }
1163
1164 unexpected:
1165     switch (tok) {
1166     case TOK_ERROR:
1167         goto error;
1168     default:
1169         goto state_error;
1170     }
1171
1172 finish:
1173     if (darray_empty(m->kccgst[KCCGST_KEYCODES]) ||
1174         darray_empty(m->kccgst[KCCGST_TYPES]) ||
1175         darray_empty(m->kccgst[KCCGST_COMPAT]) ||
1176         /* darray_empty(m->kccgst[KCCGST_GEOMETRY]) || */
1177         darray_empty(m->kccgst[KCCGST_SYMBOLS]))
1178         goto error;
1179
1180     out->keycodes = darray_mem(m->kccgst[KCCGST_KEYCODES], 0);
1181     out->types = darray_mem(m->kccgst[KCCGST_TYPES], 0);
1182     out->compat = darray_mem(m->kccgst[KCCGST_COMPAT], 0);
1183     /* out->geometry = darray_mem(m->kccgst[KCCGST_GEOMETRY], 0); */
1184     darray_free(m->kccgst[KCCGST_GEOMETRY]);
1185     out->symbols = darray_mem(m->kccgst[KCCGST_SYMBOLS], 0);
1186
1187     return true;
1188
1189 state_error:
1190     matcher_error1(m, "unexpected token");
1191 error:
1192     return false;
1193 }
1194
1195 bool
1196 xkb_components_from_rules(struct xkb_context *ctx,
1197                           const struct xkb_rule_names *rmlvo,
1198                           struct xkb_component_names *out)
1199 {
1200     bool ret = false;
1201     FILE *file;
1202     char *path;
1203     char **include;
1204     int fd;
1205     struct stat stat_buf;
1206     char *string;
1207     struct matcher *matcher;
1208
1209     file = FindFileInXkbPath(ctx, rmlvo->rules, FILE_TYPE_RULES, &path);
1210     if (!file) {
1211         log_err(ctx, "Could not find \"%s\" rules in XKB path\n",
1212                 rmlvo->rules);
1213         log_err(ctx, "%zu include paths searched:\n",
1214                 darray_size(ctx->includes));
1215         darray_foreach(include, ctx->includes)
1216             log_err(ctx, "\t%s\n", *include);
1217         log_err(ctx, "%zu include paths could not be added:\n",
1218                 darray_size(ctx->failed_includes));
1219         darray_foreach(include, ctx->failed_includes)
1220             log_err(ctx, "\t%s\n", *include);
1221         goto err_out;
1222     }
1223
1224     fd = fileno(file);
1225
1226     if (fstat(fd, &stat_buf) != 0) {
1227         log_err(ctx, "Couldn't stat rules file\n");
1228         goto err_file;
1229     }
1230
1231     string = mmap(NULL, stat_buf.st_size, PROT_READ, MAP_SHARED, fd, 0);
1232     if (!string) {
1233         log_err(ctx, "Couldn't mmap rules file (%zu bytes)\n",
1234                 (size_t) stat_buf.st_size);
1235         goto err_file;
1236     }
1237
1238     matcher = matcher_new(ctx, rmlvo);
1239     ret = matcher_match(matcher, string, stat_buf.st_size, rmlvo->rules, out);
1240     if (!ret)
1241         log_err(ctx, "No components returned from XKB rules \"%s\"\n", path);
1242     matcher_free(matcher);
1243
1244     munmap(string, stat_buf.st_size);
1245 err_file:
1246     free(path);
1247     fclose(file);
1248 err_out:
1249     return ret;
1250 }