scanner-utils: avoid possible implicit truncating of line/column

This increases the size of the struct a bit but it's not very important.

Fixes these MSVC warnings:

src\scanner-utils.h(112): warning C4267: '+=': conversion from 'size_t' to 'unsigned int', possible loss of data
src\scanner-utils.h(147): warning C4267: '+=': conversion from 'size_t' to 'unsigned int', possible loss of data

Signed-off-by: Ran Benita <ran@unusedvar.com>

utils: move macro defines to before they're used

Signed-off-by: Ran Benita <ran@unusedvar.com>

utils: fix typo in strndup fallback

Fixup 93a1305 - we will have CI for this soon.

Signed-off-by: Ran Benita <ran@unusedvar.com>

meson.build: Take win_bison as a possible variant for Bison

Signed-off-by: Ran Benita <ran@unusedvar.com>

build: include config.h manually

Previously we included it with an `-include` compiler directive. But
that's not portable. And it's better to be explicit anyway.

Every .c file should have `include "config.h"` first thing.

Signed-off-by: Ran Benita <ran@unusedvar.com>

Provide a fallback implementation of [v]asprintf()

Some environments (e.g. Windows + MSVC) do not provide asprintf() or
vasprintf(). This tries to detect their presence, and provides suitable
fallback implementations when not available.

Provide a fallback implementation of strndup()

Some environments (e.g. Windows + MSVC) do not provide strndup(), this
tries to detect its presence and provide a fallback implementation when
not available.

[ran: some tweaks]

Use built-in istr[n]cmp() instead of strcase[n]cmp()

This avoids the problem that MSVC does not provide strcasecmp() nor
strncasecmp(), and at the same time avoids potential problems due to
locale configuration by using istrcmp() and istrncmp() which are
already in the source tree and written to cover only ASCII.

utils: use MIN/MAX instead of min/max

min/max symbols conflict on some systems (msvc), so just use the macros.

Signed-off-by: Ran Benita <ran@unusedvar.com>

xkbcomp: downgrade "Symbol added to modifier map for multiple modifiers" log to a warning

This condition happens in xkeyboard-config keymaps and seems hard to
fix. Currently it incessantly spams people's logs who have no idea what
to do about it. So downgrade to "warning" level, so it doesn't show up
by default.

When working on keymaps, set `XKB_LOG_LEVEL=debug XKB_LOG_VERBOSITY=10`
to see all possible messages.

Refs https://github.com/xkbcommon/libxkbcommon/issues/111
Fixes https://github.com/xkbcommon/libxkbcommon/issues/128
Signed-off-by: Ran Benita <ran@unusedvar.com>

rules: eliminate an extra fopen/fclose cycle

FindXkbFileInPath() opens the file so we're guaranteed that the file not only
exists, but that we can read it. Changing that would alter behavior so instead
let's just pass that file handle along and do the same for include files.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

rules: add include statements to rules files

The majority use-case for extending XKB on a machine is to override one or a
few keys with custom keycodes, not to define whole layouts.

Previously, we relied on the rules file to be a single file, making it hard to
extend. libxkbcommon parses $XDG_CONFIG_HOME/xkb/ but that only works as long
as there is a rule that matches the user-specified RMLVO. This works for MLV
but not for options which don't have a wildcard defined. Users have to copy
the whole rules file and then work from there - not something easy to extend
and maintain.

This patch adds a new ! include directive to rules files that allows including
another file. The file path must be without quotes and may not start with the
literal "include". Two directives are supported, %H to $HOME and %S for the
system-installed rules directory (usually /usr/share/X11/xkb/rules).

A user would typically use a custom rules file like this:

! option                =       symbols
  custom:foo            =       +custom(foo)
  custom:bar            =       +custom(baz)

! include %S/evdev

Where the above defines the two options and then includes the system-installed
evdev rule. Since most current implementations default to loading the "evdev"
ruleset, it's best to name this $XDG_CONFIG_HOME/xkb/rules/evdev, but any
valid name is allowed.

The include functionally replaces the line with the content of the included
file which means the behavior of rules files is maintained. Specifically,
custom options must be defined before including another file because the first
match usually wins. In other words, the following ruleset will not assign
my_model as one would expect:

! include %S/evdev

! model                 =  symbols
  my_model              =  +custom(foo)

The default evdev ruleset has wildcards for model and those match before the
my_model is hit.

The actual resolved components need only be in one of the XKB lookup
directories, e.g. for the example above:

$ cat $XDG_CONFIG_HOME/xkb/symbols/custom
partial alphanumeric_keys
xkb_symbols "foo" {
    key <TLDE> {        [      VoidSymbol ]       };
};

partial alphanumeric_keys
xkb_symbols "baz" {
    key <AB01> {        [      k, K ]       };
};

This can then be loaded with the XKB option "custom:foo,custom:bar".

The use of "custom" is just as an example, there are no naming requirements
beyond avoiding already-used ones. Also note the bar/baz above - the option
names don't have to match the component names.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

context: add a helper function to return the default system include path

No functional changes but we'll need that same lookup in the rules file
include handling in a future patch.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

rules: move the matcher result handling to the caller

This shouldn't be processed in the matcher itself, especially in the glorious
future when we can have nested matchers. Only handle this once in the caller
to the original parsed file.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

rules: put the scanner on the stack

This allows nesting the scanner for the future !include directive.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

rules: simplify an error path

Initialize to NULL so we don't have to care about whether the cleanups can be
called or not.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

rules: rename a variable from 's' to 'str'

To avoid name conflicts with a future patch.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

rules: drop the matcher_err() macro and use scanner_err directly

No functional changes, this is what the macro expanded to anyway. Prep work
for putting the scanner on the stack and removing it from the matcher struct.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

rules: factor out the function to parse a rules file

No functional changes, this just makes the part to parse a single rules file
re-usable.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

keysym: handle ssharp in XConvertCase()

lowercase: LATIN SMALL LETTER SHARP S (U+00DF)
uppercase: LATIN CAPITAL LETTER SHARP S (U+1E9E)

The uppercase sharp s (XK_ssharp) is a relatively recent addition to unicode
but was added to the relevant keyboard layouts in xkeyboard-config-2.25
(d1411e5e95c)
https://gitlab.freedesktop.org/xkeyboard-config/xkeyboard-config/issues/144

Alas, the CapsLock behavior was broken on the finnish layout (maybe others).
This was due XConvertCase() never returning the uppercase characters.

Let's make this function return the right lower/upper symbols for the sharp s
and hope that the world won't get any worse because of it.

Corresponding Xlib issue:
https://gitlab.freedesktop.org/xorg/lib/libx11/issues/110

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

meson: remove redundant malloc scribbling

Turns out meson already sets this (at least MALLOC_PERTURB) on its own
for the `test` target.

Signed-off-by: Ran Benita <ran@unusedvar.com>

parser: fix the remaining pointer chasing

Fix the TODO added in 7c42945.

Signed-off-by: Ran Benita <ran@unusedvar.com>

test: let rmlvo-to-kccgst take long options like rmlvo-to-keymap

The short options were left for backwards compatibility.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

parser: fix quadratic pointer chasing

In the AST, lists (e.g. the list of statements in a file) are kept in
singly-linked lists -- each AST node has a `next` pointer available for
this purpose.

Previously, a node was added to the list by starting from the head,
chasing to the last, and appending. So creating a list of length N would
take ~N^2/2 pointer dereferences.

Now, we always (temporarily) keep the last as well, so appending is O(1)
instead of O(N).

Given a keymap

    xkb_keymap {
    xkb_keycodes {
    minimum = 8;
    minimum = 8;
    minimum = 8;
    minimum = 8;
    minimum = 8;
    [... repeated N times ...]
    };
    xkb_types {};
    xkb_compat {};
    xkb_symbols {};
    };

The compilation times are

N       | Before   | After
--------|----------|-------
10,000  | 0.407s   | 0.006s
20,000  | 1.851s   | 0.015s
30,000  | 5.737s   | 0.021s
40,000  | 12.759s  | 0.023s
50,000  | 21.489s  | 0.035s
60,000  | 40.473s  | 0.041s
70,000  | 53.336s  | 0.039s
80,000  | 72.485s  | 0.044s
90,000  | 94.703s  | 0.048s
100,000 | 118.390s | 0.057s

Another option is to ditch the linked lists and use arrays instead. I
got it to work, but its more involved and allocation heavy so turns out
to be worse without further optimizations.

Signed-off-by: Ran Benita <ran@unusedvar.com>

parser: remove an unneeded check

Signed-off-by: Ran Benita <ran@unusedvar.com>

docs: update the include path documentation

Missing from e23f1061b2b9c8d40ba7797a5ffbd6d474d604e0 and
3a91788d9254b4571ff883439931f497d8a0663f.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

compat: reject interpret modifier predicate with more than one value

Given

    interpret ISO_Level3_Shift+AnyOf(all,extraneous) { ... };

Previously, extraneous (and further) was ignored. Now it's rejected.

Signed-off-by: Ran Benita <ran@unusedvar.com>

expr: fix log message on some unexpected expression types

Signed-off-by: Ran Benita <ran@unusedvar.com>

Replace some tabs that sneaked in with spaces

Signed-off-by: Ran Benita <ran@unusedvar.com>

parser: fix merge mode only applied to first vmod in a virtual_modifiers statement

Given

    augment virtual_modifiers NumLock,Alt,LevelThree

Previously it was expanded (directly in the parser) to

    augment virtual_modifiers NumLock;
    virtual_modifiers Alt;
    virtual_modifiers LevelThree;

Now it expands to

    augment virtual_modifiers NumLock;
    augment virtual_modifiers Alt;
    augment virtual_modifiers LevelThree;

Signed-off-by: Ran Benita <ran@unusedvar.com>

ast: use a separate expr struct for action list

Currently it's under UnaryExpr, which just doesn't make sense.

Signed-off-by: Ran Benita <ran@unusedvar.com>

ast-build: get rid of unhelpful macro

Straightforward code is better here.

Signed-off-by: Ran Benita <ran@unusedvar.com>

atom: a string is greater than its prefix

Bug accidentally introduced in 9a92b46.

Signed-off-by: Ran Benita <ran@unusedvar.com>

atom: combine atom_intern() and atom_lookup()

Use an "add" bool parameter instead. This simplifies the code a bit.

Signed-off-by: Ran Benita <ran@unusedvar.com>

atom: correct iteration count in hash function

Fixup of ccab349 - unlike the commit message, hash a byte twice instead
of zero times, which is probably better. This is how it was before.

Signed-off-by: Ran Benita <ran@unusedvar.com>

atom: describe how this odd data structure works

Signed-off-by: Ran Benita <ran@unusedvar.com>

atom: use a better hash function

FNV-1a instead of the djb2-like one from before.

Keep the unrolling since it seems quite beneficial, even though it loses
one byte if the length is odd...

Signed-off-by: Ran Benita <ran@unusedvar.com>

atom: style changes

Signed-off-by: Ran Benita <ran@unusedvar.com>

atom: remove handling of garbage input

Signed-off-by: Ran Benita <ran@unusedvar.com>

atom: use explicit size for fingerprint

Signed-off-by: Ran Benita <ran@unusedvar.com>

atom: replace an avoidable strlen

Signed-off-by: Ran Benita <ran@unusedvar.com>

atom: remove redundant field

The field is redundant.

Due to alignment, this will only save memory on 32bit architectures.

Signed-off-by: Ran Benita <ran@unusedvar.com>

test/atom: increase iteration count and print random seed on failure

Signed-off-by: Ran Benita <ran@unusedvar.com>

parser: get rid of "stealing" atoms

This requires (well, at least implemented by) casting away `const` which
is undefined behavior, and clang started to warn about it.

The micro optimization didn't save too many allocations, anyway.

Signed-off-by: Ran Benita <ran@unusedvar.com>

test: remove a superfluous string-is-null check

A few lines above we check path_rel[0], so any null pointer will blow up
before we get here.

Found by coverity

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

test: fix a potential memory leak

Found by coverity

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

test: xkeyboard-config: bring back the progress bar

Signed-off-by: Ran Benita <ran@unusedvar.com>

test: xkeyboard-config: invoke the python3 command (#120)

python3 is always python3, but python could be python2 in some cases. Or just
missing (e.g. RHEL8).

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

test: xkeyboard-config: add missing variant tests

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

test: xkeyboard-config: use universal_newlines instead of decode

This way stdin/stdout of the process are opened in text mode and we don't need
manually decode.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

test: xkeyboard-config: flake8 fixes

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

test: xkeyboard-config: handle keyboard interrupts correctly

In python multiprocessing, each process needs to handle (and ignore) the
KeyboardInterrupt to avoid exception logging. This is a separate patch for
easier reviewing, the first hunks merely re-indent all of the
xkbcommontool/xkbcomp functions into a try/except KeyboardInterrupt block.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

test: xkeyboard-config: print to stderr on failure, stdout otherwise

This is a change in behavior and requires any automated callers to adjust
accordingly. Still, much easier to get the errors that way rather than it
being mixed into a thousands-of-lines output file.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

test: xkeyboard-config: add a multiprocessing.Pool() to speed up the test

Collect all options into a dictionary, then process that as async actions
through a process pool. This of course requires collecting the various print
statements to avoid mangled output.

This dropped the time to completion from around 14 min to 8 min on my local
machine (unscientific single run only for the original timing).

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

test: xkeyboard-config: use argparse for the path and the tool selection

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

scripts/makeheader: slight simplification

Signed-off-by: Ran Benita <ran@unusedvar.com>

scripts/makeheader: allow overriding the prefix path of the X11 headers
with X11_HEADERS_PREFIX

Signed-off-by: Sebastian Wick <sebastian@sebastianwick.net>

test: add test for the various default include paths

All tests create a temporary directory, set up the environment for that
directory and then check the include paths for the presence of that directory,
ideally in the right position of the list.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

Use XDG_CONFIG_HOME as first XKB search path

Use $XDG_CONFIG_HOME/xkb as the primary lookup path for XKB rules. Same
motivation as in 3a91788d9254b, however the XDG directories are more standard
and recommended these days than application-specific dotfiles.

The XDG spec says to fall back to $HOME/.config where XDG_CONFIG_HOME is not
set so we implement that behavior as well.

Fixes #112

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

Bump version to 0.9.1

Signed-off-by: Ran Benita <ran@unusedvar.com>

context: Don't fail to create the context if HOME isn't available

E.g. when Mutter has CAP_SYS_NICE and thus secure_getenv returns NULL.

Fixes https://bugs.archlinux.org/task/64191

[ran: changed to ignore error]
Signed-off-by: Ran Benita <ran@unusedvar.com>

README: update my email address

Signed-off-by: Ran Benita <ran@unusedvar.com>

Bump version to 0.9.0

Signed-off-by: Ran Benita <ran@unusedvar.com>

build: remove leftover autotools file

Signed-off-by: Ran Benita <ran@unusedvar.com>

test: fix printf("%s", NULL) in error path

    ../test/common.c: In function ‘test_get_path’:
    ../test/common.c:171:9: warning: ‘%s’ directive argument is null [-Wformat-overflow=]
      171 |         fprintf(stderr, "Failed to allocate path (%d chars) for %s\n",
          |         ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
      172 |                 (int) path_len, path);
          |                 ~~~~~~~~~~~~~~~~~~~~~

Signed-off-by: Ran Benita <ran@unusedvar.com>

keymap-dump: use consistent capitalization for "Group<N>"

It's used capitalized everywhere except a couple places.

Signed-off-by: Ran Benita <ran@unusedvar.com>

keymap-dump: fix invalid names used for levels above 8

xkbcomp only accepts the "Level" prefix for a level name for levels 1 to
8, but the keymap dumping code added it always, e.g. "Level15".

The plain integer, e.g. "8", "15" is always accepted, so just use that.

Fixes https://github.com/xkbcommon/libxkbcommon/issues/113

Signed-off-by: Ran Benita <ran@unusedvar.com>
Reported-by: progandy

context: move ~/.xkb to before XKB_CONFIG_ROOT in the default include path

Previously, the default include path was XKB_CONFIG_ROOT:~/.xkb.

The ~/.xkb include path is intended to allow the local user to customize
their keymaps without having to modify system paths.

But usually, the user only wants to customize specific parts. When
XKB_CONFIG_ROOT is first, the user can only customize through the "entry
point" (the RMLVO). When ~/.xkb is first, the user can drop in a file
and it will override the system one.

The impetus for this change is the rules file. "evdev" is hard-coded
everywhere, so it not often not possible to change to something else.
And the rules files determines how the rest of the RMLVO is interpreted.
So, to enable customization, we have these options:

A: System includes user.
B: User includes system.
C: Library goes over both in one or the other order.

Option A is problematic due to backward compatibility and is also
unnatural.

Option B gives the user control and is backward compatible, so that's
what we choose. This is also how Compose files are handled, and that
seems to work fine in the wild.

Option C is actually less flexible than B, and more complicated.

(The rules file format doesn't have an include statement yet, but it's
planned).

Signed-off-by: Ran Benita <ran@unusedvar.com>

build: Solaris needs __EXTENSIONS__ instead of _GNU_SOURCE

Fix meson build on Solaris by using __EXTENSIONS__ where Linux & other
platforms use _GNU_SOURCE.  Without this the build fails due to missing
prototypes for functions like strdup & getopt not defined in the C99
standard.  (In autoconf, this was handled by AC_USE_SYSTEM_EXTENSIONS.)

Signed-off-by: Alan Coopersmith <alan.coopersmith@oracle.com>

build: remove autotools build

We introduced meson 2 years ago, hopefully that's was enough time for
everyone to convert.

Signed-off-by: Ran Benita <ran@unusedvar.com>

ci: remove travis CI

We moved to Azure Pipelines.

Signed-off-by: Ran Benita <ran@unusedvar.com>

Set up CI with Azure Pipelines

[skip ci]

CI: Install graphviz using APT

This adds the missing graphviz dependency, from which Doxygen uses
"dot" to create diagrams for the documentation. Also, the meson
dependency is removed as it is installed using Pip, and ninja-build
added.

CI: Publish test results from Meson

CI: Try builds both with Clang and GCC

CI: Enable a macOS job

CI: Make Autotools and Meson builds parallel

This splits the steps for installing dependencies into a new template
file, as well as the build steps for Autotools. Both gets used to define
two jobs which can run in parallel for both build systems.

CI: Always try to gather test results

Resulting test logs should be always attached to the task, regardless
of whether the test suite ran successfully or not.

CI: Split Meson build steps into a separate YAML file

CI: Save the Meson logs as downloadable files

This uploads the files saves to meson-build/meson-logs/ and associates
them to the pipeline task, which makes them availabl for download in the
Azure Pipelines web interface.

CI: Initial set up to use Azure Pipelines

For the moment, configure only basic builds with Ubuntu 16.04, more to be added as follow-ups. [skip ci]

travis: improve configuration and add macOS

Signed-off-by: Ran Benita <ran234@gmail.com>

test/symbols-leak-test: fix sed regex on macOS

Signed-off-by: Ran Benita <ran234@gmail.com>

build: fixup autotools build after 97f41fe

Signed-off-by: Ran Benita <ran234@gmail.com>

test/symbols-leak-test: make it work with macOS diff

The <() stuff fails with an error:
    diff: extra operand `/dev/fd/61'

Signed-off-by: Ran Benita <ran234@gmail.com>

test/rmlvo-to-keymap: drop basename usage

It wants some libgen.h include which is POSIX only, let's just remove
it as it's hardly important.

Signed-off-by: Ran Benita <ran234@gmail.com>

test/rmlvo-to-keymap.c: fix compilation on Darwin (#101)

program_invocation_short_name isn't portable.

interactive-wayland: Port to stable xdg-shell (#100)

xdg_shell v6 was pretty close to the finalised stable version of
xdg-shell. We can now just use the stable version, which is supported
everywhere (Enlightenment, KWin, Mutter, Weston, wlroots).

This requires bumping the wayland-protocols dependency.

Signed-off-by: Daniel Stone <daniels@collabora.com>

Merge pull request #98 from michaelforney/popcount

Use bitwise test for power-of-2 instead of popcount

Use bitwise test instead of popcount to check if one bit is set

We don't need to determine the total number of bits set to determine if
exactly one is set.

Additionally, on x86_64 without any -march=* flag, __builtin_popcount
will get compiled to a function call to the compiler runtime (on gcc),
or a long sequence of bit operations (on clang).

Signed-off-by: Michael Forney <mforney@mforney.org>

Merge pull request #96 from Jjagg/patch-1

Fix a few doc typos

Fix some doc typos

Merge pull request #95 from Hi-Angel/fix-lgtm-warnings

Fix some of LGTM warnings

symbols: add a comment to suppress warning from code analyzers

Signed-off-by: Konstantin Kharlamov <Hi-Angel@yandex.ru>

Merge pull request #94 from milloni/milloni/m4

Makefile.am: add include dir for AC_CONFIG_MACRO_DIR to work

Makefile.am: add include dir for AC_CONFIG_MACRO_DIR to work

With older versions of autotools, one needs to add this line to
Makefile.am. From the autoconf docs: "Note that if you use aclocal from
Automake to generate aclocal.m4, you must also set ACLOCAL_AMFLAGS = -I dir
in your top-level Makefile.am". [1]

I couldn't build with autoconf 2.68 without this.

[1] https://www.gnu.org/software/autoconf/manual/autoconf-2.65/html_node/Input.html

Signed-off-by: milloni <milloni@preemptable.org>

README: usage questions are alright

Signed-off-by: Ran Benita <ran234@gmail.com>

README: stop pointing at bugs.freedesktop.org

No-one filed bugs in there for a while, let's consolidate on the more
popular one.

Signed-off-by: Ran Benita <ran234@gmail.com>

meson.build: use program from build machine not host or target.

We can't always execute binaries from the host or target machine,
as is the case in cross compilation.

closes #89

Bump version to 0.8.4

Signed-off-by: Ran Benita <ran234@gmail.com>