rules: move the matcher result handling to the caller

This shouldn't be processed in the matcher itself, especially in the glorious
future when we can have nested matchers. Only handle this once in the caller
to the original parsed file.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

rules: put the scanner on the stack

This allows nesting the scanner for the future !include directive.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

rules: simplify an error path

Initialize to NULL so we don't have to care about whether the cleanups can be
called or not.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

rules: rename a variable from 's' to 'str'

To avoid name conflicts with a future patch.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

rules: drop the matcher_err() macro and use scanner_err directly

No functional changes, this is what the macro expanded to anyway. Prep work
for putting the scanner on the stack and removing it from the matcher struct.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

rules: factor out the function to parse a rules file

No functional changes, this just makes the part to parse a single rules file
re-usable.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

keysym: handle ssharp in XConvertCase()

lowercase: LATIN SMALL LETTER SHARP S (U+00DF)
uppercase: LATIN CAPITAL LETTER SHARP S (U+1E9E)

The uppercase sharp s (XK_ssharp) is a relatively recent addition to unicode
but was added to the relevant keyboard layouts in xkeyboard-config-2.25
(d1411e5e95c)
https://gitlab.freedesktop.org/xkeyboard-config/xkeyboard-config/issues/144

Alas, the CapsLock behavior was broken on the finnish layout (maybe others).
This was due XConvertCase() never returning the uppercase characters.

Let's make this function return the right lower/upper symbols for the sharp s
and hope that the world won't get any worse because of it.

Corresponding Xlib issue:
https://gitlab.freedesktop.org/xorg/lib/libx11/issues/110

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

meson: remove redundant malloc scribbling

Turns out meson already sets this (at least MALLOC_PERTURB) on its own
for the `test` target.

Signed-off-by: Ran Benita <ran@unusedvar.com>

parser: fix the remaining pointer chasing

Fix the TODO added in 7c42945.

Signed-off-by: Ran Benita <ran@unusedvar.com>

test: let rmlvo-to-kccgst take long options like rmlvo-to-keymap

The short options were left for backwards compatibility.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

parser: fix quadratic pointer chasing

In the AST, lists (e.g. the list of statements in a file) are kept in
singly-linked lists -- each AST node has a `next` pointer available for
this purpose.

Previously, a node was added to the list by starting from the head,
chasing to the last, and appending. So creating a list of length N would
take ~N^2/2 pointer dereferences.

Now, we always (temporarily) keep the last as well, so appending is O(1)
instead of O(N).

Given a keymap

    xkb_keymap {
    xkb_keycodes {
    minimum = 8;
    minimum = 8;
    minimum = 8;
    minimum = 8;
    minimum = 8;
    [... repeated N times ...]
    };
    xkb_types {};
    xkb_compat {};
    xkb_symbols {};
    };

The compilation times are

N       | Before   | After
--------|----------|-------
10,000  | 0.407s   | 0.006s
20,000  | 1.851s   | 0.015s
30,000  | 5.737s   | 0.021s
40,000  | 12.759s  | 0.023s
50,000  | 21.489s  | 0.035s
60,000  | 40.473s  | 0.041s
70,000  | 53.336s  | 0.039s
80,000  | 72.485s  | 0.044s
90,000  | 94.703s  | 0.048s
100,000 | 118.390s | 0.057s

Another option is to ditch the linked lists and use arrays instead. I
got it to work, but its more involved and allocation heavy so turns out
to be worse without further optimizations.

Signed-off-by: Ran Benita <ran@unusedvar.com>

parser: remove an unneeded check

Signed-off-by: Ran Benita <ran@unusedvar.com>

docs: update the include path documentation

Missing from e23f1061b2b9c8d40ba7797a5ffbd6d474d604e0 and
3a91788d9254b4571ff883439931f497d8a0663f.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

compat: reject interpret modifier predicate with more than one value

Given

    interpret ISO_Level3_Shift+AnyOf(all,extraneous) { ... };

Previously, extraneous (and further) was ignored. Now it's rejected.

Signed-off-by: Ran Benita <ran@unusedvar.com>

expr: fix log message on some unexpected expression types

Signed-off-by: Ran Benita <ran@unusedvar.com>

Replace some tabs that sneaked in with spaces

Signed-off-by: Ran Benita <ran@unusedvar.com>

parser: fix merge mode only applied to first vmod in a virtual_modifiers statement

Given

    augment virtual_modifiers NumLock,Alt,LevelThree

Previously it was expanded (directly in the parser) to

    augment virtual_modifiers NumLock;
    virtual_modifiers Alt;
    virtual_modifiers LevelThree;

Now it expands to

    augment virtual_modifiers NumLock;
    augment virtual_modifiers Alt;
    augment virtual_modifiers LevelThree;

Signed-off-by: Ran Benita <ran@unusedvar.com>

ast: use a separate expr struct for action list

Currently it's under UnaryExpr, which just doesn't make sense.

Signed-off-by: Ran Benita <ran@unusedvar.com>

ast-build: get rid of unhelpful macro

Straightforward code is better here.

Signed-off-by: Ran Benita <ran@unusedvar.com>

atom: a string is greater than its prefix

Bug accidentally introduced in 9a92b46.

Signed-off-by: Ran Benita <ran@unusedvar.com>

atom: combine atom_intern() and atom_lookup()

Use an "add" bool parameter instead. This simplifies the code a bit.

Signed-off-by: Ran Benita <ran@unusedvar.com>

atom: correct iteration count in hash function

Fixup of ccab349 - unlike the commit message, hash a byte twice instead
of zero times, which is probably better. This is how it was before.

Signed-off-by: Ran Benita <ran@unusedvar.com>

atom: describe how this odd data structure works

Signed-off-by: Ran Benita <ran@unusedvar.com>

atom: use a better hash function

FNV-1a instead of the djb2-like one from before.

Keep the unrolling since it seems quite beneficial, even though it loses
one byte if the length is odd...

Signed-off-by: Ran Benita <ran@unusedvar.com>

atom: style changes

Signed-off-by: Ran Benita <ran@unusedvar.com>

atom: remove handling of garbage input

Signed-off-by: Ran Benita <ran@unusedvar.com>

atom: use explicit size for fingerprint

Signed-off-by: Ran Benita <ran@unusedvar.com>

atom: replace an avoidable strlen

Signed-off-by: Ran Benita <ran@unusedvar.com>

atom: remove redundant field

The field is redundant.

Due to alignment, this will only save memory on 32bit architectures.

Signed-off-by: Ran Benita <ran@unusedvar.com>

test/atom: increase iteration count and print random seed on failure

Signed-off-by: Ran Benita <ran@unusedvar.com>

parser: get rid of "stealing" atoms

This requires (well, at least implemented by) casting away `const` which
is undefined behavior, and clang started to warn about it.

The micro optimization didn't save too many allocations, anyway.

Signed-off-by: Ran Benita <ran@unusedvar.com>

test: remove a superfluous string-is-null check

A few lines above we check path_rel[0], so any null pointer will blow up
before we get here.

Found by coverity

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

test: fix a potential memory leak

Found by coverity

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

test: xkeyboard-config: bring back the progress bar

Signed-off-by: Ran Benita <ran@unusedvar.com>

test: xkeyboard-config: invoke the python3 command (#120)

python3 is always python3, but python could be python2 in some cases. Or just
missing (e.g. RHEL8).

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

test: xkeyboard-config: add missing variant tests

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

test: xkeyboard-config: use universal_newlines instead of decode

This way stdin/stdout of the process are opened in text mode and we don't need
manually decode.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

test: xkeyboard-config: flake8 fixes

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

test: xkeyboard-config: handle keyboard interrupts correctly

In python multiprocessing, each process needs to handle (and ignore) the
KeyboardInterrupt to avoid exception logging. This is a separate patch for
easier reviewing, the first hunks merely re-indent all of the
xkbcommontool/xkbcomp functions into a try/except KeyboardInterrupt block.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

test: xkeyboard-config: print to stderr on failure, stdout otherwise

This is a change in behavior and requires any automated callers to adjust
accordingly. Still, much easier to get the errors that way rather than it
being mixed into a thousands-of-lines output file.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

test: xkeyboard-config: add a multiprocessing.Pool() to speed up the test

Collect all options into a dictionary, then process that as async actions
through a process pool. This of course requires collecting the various print
statements to avoid mangled output.

This dropped the time to completion from around 14 min to 8 min on my local
machine (unscientific single run only for the original timing).

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

test: xkeyboard-config: use argparse for the path and the tool selection

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

scripts/makeheader: slight simplification

Signed-off-by: Ran Benita <ran@unusedvar.com>

scripts/makeheader: allow overriding the prefix path of the X11 headers
with X11_HEADERS_PREFIX

Signed-off-by: Sebastian Wick <sebastian@sebastianwick.net>

test: add test for the various default include paths

All tests create a temporary directory, set up the environment for that
directory and then check the include paths for the presence of that directory,
ideally in the right position of the list.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

Use XDG_CONFIG_HOME as first XKB search path

Use $XDG_CONFIG_HOME/xkb as the primary lookup path for XKB rules. Same
motivation as in 3a91788d9254b, however the XDG directories are more standard
and recommended these days than application-specific dotfiles.

The XDG spec says to fall back to $HOME/.config where XDG_CONFIG_HOME is not
set so we implement that behavior as well.

Fixes #112

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

Bump version to 0.9.1

Signed-off-by: Ran Benita <ran@unusedvar.com>

context: Don't fail to create the context if HOME isn't available

E.g. when Mutter has CAP_SYS_NICE and thus secure_getenv returns NULL.

Fixes https://bugs.archlinux.org/task/64191

[ran: changed to ignore error]
Signed-off-by: Ran Benita <ran@unusedvar.com>

README: update my email address

Signed-off-by: Ran Benita <ran@unusedvar.com>

Bump version to 0.9.0

Signed-off-by: Ran Benita <ran@unusedvar.com>

build: remove leftover autotools file

Signed-off-by: Ran Benita <ran@unusedvar.com>

test: fix printf("%s", NULL) in error path

    ../test/common.c: In function ‘test_get_path’:
    ../test/common.c:171:9: warning: ‘%s’ directive argument is null [-Wformat-overflow=]
      171 |         fprintf(stderr, "Failed to allocate path (%d chars) for %s\n",
          |         ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
      172 |                 (int) path_len, path);
          |                 ~~~~~~~~~~~~~~~~~~~~~

Signed-off-by: Ran Benita <ran@unusedvar.com>

keymap-dump: use consistent capitalization for "Group<N>"

It's used capitalized everywhere except a couple places.

Signed-off-by: Ran Benita <ran@unusedvar.com>

keymap-dump: fix invalid names used for levels above 8

xkbcomp only accepts the "Level" prefix for a level name for levels 1 to
8, but the keymap dumping code added it always, e.g. "Level15".

The plain integer, e.g. "8", "15" is always accepted, so just use that.

Fixes https://github.com/xkbcommon/libxkbcommon/issues/113

Signed-off-by: Ran Benita <ran@unusedvar.com>
Reported-by: progandy

context: move ~/.xkb to before XKB_CONFIG_ROOT in the default include path

Previously, the default include path was XKB_CONFIG_ROOT:~/.xkb.

The ~/.xkb include path is intended to allow the local user to customize
their keymaps without having to modify system paths.

But usually, the user only wants to customize specific parts. When
XKB_CONFIG_ROOT is first, the user can only customize through the "entry
point" (the RMLVO). When ~/.xkb is first, the user can drop in a file
and it will override the system one.

The impetus for this change is the rules file. "evdev" is hard-coded
everywhere, so it not often not possible to change to something else.
And the rules files determines how the rest of the RMLVO is interpreted.
So, to enable customization, we have these options:

A: System includes user.
B: User includes system.
C: Library goes over both in one or the other order.

Option A is problematic due to backward compatibility and is also
unnatural.

Option B gives the user control and is backward compatible, so that's
what we choose. This is also how Compose files are handled, and that
seems to work fine in the wild.

Option C is actually less flexible than B, and more complicated.

(The rules file format doesn't have an include statement yet, but it's
planned).

Signed-off-by: Ran Benita <ran@unusedvar.com>

build: Solaris needs __EXTENSIONS__ instead of _GNU_SOURCE

Fix meson build on Solaris by using __EXTENSIONS__ where Linux & other
platforms use _GNU_SOURCE.  Without this the build fails due to missing
prototypes for functions like strdup & getopt not defined in the C99
standard.  (In autoconf, this was handled by AC_USE_SYSTEM_EXTENSIONS.)

Signed-off-by: Alan Coopersmith <alan.coopersmith@oracle.com>

build: remove autotools build

We introduced meson 2 years ago, hopefully that's was enough time for
everyone to convert.

Signed-off-by: Ran Benita <ran@unusedvar.com>

ci: remove travis CI

We moved to Azure Pipelines.

Signed-off-by: Ran Benita <ran@unusedvar.com>

Set up CI with Azure Pipelines

[skip ci]

CI: Install graphviz using APT

This adds the missing graphviz dependency, from which Doxygen uses
"dot" to create diagrams for the documentation. Also, the meson
dependency is removed as it is installed using Pip, and ninja-build
added.

CI: Publish test results from Meson

CI: Try builds both with Clang and GCC

CI: Enable a macOS job

CI: Make Autotools and Meson builds parallel

This splits the steps for installing dependencies into a new template
file, as well as the build steps for Autotools. Both gets used to define
two jobs which can run in parallel for both build systems.

CI: Always try to gather test results

Resulting test logs should be always attached to the task, regardless
of whether the test suite ran successfully or not.

CI: Split Meson build steps into a separate YAML file

CI: Save the Meson logs as downloadable files

This uploads the files saves to meson-build/meson-logs/ and associates
them to the pipeline task, which makes them availabl for download in the
Azure Pipelines web interface.

CI: Initial set up to use Azure Pipelines

For the moment, configure only basic builds with Ubuntu 16.04, more to be added as follow-ups. [skip ci]

travis: improve configuration and add macOS

Signed-off-by: Ran Benita <ran234@gmail.com>

test/symbols-leak-test: fix sed regex on macOS

Signed-off-by: Ran Benita <ran234@gmail.com>

build: fixup autotools build after 97f41fe

Signed-off-by: Ran Benita <ran234@gmail.com>

test/symbols-leak-test: make it work with macOS diff

The <() stuff fails with an error:
    diff: extra operand `/dev/fd/61'

Signed-off-by: Ran Benita <ran234@gmail.com>

test/rmlvo-to-keymap: drop basename usage

It wants some libgen.h include which is POSIX only, let's just remove
it as it's hardly important.

Signed-off-by: Ran Benita <ran234@gmail.com>

test/rmlvo-to-keymap.c: fix compilation on Darwin (#101)

program_invocation_short_name isn't portable.

interactive-wayland: Port to stable xdg-shell (#100)

xdg_shell v6 was pretty close to the finalised stable version of
xdg-shell. We can now just use the stable version, which is supported
everywhere (Enlightenment, KWin, Mutter, Weston, wlroots).

This requires bumping the wayland-protocols dependency.

Signed-off-by: Daniel Stone <daniels@collabora.com>

Merge pull request #98 from michaelforney/popcount

Use bitwise test for power-of-2 instead of popcount

Use bitwise test instead of popcount to check if one bit is set

We don't need to determine the total number of bits set to determine if
exactly one is set.

Additionally, on x86_64 without any -march=* flag, __builtin_popcount
will get compiled to a function call to the compiler runtime (on gcc),
or a long sequence of bit operations (on clang).

Signed-off-by: Michael Forney <mforney@mforney.org>

Merge pull request #96 from Jjagg/patch-1

Fix a few doc typos

Fix some doc typos

Merge pull request #95 from Hi-Angel/fix-lgtm-warnings

Fix some of LGTM warnings

symbols: add a comment to suppress warning from code analyzers

Signed-off-by: Konstantin Kharlamov <Hi-Angel@yandex.ru>

Merge pull request #94 from milloni/milloni/m4

Makefile.am: add include dir for AC_CONFIG_MACRO_DIR to work

Makefile.am: add include dir for AC_CONFIG_MACRO_DIR to work

With older versions of autotools, one needs to add this line to
Makefile.am. From the autoconf docs: "Note that if you use aclocal from
Automake to generate aclocal.m4, you must also set ACLOCAL_AMFLAGS = -I dir
in your top-level Makefile.am". [1]

I couldn't build with autoconf 2.68 without this.

[1] https://www.gnu.org/software/autoconf/manual/autoconf-2.65/html_node/Input.html

Signed-off-by: milloni <milloni@preemptable.org>

README: usage questions are alright

Signed-off-by: Ran Benita <ran234@gmail.com>

README: stop pointing at bugs.freedesktop.org

No-one filed bugs in there for a while, let's consolidate on the more
popular one.

Signed-off-by: Ran Benita <ran234@gmail.com>

meson.build: use program from build machine not host or target.

We can't always execute binaries from the host or target machine,
as is the case in cross compilation.

closes #89

Bump version to 0.8.4

Signed-off-by: Ran Benita <ran234@gmail.com>

Update NEWS

Signed-off-by: Ran Benita <ran234@gmail.com>

build: fix meson build from tarball generated by autotools

These files are used by the meson build only. Previously, trying to
build with meson using the tarball generated by distcheck would fail.

Fixes https://github.com/xkbcommon/libxkbcommon/issues/87.

Reported-by: manesm52
Signed-off-by: Ran Benita <ran234@gmail.com>

meson.build: link the sources directly into libxkbcommon-x11

Similar to 75ce741ab97e3d17a0c9b06dd4bdf57c00d5538e, just for the -x11
sublibrary.

This works around meson bug 3937, 'link_whole' arguments don't get added into
the final static library and we end up with a virtually empty 8-byte
libxkbcommon-x11.a file, see https://github.com/mesonbuild/meson/issues/3937

The internal lib is still built for the one test case that requires it.

Fixes #86

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

Bump version to 0.8.3

Signed-off-by: Ran Benita <ran234@gmail.com>

Update NEWS

Signed-off-by: Ran Benita <ran234@gmail.com>

meson: make comment make sense now

Signed-off-by: Ran Benita <ran234@gmail.com>

Merge pull request #85 from whot/wip/static-lib-sources

meson.build: manually link all sources into the library

meson.build: manually link all sources into the library

This works around meson bug 3937, 'link_whole' arguments don't get added into
the final static library and we end up with a virtually empty 8-byte
libxkbcommon.a file, see https://github.com/mesonbuild/meson/issues/3937

Workaround is simply to add all sources to both libraries we need them in.
This obviously compiles them twice but this year's winter was cold and
bit of extra warmth will be appreciated.

Fixes #84

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

docs: fix a doxygen reference warning

Merge pull request #81 from whot/master

keysyms: fix comment for XKB_KEY_OCARON

keysyms: fix comment for XKB_KEY_OCARON

Reported-by: Keve Müller
Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

Merge pull request #79 from jwrdegoede/add-2-new-keysyms

Sync Keysyms with recent xproto additions

Sync Keysyms with recent xproto additions

xproto recently has been extended with 2 new keysyms:
XF86XK_MonBrightnessCycle
XF86XK_RotationLockToggle

This commit is the result of running "scripts/update-keysyms" on a system
with the updated xproto installed.

Signed-off-by: Hans de Goede <hdegoede@redhat.com>