x11: cache X11 atoms

On every keymap notify event, the keymap should be refreshed, which
fetches the required X11 atoms. A big keymap might have a few hundred of
atoms.

A profile by a user has shown this *might* be slow when some intensive
amount of keymap activity is occurring. It might also be slow on a
remote X server.

While I'm not really sure this is the actual bottleneck, caching the
atoms is easy enough and only needs a couple kb of memory, so do that.

On the added bench-x11:

Before: retrieved 2500 keymaps from X in 11.233237s
After : retrieved 2500 keymaps from X in 1.592339s

Signed-off-by: Ran Benita <ran@unusedvar.com>

x11: eliminate slow divisions

Signed-off-by: Ran Benita <ran@unusedvar.com>

build: combine test & bench internal deps

No need to duplicate this really.

Signed-off-by: Ran Benita <ran@unusedvar.com>

ci: fix windows CI failure due to add-path deprecation

Signed-off-by: Ran Benita <ran@unusedvar.com>

test: catch unrecognized keysyms in the xkeyboard-config test

Prompted by
https://gitlab.freedesktop.org/xkeyboard-config/xkeyboard-config/-/merge_requests/127

We run the keymap tool with --verbose which will print the messages from the
compiler to the log file as well. And then we can search for the warning
regarding an unrecognized keysym and fail our test based on that.

xkbcomp: where a keysym cannot be resolved, set it to NoSymbol

Where resolve_keysym fails we warn but use the otherwise uninitialized variable
as our keysym. That later ends up in the keymap as random garbage hex value.

Simplest test case, set this in the 'us' keymap:
    key <TLDE>               {      [        xyz ] };

And without this patch we get random garbage:
./build/xkbcli-compile-keymap --layout us | grep TLDE:
    key <TLDE>               {      [      0x018a5cf0 ] };

With this patch, we now get NoSymbol:
./build/xkbcli-compile-keymap --layout us | grep TLDE:
    key <TLDE>               {      [        NoSymbol ] };

doc: add note about "short" layout names (#194)

Fixes: https://github.com/xkbcommon/libxkbcommon/issues/193
Signed-off-by: Ran Benita <ran@unusedvar.com>

Bump version to 1.0.1

Signed-off-by: Ran Benita <ran@unusedvar.com>

parser: fix another format string for int64_t (#191)

tools: align `xkbcli how-to-type` output ourselves

Can possibly add a machine-parsable format if desired, but for now just
have it work nicely.

Signed-off-by: Ran Benita <ran@unusedvar.com>

test/tool-option-parsing: skip testing of disabled tools

Signed-off-by: Ran Benita <ran@unusedvar.com>

test/tool-option-parsing: switch from pytest to unittest

For me, installing pytest for libxkbcommon is a bit problematic, so I
end up skipping it which is not great.

Switch to unittest which is built in to Python. It's not as nice as
pytest but good enough in this case.

Note: I was too lazy to switch the plain asserts to unittest
assertions...

Signed-off-by: Ran Benita <ran@unusedvar.com>

test/tool-option-parsing: keep isolated by using our own test data

Make it possible to run the test on all machines.

Signed-off-by: Ran Benita <ran@unusedvar.com>

build: move tests to after tools

So tests can refer to stuff set by the tools section.

Signed-off-by: Ran Benita <ran@unusedvar.com>

utils: include unistd.h where we have it

MacOS doesn't have eaccess/euidaccess but it does have unistd.h, so let's
include it to silence the R_OK redefinition compiler warnings.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

context: fix a compiler warning

../src/context.c:57:9: warning: variable 'err' is used uninitialized whenever
'if' condition is true [-Wsometimes-uninitialized]

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

registry: mark the rxkb_log function as attribute printf

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

ci: enable xkbregistry on macos job

Signed-off-by: Ran Benita <ran@unusedvar.com>

test: include unstd.h in the registry test to cut down the MacOS warnings

mkdtmp, rmdir and unlink are in unstd.h on MacOS. Since including that it
doesn't hurt us on Linux, let's do it without ifdefs.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

test/data: add rule registry files

Signed-off-by: Ran Benita <ran@unusedvar.com>

test/data: sync from xkeyboard-config 2.30

Signed-off-by: Ran Benita <ran@unusedvar.com>

test/data: change quartz.xkb from CRLF to LF

Signed-off-by: Ran Benita <ran@unusedvar.com>

test: fix the xkbcli --version test

Fixes https://github.com/xkbcommon/libxkbcommon/issues/185

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

build: remove old pkgconfig templates

In meson these are generated instead.

Signed-off-by: Ran Benita <ran@unusedvar.com>

Bump version to 1.0.0

Signed-off-by: Ran Benita <ran@unusedvar.com>

xkbcli: fix interactive-x11 not showing in help

Signed-off-by: Ran Benita <ran@unusedvar.com>

Revert: tools: add xkbcli-scaffold-new-layout as helper tool

While this tool is useful for users starting with a new keyboard layout, it is a
somewhat bad fit for libxkbcommon. It's the only python tool, we don't even
install it yet (because we're not sure yet what it's supposed to do) and there's
a potential for it to expand into more corner cases.

The only tie it has to libxkbcommon is that it templates the data files that
libxkbcommon reads, but those files are effectively public API.

Let's remove this tool from there and instead move it to a separate git
repository where it can go its own way.

This reverts commit d00cf64dbc586a1052e1f0d0e7f1a48bbff293ec

meson.build: define PATH_MAX where it's missing

PATH_MAX is not POSIX and can be missing on some systems, notably Windows (which
provides MAX_PATH instead tough) and Hurd. Let's define it to a sane value where
missing, i.e.  the one it's defined to in limits.h. Except on Windows where
we're limited to 260.

Fixes https://github.com/xkbcommon/libxkbcommon/issues/180

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

ci: fix windows job not finding bison

Instead of using the unpredictable chocolatey let's just handle it
ourselves. The versions are pinned but that's arguably good.

Fixes https://github.com/xkbcommon/libxkbcommon/issues/179
Signed-off-by: Ran Benita <ran@unusedvar.com>

tools: convert man pages from man format to mdoc format

The mdoc is more semantic and consistent.

Signed-off-by: Ran Benita <ran@unusedvar.com>

PACKAGING: mention xkbcli

Signed-off-by: Ran Benita <ran@unusedvar.com>

build: fix meson "uses features which were added in newer versions" warning

Signed-off-by: Ran Benita <ran@unusedvar.com>

doc: add some disclaimer regarding user-specific key types and compat entries

It's a niche use-case but basically the same as adding symbols, so let's go with
a general handwavy explanation.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

tools: add xkbcli-scaffold-new-layout as helper tool

This tool set ups the required directory structure and template files to add new
keyboard layouts or options. For example, run like this:

    xkbcli-scaffold-new-layout  --layout 'us(myvariant)' --option 'custom:foo'

This will up the evdev rules file, the evdev.xml file, the symbols/us file and
symbols/custom file in $XDG_CONFIG_HOME so that the user has everything in place
and can start filling in the actual key mappings.

This tool is currently uninstalled until we figure out whether it's useful.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

Add /etc/xkb as extra lookup path for system data files

This completes the usual triplet of configuration locations available for most
processes:
- vendor-provided data files in /usr/share/X11/xkb
- system-specific data files in /etc/xkb
- user-specific data files in $XDG_CONFIG_HOME/xkb

The default lookup order user, system, vendor, just like everything else that
uses these conventions.

For include directives in rules files, the '%E' resolves to that path.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

xkbcomp: allow including kccgst files from other paths

Previously, a 'symbols/us' file in path A would shadow the same file in path B.
This is suboptimal, we rarely need to hide the system files - we care mostly
about *extending* them. By continuing to check other lookup paths, we make it
possible for a XDG_CONFIG_HOME/xkb/symbols/us file to have sections including
those from /usr/share/X11/xkb/symbols/us.

Note that this is not possible for rules files which need to be manually
controlled to get the right bits resolved.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

xkbcomp: simplify the include path handling

Streamline the code a bit - instead of handling all the if (!file) conditions
handle the case of where we have a file and jump to the end.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

xkbcomp: move the logging of include paths into a helper function

No functional changes, prep work for some other refacturing.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

build: fix byacc invocation

Fixes: https://github.com/xkbcommon/libxkbcommon/issues/133#issuecomment-670902025
Reported-by: Edward-0
Signed-off-by: Ran Benita <ran@unusedvar.com>

test: fix the xkeyboard-config test

'xkbcli compile-keymap' doesn't work unless we ninja install first. But for a
test that's to be run from the test directory, that's not a useful option so
let's call the binary directly. The script adds the meson builddir to the PATH
anyway.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

test: ignore the real XDG_CONFIG_HOME during tests

Let's not have our tests fail if the user has an incompatible
$XDG_CONFIG_HOME/xkb directory.

libxkbcommon has fallbacks when XDG_CONFIG_HOME isn't set so we need to override
this with a real directory instead of just unsetting it.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

tools/interactive-evdev: fixup 64bff65

Signed-off-by: Ran Benita <ran@unusedvar.com>

tools/interactive-evdev: change --evdev-offset to --without-x11-offset

There is no reason to give full control rather than just enable/disable.

Signed-off-by: Ran Benita <ran@unusedvar.com>

doc: ignore rxkb, RXBK prefixes in doxygen

Signed-off-by: Ran Benita <ran@unusedvar.com>

test/tool-option-parsing: remove --kccgst test, it's private for now

Signed-off-by: Ran Benita <ran@unusedvar.com>

tools: run test-tool-option-parsing.py like a regular test

Signed-off-by: Ran Benita <ran@unusedvar.com>

tools/compile-keymap: hide --kccgst comment on public build

Signed-off-by: Ran Benita <ran@unusedvar.com>

tools: fix strcmp mistake in 0066e38

Signed-off-by: Ran Benita <ran@unusedvar.com>

build: use gnu_symbol_visibility instead of explicit -fvisibility

Signed-off-by: Ran Benita <ran@unusedvar.com>

build: use nicer / syntax instead of join_paths()

Signed-off-by: Ran Benita <ran@unusedvar.com>

tools: make independent from src/

Signed-off-by: Ran Benita <ran@unusedvar.com>

build: use cc.get_supported_arguments()

Signed-off-by: Ran Benita <ran@unusedvar.com>

build: remove explicit -Wextra

Implied by `warning_level=2`.

Signed-off-by: Ran Benita <ran@unusedvar.com>

tools: some minor changes to xkbcli

Signed-off-by: Ran Benita <ran@unusedvar.com>

tools: link the tools against libxkbcommon.so only

The tools previously linked against a static version (by simply recompiling
everythiong). This isn't necessary, we can link them against libxkbcommon.so.

Only exception: The xbkcli-compile-keymap tool needs a private API for the
--kccgst flag. Avoid this by disabling this flag in the installed tool and
building the same tool, statically linked but not-installed.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

tools: avoid use of a private api

This is merely to fill in some NULL pointers anyway, we can just use
the #defines we have available at build time.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

Drop use of ronn, switch to raw roff instead

Drop the ronn source files, check in the generated files instead. This gets rid
of the ruby+gem+ronn toolchain requirement at the cost of having to edit raw man
pages.

ronn files are as-generated but with the preamble and generation date removed.
The latter isn't important enough to keep, it'll just go stale for manually
maintained files and it's not worth setting up a configure_file() just for that
date.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

tools: don't mangle the path for tools, just exec directly

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

tools: don't assert on 64+ commandline arguments, just return

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

tools: add a test program to parse the commandline options

A pytest wrapper around our xkbcli tool - copied from libinput.
This calls our various xkbcli tools with varying options and check that they
either succeed or return the right error code. The coverage is limited, it
does not (and cannot) test for all possible combinations but it should provide a
good red flag if we have inconsistent behavior or accidentally break some
combination of flags.

Meanwhile, we can at least assume that all our commandline arguments are parsed
without segfaulting or worse.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

tools: drop getopt vs getopt_long differentiation

On all platforms we build on where getopt.h is available, getopt_long is also
available. Only Windows doesn't have either but that's no reason for us to
differentiate between the two.

If we need to special-case getopt vs getopt_long, it's probably better to
implement our own cross-platform version of it and use that.

Fixes #161

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

tools: switch how-to-type to getopt_long

This provides consistency with the other tools that now all take long options.
Plus, it's more obvious to have the arguments spelled out.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

tools: switch interactive-evdev to getopt_long

Requiring long options for this tool means it's immediately obvious what an
invocation does, compare e.g.

  xkbcli interactive-evdev -gcd

to the equivalent:

  xkbcli interactive-evdev --consumed-mode=gtk --enalbe-compose --report-state-changes

This drops the evdev offset argument - that offset should never be anything
other than 8, having this as argument here is more likely to confuse or
produce misleading debugging logs.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

tools: consistently return 2 on invalid usage

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

tools: install our tools as xkbcli subcommands

The xkbcli tool usage help is ifdef'd out where the tool isn't built but the
man page always includes all tools. Easier that way.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

tools: add a xkbcli tool as entry point for the various tools we have

This is the base tool, no subtools are currently connected so you only get help
and version for now. The goal here is to have a git-like infrastructure where
/usr/bin/xkbcli is the main tool, anything else will hide in libexec.

The infrastructure for this is copied from libinput. Tools themselves will
will be installed in $prefix/libexec/xkbcommon and the xkbcli tool forks
off whatever argv[1] is after modifying the PATH to include the libexec dir.

libinput has additional code for checking whether we're running this from the
builddir but it's a bit iffy and it's usefulness is limited - if you're in the
builddir anyway you can just run ./builddir/xkbcli-<toolname> directly.
So for this code here, running ./builddir/xkbcli <toolname> will execute the
one in the prefix/libexecdir.

Since we want that tool available everywhere even where some of the subtools
aren't present, we need to ifdef the getopt handling.

man page generation is handled via ronn which is a ruby program but allows
markdown for the sources. It's hidden behind a meson option to disable where
downloading ronn isn't an option. The setup is generic enough that we can add
other man-pages by just appending to the array.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

meson.build: move registry-list tool down to the tools section

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

meson.build: only build the tools where getopt.h is available

Windows doesn't have getopt.h. This would prevent building the tools but
they are behind other checks that cause them to be disabled. The only tools
that don't need getopt.h  are interactive-wayland and interactive-x11 but
neither is particularly useful on Windows. Just hide all tools behind the getopt
check in preparation for the upcoming tool consolidation work.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

meson.build: move the config.h generation to the bottom

We cannot add to configh_data after this command so let's generate this last.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

meson.build: registry list is dependent on getopt_long

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

meson.build: drop install:false from configure_file

meson complains because this requires 0.50.0 and we don't require that. But
since it defaults to false anyway, let's just omit it.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

meson.build: add the valgrind test setup, exclude python tests

This way we can invoke the expected setup with
  meson test --setup=valgrind

And because we don't care about valgrinding python script, mark that test as
part of the "python-tests" suite and skip it during our CI valgrind run.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>
Signed-off-by: Ran Benita <ran@unusedvar.com>

test: make the symbols-leak-test executable

Python leaks like crazy when run under valgrind. But if we make the script
executable **and** it has uses the env invocation (i.e. #!/usr/bin/env python3),
the leaks disappear. This is not the case for a shebang of /usr/bin/python3.

Why exactly this is the case I'm not sure but executables we plan to run
should have the exec bit set. So this is a janitor patch with the nice side
effect of fixing our valgrind runs.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

Make path retrieval consistent in xkb_compose_table_new_from_locale()

compose: add xdg base directory support

Before reading ~/.XCompose, try to read $XDG_CONFIG_HOME/XCompose
(falling back to ~/.config/XCompose).

This helps unclutter the home directory of users who want that.

meson.build: fix pkgconfig deprecation warning

../meson.build:239: DEPRECATION: Library xkbcommon was passed to the "libraries"
keyword argument of a previous call to generate() method instead of first
positional argument. Adding xkbcommon to "Requires" field, but this is a
deprecated behaviour that will change in a future version of Meson. Please
report the issue if this warning cannot be avoided in your case.

This was introduced in meson 0.49.0

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

PACKAING: remove bash

Converted to Python.

Signed-off-by: Ran Benita <ran@unusedvar.com>

test: fix Windows CI by rewriting symbols-leak-test from bash to python

The CI started installing some wrapper instead of a real bash which is
what gets found.

See:
https://github.com/actions/virtual-environments/pull/1081

Given meson is written in python, it should always be available
hopefully.

Disabled valgrind wrapper for now because it now also applies to the
python interpreter which leaks like a sieve.

Signed-off-by: Ran Benita <ran@unusedvar.com>

ci: cache chocolaty download

The bison sourceforge download is quite slow and unreliable.

Hopefully this works. Stolen directly from ruby:
https://github.com/ruby/ruby/blob/a50750c8a960ef62b3e1dbd78b12056f0512b17d/.github/workflows/windows.yml#L26

Signed-off-by: Ran Benita <ran@unusedvar.com>

xkbcomp: return NULL, not false in place of a FILE*

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

xkbcomp: simplify buffer handling in the include handling

Don't do the realloc dance, just asprintf to the buffer and move on. The check
is likely pointless anyway, if we run out of asprintf size, log_error will
probably blow up as well.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

Add asprintf_safe helper function

We only ever care about whether we error out or not, so let's wrap this into
something more sane.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

tools: add option to print full RMLVO elements to rmlvo-to-keymap

Since the most common use-case is to provide only some elements of RMLVO, this
makes it possible to show what is actually being used in the background based on
the built-in defaults.

Print this in a format that's mostly JSON-compatible or at least easy to parse,
just in case.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

tools: add ability to compile from kccgst to rmlvo-to-keymap

This obsoletes the print-compiled-keymap tool though we now require that the
kccgst components are passed via stdin, there is no file loading ability.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

tools: add include path handling to rmlvo-to-keymap

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

tools: add ability to print the KcCGST components for rmlvo-to-keymap

This makes the rmlvo-to-kccgst tool obsolete.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

tools: expand help output for rmlvo-to-keymap

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

tools: add verbose logging to rmlvo-to-keymap

Since we want to log the include paths too we need to split the context init up,
otherwise include paths are added before we can set the verbosity.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

context: log include paths for debugging

Now that we're relying on various different include paths, let's log that ones
we use and the ones we failed to use.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

tools: always print the rmlvo-to-keymap outcome

The most common case for this tool is to check what the keymap is for a given
RMLVO. Let's print that by default, the use-cases that just check for
compilation success can discard stdout instead.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

meson.build: always set the default variants/options

Make this more balanced with the rules/layouts so we can rely on that #define to
exist.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

Add libxkbregistry to query available RMLVO

This library is the replacement for clients parsing evdev.xml directly.
Instead, they should use the API here so that in the future we may even
be able to swap evdev.xml for a more suitable data format.

The library parses through evdev.xml (using libxml2) and - if requested -
through evdev.extras.xml as well. The merge approach is optimised for
the default case where we have a system-installed rules XML and another file in
$XDG_CONFIG_DIR that adds a few entries.  We load the system file first, then
append any custom ones to that. It's not possible to overwrite the MLVO list
provided by the system files - if you want to do that, get the change upstream.

XML validation is handled through the DTD itself which means we only need to
check for a nonempty name, everything else the DTD validation should complain
about.

The logging system is effectively identical to xkbcommon.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

utils: add streq_null() for streq that allows NULL values

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

Add a snprintf_safe() helper function

Returns true on success or false on error _or_ truncation. Since truncation is
almost always an error anyway, we might as well make this easier to check.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

Factor the access check for paths out

Easier to re-use without having to duplicate ifdefs.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

test: fix the xkeyboard-config test for the prefixed tool name

Regression introduced in 362130debb5d90d77f0d4f7549880b5f9699f647

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

tools: don't depend on src/utils.h

The idea is to make the tools/demos as standalone as possible so that
they may serve as examples as well.

Signed-off-by: Ran Benita <ran@unusedvar.com>

tools: allow stdin for compiling keymaps

This connects two tools to be useful together:
  xkbcommon-rmlvo-to-kccgst | xkbcommon-print-compiled-keymap  -
which will result in the full keymap generated by the former tool.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

tools: print the kccgst format in a usable syntax

Might as well spit that out in the format that e.g. xkbcomp understands.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

test: drop some now-obsolete functions

These were moved to tools/tools-common.c and now that all tools are switched
over, they're no longer needed.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>