Test: Catch SIGUSR1 from Xvfb for X11 tests

Based on the work done by Peter Hutterer. Original commit message:

If SIGUSR1 is set to SIG_IGN, X servers (all of them, including Xvfb)
will send that signal to the parent process when they're ready to accept
connections. We can use that instead of a hardcoded sleep which brings
the wait down to ~37ms on my box.

Test: Use a xvfb wrapper for x11 test

The x11 test is currently silently skipped in CI, because it requires a
running X server.

Create a xvfb wrapper to run the test. We do not use `xvfb-run`, because
it is a shell script and it causes valgrind to detect unrelated memory
issues in the shell (dash, bash).

Improve wrapper using a special ELF section

TODO: The wrapper is intended to be used with the x11comp test as well.

doc: fix some Doxygen warnings

```
libxkbcommon/doc/introduction-to-xkb.md:67: warning: unable to resolve reference to 'rule-file-format' for \ref command
libxkbcommon/doc/introduction-to-xkb.md:181: warning: unable to resolve reference to 'keymap-text-format-v1' for \ref command
libxkbcommon/doc/rules-format.md:10: warning: unable to resolve reference to 'xkb-intro' for \ref command
```

Signed-off-by: Ran Benita <ran@unusedvar.com>

parser: change deprecated `%pure-parser` to `%define api.pure` (#370)

This is now supported by byacc since version 2.0 20230516

Improved tests related to keysyms

- Add a keymap test with decimal and hexadecimal keysyms.
- Reorganize code in `test/keysym.c` by parsing type: name, Unicode and
  hexadecimal.
- Add more tests for edge cases. In particular:
  - test decimal format (currently not supported);
  - test the Unicode and hexadecimal ranges more thoroughly;
  - test with wrong case without the XKB_KEYSYM_CASE_INSENSITIVE flag;
  - test surrounding spaces.
- Document the tests.

Fix parsing of numeric keysyms in ExprResolveKeySym

`ExprResolveKeySym` in `expr.c` does not parse non-digit numeric
keysyms.

Fixed by checking upper bound; also add warning messages.

Simplify parsing of numeric keysyms in parser.y

In `parser.y`, a numeric keysym is parsed by formatting it in its
hexadecimal form then parsed as a keysym name. This is convoluted.

Fixed by checking directly the upper bound.

Fix xkb_keysym_from_name for numeric keysyms

When parsing hexadecimal keysym using `xkb_keysym_from_name`,
the result is limited by `parse_keysym_hex` to 0xffffffff, but the
maximum keysym is XKB_MAX_KEYSYM, i.e. 0x1fffffff.

Fixed by adding an upper bound.

Move STRINGIFY to utils.h and add STRINGIFY2

Improve the documentation of keysyms in xkbcommon.h

Add XKB_KEYSYM_MIN and XKB_KEYSYM_MAX

Keysyms are 32-bit integers with the 3 most significant bits always set
to zero. See: Appendix A “KEYSYM Encoding” of the X Window System
Protocol at https://www.x.org/releases/current/doc/xproto/x11protocol.html#keysym_encoding.

Add a new constants XKB_KEYSYM_MIN and XKB_KEYSYM_MAX to make the
interval of valid keysyms more obvious in the code.

Replace keycode numeric offset with EVDEV_OFFSET

Add a constant `EVDEV_OFFSET` to make the semantic of the offset clearer.

Check the doxygen version

Doxygen 1.9.7 breaks our urls, see issue #347. Let's put a check for the
doxygen version into our CI build so that if our base distro updates beyond
that, the CI fails and we know we have to build doxygen from scratch or
update to some other version that's supported.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

Configure github pages

Upload the doxygen output as artifact from the linux build and use that from
the pages job where we combine the static website with our newly build HTML
docs.  The GitHub actions/download-artefact doesn't work across workflows so
we use the other popular one that can do this. The rest of the job is
basically copy/paste from the "Static HTML" example GitHub provides.

To make this useful as drop-in replacement, replace the one fixed link to the
API docs a relative one.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

xkbcli: allow compile-keymap without args

All of the arguments have defaults, but still an argument is required.
Make it work.

Signed-off-by: Ran Benita <ran@unusedvar.com>

Add a meson flag to make cool URIs optional

The script `ensure-stable-doc-urls.py` relies on the Doxygen output files
names. These may change between Doxygen versions, although the Doxygen
developers intend stability.

Since the script is useful mainly for the online documentation of
xkbcommon, make the target `doc-cool-uris` optional.

Test(compose): fix assumption on environment variables

The test `test_from_locale` fails when there is a user-defined compose
file, e.g. ~/.XCompose.

Indeed, the function `xkb_compose_table_new_from_locale` use various
environment variables to determine the location of the compose file.

Ensure no environment variables but the required ones are set, in order
to have robust tests.

interactive-evdev: includes options

Currently there is no interactive tool allowing to set the include
paths of the context, such as in "compile-keymap". Note that only
"interactive-evdev" makes sense, because it does not rely on a
compositor.

Add --include and --include-defaults to "interactive-evdev" tool.
The code is adapted from "compile-keymap".

CI: Fix documentation generation for macOS

- Force Doxygen version 1.9.6, because 1.9.7 breaks our doc cool URIs,
  i.e. our system that maintain stable doc pages via redirection.

  Associated issue in Doxygen:
  https://github.com/doxygen/doxygen/issues/10146

- Install graphviz to build the .dot files.

Fix typo in ensure-stable-doc-urls.py

compose: drop the 65535 node limit (#343)

In commit 1638409b22aef33d487863876ab214b949db4984, the number of
compose nodes was limited to 65535 to enable "future optimizations",
which apparently means slightly reduced memory usage due to fitting in
a uint16_t. At this time, it was mentioned that the author was not
aware of "any compose files which come close".

However, I'm one of the users that actually do require a larger number
of nodes for their compose file. Thus, use a uint32_t again and raise
the limit significantly.

Add support for stable doc URLs (#342)

Doc URLs may change with time because they depend on Doxygen machinery.
This is unfortunate because it is good practice to keep valid URLs
(see: https://www.w3.org/Provider/Style/URI.html).

I could not find a built-in solution in Doxygen, so the solution proposed
here is to maintain a registry of all URLs and manage legacy URLs as
redirections to their canonical page.

This commit adds a registry of URLs that has three functions:
- Check no previous URL is now invalid.
- Add aliases for moved pages.
- Generate redirection pages for aliases. The redirection works with
  a simple <meta http-equiv="refresh"> HTML tag. See:
  https://developer.mozilla.org/en-US/docs/Web/HTML/Element/meta#http-equiv

This commit also initialize the URLs registry with current pages and some
redirections needed after recent documentation refactoring.

Finally, the CI is updated to catch any change that invalidate previous
URLs.

Improve documentation

- Add introduction to XKB
- Embrace Doxygen features
- More cross links

Do not interpret nor emit invalid Unicode encoding forms

Surrogates are invalid in both UTF-32 and UTF-8.
See https://www.unicode.org/versions/Unicode15.0.0/ch03.pdf#G28875
and https://www.unicode.org/versions/Unicode15.0.0/ch03.pdf#G31703

Add warning when RMLVO with no layout but variant set

There is no feedback that they are both replaced with default values.
Fix it by adding a warning informing about missing layout and show the
defaults for both.

ci: bump runs-on versions

Mostly to bump to macos one which will hopefully fix CI issues there.

Signed-off-by: Ran Benita <ran@unusedvar.com>

utils: fix printf format warnings on mingw

See:
https://github.com/mesonbuild/wrapdb/pull/819
https://github.com/Exiv2/exiv2/blob/c86ae6acf597304db37246434ebc393d732c22c2/src/image_int.hpp#L15
https://sourceforge.net/p/mingw-w64/wiki2/gnu%20printf/

Signed-off-by: Ran Benita <ran@unusedvar.com>

ci/windows: use the vs backend instead of ninja backend

So we have some coverage of that.

Signed-off-by: Ran Benita <ran@unusedvar.com>

build: show a summary

Signed-off-by: Ran Benita <ran@unusedvar.com>

build: require bison >= 2.3a

At least 2.3 (released 2006) which is the version shipped with macos
doesn't work. Reading the changelog I think 2.3a *should* work, so
require that.

Signed-off-by: Ran Benita <ran@unusedvar.com>

build: bump required meson to 0.52.0

Support for version checks in `find_program()`.

Signed-off-by: Ran Benita <ran@unusedvar.com>

scanner: allow for a zero terminated string as keymap

As the documentation for xkb_keymap_new_from_buffer() states, the "input string
does not have to be zero-terminated". The actual implementation however failed
with "unrecognized token/syntax error" when it encountered a null byte.

Fix this by allowing a null byte at the last position of the buffer. Anything
else is likely a client error anyway.

Fixes #307

README: use meson compile/test over ninja

This is backend-agnostic and the recommended way to invoke compilation.

This requires meson 0.55 (July 2020) and we only require 0.51 but at this point
I'm expecting most users who require the README instructions will have a
recent-enough meson anyway.

.editorconfig: add .md config

Signed-off-by: Ran Benita <ran@unusedvar.com>

Use consistent indentation for map and CSS files

Signed-off-by: Ran Benita <ran@unusedvar.com>

registry: remove a few asprintf/free() calls with snprintf

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

registry: simplify strdup() error handling

strdup() is the least likely call to fail here, let's move it to the bottom so
we don't need to worry about the allocated string.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

meson.build: register libxkbcommon.dylib link

meson needs to know that the executable tools
link against libxkbcommon.dylib so that the
@rpath references used during the build/test phases
can be rewritten to full path names on install

Add support for modmap None (#291)

Unlike current xkbcommon, X11’s xkbcomp allows to remove entries in
the modifiers’ map using “modifier_map None { … }”.

“None” is translated to the special value “XkbNoModifier” defined in
“X11/extensions/XKB.h”. Then it relies on the fact that in "CopyModMapDef",
the following code:

    1U << entry->modifier

ends up being zero when “entry->modifier” is “XkbNoModifier” (i.e. 0xFF).
Indeed, it relies on the overflow behaviour of the left shift, which in
practice resolves to use only the 5 low bits of the shift amount, i.e.
0x1F here. Then the result of “1U << 0xFF” is cast to “char”, i.e. 0.

This is a good trick but too magical, so in libxkbcommon we will use
an explicit test against our new constant XKB_MOD_NONE.

Improve the doc of the XKB keymap text format, V1 (#321)

- Add table of contents
- Add terminology section
- (WIP) Add Introduction to the format
- Improve the keycode section
- Improve the interpret section
- Add guide to create and use modifiers
- (WIP) Add actions documentation
- Add cross-references
- Add keysyms header to documentation

keysyms: add new keysyms XF86EmojiPicker, XF86Dictate

Ref: https://gitlab.freedesktop.org/xorg/proto/xorgproto/-/commit/914d8f5e0f469cd0416364dd008e9eea752bf703
Ref: https://gitlab.freedesktop.org/xorg/proto/xorgproto/-/commit/a839f0c7fc5596d10e786394d3b0953eb8a1731b
Signed-off-by: Ran Benita <ran@unusedvar.com>

Possible fix for non-MSVC windows compilers

`_MSC_VER` is specific to MSVC, but there can be other compilers targeting
windows. Hopefully they do define `_WIN32`, so let's use that.

Refs: https://github.com/xkbcommon/libxkbcommon/issues/305
Signed-off-by: Ran Benita <ran@unusedvar.com>

keysym: replace deprecated Serbian_DZE with Cyrillic_DZHE

Same numeric value for both and the Serbian one has been listed as deprecated
for decades.

See https://gitlab.freedesktop.org/xorg/proto/xorgproto/-/merge_requests/69#note_1843415

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

build: override dependency for use as subproject

This allows xkbcommon to be used as a subproject.

Signed-off-by: Simon Ser <contact@emersion.fr>

NEWS: add "New API" section for last release

Signed-off-by: Ran Benita <ran@unusedvar.com>

Bump version to 1.5.0

Signed-off-by: Ran Benita <ran@unusedvar.com>

build: fix wayland-scanner deprecation code -> private-code

Signed-off-by: Ran Benita <ran@unusedvar.com>

doc: clarify "server state" and "client state" distinction

Add a common page for the concept and link to there from the relevant
functions.

Signed-off-by: Ran Benita <ran@unusedvar.com>

build: require meson >= 0.51, fix meson deprecations

Signed-off-by: Ran Benita <ran@unusedvar.com>

ci: don't run linux on push to non-master branches

It's redundant with the pull request run.

Signed-off-by: Ran Benita <ran@unusedvar.com>

context: add XKB_CONTEXT_NO_SECURE_GETENV flag (#312)

This flag is useful for clients that may have relatively benign capabilities
set, like CAP_SYS_NICE, that also want to use the xkb configuration from the
environment and user configs in XDG_CONFIG_HOME.

Fixes: https://github.com/xkbcommon/libxkbcommon/issues/308
Fixes: https://github.com/xkbcommon/libxkbcommon/issues/129
Signed-off-by: Ran Benita <ran@unusedvar.com>

build: remove -fsanitize-undefined-trap-on-error

Meson complains; it's probably not that important anymore when using the
`-Db_sanitize` options.

meson.build:36: WARNING: Consider using the built-in option for sanitizers instead of using "-fsanitize-undefined-trap-on-error".

Signed-off-by: Ran Benita <ran@unusedvar.com>

CI: bump a few actions to newer versions

Node 12 is deprecated so let's bump the actions to newer versions that
use Node 16. See
https://github.blog/changelog/2022-09-22-github-actions-all-actions-will-begin-running-on-node16-instead-of-node12/

build: reenable test-context in MSVC

Signed-off-by: Ran Benita <ran@unusedvar.com>

test: move mkdir & mkdtemp calls to common place and fix them on MSVC

Signed-off-by: Ran Benita <ran@unusedvar.com>

utils: move some MSVC compat stuff to common place

Signed-off-by: Ran Benita <ran@unusedvar.com>

ci/linux: store the test logs as artifacts on failure

This makes debugging a lot easier than having to reproduce locally.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

ci/linux: split normal testing from valgrind testing

A test case failure usually also triggers valgrind leaks, sifting through those
to find the actual test failure is painful. So let's separate the tests and run
them separately.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

interactive-wayland: Fix interface versioning

We need to request the lower version of the interface versions we
support and the server supports, not the higher version.

Using the higher version caused crashes due to unbound callbacks on
GNOME, which supports a higher version of `xdg_wm_base`.

Bump version to 1.4.1

Signed-off-by: Ran Benita <ran@unusedvar.com>

keysym-utf: remove bogus currency sign entries

These ended up being mapping in the 0x100xxxx Unicode range, which are
handled automatically ; these special keysyms don't exist (except for
EuroSign).

    #define XKB_KEY_EcuSign                    0x10020a0  /* U+20A0 EURO-CURRENCY SIGN */
    #define XKB_KEY_ColonSign                  0x10020a1  /* U+20A1 COLON SIGN */
    #define XKB_KEY_CruzeiroSign               0x10020a2  /* U+20A2 CRUZEIRO SIGN */
    #define XKB_KEY_FFrancSign                 0x10020a3  /* U+20A3 FRENCH FRANC SIGN */
    #define XKB_KEY_LiraSign                   0x10020a4  /* U+20A4 LIRA SIGN */
    #define XKB_KEY_MillSign                   0x10020a5  /* U+20A5 MILL SIGN */
    #define XKB_KEY_NairaSign                  0x10020a6  /* U+20A6 NAIRA SIGN */
    #define XKB_KEY_PesetaSign                 0x10020a7  /* U+20A7 PESETA SIGN */
    #define XKB_KEY_RupeeSign                  0x10020a8  /* U+20A8 RUPEE SIGN */
    #define XKB_KEY_WonSign                    0x10020a9  /* U+20A9 WON SIGN */
    #define XKB_KEY_NewSheqelSign              0x10020aa  /* U+20AA NEW SHEQEL SIGN */
    #define XKB_KEY_DongSign                   0x10020ab  /* U+20AB DONG SIGN */
    #define XKB_KEY_EuroSign                      0x20ac  /* U+20AC EURO SIGN */

Signed-off-by: Ran Benita <ran@unusedvar.com>

keysym-utf: remove bogus Korean Won sign entry

This entry maps a non existing special keysym 0x20a9.
The correct mapping for XKB_KEY_Korean_Won (0x0eff) already exists.

Signed-off-by: Ran Benita <ran@unusedvar.com>

Remove bogus euro sign entry from keysymtab

Not sure what it's doing here, but converting "€" to a keysym
doesn't work with this entry. 0x13a4 doesn't appear in
xkbcommon-keysyms.h. 0x20ac is the keysym documented in the
header (and it's the last entry in the table).

It's been in the table since it was introduced in e0524296d2e0
("Add API for getting unicode representation of a keysym").

Co-authored-by: Simon Ser <contact@emersion.fr>

Do not clear sibling entries when override.

lokid and hikid actually stores the sibling to current node, which
should not be cleared when override. This would break the sequence with
a common prefix when override another.

Fix #286

Signed-off-by: Weng Xuetian <wengxt@gmail.com>

ci/linux: bring back `apt update` to fix `apt install` 404s

Signed-off-by: Ran Benita <ran@unusedvar.com>

scanner: prefix functions with `scanner_` to avoid symbol conflicts

Particularly `eof()` in mingw-w64.

Fixes: https://github.com/xkbcommon/libxkbcommon/pull/285
Reported-by: Marko Lindqvist
Signed-off-by: Ran Benita <ran@unusedvar.com>

Improve misleading comments #270

ci: another possible fix for release workflow

Signed-off-by: Ran Benita <ran@unusedvar.com>

Bump version to 1.4.0

Signed-off-by: Ran Benita <ran@unusedvar.com>

test: add test for variant inheritance of ISO 639/3166 codes

See efa99624320f54e6e1ff24e4c4b1fcecdfba43d5

Variants should inherit iso639, iso3166 and brief from parent layout if omitted (#266)

registry: skip over invalid ISO639 or ISO3166 entries

If the XML file is somehow off, don't load entries that are against the spec.

test: show the tool exit status on failure

We already do so for the non-successful cases, let's do this here too so we know
whether it was a signal or a normal exit.

registry: don't call xmlCleanupParser()

From the documentation:
> It does not clean up parser state, it cleans up memory allocated by the library
> itself. It is a cleanup function for the XML library. It tries to reclaim all
> related global memory allocated for the library processing. [...]
> One should call xmlCleanupParser() only when the process has finished using the library.

http://xmlsoft.org/html/libxml-parser.html#xmlCleanupParser

Since we're a library ourselves we cannot know if something else in the same
proces uses the parser, so we must not call this.

Reported-by: M Hickford

CI: always run the linux workflow

This makes it easier for contributors to check if their code runs correctly
without having to file a PR.

The Mac and Windows workflows are a bit more involved, so let's keep those on
pull requests only.

CI: split and rename the workflows to windows/macos/linux

"main" is a bit non-descriptive, let's name them after the platforms we run them
on. Splitting them up allows us to be less selective on how we run the various
workflows, e.g. always running the linux one.

Update README.md

Co-authored-by: Ran Benita <ran@unusedvar.com>

Add instructions to run tests. Add build/ to .gitignore.

build: add enable-tools option

this is mainly useful for multilib, but may be useful for other users as well

Signed-off-by: Alex Xu (Hello71) <alex_y_xu@yahoo.ca>

tools/list: print an empty string for null vendor strings

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

tools/list: enclose the the various field names in quotes

Because otherwise the 'no' layout is treated as disagreement with whatever is to
be disagreed with. Fixed in YAML 1.2 but that's not universally supported.

Fixes #268

man: mention `xkbcli list` output is meant to be in YAML 1.2 format

Signed-off-by: Ran Benita <ran@unusedvar.com>

ci: possible fix for release workflow

Signed-off-by: Ran Benita <ran@unusedvar.com>

Bump version to 1.3.1

Signed-off-by: Ran Benita <ran@unusedvar.com>

x11: try to fix crash in xkb_x11_keymap_new_from_device error handling

In 1b3a1c277a033083fee669e92c8cad862716ebd1 we changed the error
handling in this code to not bail out immediately but only after
everything has been processed, to simplify the code. But I suspect the
code isn't prepared for this and that's what causing the crash reported
in the issue.

Bring back the short-circuit error handling which would hopefully fix
such crashes.

Fixes: https://github.com/xkbcommon/libxkbcommon/issues/252
Signed-off-by: Ran Benita <ran@unusedvar.com>

x11: stylistic fixes

Signed-off-by: Ran Benita <ran@unusedvar.com>

tools/how-to-type: add --keysym for how to type a keysym

Previously, could only check how to type a Unicode codepoint, but
searching for a keysym directly is also occasionally useful.

Signed-off-by: Ran Benita <ran@unusedvar.com>

tools/interactive-x11: use keysym to look for Esc

Don't assume that keycode 9 means Escape. Instead, use the keymap
to check for Esc.

Logic copied from the Wayland version.

Signed-off-by: Simon Ser <contact@emersion.fr>

bench/compose: fix compose file path

Forgotten in e2465c2.

Signed-off-by: Ran Benita <ran@unusedvar.com>

ci: some tweaks

- Reduce permissions
- Update some stuff

Signed-off-by: Ran Benita <ran@unusedvar.com>

ci: also link to tarball in github release

Signed-off-by: Ran Benita <ran@unusedvar.com>

ci: automatically create github release when tag is pushed

Fixes: https://github.com/xkbcommon/libxkbcommon/issues/233
Signed-off-by: Ran Benita <ran@unusedvar.com>

test/tool-option-parsing: don't depend on build prefix

Fixes: https://github.com/xkbcommon/libxkbcommon/issues/244
Signed-off-by: Ran Benita <ran@unusedvar.com>

test/compose: add tests for xkb_compose_table_new_from_locale lookup

Signed-off-by: Ran Benita <ran@unusedvar.com>

test/compose: clean up after a setenv

Signed-off-by: Ran Benita <ran@unusedvar.com>

tests/data: add files needed to fully test compose

Signed-off-by: Ran Benita <ran@unusedvar.com>

ignore: remove no longer relevant gitignore files

These were relevant for the autoconf build but now we're meson only.

Signed-off-by: Ran Benita <ran@unusedvar.com>

xkbcommon: deprecate XK_approxeq and XK_notapproxeq

Sync xorg-proto commit
https://gitlab.freedesktop.org/xorg/proto/xorgproto/-/commit/25f3278b85ec7d1c78bb150eaea52f9c98294ea4

Fixes: #82
Signed-off-by: Ran Benita <ran@unusedvar.com>

scripts/update-keysyms: fix path to the include files after de1b6943d

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

tools: add compose tool for Compose debugging

Not very useful so not exposed in xkbcli.

Signed-off-by: Ran Benita <ran@unusedvar.com>