xkbcli: allow compile-keymap without args

All of the arguments have defaults, but still an argument is required.
Make it work.

Signed-off-by: Ran Benita <ran@unusedvar.com>

Add a meson flag to make cool URIs optional

The script `ensure-stable-doc-urls.py` relies on the Doxygen output files
names. These may change between Doxygen versions, although the Doxygen
developers intend stability.

Since the script is useful mainly for the online documentation of
xkbcommon, make the target `doc-cool-uris` optional.

Test(compose): fix assumption on environment variables

The test `test_from_locale` fails when there is a user-defined compose
file, e.g. ~/.XCompose.

Indeed, the function `xkb_compose_table_new_from_locale` use various
environment variables to determine the location of the compose file.

Ensure no environment variables but the required ones are set, in order
to have robust tests.

interactive-evdev: includes options

Currently there is no interactive tool allowing to set the include
paths of the context, such as in "compile-keymap". Note that only
"interactive-evdev" makes sense, because it does not rely on a
compositor.

Add --include and --include-defaults to "interactive-evdev" tool.
The code is adapted from "compile-keymap".

CI: Fix documentation generation for macOS

- Force Doxygen version 1.9.6, because 1.9.7 breaks our doc cool URIs,
  i.e. our system that maintain stable doc pages via redirection.

  Associated issue in Doxygen:
  https://github.com/doxygen/doxygen/issues/10146

- Install graphviz to build the .dot files.

Fix typo in ensure-stable-doc-urls.py

compose: drop the 65535 node limit (#343)

In commit 1638409b22aef33d487863876ab214b949db4984, the number of
compose nodes was limited to 65535 to enable "future optimizations",
which apparently means slightly reduced memory usage due to fitting in
a uint16_t. At this time, it was mentioned that the author was not
aware of "any compose files which come close".

However, I'm one of the users that actually do require a larger number
of nodes for their compose file. Thus, use a uint32_t again and raise
the limit significantly.

Add support for stable doc URLs (#342)

Doc URLs may change with time because they depend on Doxygen machinery.
This is unfortunate because it is good practice to keep valid URLs
(see: https://www.w3.org/Provider/Style/URI.html).

I could not find a built-in solution in Doxygen, so the solution proposed
here is to maintain a registry of all URLs and manage legacy URLs as
redirections to their canonical page.

This commit adds a registry of URLs that has three functions:
- Check no previous URL is now invalid.
- Add aliases for moved pages.
- Generate redirection pages for aliases. The redirection works with
  a simple <meta http-equiv="refresh"> HTML tag. See:
  https://developer.mozilla.org/en-US/docs/Web/HTML/Element/meta#http-equiv

This commit also initialize the URLs registry with current pages and some
redirections needed after recent documentation refactoring.

Finally, the CI is updated to catch any change that invalidate previous
URLs.

Improve documentation

- Add introduction to XKB
- Embrace Doxygen features
- More cross links

Do not interpret nor emit invalid Unicode encoding forms

Surrogates are invalid in both UTF-32 and UTF-8.
See https://www.unicode.org/versions/Unicode15.0.0/ch03.pdf#G28875
and https://www.unicode.org/versions/Unicode15.0.0/ch03.pdf#G31703

Add warning when RMLVO with no layout but variant set

There is no feedback that they are both replaced with default values.
Fix it by adding a warning informing about missing layout and show the
defaults for both.

ci: bump runs-on versions

Mostly to bump to macos one which will hopefully fix CI issues there.

Signed-off-by: Ran Benita <ran@unusedvar.com>

utils: fix printf format warnings on mingw

See:
https://github.com/mesonbuild/wrapdb/pull/819
https://github.com/Exiv2/exiv2/blob/c86ae6acf597304db37246434ebc393d732c22c2/src/image_int.hpp#L15
https://sourceforge.net/p/mingw-w64/wiki2/gnu%20printf/

Signed-off-by: Ran Benita <ran@unusedvar.com>

ci/windows: use the vs backend instead of ninja backend

So we have some coverage of that.

Signed-off-by: Ran Benita <ran@unusedvar.com>

build: show a summary

Signed-off-by: Ran Benita <ran@unusedvar.com>

build: require bison >= 2.3a

At least 2.3 (released 2006) which is the version shipped with macos
doesn't work. Reading the changelog I think 2.3a *should* work, so
require that.

Signed-off-by: Ran Benita <ran@unusedvar.com>

build: bump required meson to 0.52.0

Support for version checks in `find_program()`.

Signed-off-by: Ran Benita <ran@unusedvar.com>

scanner: allow for a zero terminated string as keymap

As the documentation for xkb_keymap_new_from_buffer() states, the "input string
does not have to be zero-terminated". The actual implementation however failed
with "unrecognized token/syntax error" when it encountered a null byte.

Fix this by allowing a null byte at the last position of the buffer. Anything
else is likely a client error anyway.

Fixes #307

README: use meson compile/test over ninja

This is backend-agnostic and the recommended way to invoke compilation.

This requires meson 0.55 (July 2020) and we only require 0.51 but at this point
I'm expecting most users who require the README instructions will have a
recent-enough meson anyway.

.editorconfig: add .md config

Signed-off-by: Ran Benita <ran@unusedvar.com>

Use consistent indentation for map and CSS files

Signed-off-by: Ran Benita <ran@unusedvar.com>

registry: remove a few asprintf/free() calls with snprintf

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

registry: simplify strdup() error handling

strdup() is the least likely call to fail here, let's move it to the bottom so
we don't need to worry about the allocated string.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

meson.build: register libxkbcommon.dylib link

meson needs to know that the executable tools
link against libxkbcommon.dylib so that the
@rpath references used during the build/test phases
can be rewritten to full path names on install

Add support for modmap None (#291)

Unlike current xkbcommon, X11’s xkbcomp allows to remove entries in
the modifiers’ map using “modifier_map None { … }”.

“None” is translated to the special value “XkbNoModifier” defined in
“X11/extensions/XKB.h”. Then it relies on the fact that in "CopyModMapDef",
the following code:

    1U << entry->modifier

ends up being zero when “entry->modifier” is “XkbNoModifier” (i.e. 0xFF).
Indeed, it relies on the overflow behaviour of the left shift, which in
practice resolves to use only the 5 low bits of the shift amount, i.e.
0x1F here. Then the result of “1U << 0xFF” is cast to “char”, i.e. 0.

This is a good trick but too magical, so in libxkbcommon we will use
an explicit test against our new constant XKB_MOD_NONE.

Improve the doc of the XKB keymap text format, V1 (#321)

- Add table of contents
- Add terminology section
- (WIP) Add Introduction to the format
- Improve the keycode section
- Improve the interpret section
- Add guide to create and use modifiers
- (WIP) Add actions documentation
- Add cross-references
- Add keysyms header to documentation

keysyms: add new keysyms XF86EmojiPicker, XF86Dictate

Ref: https://gitlab.freedesktop.org/xorg/proto/xorgproto/-/commit/914d8f5e0f469cd0416364dd008e9eea752bf703
Ref: https://gitlab.freedesktop.org/xorg/proto/xorgproto/-/commit/a839f0c7fc5596d10e786394d3b0953eb8a1731b
Signed-off-by: Ran Benita <ran@unusedvar.com>

Possible fix for non-MSVC windows compilers

`_MSC_VER` is specific to MSVC, but there can be other compilers targeting
windows. Hopefully they do define `_WIN32`, so let's use that.

Refs: https://github.com/xkbcommon/libxkbcommon/issues/305
Signed-off-by: Ran Benita <ran@unusedvar.com>

keysym: replace deprecated Serbian_DZE with Cyrillic_DZHE

Same numeric value for both and the Serbian one has been listed as deprecated
for decades.

See https://gitlab.freedesktop.org/xorg/proto/xorgproto/-/merge_requests/69#note_1843415

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

build: override dependency for use as subproject

This allows xkbcommon to be used as a subproject.

Signed-off-by: Simon Ser <contact@emersion.fr>

NEWS: add "New API" section for last release

Signed-off-by: Ran Benita <ran@unusedvar.com>

Bump version to 1.5.0

Signed-off-by: Ran Benita <ran@unusedvar.com>

build: fix wayland-scanner deprecation code -> private-code

Signed-off-by: Ran Benita <ran@unusedvar.com>

doc: clarify "server state" and "client state" distinction

Add a common page for the concept and link to there from the relevant
functions.

Signed-off-by: Ran Benita <ran@unusedvar.com>

build: require meson >= 0.51, fix meson deprecations

Signed-off-by: Ran Benita <ran@unusedvar.com>

ci: don't run linux on push to non-master branches

It's redundant with the pull request run.

Signed-off-by: Ran Benita <ran@unusedvar.com>

context: add XKB_CONTEXT_NO_SECURE_GETENV flag (#312)

This flag is useful for clients that may have relatively benign capabilities
set, like CAP_SYS_NICE, that also want to use the xkb configuration from the
environment and user configs in XDG_CONFIG_HOME.

Fixes: https://github.com/xkbcommon/libxkbcommon/issues/308
Fixes: https://github.com/xkbcommon/libxkbcommon/issues/129
Signed-off-by: Ran Benita <ran@unusedvar.com>

build: remove -fsanitize-undefined-trap-on-error

Meson complains; it's probably not that important anymore when using the
`-Db_sanitize` options.

meson.build:36: WARNING: Consider using the built-in option for sanitizers instead of using "-fsanitize-undefined-trap-on-error".

Signed-off-by: Ran Benita <ran@unusedvar.com>

CI: bump a few actions to newer versions

Node 12 is deprecated so let's bump the actions to newer versions that
use Node 16. See
https://github.blog/changelog/2022-09-22-github-actions-all-actions-will-begin-running-on-node16-instead-of-node12/

build: reenable test-context in MSVC

Signed-off-by: Ran Benita <ran@unusedvar.com>

test: move mkdir & mkdtemp calls to common place and fix them on MSVC

Signed-off-by: Ran Benita <ran@unusedvar.com>

utils: move some MSVC compat stuff to common place

Signed-off-by: Ran Benita <ran@unusedvar.com>

ci/linux: store the test logs as artifacts on failure

This makes debugging a lot easier than having to reproduce locally.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

ci/linux: split normal testing from valgrind testing

A test case failure usually also triggers valgrind leaks, sifting through those
to find the actual test failure is painful. So let's separate the tests and run
them separately.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

interactive-wayland: Fix interface versioning

We need to request the lower version of the interface versions we
support and the server supports, not the higher version.

Using the higher version caused crashes due to unbound callbacks on
GNOME, which supports a higher version of `xdg_wm_base`.

Bump version to 1.4.1

Signed-off-by: Ran Benita <ran@unusedvar.com>

keysym-utf: remove bogus currency sign entries

These ended up being mapping in the 0x100xxxx Unicode range, which are
handled automatically ; these special keysyms don't exist (except for
EuroSign).

    #define XKB_KEY_EcuSign                    0x10020a0  /* U+20A0 EURO-CURRENCY SIGN */
    #define XKB_KEY_ColonSign                  0x10020a1  /* U+20A1 COLON SIGN */
    #define XKB_KEY_CruzeiroSign               0x10020a2  /* U+20A2 CRUZEIRO SIGN */
    #define XKB_KEY_FFrancSign                 0x10020a3  /* U+20A3 FRENCH FRANC SIGN */
    #define XKB_KEY_LiraSign                   0x10020a4  /* U+20A4 LIRA SIGN */
    #define XKB_KEY_MillSign                   0x10020a5  /* U+20A5 MILL SIGN */
    #define XKB_KEY_NairaSign                  0x10020a6  /* U+20A6 NAIRA SIGN */
    #define XKB_KEY_PesetaSign                 0x10020a7  /* U+20A7 PESETA SIGN */
    #define XKB_KEY_RupeeSign                  0x10020a8  /* U+20A8 RUPEE SIGN */
    #define XKB_KEY_WonSign                    0x10020a9  /* U+20A9 WON SIGN */
    #define XKB_KEY_NewSheqelSign              0x10020aa  /* U+20AA NEW SHEQEL SIGN */
    #define XKB_KEY_DongSign                   0x10020ab  /* U+20AB DONG SIGN */
    #define XKB_KEY_EuroSign                      0x20ac  /* U+20AC EURO SIGN */

Signed-off-by: Ran Benita <ran@unusedvar.com>

keysym-utf: remove bogus Korean Won sign entry

This entry maps a non existing special keysym 0x20a9.
The correct mapping for XKB_KEY_Korean_Won (0x0eff) already exists.

Signed-off-by: Ran Benita <ran@unusedvar.com>

Remove bogus euro sign entry from keysymtab

Not sure what it's doing here, but converting "€" to a keysym
doesn't work with this entry. 0x13a4 doesn't appear in
xkbcommon-keysyms.h. 0x20ac is the keysym documented in the
header (and it's the last entry in the table).

It's been in the table since it was introduced in e0524296d2e0
("Add API for getting unicode representation of a keysym").

Co-authored-by: Simon Ser <contact@emersion.fr>

Do not clear sibling entries when override.

lokid and hikid actually stores the sibling to current node, which
should not be cleared when override. This would break the sequence with
a common prefix when override another.

Fix #286

Signed-off-by: Weng Xuetian <wengxt@gmail.com>

ci/linux: bring back `apt update` to fix `apt install` 404s

Signed-off-by: Ran Benita <ran@unusedvar.com>

scanner: prefix functions with `scanner_` to avoid symbol conflicts

Particularly `eof()` in mingw-w64.

Fixes: https://github.com/xkbcommon/libxkbcommon/pull/285
Reported-by: Marko Lindqvist
Signed-off-by: Ran Benita <ran@unusedvar.com>

Improve misleading comments #270

ci: another possible fix for release workflow

Signed-off-by: Ran Benita <ran@unusedvar.com>

Bump version to 1.4.0

Signed-off-by: Ran Benita <ran@unusedvar.com>

test: add test for variant inheritance of ISO 639/3166 codes

See efa99624320f54e6e1ff24e4c4b1fcecdfba43d5

Variants should inherit iso639, iso3166 and brief from parent layout if omitted (#266)

registry: skip over invalid ISO639 or ISO3166 entries

If the XML file is somehow off, don't load entries that are against the spec.

test: show the tool exit status on failure

We already do so for the non-successful cases, let's do this here too so we know
whether it was a signal or a normal exit.

registry: don't call xmlCleanupParser()

From the documentation:
> It does not clean up parser state, it cleans up memory allocated by the library
> itself. It is a cleanup function for the XML library. It tries to reclaim all
> related global memory allocated for the library processing. [...]
> One should call xmlCleanupParser() only when the process has finished using the library.

http://xmlsoft.org/html/libxml-parser.html#xmlCleanupParser

Since we're a library ourselves we cannot know if something else in the same
proces uses the parser, so we must not call this.

Reported-by: M Hickford

CI: always run the linux workflow

This makes it easier for contributors to check if their code runs correctly
without having to file a PR.

The Mac and Windows workflows are a bit more involved, so let's keep those on
pull requests only.

CI: split and rename the workflows to windows/macos/linux

"main" is a bit non-descriptive, let's name them after the platforms we run them
on. Splitting them up allows us to be less selective on how we run the various
workflows, e.g. always running the linux one.

Update README.md

Co-authored-by: Ran Benita <ran@unusedvar.com>

Add instructions to run tests. Add build/ to .gitignore.

build: add enable-tools option

this is mainly useful for multilib, but may be useful for other users as well

Signed-off-by: Alex Xu (Hello71) <alex_y_xu@yahoo.ca>

tools/list: print an empty string for null vendor strings

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

tools/list: enclose the the various field names in quotes

Because otherwise the 'no' layout is treated as disagreement with whatever is to
be disagreed with. Fixed in YAML 1.2 but that's not universally supported.

Fixes #268

man: mention `xkbcli list` output is meant to be in YAML 1.2 format

Signed-off-by: Ran Benita <ran@unusedvar.com>

ci: possible fix for release workflow

Signed-off-by: Ran Benita <ran@unusedvar.com>

Bump version to 1.3.1

Signed-off-by: Ran Benita <ran@unusedvar.com>

x11: try to fix crash in xkb_x11_keymap_new_from_device error handling

In 1b3a1c277a033083fee669e92c8cad862716ebd1 we changed the error
handling in this code to not bail out immediately but only after
everything has been processed, to simplify the code. But I suspect the
code isn't prepared for this and that's what causing the crash reported
in the issue.

Bring back the short-circuit error handling which would hopefully fix
such crashes.

Fixes: https://github.com/xkbcommon/libxkbcommon/issues/252
Signed-off-by: Ran Benita <ran@unusedvar.com>

x11: stylistic fixes

Signed-off-by: Ran Benita <ran@unusedvar.com>

tools/how-to-type: add --keysym for how to type a keysym

Previously, could only check how to type a Unicode codepoint, but
searching for a keysym directly is also occasionally useful.

Signed-off-by: Ran Benita <ran@unusedvar.com>

tools/interactive-x11: use keysym to look for Esc

Don't assume that keycode 9 means Escape. Instead, use the keymap
to check for Esc.

Logic copied from the Wayland version.

Signed-off-by: Simon Ser <contact@emersion.fr>

bench/compose: fix compose file path

Forgotten in e2465c2.

Signed-off-by: Ran Benita <ran@unusedvar.com>

ci: some tweaks

- Reduce permissions
- Update some stuff

Signed-off-by: Ran Benita <ran@unusedvar.com>

ci: also link to tarball in github release

Signed-off-by: Ran Benita <ran@unusedvar.com>

ci: automatically create github release when tag is pushed

Fixes: https://github.com/xkbcommon/libxkbcommon/issues/233
Signed-off-by: Ran Benita <ran@unusedvar.com>

test/tool-option-parsing: don't depend on build prefix

Fixes: https://github.com/xkbcommon/libxkbcommon/issues/244
Signed-off-by: Ran Benita <ran@unusedvar.com>

test/compose: add tests for xkb_compose_table_new_from_locale lookup

Signed-off-by: Ran Benita <ran@unusedvar.com>

test/compose: clean up after a setenv

Signed-off-by: Ran Benita <ran@unusedvar.com>

tests/data: add files needed to fully test compose

Signed-off-by: Ran Benita <ran@unusedvar.com>

ignore: remove no longer relevant gitignore files

These were relevant for the autoconf build but now we're meson only.

Signed-off-by: Ran Benita <ran@unusedvar.com>

xkbcommon: deprecate XK_approxeq and XK_notapproxeq

Sync xorg-proto commit
https://gitlab.freedesktop.org/xorg/proto/xorgproto/-/commit/25f3278b85ec7d1c78bb150eaea52f9c98294ea4

Fixes: #82
Signed-off-by: Ran Benita <ran@unusedvar.com>

scripts/update-keysyms: fix path to the include files after de1b6943d

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

tools: add compose tool for Compose debugging

Not very useful so not exposed in xkbcli.

Signed-off-by: Ran Benita <ran@unusedvar.com>

compose: add mapped locale to Compose-file-not-found error log

Signed-off-by: Ran Benita <ran@unusedvar.com>

Bump version to 1.3.0

Signed-off-by: Ran Benita <ran@unusedvar.com>

atom: rewrite as a hash table

While the previous 1987-style[0] scheme was fun (and I reasonably
optimized it for a fair comparison), this task is more suited to a hash
table. Even a simple implementation beats the old one.

[0] Seems to have first appeared in X11R1, released September 1987.
    See server/dix/atom.c here: https://www.x.org/releases/X11R1/X.V11R1.tar.gz

Signed-off-by: Ran Benita <ran@unusedvar.com>

bench: add atom benchmark

Signed-off-by: Ran Benita <ran@unusedvar.com>

bench/rulescomp: decrease benchmark iterations

No need for more, and easier to convert to milliseconds per iteration.

Signed-off-by: Ran Benita <ran@unusedvar.com>

build: fix missing includes

Signed-off-by: Ran Benita <ran@unusedvar.com>

Move include files to include/ subdirectory

This way we don't specify `include_directorories('.')` which brings in
more than needed.

Signed-off-by: Ran Benita <ran@unusedvar.com>

build: move the subproject variables to a common section at the end

As suggested in:
https://github.com/xkbcommon/libxkbcommon/pull/240#discussion_r620784021

Signed-off-by: Ran Benita <ran@unusedvar.com>

Meson: Allow building as subproject

Specify where to find the headers for libxkbcommon_dep,
libxkbcommon_x11_dep, and libxkbregistry_dep,  which allows other
projects to correctly locate the headers when libxkbcommon is being
built as a Meson subproject.

The dep_libxkbregistry variable is renamed to libxkbregistry_dep,
to follow the usual convention for variables which hold declared
dependencies to be used from subproject builds.

Windows: Pass list of symbols to export to MSVC

Arrange for passing .def files with the lists of symbols to export from
DLLs when building on Windows with MSVC. Without this no symbols were
being exported at all.

The .def files are generated from the .map files at build time using
scripts/map-to-def, which avoids needing to maintain two different sets
of files.

tools: change xkbcli list to output YAML

We have a lot of keyboard layouts and the current output format is virtually
useless at searching for a specific one to debug any issues with either the
layout list or the output from libxkbregistry.

Let's use YAML instead because that can easily be post-processed to extract the
specific layouts wanted, e.g. to get the list of all layouts:
  xkbcli-list | yq -r ".layouts[].layout"
to get the list of all variants of the "us" layout:
  xkbcli-list | yq -r '.layouts[] | select(.layout == "us") | .variant
and the number of option groups:
  xkbcli-list | yq -r '.option_groups[] | length'

Note that the top-level nodes have been de-capitalized, so where it was "Models"
before it is now "models" and the "Options" node is now "option_groups".

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

tools: change the list separator handling

Slightly easier to read than the "bool first" approach.

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

keysym: fix underflow in binary searches

This is hit when passing an empty string and XKB_KEYSYM_CASE_INSENSITIVE
to xkb_keysym_from_name currently if `(lo + hi) / 2` is 0 and `cmp < 0`,
causing mid to underflow and the the array access into name_to_keysym on
the next iteration of the loop to be out of bounds .

We *would* use ssize_t here as it is the appropriate type, but windows
unfortunately does not define it.

test: allow skipping errors in certain conditions

Add a skipError test function that can analyse rc, stdout, stderr to skip a test
even when we expect an error. We use that to skip if we couldn't find a keyboard
in the interactive-evdev test.

Fixes #235

Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>