dump: a few more tweaks to match xkbcomp output

Only uppercase / lowercase stuff.

Signed-off-by: Ran Benita <ran234@gmail.com>

symbols: fix bug in modifier_map handling

The code used to match a keysym to a keycode (see added comment)
differed in behavior from xkbcomp, always taking the first key it found.
This caused some incorrect interpretation of the xkeyboard-config data,
for example the one corrected in dump.data (see the diff): since the
de-neo layout sets the both_capslock option, the Left Shift key (LFSH)
has the Caps_Lock keysym in group 4 level 2; now since
    keycode(Left Shift) = 50 < keycode(Caps Lock) = 64
the Left Shift one was picked, instead of the Caps Lock one which is
group 1 level 1. The correct behavior is to pick according to group,
level, keycode.

Signed-off-by: Ran Benita <ran234@gmail.com>

dump: use KeyNameText instead of copying

Signed-off-by: Ran Benita <ran234@gmail.com>

Import dataset into test/data/

Use a self-contained dataset instead of relying on a globally-installed
set.  Data taken from xkeyboard-config 2.5.1.

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

Add a library of common test functions

Including creating a context (will come in useful soon), opening and
reading files, and compiling keymaps.

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

Move test data files to test/data/keymaps

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

Make BindIndicators static

Since BindIndicators was only ever called immediately after
CopyIndicatorMapDefs, move it up in the file and turn it into a static
function, which avoids the need to ever pass the unbound LEDs around.

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

Change BindIndicators return to void

Since it could only ever return true, which avoids a totally unnecessary
cleanup path.

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

Remove 'unboundRtrn' argument from BindIndicators

It was only ever passed as NULL from its single callsite, so just remove
it and be done with it.

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

Remove 'force' argument from BindIndicators

It was always true in the one callsite, so just remove the other
branches.

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

Enlarge keysym name buffers and mention in comment

The longest keysym is 27 chars long.

Signed-off-by: Ran Benita <ran234@gmail.com>

test/dump: output commentary to stderr

Signed-off-by: Ran Benita <ran234@gmail.com>

symbols: fix bug in symbol merging

When we merge two KeyInfo's (belonging to the same keycode), we may take
a shortcut from copying if we see that the merged keys will be exactly
like those in one of the two KeyInfo's. In the case where we take the
symbols from the KeyInfo we are *not* merging into, we need to copy
the three arrays:
    syms[group], symsMapNumEntries[group], symsMapIndex[group]
The code currently only copies the first one, so if there's a merge
conflict some levels may seem to disappear (i.e. have a NoSymbol
keysym).

This fixes the failing test added in c8d6bba.

Signed-off-by: Ran Benita <ran234@gmail.com>

keyseq: add a failing group-switching test

For some reason, with the grp:alt_shift_toggle option, the following
sequence switches a group:
< Left Shift down, Left Alt down >
While the reverse doesn't:
< Left Alt down, Left Shift down >
And it should.

Signed-off-by: Ran Benita <ran234@gmail.com>

rules: fix parsing of multiple options

This was broken by commit 18d331b86b4942ba54fe087ca07e47c9383d768b
(where only the first option out of a comma-separated string was
matched). Do it correctly this time and add a test.

Signed-off-by: Ran Benita <ran234@gmail.com>

keymap: remove redundant check

This is handled above in the LEGAL_FILE_TYPES check.

Signed-off-by: Ran Benita <ran234@gmail.com>

state: fix base mod set/clear behavior

This commit fixes the incorrect current behavior, where at the end of the
following key sequence
Left Shift down, Right Shift down, Left Shift up
the Shift modifier is cleared.

Clearly the code is not as nice as before, but it seems like some count
of the depressed modifiers must be kept.

The code is lifted mostly as is from xkbActions.c. [ There they also
assign to setMods and clearMods each time and not OR it. I assume its
correct, although I wouldn't have guessed... ]

Signed-off-by: Ran Benita <ran234@gmail.com>

Tiny reformatting

Signed-off-by: Ran Benita <ran234@gmail.com>

rules: remove support for keymap rule

This commit removes the ability to specify a keymap *in a rules file*,
e.g. in /usr/share/X11/xkb/rules/evdev or somesuch. This is unused in
xkeyboard-data, and the current code has never even supported it,
because xkb_map_new_from_kccgst (which is no longer exposed in the API)
checks to see that one of the usual components (e.g. symbols, types, ..)
has been filled, while the rules parser, on the other hand,  doesn't
allow to specify a keymap and other stuff at the same time.

( The idea was to remove xkb_map_new_from_kccgst entirely, but it's used
  by a test so it can stay. )

tl;dr: dead code. Of course passing a keymap file to
xkb_map_new_from_file still works.

Signed-off-by: Ran Benita <ran234@gmail.com>

Remove _X_EXPORT from xkb_map_new_from_kccgst

Signed-off-by: Ran Benita <ran234@gmail.com>

xkbcomp: remove useless function XkbChooseMap

compile_keymap can only be passes a single keymap file now, from all
code paths leading to it. So this function doesn't do anything.

The remaining check is performed inside CompileKeymap, so we can remove
it as well; compile_keymap doesn't do much now.

Signed-off-by: Ran Benita <ran234@gmail.com>

compat: move some unclear code where it belongs

It seems like at some point it was needed to break the abstraction and
perform this piece of code in the context above CompileCompatMap. The
extra argument and the typedef look strange now, and doesn't seem to be
needed any more, so move them back.

Signed-off-by: Ran Benita <ran234@gmail.com>

Use enum for merge mode

The merge mode shows up in a lot of functions, so it's useful to give it
a distinct type.

Signed-off-by: Ran Benita <ran234@gmail.com>

Use enum for file types

enums are nice for some type safety and readability. This one also
removes the distinction between file type mask / file type index and
some naming consistency.

Signed-off-by: Ran Benita <ran234@gmail.com>

keymap: simplify legal/required logic a bit

Now that we've consolidated on the keymap file type, this code only
serves to confuse.

Signed-off-by: Ran Benita <ran234@gmail.com>

Use void* instead of old style char* in CommonInfo functions

Removes some annoying casts.

Signed-off-by: Ran Benita <ran234@gmail.com>

Don't set explicit repeat masks when derived

If we've only derived that a key should repeat, rather than had it
explicitly specified, don't set the explicit member.  Fixes the dump
test.

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

Don't ignore inactive type entries

An entry for a type will only get marked as active if a virtual modifier
can be directly mapped to it, and not if an action indirectly leads to
it (e.g. LevelThree).  We don't really need this test since entries which
can never be triggered ... won't be triggered.

The entire map->active thing should probably just go away.

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

state: Add more comprehensive repeating test

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

Add xkb_key_repeats

Does what it says on the box.

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

Work out a default repeat for all keys

Our early exit in ApplyInterpsToKey meant we weren't hitting the code
that's supposed to set a sensible default autorepeat value for most
keys.

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

Add a test for the results of key sequences

This test verifies the core purpose of this library, which is to
translate the user's keypresses into keysyms according to the keymap and
the XKB specification.

The tests emulate a series of key presses, and checks that the resulting
keysyms are what we expect.

Several of the tests currently fail, and plenty more should be added and
maybe split up.

It also currently uses an RMLVO keymap, which comes from the
xkeyboard-config data set, and whose behaviour may change in the future.
So it should probably be changed to use several files of our own, but
it's OK for now.

Signed-off-by: Ran Benita <ran234@gmail.com>

utils: remove unused recalloc and related macros

Their use is superseded by darray everywhere now.

Signed-off-by: Ran Benita <ran234@gmail.com>

state: use darray for filters

For the darray we need to specify the explicit struct xkb_filter type
instead of void*, so we move the definition of struct xkb_state into
state.c thus making it opaque even from the rest of the files. It has
enough getters to get going and is otherwise good style.

Signed-off-by: Ran Benita <ran234@gmail.com>

symbols: use darray in struct xkb_sym_map

Signed-off-by: Ran Benita <ran234@gmail.com>

symbols: use darray for KeyInfo acts

Signed-off-by: Ran Benita <ran234@gmail.com>

symbols: use darray for KeyInfo symsMapNumEntries

Signed-off-by: Ran Benita <ran234@gmail.com>

symbols: use darray for KeyInfo symsMapIndex

Signed-off-by: Ran Benita <ran234@gmail.com>

symbols: remove sizeSyms array from KeyInfo

This information is kept inside the darray now.

Signed-off-by: Ran Benita <ran234@gmail.com>

symbols: use darray for KeyInfo syms array

The arrays found in KeyInfo are by far the most complicated, so this is
taken one member at a time so as not to break anything.

Signed-off-by: Ran Benita <ran234@gmail.com>

darray: some changes for convenience

- Make darray_free also initialize the array back to an empty state, and
  stop worrying about it everywhere.

- Add darray_mem, to access the underlying memory, which we do manually
  now using &darray_item(arr, 0). This makes a bit more clear when we
  actually mean to take the address of a specific item.

- Add darray_copy, to make a deep copy of a darray.

- Add darray_same, to test whether two darrays have the same underlying
  memory (e.g. if the struct itself was value copied). This should used
  where previously two arrays were compared for pointer equality.

Signed-off-by: Ran Benita <ran234@gmail.com>

darray: tweak parameters a bit for better memory usage

Here are some quick numbers from valgrind, running rulescomp only with a
simple, common "us,de" rule set:

before darray: cb047bb
total heap usage: 44,924 allocs, 44,924 frees, 3,162,342 bytes allocated

after darray: c87468e
total heap usage: 52,670 allocs, 52,670 frees, 2,844,517 bytes allocated

tweaking specific inital allocation sizes:
total heap usage: 52,652 allocs, 52,652 frees, 2,841,814 bytes allocated

changing initial alloc = 2 globally
total heap usage: 47,802 allocs, 47,802 frees, 2,833,614 bytes allocated

changing initial alloc = 3 globally
total heap usage: 47,346 allocs, 47,346 frees, 3,307,110 bytes allocated

changing initial alloc = 4 globally
total heap usage: 44,643 allocs, 44,643 frees, 2,853,646 bytes allocated

[ Changing the geometric progression constant from 2 only made things
worse. I tried the golden ratio - not so golden :) ]

The last one is obviously the best, so it was chosen, with the specific
tweaks thrown in as well (these were there before but don't make much
difference). Overall it seems to do better than the previous manual
allocations which is a bit surprising.

Signed-off-by: Ran Benita <ran234@gmail.com>

Comment out unused fields in xkb_controls

Until (if) we implement/use them the should take up any (mental) space.

Signed-off-by: Ran Benita <ran234@gmail.com>

Unconstify a few string struct fields

These were made const when the structs were exposed in the API. Now they
are private and we shouldn't mess around with the UNCONSTIFY business.

Signed-off-by: Ran Benita <ran234@gmail.com>

test/dump: allow to run manually

Without the srcdir envvar (and a couple trivial changes).

Signed-off-by: Ran Benita <ran234@gmail.com>

Remove configure check for X11 keysym files

Since every user building the library, even from git, doesn't need these
files anymore, there's no need to check for them (this goes for makekeys
as well).

The only remaining user is the update-keysyms target, but whoever will
run it again (if ever) will probably know what he's doing (at least
enough to run git diff before git commit). And the defaults should be
fine too.

Signed-off-by: Ran Benita <ran234@gmail.com>

Move XKB_KEY_NoSymbol to xkbcommon-keysyms.h

This avoids a couple of special cases in the code, and is more
consistent. Since anyone who includes xkbcommon.h also gets
xkbcommon-keysyms.h, and anyone who include xkbcommon-keysyms.h would
want NoSymbol anyway, there's no down side.

Signed-off-by: Ran Benita <ran234@gmail.com>

Update .gitignore

Signed-off-by: Ran Benita <ran234@gmail.com>

Add keypad sequences to UTF-8 keysym printing

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

Add API for getting unicode representation of a keysym

This code uses a table and code derived from
http://www.cl.cam.ac.uk/~mgk25/ucs/keysym2ucs.c

The added API calls are:

xkb_keysym_to_utf32
xkb_keysym_to_utf8

[daniels: Changed API to be more in line with keysym_get_name, added
          test, changed formatting to 4-space.]

Fix tiny memory leak in dump test

We forgot to free the path we'd allocated with asprintf.

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

Avoid duplicating keysyms for merge if possible

If we can merge cleanly (i.e. use the entirety of one entry rather than
having to go level by level), then just reuse the existing symbols array
and skip the entire merge process.

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

Use $(top_builddir) rather than relative paths

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

Work around stupid automake dependency-tracking bug

bison/flex-generated objects, when being run in a VPATH build with
--disable-dependency-tracking (i.e. Gentoo), would fail to be created
because automake didn't bother creating the destination directories
before trying to create the objects.

Fix this by depending on the destination directory stamp, which
according to the automake mailing list, should hopefully remain fairly
stable.

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

Fix action= NoAction() printing

Print it explicitly, rather than type=0x00, with all the private data
too.

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

Make xkb_map_get_as_string test more comprehensive

Add a test/dump.data file which contains the result we're expecting from
xkb_map_get_as_string run on a particularly complex set of keymaps, and
assert that the string representations are the same.  This means that
any updates to xkb_map_get_as_string will also need to update the test
data, but should also ensure that we don't have any more parser
regressions.

Compared with diff to the output of setxkbmap + xkbcomp for the same
keymap; seems completely solid.

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

Revert "dump"

(Ahem.)

This reverts commit f43f75fb83e94224000ebc6b0736182546781c5e.

Remove fake support for global group range settings

A symbols file may contain a global, non key specific setting for
the group out-of-range handling method (wrap, clamp, redirect). Only
that:

* Its parsed and kept in the SymbolsInfo, but is not otherwise used in
  any way (it's the same in the real xkbcomp).
* It's not used in any of xkeyboard-config files.
* It's not mentioned in the xkb specs (only the per-key ones).
* It doesn't make much sense anyway.

So remove the struct field, and emit an "unsupported, ignored" warning.
We don't increment the error count because of it, just continue (the
radio group warning just below is changed to do the same - there's no
reason to possibly abort the entire thing for it).

Signed-off-by: Ran Benita <ran234@gmail.com>
Conflicts:

src/xkbcomp/symbols.c

Symbols: Don't include NoSymbols in the map

Instead of using NoSymbol in the map, we use num_syms == 0 to signify
the non-presence of a symbol.  So instead of adding NoSymbol mappings
to the list regardless, detect them and set num_syms == 0.

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

Fix multiple errors when merging symbol definitions

We were getting the size calculation wrong, as well as inconsistently
picking a merge strategy.

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

dump

keymap-dump: Print NoAction actions too

The failure mode here is a little irritating:
    - server loads map with ISO_Lock action
    - server dumps keymap to string, including:
      interpret ISO_Lock+AnyOfOrAll(None) {
          action= NoAction();
      };
      as we don't (yet) print ISO_Lock actions
    - client parses keymap from string
    - client dumps keymap to string, including:
      interpret ISO_Lock+AnyOfOrAll(None) {
      };
    - this results in a syntax error

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

stringcomp: NULL-terminate string

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

Pass merge down through indicator creation

To avoid using potentially undefined memory.

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

Add test for xkb_map_new_from_string

Using data from xkb_map_get_as_string.

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

Add xkb_map_get_as_string

Returns a newly-allocated string representing the specified keymap.

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

Fix signed vs. unsigned confusion in actions

Some actions could also take relative rather than absolute parameters,
so they really needed to be signed instead of explicitly unsigned.
Oops.

Fixes, e.g., action= MovePtr(x=-1,y=+1), which was reported as
(x=+65535,y=+1).

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

compat: use darray for acts and key_acts in the server map

Signed-off-by: Ran Benita <ran234@gmail.com>

keycodes: use darray in KeyNamesInfo

Signed-off-by: Ran Benita <ran234@gmail.com>

symbols: use darray for xkb_sym_map

Signed-off-by: Ran Benita <ran234@gmail.com>

keytypes: use darray for level names

Signed-off-by: Ran Benita <ran234@gmail.com>

symbols: use darray for KeyInfo

Signed-off-by: Ran Benita <ran234@gmail.com>

parser: use darray for keysym list

Signed-off-by: Ran Benita <ran234@gmail.com>

keytypes: use darray for xkb_kt_map_entry's

Signed-off-by: Ran Benita <ran234@gmail.com>

alloc: use darray in xkb_key_names

Signed-off-by: Ran Benita <ran234@gmail.com>

keytypes: use darray for key types in the client map

Signed-off-by: Ran Benita <ran234@gmail.com>

compat: use darray for sym_interprets

Signed-off-by: Ran Benita <ran234@gmail.com>

context: use darray for include paths

Signed-off-by: Ran Benita <ran234@gmail.com>

atom: use darray for the node_table

Signed-off-by: Ran Benita <ran234@gmail.com>

rules: use darray for input line

Signed-off-by: Ran Benita <ran234@gmail.com>

rules: use darray for rules and groups

Signed-off-by: Ran Benita <ran234@gmail.com>

Import darray.h for common dynamic array code

Signed-off-by: Ran Benita <ran234@gmail.com>

Constify a static variable

Signed-off-by: Ran Benita <ran234@gmail.com>

Fix incorrect indexing while freeing

Signed-off-by: Ran Benita <ran234@gmail.com>

rules: add test

Add a non-extensive test to check that some basic things (e.g. rule
matching, var substitution, indexes and groups) work as expected.

Signed-off-by: Ran Benita <ran234@gmail.com>

rules: allow wildcard match against "" layout/varaint

Currently, if you pass in an rmlvo with an empty string for layout or
variant, it would not match layout and variant rules even with
wildcards. But if the rules file had set an appropriate default, and someone
passes in the empty string, than he should get the default.

NULL in this case signifies not wanting to match against the layout or
variant at all, and so the rule should still fail to match NULLs.

Signed-off-by: Ran Benita <ran234@gmail.com>

rules: remove struct var_defs

We can just use struct xkb_rule_names which we already receive as an
argument.

Signed-off-by: Ran Benita <ran234@gmail.com>

rules: reformat components_from_rules

Signed-off-by: Ran Benita <ran234@gmail.com>

rules: reformat LoadRules and XkbRF_Free

Signed-off-by: Ran Benita <ran234@gmail.com>

rules: remove unused struct describe_vars

It's not actually used for anything.

Signed-off-by: Ran Benita <ran234@gmail.com>

rules: reformat AddRule and AddGroup

Signed-off-by: Ran Benita <ran234@gmail.com>

rules: reformat GetComponents

Signed-off-by: Ran Benita <ran234@gmail.com>

rules: reformat SubstituteVars

Signed-off-by: Ran Benita <ran234@gmail.com>

rules: reformat CheckApplyRules and ApplyPartialMatches

Signed-off-by: Ran Benita <ran234@gmail.com>

rules: reformat CheckGroup and CheckApplyRule

Signed-off-by: Ran Benita <ran234@gmail.com>

rules: rewrite MatchOneOf

Signed-off-by: Ran Benita <ran234@gmail.com>

rules: reformat ApplyRule

Signed-off-by: Ran Benita <ran234@gmail.com>

rules: reformat MakeMultiDefs

Signed-off-by: Ran Benita <ran234@gmail.com>

rules: use asprintf instead of _Concat function

Signed-off-by: Ran Benita <ran234@gmail.com>

rules: reformat CheckLine and break into several functions

And remove struct file_spec which is really unneeded. Should be
slightly more clear now.

Signed-off-by: Ran Benita <ran234@gmail.com>