Organize xkbcomp/ header files

Various non-functional changes:
- Re-add keycodes.h and move some stuff there.
- Add parser-priv.h for internal bison/flex stuff.
- Don't include headers from other headers, such that file dependencies
  are immediate in each file.
- Rename xkbcomp.h -> ast.h, parseutils.{c,h} -> ast-build.{c,h}
- Rename path.{c,h} -> include.{c,h}
- Rename keytypes.c -> types.c
- Make the naming of XkbFile-related functions more consistent.
- Move xkb_map_{new,ref,unref} to map.c.
- Remove most extern keyword from function declarations, it's just
  noise (XKB_EXPORT is what's important here).
- Append XKBCOMP_ to include guards.
- Shuffle some code around to make all of this work.

Splitting this would be a headache..

Signed-off-by: Ran Benita <ran234@gmail.com>

Allocate xkb_component_names on stack

Instead of malloc'ing it as well. Also improve the error handling.

Signed-off-by: Ran Benita <ran234@gmail.com>

Move ISEMPTY to utils.h

Signed-off-by: Ran Benita <ran234@gmail.com>

Move 'no symbols defined for ...' message to a warning

Shut up shut up shut up shut up shut up shut up.

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

Combine a couple of macros

Easier to see what it does without the trivial macros.

Signed-off-by: Ran Benita <ran234@gmail.com>

action: get rid of xkb_any_action

And use union xkb_action instead. We add xkb_private_action, which is
the same as xkb_any_action, but only used where the intention is clear.
This should take care of whatever sizing changes the action struct might
have.

Signed-off-by: Ran Benita <ran234@gmail.com>

Remove XkbKeyTypeIndex and widen index type

We don't need the macro, and using char for the kt_index is imaginably
too small.

Signed-off-by: Ran Benita <ran234@gmail.com>

Store actions inside struct xkb_key

Cuts out a lot of useless redirection and space.

Signed-off-by: Ran Benita <ran234@gmail.com>

keycodes: save context in Info, not keymap

We don't need the keymap in this case, just makes things more verbose.

Signed-off-by: Ran Benita <ran234@gmail.com>

Remove xkbcomp/misc.c

The KeyName functions are more appropriate in keycodes.c.
The ProcessIncludeFile can go to path.c along with the other functions
dealing with includes.

Signed-off-by: Ran Benita <ran234@gmail.com>

Remove left over keycodes.h

For some reason we still track this file in git even though we don't use
it any more.

Signed-off-by: Ran Benita <ran234@gmail.com>

Remove AutoKeyNames feature

If this keymap flag is set, whenever a key name appears in one of the
sections which does not exist (i.e. has not been declared in keycodes),
it finds the first unused keycode and attaches it that name.

This might have been useful when you could compile the symbols section
or geometry section without a keycodes section, but we don't support
this anymore. It's also pretty useless for any real work, because the
user has no way of knowing the keycode and so it will never be used.
Finally the only obscure way left to set this flag is by including a
keycodes file called "computed".

Just remove it.

Signed-off-by: Ran Benita <ran234@gmail.com>

map: share some code

Make more extensive use of get_entry_for_key_state, and add
key_get_consumed to use in the other consume functions.

There's also a slight change in the consumed mods calculations, where
we use entry->mods.mask instead of type->mods.mask. The original was
copied from what libX11 does but what we do now is more logically
correct. The result is exactly the same though because:
type->mods.mask ⊇ entry->mods.mask ⊇ entry->preserve.mask

Signed-off-by: Ran Benita <ran234@gmail.com>

Use XKB_{GROUP,LEVEL}_INVALID instead of -1 for errors

The group/level types are unsigned, so it's odd to return -1 for them.
Instead use their invalid values (which happen to be == -1).

Signed-off-by: Ran Benita <ran234@gmail.com>

state: use global static const for fake action

Requires constifying some arguments.

Signed-off-by: Ran Benita <ran234@gmail.com>

Modernize struct xkb_mods

Currently xkb_mods has the following members:
- uint8_t real_mods - 8 X11 core mods
- xkb_mod_mask_t vmods - 16 virtual mods, zero-based index
- xkb_mod_mask_t mask - the computed effective *real* modifier mask,
  basically a cache for the first two which is:
  real_mods | real mods computed from vmods

Our API acts on masks which combine the real_mods and vmods into a
single value, which is:
8 first bits real mods | 16 next bits virtual mods
(XkbNumModifiers = 8, XkbNumVirtualMods = 16). This is also the format
which ResolveVModMask uses (which is where all the modifier masks really
"come from", e.g. "Shift+Lock+Level5" -> xkb_mod_mask_t).

What the code does now after getting the mask from ResolveVModMask, is
to break it into real part and virtual part and store them seperately,
and then join them back together when the effective mask is calculated.

This is all pretty useless work. We change xkb_mods to the following:
- xkb_mod_mask_t mods - usually what ResolveVModMask returns
- xkb_mod_mask_t mask - the computed mask cache
And try to consistently use the word "mods" for the original,
non-effective mods and mask for the effective mods (which can only
contain real mods for now, because things break otherwise).

The separation is also made clearer. The effective masks are computed by
UpdateModifiersFromCompat after all the sections have been compiled;
before this the mask field is never touched; after this (i.e. map.c and
state.c) the original mods field is never touched. This single execption
to this rule is keymap-dump.c: it needs to print out only the original
modifiers, not computed ones. This is also the reason why we actually
keep two fields instead keeping one and modifying it in place.

The next logical step is probably to turn the real mods into vmods
themselves, and get rid of the distinction entirely (in a compatible
way).

Signed-off-by: Ran Benita <ran234@gmail.com>

Fix xkb_keymap::vmods type

It maps a vmod to a mask, of course.

Signed-off-by: Ran Benita <ran234@gmail.com>

types: don't compute effective masks here as well

After compiling all of the sections, UpdateModifiersFromCompat does all
of the vmod -> real mods translations, including types/kt_entries.

keytypes.c also has code that does that, but it's unneeded:
- Later sections don't look at their effective masks, so doing it later
  is fine.
- When this code is executed, the vmods -> real mods mapping is empty
  (that is set up later), so VModsToReal has no effect here.
So we can just remove it.

However UpdateModifiersFromCompat didn't update the preserve mask, so do
that.

Signed-off-by: Ran Benita <ran234@gmail.com>

types: get rid of PreserveInfo

We don't need the indirection. We store the preserve mask directly in
the entry, and create a new one if it doesn't exists (which is exactly
what the current code does in a roundabout way).

Incidentally this fixes a bug where the effective modifier mask of the
entries' preserve[] wasn't calculated, so the virtual modifiers had no
effect there.

Signed-off-by: Ran Benita <ran234@gmail.com>

keymap-dump: use VModMaskText

The difference between the two are irrelevant here.

Signed-off-by: Ran Benita <ran234@gmail.com>

Fix warning

Signed-off-by: Ran Benita <ran234@gmail.com>

Add xkb_map_mod_mask_remove_consumed

A fairly simple helper which, given an xkb_mod_mask_t, removes all
modifiers which are consumed during processing of a particular key.

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

Add xkb_log_level enum rather than using syslog

Instead of relying on people including syslog.h, add our own
XKB_LOG_LEVEL_* defines.

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

Increase log verbosity in tests

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

Rules: mmap() rules file instead of using getc()

Good for a small performance win on my system.

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

android: add build files

squashed: android: set xkb config path

Conflicts:
Makefile.am

stringcomp: Make test more punishing

Recreate the old test/dump scenario, where we test the following map:
  - rules: evdev
  - model: pc104
  - layout #1: us
  - layout #2: ru
  - layout #3: ca(multix)
  - layout #4: de(neo)

This is ever so slightly altered from the xkbcomp output; running the
following:
setxkbmap -rules evdev -model pc105 -layout us,ru,ca,de -variant
,,multix,neo -print | xkbcomp -xkb - -

will give you a map with RCTL added to the modifier_map for both Control
and Mod3.  Running the output through xkbcomp -xkb - - again, will give
you RCTL only added to Mod3.

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

test/dump: Remove superfluous test

No longer necessary now we have stringcomp doing a full round-trip test
for us.

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

test/stringcomp: Perform full round-trip test

We now pass! \o/

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

stringcomp: Remove unnecessary Level1 mappings

As a map will implicitly go to level one unless explicitly mentioned
otherwise, remove all explicit =Level1 mappings, except for those with
preserve entries.

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

Always have at least one level in types

The ONE_LEVEL definition from xkeyboard-config doesn't specify any
actual levels, but there's an implicit (anything unmatched) -> Level1
rule.  Given this, each type actually has at least one level, whether or
not it specifies anything.

Fixes stringcomp.

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

IncludeStmt: Remove useless 'path' member

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

Remove unused vmodmask calculation

This was basically an open-coded VModsToReal, which we were using in the
line immediately below.

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

test: Minimise includes

Mostly from functions which used to use file functions directly, but now
use test.h wrappers.

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

stringcomp: Update input file for output changes

Bring the input file into line with recent changes to the dump output,
so we're as close as we can get to a round trip.

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

test: Add extremely rudimentary include path test

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

Rename xkey test to keysym

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

Print failed include paths on failure to find rules

Thus giving a hint as to which directory we're trying to find.

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

Move xkb_context struct to xkb-priv.h

So we can print more intelligent debugging messages without needing
helper functions for the failed_includes array.

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

context: Maintain list of failed include paths

Keep around a list of paths we tried to add but couldn't.

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

More useful error message on failing RMLVO -> KcCGST

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

Move more of xkb_map_new_from_rmlvo into compilation

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

Staticise xkb_map_new_from_kccgst

We didn't expose this to the outside world, and its only trivial user
was xkb_map_new_from_rules.

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

test: Use test_compile_*() in interactive

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

Add support for default rules/model/layout

Right now it just comes from build-time, but eventually this should be
sourced from configuration files at runtime too.

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

tests: Fix uninitialised-use-of-'ret' warning

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

test: Use test_get_context() in interactive

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

Warning fixes

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

Add API to query whether a modifier is consumed

Currently the user has no way of knowing which of the active modifiers
have been used in the translation of a keycode to its keysyms. The use
case is described in the GTK docs: say there's a menu accelerator
activated by "<Alt>+". Some layouts have "+" shifted, and some have it
on the first level. So in keymaps where "+" is shifted, the Shift
modifier is consumed and must be ignored when the user is testing
for "<Alt>+". Otherwise, we may get "<Alt><Shift>+" and the accelerator
should not actually fire.

For this we also use the preserve[] information in the key types, which
can forces us to report modifiers as unconsumed even if they were used
in the translation. Until now we didn't do anything with this
information.

The API tries to match its surronding. It's not very efficient but this
can be fixed.

Signed-off-by: Ran Benita <ran234@gmail.com>

types: remove default type

The default type is copied over for each new key type to build on.
Further, it can be modified from within the xkb_types section itself,
with statements such as "type.modifiers = Lock" which affect all
subsequent type definitions.

The default type is (well, by default) just the simplest one level type
possible, with name "default". When no types are defined at all, it is
copied over to the keymap as the single type.

xkeyboard-config never changes the default type. There is also no sane
use case for doing so; changing any thing there doesn't make sense. So
instead of doing all the hard work of maintaining and copying this type,
which is practically never used, just remove it and initialize new types
appropriately.

Signed-off-by: Ran Benita <ran234@gmail.com>

types: store atoms instead of strings for level and type names

We don't use these strings much, so storing them in the manner they
were compiled saves some copying and space.

Signed-off-by: Ran Benita <ran234@gmail.com>

types: use regular array for map entries

This array is only initialized once.

Signed-off-by: Ran Benita <ran234@gmail.com>

types: use regular array for types

The current code doesn't resize it any more.

Signed-off-by: Ran Benita <ran234@gmail.com>

types: remove DeleteLevel1MapEntries

If there is no map entry for some modifier combination, the default is
to use level 1. The removed code is an optimization to save some space
by removing these entries. But it doesn't actually save any space, and
did not in fact remove all level 1 entries (it walks the array while
modifying it so there's an off-by-one error).

We can instead keep them in the types but just not print them in
keymap-dump.c, to get about the same behavior.

Signed-off-by: Ran Benita <ran234@gmail.com>

types: move preserve directly into xkb_kt_map_entry

Currently each xkb_key_type has a preserve array, which is only allocated
if a preserve[] statement is specified in the type. In this case each map
entry has an element in the array.

The space savings are negligible; put this field where it logically
belongs.

Signed-off-by: Ran Benita <ran234@gmail.com>

Fix virtual modifiers mask extraction

The calculations were performed incorrectly in several places,
specifically shifting by 16 instead of 8 (= XkbNumModifiers) and masking
with 0xff instead of 0xffff.

More stuff that probably never worked as intended. This also makes these
more grep-able when we remove the vmods/real_mods separation.

Signed-off-by: Ran Benita <ran234@gmail.com>

types: small changes

Just make things easier to follow, no functional changes.

Signed-off-by: Ran Benita <ran234@gmail.com>

Remove xproto build dependency

Very little left to do for this.

Signed-off-by: Ran Benita <ran234@gmail.com>

types: don't use canonical/required types

Xkb required every keymap to have at least the four following canonical
types: ONE_LEVEL, TWO_LEVEL, ALPHABETIC, KEYPAD. This is specified in
e.g. the kbproto spec and XkbKeyTypesForCoreSymbols(3) man page.

If these types are not specified in the keymap, the code specifically
checks for them and adds them to the 4 first places in the types array,
such that they exist in every keymap. These are also the types (along
with some non-required 4-level ones) that are automatically assigned to
keys which do not explicitly declare a type (see FindAutomaticType in
symbols.c, this commit doesn't touch these heuristics, whcih are also not
very nice but necessary).

The xkeyboard-config does not rely on the builtin xkbcomp definitions of
these types and does specify them explicitly, in types/basic and
types/numpad, which are virtually always included.

This commit removes the special behavior:
- The code is ugly and makes keytypes.c harder to read.
- The code practically never gets run - everyone who uses
  xkeyboard-config or a keymap based upon it (i.e. everyone) doesn't need
  it. So it doesn't get tested.
- It mixes policy with implementation for not very good reasons, it
  seems mostly for default compatibility with X11 core.
- And of course we don't need to remain compatible with Xkb ABI neither.

Instead, if we read a keymap with no types specified at all, we simply
assign all keys a default one-level type (like ONE_LEVEL), and issue
plenty of warnings to make it clear (with verbosity >= 3). Note that
this default can actually be changed from within the keymap, by writing
something like
    type.modifier = Shift
    type.whatever_field = value
in the top level of the xkb_types section. (This functionality is
completely unused as well today, BTW, but makes some sense).

This change means that if someone writes a keymap from scratch and
doesn't add say ALPHABETIC, then something like <AE11> = { [ q Q ]; }; will
ignore the second level. But as stated above this should never happen.

Signed-off-by: Ran Benita <ran234@gmail.com>

types: add a general overview

Signed-off-by: Ran Benita <ran234@gmail.com>

symbols: remove support for key behaviors

The possible key behaviors are:
KB_RadioGroup, KB_Overlay1, KB_Overlay2: already removed support for
these.
KB_Lock (with or without KB_Permanent): used to ignore key presses or
releases to simulate and deal with some legacy keyboard behaviors
(like keys that physically lock). Not used at all.

We already ignore them while processing key events in state.c, so make
it official.

Signed-off-by: Ran Benita <ran234@gmail.com>

keycodes: small changes

to make it a bit nicer.

Signed-off-by: Ran Benita <ran234@gmail.com>

Handle key names consistently

We treat the key names as fixed length, non NUL terminated strings of
length XkbKeyNameLength, and use the appropriate *Text functions to
print them. We also use strncpy everywhere instead of memcpy to copy
the names, because it does some NUL padding and we might as well.

Signed-off-by: Ran Benita <ran234@gmail.com>

keycodes: add a general overview

Signed-off-by: Ran Benita <ran234@gmail.com>

expr: make ResolveLevel return zero-based level

Signed-off-by: Ran Benita <ran234@gmail.com>

Add and use xkb_level_index_t

Several types are used over the code for shift levels; better to use
just one.

Signed-off-by: Ran Benita <ran234@gmail.com>

action: drop global actionInitialized

The action.c needs to use two constant Expr values, constTrue and
constFalse. To do this is keeps to static globals Expr's of type boolean
and the values "true" and "false" which need to be interned (and thus
context specific). The interning means they can't be made static const,
so there's a global flag and initializer function.

Instead of using this unsafe global state, we can simply use an integer
boolean expression (1 and 0) instead of a string one ("true" and
"false") and make them const.

Signed-off-by: Ran Benita <ran234@gmail.com>

expr: constify function arguments

We need this for later.

Signed-off-by: Ran Benita <ran234@gmail.com>

log: allow to resore default log function

Signed-off-by: Ran Benita <ran234@gmail.com>

darray: fix formatting

Signed-off-by: Ran Benita <ran234@gmail.com>

filecomp: fix path and error message

Signed-off-by: Ran Benita <ran234@gmail.com>

interactive: add support to run from keymap file

This is useful for quickly testing a random keymap file. Use -k <PATH>.

Signed-off-by: Ran Benita <ran234@gmail.com>

keyseq: use our own keysyms

Instead of <X11/keysym.h>

Signed-off-by: Ran Benita <ran234@gmail.com>

Replace more defines with enums

Mostly the ones used to track the fields of types/keys/leds which were
already defined.

Signed-off-by: Ran Benita <ran234@gmail.com>

Make top level Handle*File functions nicer

Signed-off-by: Ran Benita <ran234@gmail.com>

Use xkb_led_index_t throughout

And use XKB_LED_INVALID instead of _LED_Unbound, which served the same
purpose here.

Signed-off-by: Ran Benita <ran234@gmail.com>

vmod: remove unused fields

Signed-off-by: Ran Benita <ran234@gmail.com>

README: s/xkb_desc/xkb_keymap

Signed-off-by: Ran Benita <ran234@gmail.com>

Use only one set of core mod name-to-index functions

These were repeated 5 times.

Note that this changes the ABI slightly: XKB_MOD_NAME_CAPS is changed
from "Caps Lock" to "Lock", which is the ordinary legacy mod name for
it. Since its hidden behind a #define, it's best to stay compatible with
the old names (as I think was intended, given that "Mod1", etc. are the
same).

Signed-off-by: Ran Benita <ran234@gmail.com>

map: fix incorrect return value

Signed-off-by: Ran Benita <ran234@gmail.com>

map: fix virtual mod index calculation

The current code made us miss vmod index 0. Also look at the code in
vmod.c:LookupVModMask.

Signed-off-by: Ran Benita <ran234@gmail.com>

keymap-dump: use ActionTypeText

Signed-off-by: Ran Benita <ran234@gmail.com>

keymap-dump: use SITextMatch

text.c has the exact same function.

Signed-off-by: Ran Benita <ran234@gmail.com>

keymap-dump: clean up write_buf function

It would have been nice to use open_memstream here if it was portable
enough (maybe someday it will?).

Signed-off-by: Ran Benita <ran234@gmail.com>

Add an interactive evdev test

The program reads key events from evdev input devices, puts them through
the library and prints some information about them. It's nice for
experimenting, quick testing and trying to break it with random stuff
(already found some!).

It is called "interactive" for lack of a better name. It's a bit
hackish, but can easily be extended, made more portable etc, in the
future.

Signed-off-by: Ran Benita <ran234@gmail.com>
Conflicts:
Makefile.am
test/.gitignore

Remove ExprResult

Convert the IdentLookup typedef away from ExprResult, which drags along
everything else. This should also make all of the conversions explicit.

Signed-off-by: Ran Benita <ran234@gmail.com>

expr: remove support for evaluating string as integer

As the comment nicely puts it, this is a bit weird. When you try to
evaluate an expression of type string into an integer, what it does is:
    "" -> 0
    "c" -> (ascii value, i.e. like a char literal)
    more than one char -> error
The first one is obviously not very useful; why not just write 0?
The second one might be useful (though I don't see where in a keymap
it would be), but I don't think anyone would consider trying "X" for
that anyway.

A look through xkeyboard-config shows "" only used once as a string, and
"X" also only used as strings (and mostly in geometry which we don't
evaluate anyway). And I seriously doubt it's used (purposely) anywhere
else. So remove it.

Signed-off-by: Ran Benita <ran234@gmail.com>

Don't create contexts with no include paths

Clean up the return code handling from
xkb_context_add_include_paths_default, and thus fail context creation if
we can't add any of the default include paths, but were asked to.  If
this happens, dump the DFLT_XKB_CONFIG_ROOT out in the log message, so
at least we know what we aren't looking at.

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

context test: Use test_get_context()

So we don't die if we haven't got a valid global include path.

Signed-off-by: Daniel Stone <daniel@fooishbar.org>

expr: drop ExprResult from ResolveEnum

Signed-off-by: Ran Benita <ran234@gmail.com>

expr: drop ExprResult from ResolveMask

Signed-off-by: Ran Benita <ran234@gmail.com>

expr: drop ExprResult from ResolveInteger

Signed-off-by: Ran Benita <ran234@gmail.com>

expr: drop ExprResult from ResolveButton

Signed-off-by: Ran Benita <ran234@gmail.com>

expr: drop ExprResult from ResolveLevel

Signed-off-by: Ran Benita <ran234@gmail.com>

expr: drop ExprResult from ResolveKeyCode

Signed-off-by: Ran Benita <ran234@gmail.com>

expr: drop ExprResult from ResolveGroup

Signed-off-by: Ran Benita <ran234@gmail.com>

expr: drop ExprResult from ResolveKeysym

Signed-off-by: Ran Benita <ran234@gmail.com>

expr: drop ExprResult from ResolveBoolean

Signed-off-by: Ran Benita <ran234@gmail.com>

expr: drop ExprResult from ResolveString

Signed-off-by: Ran Benita <ran234@gmail.com>

expr: drop ExprResult from ResolveLhs

Signed-off-by: Ran Benita <ran234@gmail.com>