modprobe: always try to remove all modules in command line

modprobe: don't check if module builtin to decide if it's builtin

More or less confusing message, but if module is builtin in the live
system, it doesn't mean it's builtin in the target kernel.

Instead we now check if module has a path. It don't have a path only if
it's builtin in the target or if it doesn't exist at all. The latter
should not be a problem since this code is being called from inside the
library. Anyway, put an assert to make sure we get bug reports if any
case slipped in here.

kmod 6

Use upper case after Deprecated in doc

Add kmod_module_apply_filter() to doc-sections file

Fix wrong printf format string

This fixes build in 32 bits machines.

libkmod-index: do not pre-populate mmap

If we tell mmap to populate all the indexes and they are big, this will
impact load time. Let them be mapped as they are used.

Downgrade log message: refcnt file may not exist

If kernel doesn't have support to unload modules,
/sys/module/<modname>/refcnt will not exist and that's ok.

Reported by: Sven Anders <anders@anduras.de>

man: detail modprobe.blacklist in kcmdline

libkmod-index: free node when we have only partial match

modprobe: show builtin label on --show-depends

Previously, we didn't handle builtins very well, displaying things like:

$ modprobe -D btrfs
insmod /lib/modules/3.2.6-foo/kernel/crypto/crc32c.ko.gz
insmod (null)
insmod /lib/modules/3.2.6-foo/kernel/lib/libcrc32c.ko.gz
insmod /lib/modules/3.2.6-foo/kernel/lib/zlib_deflate/zlib_deflate.ko.gz
insmod /lib/modules/3.2.6-foo/kernel/fs/btrfs/btrfs.ko.gz

Follow module-init-tools and show builtins with the label 'builtin' and
their name:

$ modprobe -D btrfs
insmod /lib/modules/3.2.6-foo/kernel/crypto/crc32c.ko.gz
builtin intel_crc32c
insmod /lib/modules/3.2.6-foo/kernel/lib/libcrc32c.ko.gz
insmod /lib/modules/3.2.6-foo/kernel/lib/zlib_deflate/zlib_deflate.ko.gz
insmod /lib/modules/3.2.6-foo/kernel/fs/btrfs/btrfs.ko.gz

libkmod-module: fill builtin's name

modules.builtin don't have any realname->value -- it follows the same
format of modules.dep, not the aliases ones.

find builtins by property, not initstate

modinfo: use new apply_filter method to avoid builtins

libkmod/module: add kmod_module_apply_filter method

This is a more generic method of applying filters to module lists. This
deprecates kmod_module_get_filtered_blacklist() which now simply returns
a call to _apply_filter with the extra filter enum arg.

Move repository to kernel.org

libkmod-module: don't treat "coming" as in-kernel

Running two instances of modprobe with the same module should both
succeed or both fail:

modprobe foo&; modprobe foo;

Previously if foo failed to be inserted by the first call, the second one
could return 0 because it may have occurred while the first one was being
processed by kernel (thus marked as "coming").

Now we simply don't check by "coming" in order to decide if we need to
call init_module(). module-init-tools used to spin calling
usleep(100000), but calls to init_module() are already synchronous.
Therefore let kernel synchronize the calls.

TODO: update and organize items

libkmod-module: probe: check if module exists for install cmds

Mimic what module-init-tools was doing before running install commands:
check if a module with the same name is already loaded in kerne, and if
it is, bail out.

This fixes the issue with some install commands used in Debian with
alsa-base package:

install snd /sbin/modprobe --ignore-install snd && { /sbin/modprobe --quiet snd-ioctl32 ; /sbin/modprobe --quiet snd-seq ; }
install snd_rawmidi /sbin/modprobe --ignore-install snd-rawmidi && { /sbin/modprobe --quiet snd-seq-midi ; : ; }
install snd_emu10k1 /sbin/modprobe --ignore-install snd-emu10k1 && { /sbin/modprobe --quiet snd-emu10k1-synth ; : ; }
install snd_pcm modprobe --ignore-install snd-pcm $CMDLINE_OPTS && { modprobe --quiet snd-pcm-oss ; : ; }
install snd_mixer modprobe --ignore-install snd-mixer $CMDLINE_OPTS && { modprobe --quiet snd-mixer-oss ; : ; }
install snd_seq modprobe --ignore-install snd-seq $CMDLINE_OPTS && { modprobe --quiet snd-seq-midi ; modprobe --quiet snd-seq-oss ; : ; }

Add missing newlines

Checked with following semantic patch for the library:

// smpl
@a@
identifier virtual.func;
expression E1;
expression fmt;
position p1;
@@

func(E1, fmt@p1, ...)

@script:python b@
fmt << a.fmt;
p1 << a.p1;
@@

s = str(fmt)
if s.find("\\n") < 0:
print p1[0].file + ":" + p1[0].line

// smpl

For tools, just remove E1

Downgrade log level when modules.dep{,.bin} don't exist

testsuite: fix color of unexpected failure

kmod-module: lookup: search modules.builtin file too

Search modules.builtin file before saying the module was not found.
Note: these "modules" should not appear as dependencies of other modules
(in modules.dep) even if they appear in modinfo. This fixes the return
code of modprobe with builtin modules.

Also fixes a small coding style issue in module_is_inkernel().

testsuite: add test for builtins with modprobe

When user tries to load a module that is builtin in kernel, modprobe
should just return 0. This is not happening right now, so mark test as
expected_fail until it gets fixed.

testsuite: add .path member to test struct

This allows us to prepend an arbitrary item to the PATH environment
variable, meaning we can favor the binaries we just built, rather than
relying on those in the filesystem.

Fix path.c's function pointer defenitions.

int isn't big enough to hold a FILE* / DIR* on some systems, this causes
segfaults in calls that try to use the resulting FILE* / DIR*:

  TESTSUITE: ERR: 'testsuite_rootfs_fopen' [1176160] terminated by signal 11 (Segmentation fault)
  TESTSUITE: ERR: FAILED: testsuite_rootfs_fopen
  FAIL: testsuite/test-testsuite
  ...
  TESTSUITE: ERR: 'loaded_1' [1176166] terminated by signal 11 (Segmentation fault)
  TESTSUITE: ERR: FAILED: loaded_1
  FAIL: testsuite/test-loaded
  ...
  TESTSUITE: ERR: 'from_alias' [1176181] terminated by signal 11 (Segmentation fault)
  TESTSUITE: ERR: FAILED: from_alias
  FAIL: testsuite/test-new-module

For reference on my system:

  sizeof(int) = 4
  sizeof(long) = 8
  sizeof(FILE*) = 8
  sizeof(DIR*) = 8

TODO: add tasks and bug fixes

libkmod-index: don't print an error if index doesn't exist

It's ok not to have the index files, so just print a DBG message instead
of an ERR.

libkmod-module: probe: fix infinite loop with softdeps

If a softdep depends on a module in the dependency list of the module
being inserted, we would enter and infinite loop.

Move the "mod->visited = true" assignment to the proper place, hoping it
didn't break other use cases. This is a bug that comes and goes every
now and then. Since we have a testsuite now, a test for this should be
written.

test: remove test-state

This test is already covered by testsuite/test-loaded.

Mark functions with attribute noreturn

Functions that always call exit() should be marked with attribute
noreturn. With glibc this is not necessary, but it fails to compile with
uClibc otherwise.

Check if libc has __xstat

uClibc doesn't use __xstat. Check if it exists, otherwise don't export
the override function.

build-sys: add rule to pack rootfs

testsuite: add tests to modprobe --show-depends

test 1 - check whether modprobe outputs the right thing when
using --show-depends is used with already loaded modules.

test 2 - check whether modprobe outputs the right thing when
using --show-depends with modules not loaded yet

testsuite: update README file

- Tell about TESTSUITE_MAIN and DEFINE_TEST macros
- Align item bodies and break on 80 chars

testsuite: macronify test definitions

testsuite: macronify main function

testsuite: libtestsuite depends on individual components

Ensure this dependency is explicit in the Makefile so rebuilding just
one test works correctly. Also reduce some repetition in the test LDADD
bits by adding a new TESTSUITE_LDADD variable.

libkmod-module: probe: Fix ignore-loaded flag not being applied

kmod 5

modinfo: handle arguments more carefully

A simple case of breakage before this commit:

    $ touch aes
    $ modinfo aes
    filename:       /tmp/aes
    ERROR: could not get modinfo from 'aes': Invalid argument

Add a new is_module_filename() function that attempts to do more than
just check if the passed argument is a regular file. We look at the name
for a '.ko' string, and if that is found, ensure it is either at the end
of the string or followed by another '.' (for .gz and .xz modules, for
instance). We don't make this second option conditional on the way the
tools are built with compression support; the file is a module file
regardless and should always be treated that way.

When doing this, and noticed in the test suite output, we open the
system modules index unconditionally, even if it is never going to be
used during the modinfo call, which is the case when passing module
filenames directly. For only one module there's not much advantage in
pre-loading the index, so just remove the call to kmod_load_resources().

With-help-from: Dave Reisner <dreisner@archlinux.org>
[lucas.demarchi@profusion.mobi: remove call to kmod_load_resources()]

Add WARNING file for test dir and improve testsuite README

testsuite: add README

libkmod-module: probe: return -EEXIST if told to do so

Commit "af9572c lib/module: check initstate before inserting module"
removed the check for "we should return -EEXIST" and moved it back to
the start of the function. The problem with this is the following
scenario:

- We check if module is in kernel -> no
- We insert the dependencies
<-- External program loads
the module
- We check if module is in kernel -> yes
- We return 0, when we should return -EEXIST

libkmod-module: probe: rename flag to be more meaningful

test-conversion: remove test/test-{insmod,rmmod,rmmod2}

These are covered by the various test cases in testsuite/test-init.

test-conversion: remove test/test-init

This was already converted to testsuite/test-init.

test-conversion: remove test/test-loaded

This was already converted to testsuite/test-loaded.

Update .gitignore files

Add kmod-* prefixed tool names, add 'tags' in root directory (for ctags,
matches cscope.out ignore already in there), and prefix tools/ entries
with '/' so they are absolute ignores and don't apply to subdirectories.

Fix simple grammar issue

Fix unaligned memory access in hash function

Use a function to properly get an unsigned short from memory that is
possibly unaligned.

Note that it implicitly fixes a small bug in the hash function that
was introduced when modifying the eina code: the line "hash ^= key[2]
<< 18;" is supposed to be accessing the 3rd byte of the remainder of
the input, but when 'it' was introduced, 'key' ('data' in eina code)
was no longer incremented, so this ended up accessing the 3rd byte of
the input from the beginning. This is fixed by iterating over 'key',
like the eina code does.

Before this patch depmod was failing on ARMv5 and possibly others that
don't have unaligned access. They do not calculate correctly the
dependencies as shown below:

[root@alarm ~]# modinfo bridge
filename: /lib/modules/2.6.39.4/kernel/net/bridge/bridge.ko
version: 2.3
license: GPL
srcversion: 6B583530AE2B39C7E2317BF
depends: stp,llc
vermagic: 2.6.39.4 preempt mod_unload ARMv5
[root@alarm ~]# depmod
[root@alarm ~]# cat /lib/modules/2.6.39.4/modules.dep |grep bridge
kernel/net/bridge/bridge.ko:
[root@alarm ~]#

See how modinfo properly lists the dependencies, but modules.dep which
depmod generates does not contain them. As a result, most kernel
modules fail to load because their dependencies are not loaded by
modprobe.

TODO: add task to write testsuite/README

man: insmod: we don't handle modules from stdin

- Gah, kmod insmod can't load from stdin anymore. :/
- What's the use case?
- zcat module.ko.gz | insmod - (but the new insmod apparently can load .gz fine)
- yes... just insmod module.ko.gz
- and actually insmod(8) says it works. :)

Not anymore...

depmod: Dont use errno unconditionally

fopen() will not reset errno if it succeeds so we should
make sure that we only use errno in error cases.

Also fix the diagnostic messages to not use strerror
when there is no error since strerror will not return
anything useful in this case

fix building and cleaning of manpages

- add modules.dep as an explicit dependency of modules.dep.bin to ensure
  parallel builds don't fail
- add generated man pages to CLEANFILES

modprobe: avoid breaking on insertion failure

lib/module: check initstate before inserting module

This applies to both the high level probe_insert_module() and the
underlying insert_module() functions. By checking module initstate prior
to inserting a module, we can avoid a lot of needless work just to find
out that the init_module call fails with EEXIST.

This implements a helper function, module_is_inkernel, to return a
boolean value describing if a module is live, coming, or builtin.

whitespace fix -- no logical code changes

fix manpage build and install.

just build and install manpages if tools are enabled.

List stub modules.dep.bin in proper variable.

improve logging to mention context.

Just printing the errno string such as "%m\n" is not enough to help
debug or users understand the problem.

Change to provide more context on the failing operation.

improve log when debugging.

Some messages may happen more than once in the same function and
discovering the line is hard. Now we print the actual log priority
that exposed the message as well as filename and line.

NOTE: We should consider printing the log priority in the non-debug
version as well.

libkmod: organize public header

Prepare for API bump

modprobe: properly handle errors from init_module

Effectively catch and the zero and non-zero cases and error out
appropriately. Note that -EEXIST will only ever be returned when
KMOD_PROBE_STOP_ON_ALREADY_LOADED is set as a probe_insert_module flag.

libkmod-module: probe: remove useless KMOD_PROBE_STOP_ON_COMMAND

libkmod-module: probe: return -EEXIST if told to stop on already loaded

testsuite: allow for expected failure of tests

Adds a bool to the test struct called 'expected_fail' which can be set
to flip the logic used to determine success and failure. Messaging is
also changed to reflect an unexpected pass or expected fail. This can be
used to write tests which may represent functionality desirable for a
future release.

modprobe: post-remove module deps with 0 refcnt

This commit looks shockingly similar to 0e9bd2d1 because SOMEONE decided
to remove it in a872bba in a glorious frenzy of refactoring.

kmod-modprobe: migrate to kmod_module_probe_insert_module()

libkmod-module: probe: add flag to dry-run

libkmod-module: probe: add flag to ignore loaded modules

We need a way to tell libkmod to ignore loaded modules, so modprobe can
tell it to dry-run and show dependencies. However there's a conflict
with two flags. KMOD_PROBE_STOP_ON_ALREADY_LOADED prevails if passed
together with KMOD_PROBE_IGNORE_LOADED.

libkmod-module: probe: add print_action callback

This allows to implement dry-run in modprobe without exporting
kmod_module_get_probe_list().

libkmod-module: probe: add room in flags for future extension

Breaking flags is one of the reasons next version will need to bump ABI.
In future we don't want to bump it just because of this.

libkmod-module: probe: ignore-command flag can't be used in return

libkmod-module: probe: remove useless flag to stop on failure

We always want to stop if module failed to loaded due to unknown reason.

libkmod-module: probe: add flag to stop loading on already loaded

It's not as simple as tell user to check if the module is loaded before
calling this function. Due to race conditions, module might not be
loaded before the function call, but fail later because another process
inserted it.

testsuite: check if dots are allowed in aliases

testsuite: add test for kmod_module_new_from_name()

Check if module names are being correctly normalized.

libkmod-module: split creation of new modules to share code

Share code of module creation among the several new functions. With this
we let the alias/modname/path parsing to the separate functions, and the
rest with the common one.

This fixes the issue of alias names not being able to contain dots.

Partially fix parsing of alias with dots

Alias names may contain dots. However since kmod_module_from_alias()
still calls kmod_module_new_from_name(), the bug is not entirely fixed,
and will be completely corrected in a later patch.

libkmod-module: probe: add flag to ignore commands

libkmod-module: probe: change insertion to cover more use cases

Split kmod_module_probe_insert_module() in 2:
1) Get list of modules to be loaded
2) Iterate the list, loading the module

With this in future we will be able to cover use cases of modprobe,
that has a logic a bit more complicated.

With this we also change the logic to detect dependency loops: instead
of checking the recursion every STEP times, we now keep a field in
kmod_module, marking it as visited. We simply ignore already visited
modules and thus we break loops.

libkmod-module: add visited field

This field can be used to iterate the modules, controlling whether we
are revisiting a certain module. A function to clear the values in all
modules is needed since when we are iterating, we don't know if the
module is created anew or if it's picked from the pool. Therefore we
can't know if the field is true because of a previous iteration or if
the module was indeed already visited.

build-sys: fix make dist

build-sys: declare rootfs.tar.xz as dep of rootfs/

This forces make to re-extract the tarball when it's changed

testsuite: let stat.h take care of stat64

This fixes testsuite build in 32 bits machines.

Use %zu for size_t

Remove warning on 32 bits systems.

testsuite: remove unneeded call to memset()

libkmod: Fix handling of square brackets expressions in function alias_normalize

testsuite: add test for function alias_normalize

modprobe: print end of configuration files

build-sys: extract rootfs for make check

Commit "d2c2b8b build-sys: autotoolify build of check libraries" removed
rootfs extraction. Add it back.

testsuite: add GPL license

testsuite: trap calls to delete_module() including simple test

build-sys: autotoolify build of check libraries

Many thanks to Iván Briano (sachieru@gmail.com) for pointing out this
thread in libtool mailing list:
http://www.mail-archive.com/libtool@gnu.org/msg09627.html

Passing '-rpath /nowhere' in LDFLAGS we are able to create shared libs
that are not installed.

testsuite: add trap to init_module() including simple test

elf: privately export kmod_elf_get_section()

This function is used to find a certain section in ELF file. It will be
used to get the modname from an ELF file.

testsuite: add test for modinfo

These ext4 modules were sent by Jon Master so we can test the result of
modinfo with modules generated for different architectures.

They are now added to testsuite and their output tested automatically.

testsuite: remind users to build tools

testsuite: add colors to test output