modprobe: prefix log messages to stderr with modprobe

modprobe: move log function

modprobe: prefix libkmod messages to stderr with modprobe:

When we are logging to stderr we are previously relying on libkmod
sending it to the default location in case we are not asked to log to
syslog. The problem is that modprobe may be used in scripts that don't
want to log to syslog (since they are not daemons, like scripts to
generate initrd) and then it's difficult to know where the message comes
from.

This patch treats only the messages coming from libkmod.

modprobe: use prio_to_str() helper

modprobe: exit in one place

depmod: unref kmod_module once we don't need it anymore

Once we read all we need from a module, unref it so any resource taken
by it (including the mmap to access the file in libkmod) will be
dropped. This drastically reduces the number of open file descriptors
and also the memory needed, with no performance penalties. Rather,
there's a small speedup of ~2.6%.

Running depmod in a laptop with 2973 modules and comparing the number of
open file descriptors for kmod-10, before and after the last patches to
depmod (caaf438cb681c5b5b5b3c32e5b6bd12e96993dd7 and HEAD) we have:

Before: 2980 simultaneously open fds
After: 7    simultaneously open fds
kmod-10: 7    simultaneously open fds

So now we have the speedup of caching the file in kmod_module without
the drawback of increasing the number of open file descriptors.

depmod: use our copy of modname instead of calling libkmod

In depmod_module_add() we already called kmod_module_get_name() and
copied the string to our struct. Use it instead of calling again and
again the libkmod function.

depmod: cache dependency_symbol list in struct mod

The overall goal is to coalesce the accesses to a file that is the
backend of a module. This commit addresses the calls to
kmod_module_get_get_dependency_symbols(). Calling it earlier, while we
are iterating the modules allows us to free the struct kmod of each
module much sooner. We are still not freeing it since there are other
places that must be refactored first.

There's a performance penalty of ~2.5% from previous commit.

depmod: cache info_list in struct mod

The overall goal is to coalesce the accesses to a file that is the
backend of a module. This commit addresses the calls to
kmod_module_get_info(). Calling it earlier, while we are iterating the
modules allows us to free the struct kmod of each module much sooner. We
are still not freeing it since there are other places that must be
refactored first.

A nice side effect is that this commit reduces in ~33% the calls to
malloc(), giving a speedup of ~6% for cold caches (reproduced on only 1
laptop).

depmod: do not create a hole in struct depmod

build-sys: use AS_IF autoconf macro

Just for consistency with the rest.

build-sys: require xsltproc when manpages are enabled

Before this commit the build system failed at late state with
non-helpful message when xsltproc was not available.

Making all in man
  GEN      depmod.d.5
/bin/sh: --nonet: command not found
make[2]: *** [depmod.d.5] Error 127
make[1]: *** [all-recursive] Error 1
make: *** [all] Error 2

libkmod: cache open file for later access

If we are accessing several times the modules and reading some sections
by sucessive calls to the functions below, we are incurring in a penalty
of having to open, parse the header and close the file. For each
function.

- kmod_module_get_info()
- kmod_module_get_versions()
- kmod_module_get_symbols()
- kmod_module_get_dependency_symbols()

These functions are particularly important to depmod. It calls all of
them, for each module. Moreover there's a huge bottleneck in the open
operation if we are using compression. Every time we open the module we
need to uncompress the file and after getting the information we need we
discard the result. This is clearly shown by profiling depmod with perf
(record + report), using compressed modules:

 64.07%  depmod  libz.so.1.2.7       [.] 0x00000000000074b8                                            ◆
 18.18%  depmod  libz.so.1.2.7       [.] crc32                                                         ▒
  2.42%  depmod  libz.so.1.2.7       [.] inflate                                                       ▒
  1.17%  depmod  libc-2.16.so        [.] __memcpy_ssse3_back                                           ▒
  0.96%  depmod  [kernel.kallsyms]   [k] copy_user_generic_string                                      ▒
  0.89%  depmod  libc-2.16.so        [.] __strcmp_sse42                                                ▒
  0.82%  depmod  [kernel.kallsyms]   [k] hrtimer_interrupt                                             ▒
  0.77%  depmod  libc-2.16.so        [.] _int_malloc                                                   ▒
  0.44%  depmod  kmod-nolib          [.] kmod_elf_get_strings                                          ▒
  0.41%  depmod  kmod-nolib          [.] kmod_elf_get_dependency_symbols                               ▒
  0.37%  depmod  kmod-nolib          [.] kmod_elf_get_section                                          ▒
  0.36%  depmod  kmod-nolib          [.] kmod_elf_get_symbols
  ...

Average of running depmod 5 times, dropping caches between them, in a
slow spinning disk:

Before:   12.25 +- 0.20
After:     8.20 +- 0.21
m-i-t:     9.62 +- 0.27

So this patch leads to an improvement of ~33% over unpatched version,
ending up with 15% speedup over module-init-tools.

rmmod: Deprecate --wait option

Remove --wait from usage() and give a message + sleep(10) if user is in
fact using it.

libkmod-hash: Plug possible memory leak when free_value is defined

Although the hash table implementation allows passing a callback function
to free a value when it is removed from the hash table, hash_del() wasn't
freeing it if it was provided. Now it does.

As a bonus, it now checks if the callback is set in hash_add() as well.

libkmod: Add support for '.' in module parameter on kcmdline

Otherwise we fail to parse arguments in kernel command line like
testmodule.testparam=1.5G

Suggested-by: Selim T. Erdogan <selim@alumni.cs.utexas.edu>

testsuite: add depmod test for modules.alias

Check if modules.alias is correctly generated from modules.order if we
have compressed modules.

testsuite: allow to check generated files

This gives the test cases the ability to supply files that must be
checked after the test is run, rather than just checking stdout/stderr.

This is intended to be used with tools that generate files, like depmod.
It includes a poor's man implementation of a "check for differences in
files". Not really optimized, but it's simple enough and does what it
proposes to.

depmod: fix parsing of modules.order with compressed modules

We now index the modules by uncompressed-relative-path instead of
relative-path. This is because the file modules.order, coming from
kernel, always comes with uncompressed paths. This fixes the issue of
not sorting the aliases correctly due to paths not matching when using
compressed modules.

build-sys: Remove --with-rootprefix option

This is a broken option that only leads to misery and incompatabilities
with other systems. Kbuild doesn't come close to supporting directories
other than /lib/modules with several targets simply failing without
hacky fixes. Simply remove the option and all traces of it, as it
doesn't make sense in today's world.

build-sys: Append -Werror when testing flags

Clang doesn't treat unknown warnings flags as an error, but rather as a
warning. The result is that the detection for whic CFLAGS are supported
by this compiler will not work, since the compilation will succeed.

With this patch we now successfully detect clang doesn't support
-Wlogical-op, as opposed to previous behavior:

checking if clang supports flag -Wlogical-op in envvar CFLAGS... no

We use this macro only for LDFLAGS and CFLAGS, so it's safe to stash
-Werror there.

NEWS: language corrections

modinfo: clarify verbiage for field shortcuts

Cleanup the punctuation and grammar in this blurb, specifically pointing
out what these are shortcuts for.

Makefile: remove redundant flags to $(RM)

$(RM) will always expand to 'rm -f' which means we don't need to ignore
errors or pass this flag again.

Define rootfs as dependency of check-am

This should actually fix the problem of ensuring that the rootfs is
created every time that 'make check' is run.

Revert "build-sys: disable jobserver for rootfs target"

This is bogus and does not work.

This reverts commit 4e7f0f204bc82ce749cad6613b066993f530cbe6.

testsuite: Fix double definition of 64-bits variant

If _FILE_OFFSET_BITS is defined we should not be wrapping these 64
variants, since they are macros in libc.

kmod 10

Remove test directory

All tests should be in testsuite. The remaining tests in this directory
are not relevant enough to be ported. git log can be consulted if in
future we decide to put them in testsuite.

TODO: deprecate use of rmmod -w

As discussed with Rusty Russel, it would be nice to remove the related
code from kernel. Deprecate its use on kmod, so people know they
shouldn't be using it.

modprobe: Unconditionally use KMOD_PROBE_APPLY_BLACKLIST_ALIAS_ONLY

This fixes a change in behavior regarding kmod and module-init-tools:
when trying to load a module by alias, we should check if it's
blacklisted, regardless of the command line arguments passed.

This was reported by "Dmitry V. Levin <ldv@altlinux.org>".

libkmod-module: Add KMOD_PROBE_APPLY_BLACKLIST_ALIAS_ONLY flag

With this flag kmod_module_probe_insert_module() check if module is
blacklisted only if it's also an alias. This is needed in order to allow
blacklisting a module by name and effectively blacklisting all its
aliases as module-init-tools was doing.

Before this patch we could load pcspkr module as follows:

/etc/modprobe.d/test.conf:
alias yay pcspkr
blacklist pcspkr

$ modprobe yay

Now libkmod has support to blacklist "yay" because "pcspkr" is blacklisted.

testsuite preload: Factorize into macros, add more stat and open variants

Instead of replicating the same code several times, define and use macros for
the various types of wrapped functions in the testsuite's path.c LD_PRELOAD
wrapper.

Add various __xstat() variants and open64(), which are being used when enabling
large file support.

README: let people know they don't need to subscribe

People are afraid to CC the mailing list because they think they need to
subscribe (and a lot of them are already subscribed to too many lists).

build-sys: add 'man' entry in summary

build-sys: Add --disable-manpages option

1) Embedded systems often don't want man pages on the
   target; rather than pointlessly building them, then ignoring
   the result, allow just not building them at all
2) When bootstrapping an operating systems, documentation is the
   source of many cyclical dependencies, and allowing it to
   be explicitly disabled is useful for earlier build passes.

man/rmmod: specify each option in separate <term> tag

man/depmod: specify each option in separate <term> tag

man/modprobe: specify each option in separate <term> tag

man/modinfo: specify each option in separate <term> tag

This has the end result of comma delimiting equivalent options in the
manpage, similar to many other manuals.

man/modinfo: document longopts for field shortcuts

man/modinfo: document --basedir option

This was never documented in the manpage of module-init-tools either.
The flag is identical in function to modprobe's --dirname option, so use
the same language to describe it.

man/modprobe: clarify --dirname option

The documentation for this flag leads one to believe that the full path
to the module directory is needed. In reality, this flag specifies only
the root of the module path.

Use #pragma once instead of #ifndef

Only the public header maintains #ifndef in the header, together with
pragma. The other ones contain only pragma.

As reported by Shawn Landden on systemd mailing list this is compatible
with all major compilers and gcc has this since version 3.3.

build-sys: disable jobserver for rootfs target

2588e3dff5d broke the distcheck target. Fix it by serializing the rootfs
(re)creation prior to running the testsuite.

testsuite: re-license under LGPL

testsuite: path wrapper: Fix open() with 3 arguments

Properly return the original libc return value in the case that open() is
called with 3 arguments.

module: support reading coresize from /sys if supported

Linux 3.3 introduced the coresize attribute in /sys/module/*. When
available, use this instead of parsing some portion of /proc/modules.

Implicitly run 'make rootfs' with 'make check'

Avoid the need for the user to run this manually after a run of the
testsuite by adding it.

testsuite: use right offset for module name

We need to cope with the case in which a 32 bits machine is opening a 64
bits kernel module and vice-versa. The offset in `struct module' are
different and do not depend on the architecture we are running, but
rather on the architecture they were created for.

This fixes `make check' in 32 bits machines (since we are shipping 64
bits modules for testing)

kmod 9

build-sys: allow compressed modules in testsuite

build-sys: Make dirs writable on rootfs creation

Autofoo make the dist dir as readonly. If we copy it, tools needing to
create sysfs entries will not be able to do so, because they can't
create the needed directories/files.

It would be much better if autofoo allowed to let the files as is
instead of converting them to read-only.

depmod: use ferror and fclose to check for error

Thanks to hpa for point this out.

bootstrap: remove unnecessary echo

bootstrap-configure: quote command line arg expansion

depmod: return error when index is truncated due to ENOSPC

Before:
=======
[lucas@vader kmod]$ sudo depmod
[lucas@vader kmod]$ echo $?
0
[lucas@vader kmod]$ ls -l /lib/modules/$(uname -r)
total 12
drwxr-xr-x 8 root root   160 Jun 13 11:05 kernel
-rw-r--r-- 1 root root 12288 Jun 15 21:29 modules.alias
-rw-r--r-- 1 root root     0 Jun 15 21:29 modules.alias.bin
-rw-r--r-- 1 root root     0 Jun 15 21:29 modules.dep
-rw-r--r-- 1 root root     0 Jun 15 21:29 modules.dep.bin
-rw-r--r-- 1 root root     0 Jun 15 21:29 modules.devname
-rw-r--r-- 1 root root     0 Jun 15 21:29 modules.softdep
-rw-r--r-- 1 root root     0 Jun 15 21:29 modules.symbols
-rw-r--r-- 1 root root     0 Jun 15 21:29 modules.symbols.bin

Note that modules.alias is truncated and the other have size == 0

After:
======

[lucas@vader kmod]$ sudo ./tools/depmod
WARNING: could not open /lib/modules/3.5.0-rc2-demarchi-00028-g94fa83c/modules.order: No such file or directory
ERROR: Could not create index: output truncated: No space left on device
[lucas@vader kmod]$ echo $?
1

depmod: fix coding-style issue in array declaration

depmod: fail if any index could not be created

depmod: don't return error if modules.builtin don't exist

Remove ifdef for building tools not bundled

Current build system do not support to build separate tools anymore, so
just remove the ifdefs.

build-sys: add missing header to fix distcheck

tools: rename source files

There's no point anymore in having "kmod-" prefix. This is a historical
thing when we started implementation of these tools.

libkmod-config: refactor functions to get config

It makes more sense to have libkmod-config.c deal with the configuration
directly and the others get the config from ctx. As a bonus point we get
a smaller binary. Following numbers are for x86-64, libkmod + kmod:

Before:
   text    data     bss     dec     hex filename
 128840    1496     104  130440   1fd88 tools/modprobe

After:
   text    data     bss     dec     hex filename
 128392    1496     104  129992   1fbc8 tools/modprobe

TODO: update tasks

 - Remove dependency loop with install commands, since it's done
 - Add reasoning behind API refactor

testsuite: Fix test description

libkmod-index: protect ourselves from corrupted indexes

If index is shorter than 12 bytes, we couldn't even read its header. Go
to error handling in this case.

testsuite: add test for install-commands loop

This loop is similar to the one that comes with install rules of
alsa-utils package. It can be easily verified by reverting commit
abd5557 and running the testsuite.

testsuite: allow to export custom env vars

testsuite: add timeout for each test

Each test must run under 2 seconds. Ideally they should run in much less
than this; just give an arbitrary number so we don't wait forever in
case we reached an infinite loop somewhere.

testsuite: create additional pipe to monitor child

libkmod-util: split function for usec conversion

testsuite: add test for softdep loops

testsuite: check if module is in kernel for return code

testsuite: set default init_module behavior to mimic kernel's

testsuite: create initstate file upon fake init_module()

testsuite: add mkdir_p implementation

testsuite: trap calls to mkdir

testsuite: check if rootfs dir is dirty before running

Keep around a stamp-rootfs file that is generated together with the
rootfs. testsuite checks each test directory if its mtime is greater
than stamp's mtime, deciding if rootfs should be re-generated.

testsuite: separate insert and delete rootfs from modinfo

libkmod-util: add missing stdbool.h include

testsuite: rename rootfs dir

build-sys: provide --sysconfdir to make distcheck flags

test-blacklist is accessing the wrong location in make distcheck, making
the test to fail. Fix is by providing --sysconfdir=/etc in configure
flags.

testsuite: fix find_module() finding wrong module

Silence clang warnings with __unused__ attribute

I hate this kind of READV and WRITEV macros that Gustavo seems to love.
clang-analyzer hates them as well.

I'm not motivated enough to refactor this, but I want a clean clang
report, so just shut it up.

Don't use __ for attribute defines

System headers use __, don't mess with them.

libkmod-index: use generic function for unaligned access

doc: Don't reference /etc/modprobe.conf

kmod doesn't read /etc/modprobe.conf at all, so don't mention it in the
modprobe man page.  Point users to modprobe.d(5) instead.

libkmod-hash: use generic function for unaligned access

libkmod-util: copy macros for unaligned access from BlueZ

libkmod: move function to the only file using it

If we don't have --gc-sections support, linking kmod fails:
libkmod/.libs/libkmod-util.a(libkmod-util.o): In function 'underscores':
libkmod/libkmod-util.c:117: undefined reference to 'kmod_log'

This is because libkmod-util.la uses kmod_log(), that is in libkmod.la.
Move the function so we don't have a dependency loop while building the
libraries and it works with compilers with no support for --gc-sections.

test-conversion: convert test-get-dependencies to new infrastructure

The test uses the ext4 module dependencies as the testcase, checking
both the number and the names of the returned modules.

test-conversion: convert test-blacklist to new infrastructure

Add a modprobe.conf with some blacklist entries in a test rootfs, and
then ensure our blacklist function actually cuts out the two listed
entries (and doesn't cut out the others).

build-sys: copy rootfs to another directory

We can't use the rootfs directory because it breaks out-of-tree build
and in future we want to make modifications to the fake filesystem such
as adding and removing files.

We need to call "chmod -R +w" in the resulting directory because when we
distribute the source with make dist all files will be readonly.

Fix 'make distcheck'

build-sys: distribute testsuite

Fix 'make dist'

testsuite: ship testsuite/rootfs unzipped

The current configuration is dumb in any number of ways:
1) If the rationale was for space savings, it works the opposite- the
   git repo gets more bloated because we are adding binary compressed
   blobs that share little in common with their parent, and anyone that
   wants to run the test suite has to unzip it anyway.
2) It is a pain in the butt to add new tests, and not accidentally lose
   any new rootfs you built in the directory.
3) `git status` won't help you if you are tweaking files in the rootfs
   and don't know they have been changed, or if some test did that and
   you couldn't detect it.
4) `git log` won't help you find out what is changing in the rootfs test
   directory itself when changes are made to the binary blob, such as
   new files being added or even existing files being tweaked.
5) The files just aren't that big anyway- 2.7MB unzipped.

build: remove private symbol from linker script

There's no reason kmod_log should be exported, remove it from linker
script. This doesn't break the API/ABI because we are luck: since the
function had visibility=hidden it was not getting exported as a global
symbol.

Revert "libkmod: make sure to export kmod_log"

This reverts commit 88a170dbd63965b8403b6b40b12ded4f82d89ccd.

There's no reason for users of the API to call this method, it's just
wrong to export it.

The bug that this patch fixed needs to be fixed another way, not
exporting this function.

depmod: report failures in loading symbols

Previously, depmod would relegate failures of kmod_module_get_symbols()
to debug output, assuming the "error" was simply a lack of symbols.
Leave the ENOENT return to debug output, but report anything else as a
real error.

libkmod-file: gracefully handle errors from zlib

zlib won't necessarily set the system errno, and this is particularly
evident on corrupted data (which results in a double free). Use zlib's
gzerror to detect the failure, returning a generic EINVAL when zlib
doesn't provide us with an errno.