90mdraid: fix/adjust 65-md* rules and related scripts

Reworked the flow of the rules file a bit, removed redundant tests, also
should be easier to follow. It's much shorter now as well, a bit more
similar to 90lvm script - both revolve around same concepts after all.

There's no reason to treat conf-assembled arrays differently from
incremental ones. Once we hit timeout in init's udev loop, we can use
common script (mdraid_start.sh) to try force inactive arrays
into degraded mode.

md-finished.sh was kind-of out of place - it didn't really wait for any
particular device(s) to show up, just watched if onetime mdadm scripts
are still in place. Furthermore, after moving mdraid_start to --timeout
initqueue, it didn't really have too much to watch at all, besides
mdadm_auto (and that served no purpose, as we do wait for concrete
devices).

Either way, with stock 64-md fixes, current version of 65-md*.rules does
the following:

- limits assembly to certain uuids, if specified
- watch for no ddf/imsm
- if mdadm.conf => setup onetime -As script, without forced --run option
- if !mdadm.conf => incrementally assemble
- for both cases, setup timeout script, run-forcing arrays as a last resort

Signed-off-by: Michal Soltys <soltys@ziu.info>

90(md|dm)raid: recognize ddf container

This patch adds ddf support, consistently with imsm/isw options.

Signed-off-by: Michal Soltys <soltys@ziu.info>

90mdraid: fix/adjust force-run script

1) mdadm -As --auto=yes --run 2>&1 | vinfo (removed)

Currently such auto assembly will not complete or force-run partially
assembled arrays. It might assemble "concurrent" separate array and
force-run it, if possible (though the chances of suddenly showing
missing components in this scenario - a script run after udev timeout -
are pretty thin). See [1] for details. Also see #3 below.

2) mdadm -Is --run 2>&1 (removed)

This will only force-run native arrays - arrays in containers will not
be affected. See [1] for details. Also see #3 below.

3) mdadm -R run loop (implicitly handles #1 & #2)

This loop does everywthing that #1 & #2 are expected to do. Thus, the
above invocations are simply redundant and this is the most safe and
flexible option.

Also, it shouldn't be necessary to go under md/ directory, as those are
just symlinks to /dev/md[0-9]*.

Certain checks were changed to strict ones (array state, degraded state)
instead of relying on env tricks.

'cat' was added explicitly to installed programs (it has been used
implicitly in shutdown script either way)

4) mdmon bug

See [1] for details as well. In short - force-run arrays in containers
will not have mdmon started, so we do that manually.

5) stop/run queue magic

Also removed. mdadm -R will only cause change events to the array
itself, and they should not be an issue.

[1] http://article.gmane.org/gmane.linux.raid/35133

Signed-off-by: Michal Soltys <soltys@ziu.info>

90mdraid: fix/adjust mdraid-cleanup

Stop both arrays (first pass) and containers (second pass).
Loop only over /dev/md[0-9]*
Call cleanup script only once, make sure it's after crypt cleanup.

Signed-off-by: Michal Soltys <soltys@ziu.info>

90mdraid: containers are not runnable

Remove whole "start a container logic".

Containers once assembled, always remain in 'inactive' state.
Any attempt to run a container with mdadm -IR is a no-op, and any
attempt with just mdadm -R ends with an error.

Signed-off-by: Michal Soltys <soltys@ziu.info>

90mdraid: adjust stock mdadm udev rules

Currently shipped mdadm rules incrementally assemble all imsm and native
raids, and do so unconditionally. This causes few issues:

- fine-grained controls in 65-md* are shadowed - for example,
  mdadm.conf's presence tests or uuid checks
- 90dmraid might also conflict with 90mdraid, if user prefers the former
  to handle containers
- possibly other subtle issues

This patch adjusts the behaviour.

Signed-off-by: Michal Soltys <soltys@ziu.info>

mount securityfs in a seperate dracut module

mount securityfs in a seperate dracut module

99base/init: mount securityfs with source "securityfs" instead of dest

Do not use /run/udev/rules.d for udev rules

for rules, which should not be called in the real root.

Stale rules can cause this:
https://bugzilla.redhat.com/show_bug.cgi?id=734096

99base/init: remove /dev/root helper symlink

Any tool relying on /dev/root has to be fixed.

90dmsquash-live: do not symlink to /dev/live

/dev/live should not be used anyway

dmsquash-live-root: load filesystem modules before mounting loop images

might prevent https://bugzilla.redhat.com/show_bug.cgi?id=735199

dmsquash-live-root: use blkid to determine fstype of images

prevents:
dracut: FATAL: cannot mount live image (unknown filesystem type)
https://bugzilla.redhat.com/show_bug.cgi?id=735199

99base/init: removed cdrom polling reset code

This is done globally now.

dracut: cp with sparse

99base/init: do not fail, when importing the original kernel environment

instmods: factor out egrep of "FATAL: Module .* not found"

instmods: sanity for _mpargs

instmods: get filenames from stdin if no args; use it

Use bash  "[[ string =~ pattern ]]"  instead of "egrep -q".
Replace control-dominated serial fondling
for var in $(proc1); do proc2 var; done
with data-dominated parallel pipeline
proc1  |  while read var; do proc2 var; done
Together this is a large savings.

[harald@redhat.com: fixed network kernel module filter]

install_kmod_with_fw: make fast case faster

filter_kernel_modules is a specialized filter_kernel_modules_by_path

inst_simple, inst_dir: make fast case faster

This small stuff saves 1.7% per dropped statement during "dracut --profile".
Fixing the comment about /lib -> lib64 is REQUIRED!

95udev-rules: add input_id

dracut-functions: hmac checksum files can be symlinks, too

use inst() instead of inst_simple() to install the hmac files

99base/init: move switch_root breakpoint to a later point in the script

99base/init: save and restore environment given from the kernel

90crypt/parse-crypt.sh: also accept the beginning of the LUKS UUID

2e0c003435bbc0751cdf7466c0faebe7bfc7445b introduced a too strict test
for LUKS UUIDs

build initramfs: unclear _mpargs in instmods()

The local variable _mpargs in function instmods() in file dracut-functions
looks peculiar.  The documentation is non-existent, but still ...

First, $_mpargs is not passed to modprobe via for_each_kmod_dep.
This is strange because my guess is that "_mpargs" means
"extra arguments for modprobe".

Second, the leading "--" will be lopped when a leading pathname
is stripped via
_mod=${_mod##*/}
It seems to me that a leading "--" should inhibit modification.

Here's the corresponding patch to current HEAD (from dracut-013.)

99base/init: only poll cdroms, if the kernel does support autopolling

50plymouth: add plymouth.enable kernel command line option

dracut.spec: fixed rhel/fedora version checks

90mdraid/65-md-incremental-imsm.rules: incremental run to settled

move incremental run to settled queue again

https://bugzilla.redhat.com/show_bug.cgi?id=732967

dracut-functions: fix inst_dir() for non-absolute dirs

luks key on ext dev - wait for luks

This really waits for the luks mapper device, so luksOpen can do it job

crypt: changed cmdline arg name from rd.luks.tout to rd.luks.key.tout

luks key on ext dev - wait for luks

This asks for the luks passphrase if key is not found for defined time (if defined with rd.luks.tout cmd line):

 modules.d/90crypt/cryptroot-ask.sh |   21 ++++++++++++++++++---
 modules.d/90crypt/parse-crypt.sh   |    5 +++--
 2 files changed, 21 insertions(+), 5 deletions(-)

livenet: take into account other ca-bundle paths; use inst_any for that

dracut-functions: new function: inst_any [-d dest] f1 [f2 [f3 ...]]

99base: whitespace fix

90crypt: ask_for_password pings plymouthd

If plymouthd is not started, ask_for_password shouldn't try to prompt
for password with GUI and should use text prompt instead.

dracut-functions: speed up inst_dir()

build initramfs: prelink --undo /sbin/*

Fix a typo (omitting the 's' in "sbin") which caused
"prelink --undo" twice on      /bin/*,  and
"prelink --undo" omitted for  /sbin/*.

dracut: unset LD_LIBRARY_PATH

LD_LIBRARY_PATH is not set in the initramfs, so it should not be set
while finding our libraries.

dracut-functions: s/emergency-shutdown/shutdown-emergency/g

add TEST-16-DMSQUASH

This is a test for Fedora LiveCDs created via livecd-tools

profile.py: parse the output of "dracut --profile" for profiling

fix live crash with livenet installed

parse-livenet.sh shouldn't mess with $root unless it finds a valid URL.

90dmsquash-live/dmsquash-live-root: include fs_lib.sh for det_fs()

https://bugzilla.redhat.com/show_bug.cgi?id=730579

add x-bit to *.sh

version 013

dracut-functions: fixed inst_dir for symbolic links

dracut: add "--profile" option for profiling

dracut-functions: use "type -P" for find_binary()

90dmraid: don't install non-existent dmraid-cleanup

use inst_simple to install non-binary files

add filter_kernel_modules_by_path() to speed up module search

AUTHORS: update

90kernel-modules: add unix module

removed sourceforge references

add apply-live-updates.sh to pre-pivot hook

If we're about to start a Live image (i.e. if /dev/mapper/live-rw
exists) this script will take any files found in /updates (inside the
initramfs!) and and copy them into $NEWROOT.

This allows for hotfixes to be applied to existing Live images without
rebuilding the entire image.

Signed-off-by: Will Woods <wwoods@redhat.com>

dmsquash-live-root: determine img type by contents, not name

Currently dmsquash-live-root requires that squashfs images be named
"squashfs.img" and all others be "ext3fs.img" or "rootfs.img".

If we've got a live image in initramfs, this patch will make dracut use
losetup and det_fs to determine the actual filesystem type of the image.

Signed-off-by: Will Woods <wwoods@redhat.com>

dmsquash-live-root cleanups/mini-fixes

- use last ro/rw cmdline arg rather than favoring 'rw' over 'ro'
- don't bother with useless RES variable for holding $?
- only do fs check when $livedev is a block device

Signed-off-by: Will Woods <wwoods@redhat.com>

Makefile: increment version to 012

NEWS: update

90btrfs: add btrfs device with multiple components

99fs-lib: add btrfsck

TEST-11-LVM/create-root.sh: sleep before disassembling device

TEST-40-NBD/test.sh: source reformat

TEST-40-NBD/create-root.sh: sleep before disassembling root device

95rootfs-block/mount-root.sh: also parse rootopts for "_netdev"

95nbd/nbdroot: also mount nbd0 for root=dhcp and missing root=

40network/parse-bridge.sh: fixed bridge parameter parsing

dracut: add --force-add option

This patch adds a new option --force-add, which
can force dracut to load some module when -H
is specified.

Signed-off-by: Amerigo Wang <amwang@redhat.com>

lsinitrd: display the size of initrd

It is useful to display the size of initrd in human-friendly form.

Signed-off-by: Amerigo Wang <amwang@redhat.com>

dracut.spec: add livenet and fs-lib

TEST-12-RAID-DEG/test.sh: uncomment rd.shell

turn off masterkey,ecryptfs,integrity by default

90mdraid: move force assembly to timeout initqueue

90lvm/lvm_scan.sh: use "--partial" to force assembly incomplete VGs

If our internal loop counter is bigger than half of the maximum
count, try to assemble lvm device partially with the "--partial"
option.

https://bugzilla.redhat.com/show_bug.cgi?id=723548

99base: add timeout queue

timeout queue is executed after half of the maximum retry count and if
jobs are found there, the counter is reset to zero.

Makefile: do not remove rpmbuild on fail

git2spec.pl: filter patches with no file changes

01fips/installkernel: add dm-mod and dm-crypt to the fipsmodules

https://bugzilla.redhat.com/show_bug.cgi?id=707609

98selinux: use setenforce to force permissive mode

90dm: install libdevmapper-event* for 90dm and cleanup 90dmraid

90dm/dm-pre-udev.sh: load dm-mirror module

95rootfs-block/mount-root.sh: comment out fstab generation

fsck_single() operates directly on the device, so fstab is not
necessary. fs-lib functions make sure fscks don't complain.
Code is only commented out just in case I missed something.

95rootfs-block/mount-root.sh: squash rootopts into rflags

Small simplification - prepend rootopts to rflags before mount
operations. Shortens resulting command lines quite a bit.

implement fs-lib, squash a few bugs that were part of det_fs/wrap_fsck

To not pollute dracut-lib.sh, all the fsck related functions were moved
to fs-lib.sh. The functions available are as follows:

- fsck_single

this will detect/verify filesystem, check if it has necessary tools and
check the filesystem respecting additional flags (if any), using
specific "driver" (or falling back to generic one). Currently
available: fsck_drv_{com,xfs,std}. 'com' is used for tools following
typical subset of options/return codes (e.g. ext, jfs), 'std' is used
for "unknown" fs and doesn't assume it can be run non-interactively.

Please see comments around the code for more info.

- fsck_batch

this will check provided list of the devices;

Both of the above functions will fake empty fstab, to make generic fsck
not complain too much (excact devices are always provided on the command
line).

"Known" filesystems currently: ext234, reiser, jfs, xfs

- det_fs

Small bug fixed - as this function is meant to be called in $(), it may
not be verbose.
Current behaviour is:
 - if detection is successful, use its result
 - if detection is not successful, and filesystem is provided, return
   the provided one; otherwise use auto

95rootfs-block/mount-root.sh: '-a' for ext? is handled in fs-lib now

Previously, '-a' was added for ext[234] filesystems if other
conflicting flag were not present. It's being done automatically
in fsck_drv_com() now (also for jfs and reiser).

livenet: module for fetching live images from the network

The livenet module allows you to use a root arg like:

    root=live:http://server.name/path/to/live.img ip=dhcp

The named live image will be downloaded with wget and then set up as the
root device.

It currently supports FTP, HTTP, and HTTPS. dracut will try to install
the CA bundle (/etc/ssl/certs/ca-bundle.crt) into the initramfs so that
SSL certificate checking will work properly.

If an HTTPS URL is given and the site fails the certificate check, the
file will be rejected and the system will not boot into it.

Signed-off-by: Will Woods <wwoods@redhat.com>

modules.d/90mdraid/65-md-incremental-imsm.rules: fix md_finished install

test/TEST-13-ENC-RAID-LVM/create-root.sh: wait before disassembling lvm

initqueue: exit with 0

dracut-lib.sh: fixed getargs() for empty arguments

dracut-lib.sh: getarg() echo with "" to prevent wildcard subst

if a value of a key on the kernel command line includes wildcards, these
would be expanded.
E.g., if you have "key=/dev/sd*" the value would be substituted with
"/dev/sda /dev/sda1 /dev/sda2" instead of returning "/dev/sd*"

99base/init: use udevadm control to set the logging priority

due to a bad revert commit, "udevadm control" was converted to
"udevproperty", which is the wrong command to set the logging priority.

dracut-functions: create relative symlinks for libraries

dracut.spec: add 97masterkey 98ecryptfs 98integrity