[multipath] adapt to the new udev rules

dev.d/ and hotplug.d/ are deprecated.
Move multipath and multipath partitions triggers to rules.d/

Don't create /dev/ links anymore, we now use exclusively on /dev/mapper/

[libmultipath] don't trust the path wwid from cache if pathinfo() fails

This kept the reduced map from loading when multipathd runs and a path
is failed or offline.

Also fix get_claimed() false positive returns by checking errno == EBUSY

[libmultipath] fix multipath & multipathd startup corner case

I got a report about strange behaviour of "multipath -l" if one of the
devices that are used for multipathing is set offline.
In that case the code in libmultipath (discovery.c) just ends processing
and the output is incomplete.

Failing a pathinfo() now means the path is down.

If the device was really removed,
- we wouldn't discover it in multipath
- a "del" uevent would prevent further pathinfo() in multipathd

[libmultipath] load default hwtable entries not overriden by configlets

Rationale from Edward Goggin, EMC :

"
I'm wondering why when I put "device {}" entries in the multipath conf file
I
lose all of the other entries setup in the libmultipath/hwtable.c file.
Devices
which do not match the vendor and model strings of the device entries I
setup in the conf file are all forced to pick up default multipath
attributes.

This approach forces me to know the attributes for all vendor/model device
types in my SAN configuration whenever I want to setup even a small change
in the device attributes for a single device type.

I would rather see the that the entries that are setup in the conf file
simply
override the ones setup in the hwtable.c file.  Yet, entries already setup
in
the hwtable.c file which are not overridden remain valid.  The only devices
which pick up defaults are ones for which there is not a device entry in
either the libmultipath/hwtable.c file or the multipath conf file.
"

[libmultipath] set pgfailback in internal hwtable entries

Edward Goggin, EMC

[libmultipath] add "default_path_checker" config file keyword

This will make for denser config files.

[libmultipath] tweak the Symmetrix getuid callout default

May want to patch the EMC SYMMETRIX hw entry in
libmultipath/hwtable.c to use the "-ppre-spc3-83"
scsi_id option.  Doing so will allow scsi_id to
return a UID derived from a version of a SCSI
Inquiry EVPD page 83 which is not compliant with
either SPC-2 or SPC-3 for an older model Symmetrix,
that is, models 4, 5 and some model sixes.

Edward Goggin, EMC

[libmultipath] unix socket read/write loops fix

Those can tight loop. Do finer checks with errno.h to avoid that.

From Alasdair Kergon, Redhat.

[libmultipath] remove absolete multipath_tool config keyword

multipathd used to call multipath(8), thus needed to know the callout path.
This is no longer the case, so clean it up.

[multipathd] small fixes

- Remove_maps() did remove 1 out of 2 map.
  Only called on exit code path ...
- LCKDBG define to print useful code line number when using cleanup
  functions
- Warn when falling back to pthread_kill()
- Free the uevent struct in libmultipath/uevent.c receive loop, not
  in the trigger anymore.

[multipathd] discard uevents on partitions too

[multipathd] rename misnamed "struct paths" to "struct vectors"

[priority] update the alua prioritizer

Removes bitfields in the SCSI structs.
This didn't work on i386.

From Stefan Bader, IBM

[priority] update pp_alua man page

and adapts the manpage to the new callout name.
From Stefan Bader, IBM.

[multipathd] refuse to add blacklisted paths from CLI

[multipathd] off-by-one buffer len error for cli.c:genhelp()

update template config files for rr_weight

... and purge uneeded configlets :

All tested hardware should be in the hard-coded defaults, no need to keep
the defaults out-of-sync in the templates config files.

[multipath] option to use priorities as weights in the round-robin scheduler

Disabled by default.

Synthax is "rr_weight = priorities", and is valid in the default{},
device{} and multipath{} blocks.

This is an interim solution before a cleaner "least queued scheduler".

To make this complete, the daemon should be able to "message" DM to
change the path weights when their prio changes. Probably not worth the
effort and spend time on another scheduler.

The core of this patch is in the multipath table setup :

if (mp->rr_weight && pp->priority)
minio = conf->rr_minio * pp->priority;

The rest is the config switch handling, and printing.

[build] last optimisation broke the dlog() switch. fix.

dlog() contains #if DAEMON statements.

So debug.o needs rebuild between multipath(8) and multipathd(8) builds,
which did not happen anymore since the last optimisation.

[libcheckers] add the directio checker

Created by Hannes Reinecke, Suse, mainly for DASD devices.

[build] shut a find usage warning (again)

[libmultipath] '\0'-terminate snprint_*() buffers

[libmultipath] don't re-select when not necessary in path discovery

.getprio, .getuid and .checkfn were needlessly re-selected each time the
corresponding value was updated through discovery.c:pathinfo().

Now that we are more selective, we need to :
- flush the cached values for multipath(8)
- re-select them in case of multipathd(8) "reconfigure" CLI command

[libmultipath] fix segfault in print.c when MAX_LINE_LEN is reached

[libmultipath] remove offending "\n" in print.c

They are already dealt with in the format string

[multipathd] update priorities upon path check

and failback if need be.
nice to see in action with pp_random and failover grouping policy :/

0IET_____ISCSI___________00000000d20600000b00000000000000: switch to path group #1
0IET_____ISCSI___________00000000d20600000b00000000000000: switch to path group #3
0IET_____ISCSI___________00000000d00600000b00000000000000: switch to path group #2
...

[multipath] show path group priority value in '-ll' and map [re]load modes

Asked by Ed Goggin, EMC, to diagnose easily when failback may be opportune.

[kpartx] shut a build warning

[libmultipath] move snprint_[path|map]() to format based printing fns

 * path format magics :
 *
 * %w : multipath uid
 * %i : scsi tuple
 * %d : device name
 * %D : device major:minor
 * %t : device mapper path status
 * %T : checker path status
 * %s : scsi strings
 * %c : claimed
 *
 * map format magics :
 *
 * %w : multipath uid
 * %d : DM device name
 * %F : failback countdown
 * %C : checker countdown

and update all callers (nice cleanup).

The printing buffer overflow checking is done right at last.

[multipath] DM-claimed paths are not to be considered as claimed

Use the dmstate path field to guess if the path is used bythe DM
driver. This assumes disassemble_*() have been called before the guess.

[libmultipath] comestic changes

In struct.h, moved a bunch of defines to enums :
- SYSFS_BUS_*
- [KEEP|FREE]_PATHS
- FAILBACK_*

Renamed *_RESERVED to *_UNDEF all over includes.

Update all users.

[build] be smarter at guessing when libs rebuild is needed

Without breaking the klibc stuff.
Total build time shortened a lot on small systems.

[build] remove uneeded path_priority/Makefile

now that we find out what dirs to go compile into, no need for
intermediate Makefile

[build] be smarter at guessing BUILDDIRS

and remove now useless $INSTALLDIRS and $ALLDIRS

[multipathd] fix occasional CLI output trailing garbage

caused by an off-by-one reply len calculation in show_paths()
and show_maps()

[libmultipath] working claimed device detection

done with O_EXCL

[getuid] add usb_id

Well, this is useful for testing with usb keys

[libmultipath] simplify the blacklist handling

No need to carry along the regex string.
So no need for a "struct blentry".
Now a blist vector directly holds regex_t entries.

[multipath] correct map size display

off-by-one shifting error.

[libmultipath] support multipath maps >2TB

Size field moved to ULL in struct path and multipath, as per
$KSRC/drivers/block/genhd.c suggests /sys/block/*/size size is.

Users updated.

[multipath] handle alias changes in config file

Now initiate a remove / add sequence upon alias change in the config file.
The daemon catches on.

[multipathd] '-d' command line flag does not fork anymore

'-d' flag did instruct the daemon to send its output to stdout instead of
the the logger thread. It now also have the consequence to not fork, so
the daemon is easily breakable from the shell.

[multipathd] add the reconfigure CLI command

[libmultipath] socket filesystem location moved to /var/run

As per LSB directions, according to Lars.

[libmultipath] third cut at output column aligning

- remove libcheckers/path_state.c (consolidated into libmultipath/print.c)
- move the path status printing to print.c
- so finaly rename print_*_id() to snprint_*()

Pondered using this status format :

iet_lun0 (0IET_____ISCSI___________00000000d00600000b00000000000000)
[size=67 GB][features="0"][hwhandler="0"]
\_ round-robin 0        E
  \_ 1:0:0:1  sdb 8:16  AA.
\_ round-robin 0        E
  \_ 2:0:0:1  sdd 8:48  AA.
\_ round-robin 0        E
  \_ 24:0:0:1 sdf 8:80  AA.
\_ round-robin 0        E
  \_ 25:0:0:1 sdh 8:112 AA.

but no consensus reached on the list.
Keep the old one for now, and git log for reference.

[multipathd] fix 2 log issues

There are two log issues that I uncovered. #1 If the log is emptied when
the tail points to the very end of the log area, and the next message needs
to roll over to the start, it doesn't pull the head around too, so the head
is pointing at an empty message, causing you to print a priority 0 message
of nothing. #2 It is possible for the log to be totally full, and on the
next enqueue, have the log tail point to the log head, which causes the
entire existing log to be lost.

This patch fixes both.

-Ben Marzinski

[libchecker] readsector0 compilation warning fix

sg_read() take an unsigned char array as param, where the checker
passed a char array.

[libmultipath] second cut at output column aligning

Column-align the "show maps" CLI command ouput.

[libmultipath] first cut at output column aligning

Introduce libmultipath/print.[ch]
Use it to column-align multipath output and multipathd CLI messages

[multipathd] fix daemon crash in enable_group() be pp->pgindex is nul

if a path is added through uev_add_path, pgindex can be unset.

we can safely skip enable_group() in this case, because upon next map
reload, all PG will be enabled.

[multipath] revoke pp->mpp after loading a "struct path" from the daemon

Fix the multipath configurator believing it has nothing to do because
pp->mpp is already set, ie pp is already coalesced.

[multipathd] move the shutdown message down in the shutdown sequence

[checkers] remove trailing '\n' in checker messages

[libmultipath] condlog() not to enqueue uneeded logs

Message enqueueing didn't check for verbosity level.
Corrected.

[multipathd] Two little issues with unix socket lsnr.

Multipathd was shutting down whenever I tried to start up gdb monitoring
on it, because uxlsnr code didn't like getting a signal.

Also, having a lot of overlapping calls to the uxlsnr code caused really
bad things to happen because of a linked list oversight.

This patch corrects both.

Benjamin Marzinski, Redhat

[libmultipath] no need to msg when multipath can't connect to uxsock

[multipath and multipathd] remove the path cache file logic

Replace by an Unix socket communication with the daemon.

The daemon has its pathvec always up-to-date, thanks to its
event-driven model.

As a side-effect, people who care about early userspace have now
2 options :

1) No daemon in early userspace, and disable hotplug-triggered multipath.
   /sbin/multipath is ran once.

2) Start the daemon in early userspace, let multipath be hotplug-triggered

Comments welcome on dm-devel. It's not too late to revert the thing :/

[multipathd] dead includes yearly clean up in main.c

[multipathd] remove copy.[ch]

The only user was prepare_namespace(), gone.

[libmultipath] add HSV110 to the hwtable

[multipathd] uevent trigger to not react to "remove map"

... for now.

The DM event waiter thread pins the devmap kobj.
Thus no uevent is triggered upon map removal until the thread is reaped.
Chicken and egg.

We have the mpvec garbage collector now anyway.

[build] 'find' warning fix

Recent versions of find (Debian SID for example) warn about order of
min/maxdepth params. So reorder to keep the bugger happy.

[multipathd] SIGUSR1 to SIGHUP for alt thread cancelation

SIGUSR1 was not a good idea after all.

[multipathd] race bugs

I was looking at the waitevent thread, and I noticed some issues. Since the
cancellation type is asynchronous, the thread can get cancelled at any
moment. This can cause bugs. For instance, the double removal of the dm task
structure that just got fixed can still show up if the thread were cancelled
after it was freed but before it was set to NULL, there were other issues
like this in update_multpath. It seems like the easiest way to fix this is to
set some defined cancellation points. So that's what this does.

Benjamin Marzinski, Redhat

[multipathd] detach threads

since multipathd doesn't ever do pthread_joins, I made the threads
be detached, so that they can completely clean up once they exit. This
probably should get included, to plug a small memory leak.

Benjamin Marzinski, Redhat

[multipathd] interim support for reaping DM events waiter threads

It is sort of late in the game for redhat to be making kernel patches for the
next release, so here is an alternate way of getting to break out of the
waitevent pthread.

Martin Marzinski, Redhat.

I merge the patch, mainly because some users will get stuck unkowing of
Ed's patch, and it doesn't get in the way when this kernel patch will be
merged.

[multipathd] remove the private namespace and callout cache logic

Because,

1) Martin spoted some rough edges with it and pthread cancelations.
2) It was introduced at a time when path reinstate was done by
   /sbin/multipath, which is not the case anymore.
3) It simplifies the design a fair bit and removes quite a lot of code.

I verified the path reinstate codepath, and it does only 1 dmt allocation
... no callbacks anymore.

[libmultipath] get_word() to initialize *word to NULL early

mulitpathd was crashing when I entered an empty line at the CLI prompt,
because the output buffer from get_word was being checked to see if it
was NULL, but get_word never explicitly sets the buffer to NULL if there
is no word.

The patch fixes this.

-Ben Marzinski, Redhat

[libmultipath] revert "remove queue_if_no_path for DGC hardware"

My mistake here.  We still need this attribute in order to deal
with the possibility of having a transient period of time during
a ucode upgrade where all paths to a SCSI LU may appear to be
failed.

Edward Goggin, EMC.

[multipathd] Ed's Friday assorted fixes

I've found the removal of a multipath map (or all of them for that matter)
to be troublesome for multipathd, particularly its waitevent pthreads.

The dm driver in the kernel was not waking up the dm event waiters so they
stayed in the kernel where each one held a reference on the mapped device
and its table.  This held reference prevented the multipathd from receiving
either a uevent or a hotplug event for the removal of the multipath block
device -- since it is not removed in this case.

--- drivers/md/dm-ioctl.c.orig  2005-07-14 13:33:56.000000000 -0500
+++ drivers/md/dm-ioctl.c       2005-07-14 22:01:04.000000000 -0500
@@ -226,10 +226,22 @@

static void __hash_remove(struct hash_cell *hc)
{
+       struct dm_table *table;
+
/* remove from the dev hash */
list_del(&hc->uuid_list);
list_del(&hc->name_list);
unregister_with_devfs(hc);
+
+ /*
+  * Wakeup any dm event waiters.
+  */
+ table = dm_get_table(hc->md);
+ if (table) {
+ dm_table_event(table);
+ dm_table_put(table);
+ }
+
dm_put(hc->md);
if (hc->new_map)
dm_table_put(hc->new_map);

With dm-ioctl.c patched to wake up waiting dm event threads when a mapped
device is removed, multipathd has issues.  Fixed 3 bugs

(1) update_multipath wasn't dealing with an error from setup_multipath.
Setup_multipath error path involved the call chain
update_multipath_strings->update_multipath_table->
dm_get_map->dm_task_run->ioctl.

Since the mpp structure for a block device could be deallocated in
setup_multipath, the multipathd could SIGSEGV when it referenced the
deallocated mpp memory in update_multipath.

(2) The waitevent pthread's dm task structure memory was getting
destroyed twice if it ever broke out of its waitevent loop due to the call
to waiteventloop returning < 0.  I set wp->dmt to null after waiteventloop
called dm_task_destroy to prevent free_waiter from doing likewise.

(3) setup_multipath was not removing the mpp ptr from the allpaths->mpvec
vector if it deallocated the mpp structure memory due to the error
occurrence mentioned in (1).
This omission would cause multipathd mpvec_garbage_collector to SIGSEGV.
Fixed uev_add_map since it had the same issue.

Edward Goggin, EMC.

[prioritizers] alua upgrade

I've got a small update for pp_alua which mainly adds a man page and the
ability to cope with "impatient users" (it can create its own devnode
since udev may not have created one, yet).

Stefan Bader, IBM.

[libmultipath] more explicit dm-prereq() output

"prerequisite not met" was just not informative enough, as
proven by the mailing list traffic about that.

[libmultipath] remove queue_if_no_path for DGC hardware.

Asked by Edward Goggin, EMC.

[libchecker] add pstate_snprintf()

And use it in multipathd and multipath.

[multipathd] add header white line to the CLI generic help message

More readable (my opinion)

[multipathd] in debug mode, log the pathchecker values for each check

Somewhat asked by Edward Goggin, EMC

[multipath] set an initial value to di_flag in main()

Could you initialize di_flag to 0 in main() of multipath/main.c or
else "multipath -l" and "multipath -ll" use a non-deterministic flags
value for path discovery?

Edward Goggin, EMC

[libmultipath] possible daemon crash with pp->wwid == 0x0

It is possible for a path to have its .wwid empty in the daemon pathvec,
causing all sorts of trouble.

In disassemble_map(), update the pp->wwid with mpp->wwid for paths which
may not have been active at the time the getuid callout was run.

Spotted by Edward Goggin, EMC.

[multipath] '-l' to never report checker state

Makes for a more consistent output.
Asked by Edward Goggin, EMC.

[multipathd] Debian specific compilation error, pthread related

Move the locking out of upate_multipath(), up to its caller.

[multipathd] memory and threading audit

Some leaks plugged.

Still, there is one left.
You can trigger it by submitting successive "add map $map" command to
the CLI. Each time RSS/VSZ take 32 units more.

Please help on this one.

Tame warning when compiling with _DEBUG_

All about uncasted MALLOC()s when it is defined to dbg_malloc().

[multipathd] don't free unallocated mem in cli.c

RHEL4 really doesn't like it.

[multipathd] -lreadline needs -lcurses

well on RHEL4 at least.
So add it to the LDFLAGS

[multipathd] merge a more versatile CLI parser

Synthax moved to :

 list paths
 list maps
 add path $path
 remove|del path $path
 add map $map
 remove|del map $map
 switch|switchgroup map $map group $group

[multipathd] uxsock patch

I was playing around with the CLI, and having some issues. Occasionally
commands wouldn't work, which was because multipathd was using string
functions on strings that weren't NULL terminated. Also, if you just typed
in junk for the name of the map to remove, it would always remove dm-0,
because atoi returned 0.  I fixed those, added some moron-proofing checks,
and made multipathd reply "fail" if the command failed.

Here's the patch

Benjamin Marzinski, Redhat.

[multipathd] assorted cleanups

- remove the superfluous dm_mapname() "target type" param
- log more errors in the devmapper wrapper library
- in "struct event_thread" move from "pthread * thread" to "pthread thread"
- introduce a pthread_cleanup function
- wrap the waiter thread dmt in the "struct event_thread" for cleanup
- put cancelation points around the WAIT ioctl
- introduce a garbage collector to remove dead entries in the mpvec
- use strdup instead of asprintf as the later produce warnings here

[multipathd] shut a warning down

assignment used as test value in the readline loop.

[multipath] map flushing to remove layered DM-partitioned too

"multipath -F" or "multipath -f $map" refused to remove a map if kpartx
layered partioned upon it. This patch should take care of that.

[multipath] express the failback delay in seconds

Failback is still scheduled upon path going up and canceled upon paths
going down.

[multipathd] add "sg $map $pgindex" CLI command

To trigger a PG switch.

Somewhat asked by Lars.

[multipath] remove dead paths from maps

Resurect pgcmp in place of pgcmp2.

pgcmp2 allowed dead path to remain in the multipath devmap.
Alasdair was reluctant to reload maps in critical paths, so
this heuristic avoided such unwanted reload.

In the 0.4.5 dev branch, the daemon never touch the maps, it just sends
"DM messages". So I guess it's safe to remove that heuristic.

[multipath] new '-f' command line flag

This selectively removes an unused multipath map.

[multipathd] re-enable disabled PG when at least one path is up

Kernel DM is able to disable PG, so userspace daemon should take care of
re-enabling them when appropriate.

Suggested by Ed Goggin, EMC.

[libmultipath] commit the unix socket lib

Forgoten in the main commit.
Thanks to Benjamin Marzinski, Redhat, for noticing.

[multipathd] don't check at all if path is orphaned

Orphaned as in "a checher is registered for this path, but it does not
belong to any map". We wouldn't know what to do if its state changed
anyway.

Suggested by Ed Goggin.

[libmultipath] forgot blacklist.c in the previous commit

[libmultipath] better default blacklist rules

an LU with a scsi_id assigned UID of 36006016087711200afd8d0905137d911 was being blacklisted because the default blacklist includes a regular expression of the form "(ram | raw | loop | fd)[0-9]*" which happens to match the substring "fd8" in the UID.  I've fixed the problem by changing the blacklist regular expression to instead be "^(ram | raw | loop | fd)[0-9]*" since the intention is really to exclude devices from multipath discovery only when their name __begins__ with any of the prefixes within the parenthesis.  Turns out "fd" is the  only one of these listed prefixes which contains exclusively valid alpha-hexa-numeric characters.  The "fd" Characters should not mistakenly collide with hexa-numeric characters at the beginning of at least a scsi_id assigned block device UID since scsi_id is assigning either an alpha 0, 1, 2, or 3 to the first character of the UID string.

This problem is likely in all versions of multipath-tools since 0.4.4-pre7 when the use of both regcomp and regexec were first introduced.

[multipathd] daemon survives a path add when its map is not registered

So much bugs found with this nice CLI :)

[multipathd] survive a map removal

A bug much easier to trigger now that we can remove maps from the CLI.