[multipath] '-l' to never report checker state

Makes for a more consistent output.
Asked by Edward Goggin, EMC.

[multipathd] Debian specific compilation error, pthread related

Move the locking out of upate_multipath(), up to its caller.

[multipathd] memory and threading audit

Some leaks plugged.

Still, there is one left.
You can trigger it by submitting successive "add map $map" command to
the CLI. Each time RSS/VSZ take 32 units more.

Please help on this one.

Tame warning when compiling with _DEBUG_

All about uncasted MALLOC()s when it is defined to dbg_malloc().

[multipathd] don't free unallocated mem in cli.c

RHEL4 really doesn't like it.

[multipathd] -lreadline needs -lcurses

well on RHEL4 at least.
So add it to the LDFLAGS

[multipathd] merge a more versatile CLI parser

Synthax moved to :

 list paths
 list maps
 add path $path
 remove|del path $path
 add map $map
 remove|del map $map
 switch|switchgroup map $map group $group

[multipathd] uxsock patch

I was playing around with the CLI, and having some issues. Occasionally
commands wouldn't work, which was because multipathd was using string
functions on strings that weren't NULL terminated. Also, if you just typed
in junk for the name of the map to remove, it would always remove dm-0,
because atoi returned 0.  I fixed those, added some moron-proofing checks,
and made multipathd reply "fail" if the command failed.

Here's the patch

Benjamin Marzinski, Redhat.

[multipathd] assorted cleanups

- remove the superfluous dm_mapname() "target type" param
- log more errors in the devmapper wrapper library
- in "struct event_thread" move from "pthread * thread" to "pthread thread"
- introduce a pthread_cleanup function
- wrap the waiter thread dmt in the "struct event_thread" for cleanup
- put cancelation points around the WAIT ioctl
- introduce a garbage collector to remove dead entries in the mpvec
- use strdup instead of asprintf as the later produce warnings here

[multipathd] shut a warning down

assignment used as test value in the readline loop.

[multipath] map flushing to remove layered DM-partitioned too

"multipath -F" or "multipath -f $map" refused to remove a map if kpartx
layered partioned upon it. This patch should take care of that.

[multipath] express the failback delay in seconds

Failback is still scheduled upon path going up and canceled upon paths
going down.

[multipathd] add "sg $map $pgindex" CLI command

To trigger a PG switch.

Somewhat asked by Lars.

[multipath] remove dead paths from maps

Resurect pgcmp in place of pgcmp2.

pgcmp2 allowed dead path to remain in the multipath devmap.
Alasdair was reluctant to reload maps in critical paths, so
this heuristic avoided such unwanted reload.

In the 0.4.5 dev branch, the daemon never touch the maps, it just sends
"DM messages". So I guess it's safe to remove that heuristic.

[multipath] new '-f' command line flag

This selectively removes an unused multipath map.

[multipathd] re-enable disabled PG when at least one path is up

Kernel DM is able to disable PG, so userspace daemon should take care of
re-enabling them when appropriate.

Suggested by Ed Goggin, EMC.

[libmultipath] commit the unix socket lib

Forgoten in the main commit.
Thanks to Benjamin Marzinski, Redhat, for noticing.

[multipathd] don't check at all if path is orphaned

Orphaned as in "a checher is registered for this path, but it does not
belong to any map". We wouldn't know what to do if its state changed
anyway.

Suggested by Ed Goggin.

[libmultipath] forgot blacklist.c in the previous commit

[libmultipath] better default blacklist rules

an LU with a scsi_id assigned UID of 36006016087711200afd8d0905137d911 was being blacklisted because the default blacklist includes a regular expression of the form "(ram | raw | loop | fd)[0-9]*" which happens to match the substring "fd8" in the UID.  I've fixed the problem by changing the blacklist regular expression to instead be "^(ram | raw | loop | fd)[0-9]*" since the intention is really to exclude devices from multipath discovery only when their name __begins__ with any of the prefixes within the parenthesis.  Turns out "fd" is the  only one of these listed prefixes which contains exclusively valid alpha-hexa-numeric characters.  The "fd" Characters should not mistakenly collide with hexa-numeric characters at the beginning of at least a scsi_id assigned block device UID since scsi_id is assigning either an alpha 0, 1, 2, or 3 to the first character of the UID string.

This problem is likely in all versions of multipath-tools since 0.4.4-pre7 when the use of both regcomp and regexec were first introduced.

[multipathd] daemon survives a path add when its map is not registered

So much bugs found with this nice CLI :)

[multipathd] survive a map removal

A bug much easier to trigger now that we can remove maps from the CLI.

[multipathd] don't historize empty cli commands

[multipathd] readline support for daemon control shell

... with history

[multipathd] unix socket daemon control interface

The client is wrapped in the daemon.

You can call it through :
- multipathd -k"$cmd" : one shot
- multipathd -k : interactive

The synthax is somewhat rude :/

- lp : list paths
- lm : list maps
- ap $path : add path checker, $path is in the "sdb" form
- rp $path : remove path checker
- am $map : add map event thread, $map is in the "dm-0" form
- rm $map : remove map event thread

[checkers] new hp_sw checker for StorageWorks hw

This checker is a tri-state : up, down, ghost.

Ghost state is defined as (inq succesful && tur fails)
Up state is defined as (inq succes && tur succesful)
Down state is defined as (inq fails)

multipath modified to print [ghost] as a pstate when appropriate.
multipathd modified to reinstate path in ghost state, as it does with "up".

This final mod was the goal of the patch : indeed the SCSI_START hardware
handler is asked to init a PG only if it has at least one active path.
We previously considered ghost paths as failed, so the daemon proactiveled
deactivated these paths, which kept the hwhandler from being given a
chance to ask for a controler switch by sending a SCSI_START.

Survives my testing here on EVA5000.

[multipath] get rid of the "best" pg info in output

Truely redondant with [active].

[multipath] fix -l and -ll flags with a specified limited scope

When listing scope is limited to a specific device or map, we can't skip fetching the wwid for each path, as it is the path elimination criterium.

[path_priority] rename prioritizers

"pp is too easy to confuse with ppp and does not help anyone guess
what the binary does - not least because there are no man pages yet!

So it should include some characters that suggest it's connected
with dm multipath."

From Alasdair Kergon, RedHat

[multipathd] adjust chkconfig values in redhat init script

From Alasdair Kergon, RedHat.

[libmultipath] sysfs_get_bus() fix

From Mike Anderson, tested on SCSI and iSCSI

[multipathd] '-d' param to log to stdout

This replaces the build-time LOG_THREAD_DISABLE define, and is far
more versatile : this flag is compatible with the log verbosity flag.

[libmultipath] bus abstraction in path discovery

First pass to modularize the most obvious SCSI-centric code.

[libmultipath] hardware table update

Some hardware switched from MULTIBUS to GROUP_BY_SERIAL

[libmultipath] fetch path info before storing the path in pathvec

Thus, if pathinfo() fails, no need to clean up the vector.

This fixes a segfault in free_pathvec() trying to free a path already
freed in pathinfo() error handler.

[multipathd] enable the defered failback feature

The failback config file keyword activates defered failback when set to
an integer value superior to zero. This value expresses the number of
consecutive successful path check before failback.

Remember the path testing delay arithmeticaly increases when consecutive
checks report PATH_UP. This affects the calculation of the failback delay
in seconds.

Failback is canceled as soon as a path in the multipath goes down, and
is rescheduled when a path goes up.

[multipathd] fix uevent trigger fn return values

o uevent from a non-/block object is discarded without error
o unknown dm- object uevents are discarded without error
o lock a bit earlier for unlock symmetry in the out path

The bogus and confusing "uevent trigger error" log messages
are now gone.

[libmultipath & multipathd] tidy up some error code paths

Cascade pathinfo() error return value to callers in discovery.c
Log on more error paths in multipathd/main.c

[libmultipath] opennode() must wait for udev to create the devnode

Indeed, now that the daemon races udev in receiving uevents, it can
try opening the devnode before udev is given a chance to create it.

Do that the same way we wait for sysfs files to appear.

[multipathd] update pg states before deciding if pg switch is needed

Plus update_multipath() code split into :

o update_multipath_table()
o update_multipath_status()
o update_multipath strings(), which chains to 2 previous fn

Multipath configurator now outs "best" instead of "first" to better
express a failback might be necessary "when best != active pg"

[multipathd] suppress the switch group message when no switch occured

[multipathd] don't switch to already active group

This simple protection saves us a DM event per switch_group message.

[multipathd] failback property selector fixes

Cut'n paste haste ... corrected
Should fix Tran Lan report added to bug [156280] today.

[multipathd] add failback keyword handling

The failback keyword can be set in the default section, or in a hardware
entry, or in a multipath entry. Its value can be "manual", "immediate" or
an integer delay expressed in seconds.

[PATCH][Bug 158603] local variable used before set

.

[multipathd]

Complete the uevent framework.

The missing bit was the devmap add/remove events handling. Now that it
is in place, get rid of wait_thr altogether : kill the waiters vector,
the "lease" thing.

Helpers added in the process :

o libmultipath/devmapper.c:dm_mapname()
o libmultipath/structs.c:find_mp_by_minor()

Worth noting, devmap remove uevents don't get reliably delivered.
If someone have an explanation I'm interested.

[libmultipath]

uevents delivery is too fast for sysfs files creation to complete
before we try to use them in discovery.c

The problem is well known to udev developpers, so merge their
wait loop in discovery.c

[PATCH] call dm_lib_release/exit explicitly in multipath-tools

multipath-tools should call dm_lib_release() and dm_lib_exit()
before it returns.  Then, libdevmapper will call update_devs()
and finalize the device node operation which creates
/dev/mapper/<map_name>.

This patch may not be needed if the latest libdevmapper of the
device-mapper CVS is used, since in the latest version,
dm_lib_exit() calls dm_lib_release() and dm_lib_exit() is called
by default when the program returns.

Regards,
Kiyoshi Ueda

[multipathd]

When a path is added through a uevent, set the pp->mpp ownership.

A little infrastructure added to help :

o store_pathinfo() now returns the path pointer
o add find_mp_by_wwid()

[multipathd]

Jumbo patch :

o get rid of the last multipath configurator call
o introduce the native path group switching logic.
  For now only two behaviours :
  o FAILBACK_MANUAL
  o FAILBACK_IMMEDIATE
o get rid of path group ids unused bits
o paths and multipaths full scan is only done once now.
  Moved one step earlier, in child(). Lists housekeeping done
  through uevents (well, the mpvec part is yet to come)

[multipathd]
Reinstate paths from the daemon. Don't rely on successful multipath exec
for that anymore.

Multipath is now only used to do the path group switches, which will
eventualy be merge in the daemon too.

Plug a locking weakness introduced with pp->mpp usage.

[config]
Comment all lines in the example configuration file to force users to
uncomment only what they need.

This best practice was suggested by Kiyoshi Ueda, NEC.

[multipathd]
The "checking paths" debug message is not correct anymore. Change that to
a nice "tick" :/

[multipathd]
The load_config() introduction in the daemon broke the polling_interval
keyword parsing. Fix That.

[multipathd]
Checker delay throttle, the easy way :

o max_checkint is set to (checkint * 4)
o after one successful checks, each consecutive successful check bump
  up the checkint for the path by a factor of 2, toping at max_checkint
o path state change and mark_failed_paths() reset the checkint to its
  minimal value

[kpartx]
Try another approach at fixing the dev_t definition glitch with glibc headers

[multipathd]
Refresh devmap list and initiate DM event waiter threads housekeeping upon device map add/remove uevent.

[multipathd]
Remove unsupported getopt() flags, mistakenly inherited from multipath

[multipathd]
Use load_config() in the daemon too.

[libmultipath]
In load_config(), don't bother allocating a new struct config if already allocated. Don't override a previously set conf->verbosity (by getopt for example)

[libmultipath]
Remove a signal remnent in struct config and load_config()

[multipathd]
Logging code in multipathd cause unaligned access
which, on ia64, yields logs on both console and syslog like:
unaligned access to 0x60000000000141d1, ip=0x4000000000009d81

It's harmless except for the slight performance effect.
However, it's annoying for users and better to fix.

Attached patch aligns the la->tail to pointer size.

Jun'ichi Nomura, NEC

[multipath]
0:0:0:0 is a valid host/bus/target/lun tuple, so don't print that for disappeared paths that are kept in the map in case they come back up.
print_path now prints #:#:#:# instead.

[multipathd]
path_discovery() and store_pathinfo() need the "|DI_WWID" flag for set_path_owner to work().
This should fix the problem with proactive path failing not working.

[multipathd]
path_discovery() should at least fetch DI_SYSFS to set the dev_t for checkers
Also removed unused sysfs_path param in path_discovery_locked() prototype

[multipath]
'-l' flag now displays only info provided by sysfs and DM
'-ll' flag displays what '-l' used to display
Man page updated accordingly

[multipath]
Update version string to 0.4.5

[multipath][multipathd]
Remove remnents of the '-S' flag handling.
Benjamin Marzinski, RedHat

[multipathd]
Apply blacklist to uevents too.
Indeed, we don't want too add a checker on /dev/dm-0 when this devmap comes up.

[multipathd]
Log only once the failure messages in loops.
Should close https://bugzilla.redhat.com/bugzilla/show_bug.cgi?id=156641

[multipathd]
Definitely kill the "initial map reconfigure" at daemon startup.
The daemon shouldn't do surprising things like that.

[libmultipath]
Clariion arrays need the "queue_if_no_path" feature for the system to survive a firmware rolling upgrade. Set it by default in hwtable.c
Suggested by Edward Goggin, EMC

[multipath]
Check for root privilege before running.
Avoids failing on first DM ioctl.

[build]
Don't include ".git" in recursive make

Initial git import.
Release 0.4.5-pre2