[libmultipath] update sysfs code

This updates the sysfs code to work with the latest driver core
changes. Copied from udev sources.

[libmultipath] Update discovery to work with new sysfs layout

With the new sysfs layout the parent device of a block device
it 'block', and only the parent of this is the 'real' parent.

[libmultipath] ignore nonascii characters in multipath.conf

[doc] Document "queue_if_no_path" behavior

Document the queue_if_no_path behavior in situations where
all the paths to the LUN go offline.

[config] fixes some wrong annotations about default value.

[libmultipath] fix the "too many files" error

Added a max_fds parameter to /etc/multipath.conf. This allows
you to set the maximum number of open fds that multipathd can use, like with
ulimit -n.  Also added some code so that multipath closes the file descriptor
after it's used by the checker function, since multipath doesn't need to keep
them always open like multipathd does.

Merge branch 'origin'

[libmultipath] reset the multipath struct "action" field after usage

This is necessary for the daemon is stateful, and it will remember
this action value forever.

One example of a thing gone wrong is when daemon takes actions upon startup.
"show topo" will then always display these initial actions, though they are
long done.

[libmultipath] discard trailing whitespaces from vendor/product strings

[libmultipath] add %s wildcard the multipath printing function

same as %s for path printing function,
prints the vendor/product string

[libmultipath] correctly place a whitespace in "multipath -l" output

When user_friendly_names is no set, wwid and dm-* infos are not correctly separed. Fix.

[libprio] random prio was still printing instead of returning value

fix

kpartx: remove unused "-n" code

Signed-Off-By: Guido Guenther <agx@sigxcpu.org>

kpartx: on delete process partitions in reverse order

otherwise we try to remove the extended partition of MSDOS labels
(/dev/mapper/mpathX-part[1-4]) before the logical partition
/dev/mapper/mpathX-partY (Y>5) which fails.

Signed-Off-By: Guido Guenther <agx@sigxcpu.org>

kpartx: document "-g"

Signed-Off-By: Guido Guenther <agx@sigxcpu.org>

[libprio] initial commit

Priority callouts are nice, but have drawbacks.

1) multipathd holds a fd per path, but callouts have to open another for themselves. Which may fail.

2) callouts stored on a multipahed filesystem may hang multipathed on paging operation when there are no active path for the hosting device (getprio is in the salvation codepath). The window is small but Netapp fault injection tool manage to triggers the bug reliably.

This patch merges to priority methods in multipathd.

[libmultipath] update path group prio on pg display

pg prio was previously only computed upon switching.
Updating upon display make sense too.

[libmultipath] change all readsector0 defaults to directio

Follow-up the readsector0 deprecation in favor of the async
directio checker.

[libmultipath] fix "show devices" CLI command

Whatever this command was intented to do, it did not.
I still don't see the usefulness, but now it displays :

    ...
    sdf devnode whitelisted, monitored
    sdb devnode whitelisted, unmonitored
    sda devnode whitelisted, unmonitored
    ram15 devnode blacklisted, unmonitored
    ...

[defaults] add Pivot3 RAIGE defaults

Submitted by Bart Brooks, Pivot3

[libmultipath] blacklist exceptions issues

the current situation is fishy. Ben pointed a true braino in the
code I introduced when restructuring the blacklist lib :

in _filter_path(), I test each _filter_*() for r!=0 , where I intented
to check for r>0.

r==0 implements  : "exit on first blacklist or exception match".
 r>0 implements  : "exit on first blacklist match".

With this later behaviour I can set things like that for max safety and
efficiency :

blacklist {
        devnode .*
        device {
                vendor .*
                product .*
        }
        wwid .*
}
blacklist_exceptions {
        devnode sd.*
        device {
                vendor IET.*
                product .*
        }
        wwid "1646561646265.*"
}

or pragmatically :

blacklist {
        devnode .*
        wwid .*
}
blacklist_exceptions {
        devnode sd.*
        wwid "1646561646265.*"
}

Working that out, I also realized there may be another small
misbehaviour :

First, a little background on path discovery operations :

1) /sys/block parsing shows devnode names
2) devnode names examination shows device identification strings
3) these strings help us choose a getuid helper, which finally shows
wwids

Meaning we want the devnode blacklisting to prevail over device and
wwid, in case we know we don't have device strings available (loop, dm-,
raw, ...)

Similarily, we want the device blacklist to prevail over wwid, in case
we know we don't have getuid callout available. I have no example for
this case though, so it shouldn't be as important as the previous one.

Problem is we challenge _filter_device() after _filter_wwid().
This can be easily shufled around.

[defaults] rename hp_sw hwhandler

HP storageworks handler has been submitted upstream.  During the review,
the name of the handler was changed from "dm_hp" to "dm-hp" for consistency
with kernel code.  This patch  updates the hwtable for these HP arrays

Signed-off-by: Dave Wysochanski <dwysocha redhat com>

[defaults] new cciss multipath-capable hardware

[kpartx] use uint64_t to account slices start/size

And thus support >2TB partitioned devices.
Redhat patch, pushed by Gerald Nowitzky.

[kpartx] missing ptr init

Redhat fix, pushed by Gerald Nowitzky.

[libmultipath] filter_wwid() is called with the wrong lists from filter_path()

When filter_path() calls filter_wwid() it passes the devnode lists instead
of the wwid lists.

Signed-off-by: Christophe Varoqui <christophe.varoqui@free.fr>

[multipathd] extract a spaghetto from checkerloop()

Code reorg only.

[multipathd] fail/reinstate CLI commands disable/enable path checker

The "fail path X" CLI command was an interesting debug tool, showing the checkers automatically reinstating the failed path. But some fun spoilers want to use the thing to prepare cable unplugs and other maintenance ops. So make the command also care about diabling and enabling the checker to inhibit auto-reinstates.

[libmultipath] update version

[multipathd] Add SuSE init script

[libmultipath] add missing action messages

There was some garbled output after renaming a multipath device and rerunning multipath.  This is just a minor fix to add some actions that were missing.

[libmultipath] initial support for cciss multipathing

Whatever HP wants from this support, which is still not clear to me, merge this work from Hannes as an initial stage.

Beware Proliant owners: "unipathing" finest technology is comming to you.

[priority] pp_sgi is actually a RDAC controller familly prioritizer

So rename, as suggested by Hannes.

[checkers] emc_clariion: change scsi read buffer size to 4096 bytes

648833108fc5a95cbe15bd779289e98165c34d25 changed the scsi read buffer to 4096
bytes but forgot the emc patch checker. This fixes an immediate segfault on
startup.

[multipathd] remove sysfs devices from cache

Whenever a device is really removed from any multipath map we should
also remove it from the cache. Otherwise we'll induce a memory leak.

[multipathd] whitespace cleanup

multipathd/main.c has quite some 'interesting' whitespace usage.
Better stick to established coding rules.

[libmultipath] Add "^dcssblk[0-9]*" to default blacklist.

Added some System z specific device nodes, which would otherwise cause
problems, to default blacklist.

[libmultipath] cache sysfs_devices

this one fixes the described bug of paths coming back as different block
devices:

Keep a list of sysfs devices for sysfs_device_get() so uev_trigger() can look
up the necessary information for proper path removal in case of a 'remove'
uevent - the sysfs files in the filesystem might be long gone at this point.

This also plugs a memory leak where we'd malloc space for the same sysfs device
over and over again for every processed uevent.

[libmultipath] revert e1e1a1bfb2cf76bfd1a49335e3deec5360fb09db

Counter productive change concerning hardware showing ghost paths,
like rdac.

[libmultipath] filter_wwid() called with the wrong lists from filter_path()

I just found a small glitch blacklist.c. Patch is attached.

[doc] Remove all statements of readsector0 as default checker

[checkers] directio now is the internal default checker

The directio is more advanced than readsector0 : async and unbuffered.
Make it the default choice.

[checkers] handle >512 sector size in readsector0

I encountered a problem with the sg_read() routine in readsector0.c
while testing an InfiniBand target having 4096 byte sectors.  The
sg_read() routine assumes that sectors are 512 bytes long.

A patch for the problem follows.

Signed-off-by: Christophe Varoqui <christophe.varoqui@free.fr>

[kpartx] kpartx large file support

Apparently -D_LARGEFILE64_SOURCE doesn't always work:

failed to stat() 40GB-disk.img: Value too large for defined data type

Potential fix what we're using everywhere on many platforms with no
reported LFS problems for 5 years:

[Prioritizer] HDS update

o queue_if_no_path in hwtable.c
o tur instead of readsector0 in hwtable.c
o get prio with device name instead of major:minor in hwtable.c and pp_hds_modular.c

Signed-off-by: Christophe Varoqui <christophe.varoqui@free.fr>

Ease installation of unstripped binaries

Introduce INSTALL_PROGRAM for installing binaries, so that:

make install INSTALL_PROGRAM=install

doesn't stip binaries on installation. The default is to still strip
binaries. Can be very handy for debugging builds.

Signed-off-by: Guido Guenther <agx@sigxcpu.org>

move kpartx_id to /lib/udev

Call /lib/udev/scsi_id instead of /sbin/scsi_id

[kpartx] remove bashisms from kpartx_id

[libmultipath] care for read-only alias file

On bootup, the bindings file in can't be written to.
This was causing multipath to not check it for aliases.
Now, it the bindings file is on a read-only filesystem,
it will be opened read-only.

[libchecker] restore synchronous checker operation to async-capable checkers

Add a "sync" flag the struct checker to inform the checker the caller wants a synchronous or asynchronous answer to path status request.

Default value is "synchronous" to kept legacy code unchanged.

Set async mode in the daemon checker loop.

[libcheckers] async path checking in the framework

The directio path checker was recently moved to aio API, but the behaviour is still synchronous : io_getevents() blocks until (long) timeout expires.

Truely asynchronous behaviour imposes to
o lower the io_getevents timeout to mininum
o treat a new "pending" checker return status in the daemon (reschedule the checker early for a new io_getevents until the "long" timeout expires)

This patch explores this. This approach has the nice effect to behave well with still-synchronous checker. The daemon should see no regression. But multipath, which assumes synchronous path checking, is for now broken ... to be repaired.

Please comment abundantly this approach, before I start moving ahead.

[libcheckers] use async I/O for directio checker

The directio checker will block until the request is returned.
We should rather use async I/O to guarantee that the checker
will return after a certain time so as not to stall the entire
daemon.

Signed-off-by: Stefan Bader <bader@de.ibm.com>
Signed-off-by: Hannes Reinecke <hare@suse.de>
Signed-off-by: Christophe Varoqui <christophe.varoqui@free.fr>

[build] exclude hidden dirs from the build candidates

make sure we don't try to build in .svn, .pc, .git or other SCM metadata
directories.

Guido Günther <agx@sigxcpu.org>

[libmultipath] fix debugging macro

Minor cleanup: let the macro do something useful when DEBUG is defined

Signed-off-by: Guido Guenther <agx@sigxcpu.org>

[multipathd] Fix segfault on disappearing paths

The path might already be gone when we process the udev event, in this case
sysfs_device_get return NULL:

Jun 09 16:56:06 | ID_FS_LABEL=
Jun 09 16:56:06 | ID_FS_LABEL_SAFE=
Jun 09 16:56:06 | DEVLINKS=/dev/disk/by-id/scsi-1494554000000000000000000000000010000069d0000000d /dev/disk/by-path/ip-10.0.0.3:3260-iscsi-iqn.2006-12.nix.rs45:storage.disk1-lun-0 /dev/disk/by-uuid/c8db60a3-7795-45cd-8369-a0f9ee876032
Jun 09 16:56:06 | DEVNAME=/dev/sda
/block/sda
open '/block/sda'
stat '/sys/block/sda' failed: No such file or directory
Segmentation fault (core dumped)

Signed-off-by: Guido Guenther <agx@sigxcpu.org>

[kpartx] assorted build warning fixes

o dm_task_get_uuid(dmt) returns a const char, but we used a simple char
o remove unused int variable in kpartx.c

[kpartx] Add handling for SUN partition tables

Not that I've come across one of these disks, but it's a nice testbed for
the stacked partition handling. And might even be useful at one point.

Signed-off-by: Hannes Reinecke <hare@suse.de>

[kpartx] Update BSD slice handling

Now that we have the logic to stack dm-tables for partitions we can
handle BSD 'c' slices (which span the entire disk) properly.

Signed-off-by: Hannes Reinecke <hare@suse.de>

[kpartx] Update extended partition handling

Currently we don't handle extended partitions at all.
This patch implements a proper handling for extended partitions so that we
first create the dm device for the extended partitions and then the logical
partitions as dm devices on top of the device for the extended partition.

Signed-off-by: Hannes Reinecke <hare@suse.de>

[libmultipath] Fix segfault, when the syfs attribute doesn't exist

open '/class/fc_transport/target7:0:0'/'node_name'
new uncached attribute '/sys/class/fc_transport/target7:0:0/node_name'
add to cache '/sys/class/fc_transport/target7:0:0/node_name'
stat '/sys/class/fc_transport/target7:0:0/node_name' failed: No such file or directory

This would allocate no space for attr->value but and the next lookup tries to
dereference a NULL pointer.

Signed-off-by: Guido Guenther <agx@sigxcpu.org>

[libmultipath] Remove libsysfs

libsysfs is deprecated and doesn't work with recent kernels.
Copied over stuff from udev and implemented our own sysfs handling.
Much saner now.

Signed-off-by: Hannes Reinecke <hare@suse.de>
Signed-off-by: Guido Guenther <agx@sigxcpu.org>

[libmultipath] lower libdevmapper version expectation to 1.02.08

In fact, I guess it could be lowered again since the Makefile
detects features available in the lib (no_flush for example).

Feel free to make me lower it again if needed.

[libmultipath] scalability fix for devt2devname()

Move from the sysfs /block/*/dev nodes walking in search of maj:min
to a single file walking (/proc/partitions)

Based on idea and initial implementation from Hannes Reinecke, Suse.

[udev] rules files for event proxying and kpartx split (2)

So that multipathd can use the udev-provided socket for event listening
and kpartx can have a truly independent udev setup (think dmraid without
multipath case).

Hannes Reinecke, Suse.

[udev] rules files for event proxying and kpartx split

So that multipathd can use the udev-provided socket for event listening
and kpartx can have a truly independent udev setup (think dmraid without
multipath case).

Hannes Reinecke, Suse.

[multipathd] Use udev socket as source of events instead of Netlink socket

When available. Keeps Netlink as a fallback.
Proper udev setup is required for this to work.
Patch to install such a setup follow.

Hannes Reinecke, Suse.

[multipath] make install error on multipath.conf.5

multipath.conf.5 was not compressed in the install target of the Makefile.
Do that, and move the gzips in the prepare target to factorize a bit too.

[libmultipath] new devmapper log handler needs stdarg.h

As it uses the va_list type.

Signed-off-by: Christophe Varoqui <christophe.varoqui@free.fr>

[libmultipath] Fix pp_alua install target

The install target in the pp_alua Makefile should reference the
program, not the build target. Otherwise the program gets recompiled
on each install.

Signed-off-by: Hannes Reinecke <hare@suse.de>

[multipath] Add multipath.conf.5 manpage

We finally have a manpage for multipath.conf.

Signed-off-by: Hannes Reinecke <hare@suse.de>

[hwtable] Update entries for HP arrays

I finally figured out the different versions of HP storage
arrays. Thanks to Stephen Reilly of HP for this.

Signed-off-by: Hannes Reinecke <hare@suse.de>

[libmultipath] Add new priority checker mpath_hp_sw

All paths from a controller with HP Active/Standby firmware
should really be grouped according to their status; otherwise
the path switching will not work properly or you can use only
one path to that array.
This patch adds a new priority checker 'mpath_hp_sw' which
will allow these paths to be grouped accordingly.

Signed-off-by: Hannes Reinecke <hare@suse.de>

[hwtable] Update SGI entries

Add new entry for SGI Infinite Storage machines; and we should also
use the 'RDAC' path checker for SGI storage.

Signed-off-by: Hannes Reinecke <hare@suse.de>

[libmultipath] Fix typo on blacklist_exceptions handler

blacklist_exceptions_handler() has a typo which prevents the handler
from working.

Signed-off-by: Hannes Reinecke <hare@suse.de>

[hwtable] Update S/390 DASD entry

Current s390-tools contain a program 'dasdinfo', which should be used
instead of the older 'dasd_id' program from udev.
And we should be using 'queue_if_no_path', too.

Signed-off-by: Stefan Bader <bader@de.ibm.com>
Signed-off-by: Hannes Reinecke <hare@suse.de>

[multipathd] Fix handling of device-mapper devices

Device-mapper devices are available only after a 'change' event,
so it's quite pointless to check for the 'add' event.

Signed-off-by: Hannes Reinecke <hare@suse.de>

[libmultipath] Fix debugging output

Implement a proper output function for libdevmapper which ties
into our verbosity level. This allows us for a finer grained
control about the error messages from libdevmapper and we get
better debugging output to boot.

Signed-off-by: Stefan Bader <bader@de.ibm.com>
Signed-off-by: Hannes Reinecke <hare@suse.de>

[kpartx] Use mapname for device-mapper devices

When kpartx is run on a device-mapper device it makes more sense
to use the mapname for generating the device name, not the supplied
commandline arguments. This way we can run kpartx on '/dev/dm-X'
and still get sensible names.

Signed-off-by: Hannes Reinecke <hare@suse.de>

[libmultipath] Fix overflow in circular queue

Multipathd has a circular buffer where messages are stored prior to being
passed into the system logs. Under certain circumstances the circular buffer
fills up; and the intention appears to be that new messages are dropped until
space is freed in the buffer.

However sometimes the result of a full circular buffer is to overwrite the
earlier messages before they have been passed to the system buffer; resulting
in the loss of early messages and corruption of later messages.

Signed-off-by: Hannes Reinecke <hare@suse.de>

[libmultipath] Fixup EMC ALUA mode handling

Modern EMC machines support ALUA in addition to the vendor-specific
PNR (passive/not ready) method. Machines in ALUA mode will understand
PNR commands, too, so we only need to relax the check to operate
them correctly.

Signed-off-by: Ed Goggin <egoggin@vmware.com>
Signed-off-by: Hannes Reinecke <hare@suse.de>

[kpartx] fix install target

The install target should refer the executable, otherwise it'll trigger
an entire rebuild.

Signed-off-by: Hannes Reinecke <hare@suse.de>

kpartx: fix crash during boot

kpartx will crash during boot as device-mapper insists on freeing
all passed memory upon exit. So we don't have to do it.

Signed-off-by: Hannes Reinecke <hare@suse.de>

[libmultipath] the forgotten bit

Thanks Hannes, for reporting this forgotten changeset.

[multipathd] add CLI readline completion

This one needed a bit of work :

o Add a convenient vector_foreach_slot_after() to the vector lib
o Move all add_handler() calls from main.c to cli.c, but don't set handlers
  there. This way the multipathd binary execed as the CLI (-k flag) gains
  the leisure the load the CLI dictionnary too. Which is quite useful for
  keyword completion.
o Add a set_handler_callback() function and use it in main.c in place of
  former add_handler() calls.
o No need to compute len each vector_foreach_slot() iteration in find_key()
o get_cmdvec() returns more precise failure hints as int return value.
  The readline keyword generator needs those hints.

[all] Path group timeout handling

The config file keyword is pg_timeout.
Takes value in seconds. Default is none.
Can be set in defaults, hardware or multipath configlets.

From Redhat resync.

[build] detect presence of dm_task_no_flush symbol in libdevmapper

Fix this annoying build problem on system not yet implementing this API in
their libdevmapper package (ubuntu up to Feisty for example).

[libmultipath] don't rely on PATH being set anymore for callouts

Redhat resync.

[libmultipath] move from execvp to execv for callouts

From Redhat resync.

[libmultipath] split long log msg about alias lookup on 2 lines

From Redhat branch resync.

[libmultipath] Increase the wait time for device to appear in /dev

RDAC needs 60 sec timeout.

Chandra Seetharaman, IBM

[libmultipath] ghost paths priorities are not set properly

Made some changes to honor the GHOST state while setting priorities.

Chandra Seetharaman, IBM

[libcheckers] add new rdac checker

While working on lsi-rdac hardware handler, I found that the checkers "tur"
and "readsector0" are not serving the lsi-rdac properly. Also, the storage
device has a active/passive state which need to be handled properly.

So, I wrote a new path checker for lsi-rdac, to use the C4 inquiry page to
get the current owner of the lun and set the state as UP(active) or
GHOST(passive).

Chandra Seetharaman, IBM

[libmultipath] blacklist logging overhaul

Make blacklist functions log as much info as possible.

o exported functions are now called filter_*
o each filter_* challenges exceptions list first, then blacklist if
necessary
o each filter_* is verbose
o each filter_* wraps a silent _filter_*
o filter_path chains _filter_*
o filter_* returns negative if exception list match
o filter_* returns positive if blacklist match
o update all blacklist_*() callers
o fix "show devices" CLI command to show whitelisted devs

[libmultipath] remove another '\n' from alias.c logs

[libmultipath] remove '\n' in binding match log

[libmultipath] Changes hwtable.c to Support New Pillar

And new maintainer from Pillar Data.

Srinivas Ramani, Pillar Data

[libmultipath] remove an unused variable in dict.c

[libmultipath] Blacklist exception follow-ups

This patch adds the ability to have blacklist exceptions for vendor:product
devices.  Also, the wwid and devnode exceptions weren't getting freed
properly in free_config, so that is fixed as well.

Benjamin E. Marzinski, RedHat

[libmultipath] blacklist exceptions

On IBM System z we often have the problem that we have attached
several hundred devices. In case we want to use only a few of them
with mp-tools, we have to blacklist all others. For that reason I have
introduced a blacklist_exceptions keyword for the multipath.conf  which
fills an internal exception list.

Additionally this patch adds two commands to the multipathd cli to
display blacklist rules and blacklisted devices.

A multipath.conf like:
------------------- snip --------------------
blacklist {
        devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
        devnode "^hd[a-z][[0-9]*]"
        devnode "^cciss!c[0-9]d[0-9]*[p[0-9]*]"
        devnode "^dasd[a-z]+[0-9]*"
}
blacklist_exceptions {
        devnode "^dasd[c-d]+[0-9]*"
}
------------------- snap --------------------

All DASD devices are blacklisted except dasdc and
dasdd and corresponding partitions, which are listed in
the blacklist:exceptions section.
This example would produce the following output in the
"multipathd -k" cli:

------------------- snip --------------------
multipathd> show blacklist
device node rules:
- blacklist:
        (config file rule) ^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*
        (config file rule) ^hd[a-z][[0-9]*]
        (config file rule) ^cciss!c[0-9]d[0-9]*[p[0-9]*]
        (config file rule) ^dasd[a-z]+[0-9]*
        (default rule)     ^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*
        (default rule)     ^hd[a-z]
        (default rule)     ^cciss!c[0-9]d[0-9]*
- exceptions:
        (config file rule) ^dasd[c-d]+[0-9]*
wwid rules:
- blacklist:
        <empty>
- exceptions:
        <empty>
device rules:
- blacklist:
        (default rule)     DGC:LUNZ
multipathd>

multipathd> show devices
available block devices:
    dasda (blacklisted)
    dasdb (blacklisted)
    dasdc
    dasdd
    dm-0 (blacklisted)
    dm-1 (blacklisted)
    dm-2 (blacklisted)
    dm-3 (blacklisted)
    dm-4 (blacklisted)
    dm-5 (blacklisted)
    dm-6 (blacklisted)
    loop0 (blacklisted)
    loop1 (blacklisted)
    loop2 (blacklisted)
    loop3 (blacklisted)
    loop4 (blacklisted)
    loop5 (blacklisted)
    loop6 (blacklisted)
    loop7 (blacklisted)
    ram0 (blacklisted)
    ram10 (blacklisted)
    ram11 (blacklisted)
    ram12 (blacklisted)
    ram13 (blacklisted)
    ram14 (blacklisted)
    ram15 (blacklisted)
    ram1 (blacklisted)
    ram2 (blacklisted)
    ram3 (blacklisted)
    ram4 (blacklisted)
    ram5 (blacklisted)
    ram6 (blacklisted)
    ram7 (blacklisted)
    ram8 (blacklisted)
    ram9 (blacklisted)
    sda
    sdb
    sdc
    sdd
multipathd>
------------------- snap --------------------

Signed-off-by: Volker Sameske <sameske@de.ibm.com>