[multipathd] add "show maps format ..." cli command

Just like "show paths format ...", it gives users more control
over the report format of multipaths information.

Example:
$ sudo multipathd -k'show maps format "%n %s %S %d %t %r %Q %N"'
name              vend/prod/rev    size sysfs dm-st  write_prot queueing paths
353333330000007d0 Linux,scsi_debug 8.0M dm-1  active rw         -        2
353333330000007d1 Linux,scsi_debug 8.0M dm-2  active rw         -        2
35333333000000bb8 Linux,scsi_debug 8.0M dm-3  active rw         -        2
35333333000000bb9 Linux,scsi_debug 8.0M dm-4  active rw         -        2

Amend previous patch

Forgot to remove another fix trial remnent before commit

[multipath] re-enable path checks in "multipath -ll"

Path checker state was reported as [undef], even when the -ll
flag was passed to multipath. This was regression.

[multipathd] set offline path state to faulty

If not explicitely set to faulty, the default is undef.

[lib] fix the scsi state fetching in sysfs

Wrong lookup directory for the "state" node

[hwtable] fix old style getprio for IBM hardware

This issue failed the build. Note to contributers, upstream has a
changed its way to specify prioritizers and checkers (.so) :

.getprio => .prio_name
.checker_index => .checker_name

[lib] add defaults for Dell M3000 and M3000i

[lib] terminate the words fetched by get_word()

get_word is used to parse words from device maps and status
for example. Not terminating these words ended up with unpleasant
outputs.

Add support for couple of IBM storage devices

Few of the IBM rdac storage devices are not available in the multipath
tools. This patch adds support for those.

Signed-Off-by: Chandra Seetharaman <sekharan@us.ibm.com>

[lib] libdevmapper api check

In libmultipath Makefile it is checked if the
symbol dm_task_no_flush is defined within the device mapper
library. On my system beside the library there exists a
symbolic link within the same directory pointing to this
library and containing libdevmapper.so in it's name:

lrwxrwxrwx 1 root root    20 Sep 22 22:15 /lib64/libdevmapper.so -> libdevmapper.so.1.02
-rwxr-xr-x 1 root root 89928 Feb 14  2008 /lib64/libdevmapper.so.1.02

In this case "grep -c" returns a 2 instead of 1 that is assumed
in the Makefile. I changed this check to not equal zero.

[lib] add offlined paths logic

o don't check offlined paths

Avoids log polution and useless work

o display offlined status

This information is quite useful because offlining can be done
by the kernel as a response to an unsane situation, but un-offlining
is not automatic. This helps the offlining being aknowledged by
admins.

[multipathd] add "quit" cli command

"exit" or "quit" may be more straight-forward than CTRL-D

Put dummy cli commands in place for auto-generated help,
even if we exit from the socket client code before sending
the command packet to the daemon.

[multipathd] add "show wildcards" cli command

The fact I had to look at the code to find the wildcards to use
in "show paths format ...", "show multipath format ..." and
"show pathgroup format ..." was a clear sign that more help was
necessary.

The "show wildcards" command outputs :

multipath format wildcards:
%n  name
%w  uuid
%d  sysfs
%F  failback
%Q  queueing
%N  paths
%r  write_prot
%t  dm-st
%S  size
%f  features
%h  hwhandler
%A  action
%0  path_faults
%1  switch_grp
%2  map_loads
%3  total_q_time
%4  q_timeouts
%s  vend/prod/rev

path format wildcards:
%w  uuid
%i  hcil
%d  dev
%D  dev_t
%t  dm_st
%T  chk_st
%s  vend/prod/rev
%C  next_check
%p  pri
%S  size

pathgroup format wildcards:
%s  selector
%p  pri
%t  dm_st

And for example, "show paths format foo:%d:%S:%i", outs

foo:dev:size:hcil
foo:sda:149G:2:0:0:0

[libmultipath] fixes for "show paths format"

o undue 1-char rollback when encountering unknown wildcard
o fix segfault when format starts with an unknown wildard
o continue parsing the format after an unknown wildcard

[lib] Increase bindings file lock timeout to avoid failure of user_friendly_names

On setups with a large number of paths / multipath maps, contention for
the advisory lock on the bindings file may take longer than 3 seconds,
and some multipath processes may create maps based on WWID despite having
user_friendly_names set.  Increasing the timeout is a simple fix that
gets us a bit further.

[lib] new hardware from compellent in defaults table

[multipathd] add "show status" cli command

For now just print the number of paths in each path checker state,
if not zero. For example :

path checker states:
up                  2
down                1
ghost               1

[lib] add IBM IPR to hwtable.

[lib] add IBM DS3400 to hwtable

[lib] udev as of 0.124 doesn't support -s anymore

sysfs as of 0.124 doesn't support -s anymore and the whole sysfs code
got removed, we'll have to use the devnodes in /dev/ from now on.  I
also changed the last remaining call from /sbin/scsi_id to
/lib/udev/scsi_id.

Fix whitespace issues

One wouldn't believe how many of them are in the code ...

[lib] create read-only multipath if rw try failed

May be soon the devmapper will return more precise return codes.
Use that for now.

[lib] abstract a little more devmapper internals

o move DEFAULT_TARGET define from defaults.h to devmapper.h
o rename DEFAULT_TARGET into TGT_MPATH (multipath)
o introduce TGT_PART (linear)
o remove the type param from functions used only with TGT_MPATH
o abstract dm_addmap() with to wrappers dm_addmap_create() and
  dm_addmap_reload(). Wrappers don't require the type and task
  params.
o move the dm_addmap(DM_DEVICE_CREATE, ...) cleanup on failure
  from configure.c into devmapper.c::dm_addmap_create()

[kpartx] don't return 0 if a partition removal failed

multipath-tools: DESTDIR makefiles cleanup

This patch makes the $(DESTDIR) makefile option for multipath-tools more
useful. First, it makes sure that everything that's installed uses it.
Second, it removes the forced root installs, so that you can can install
to any $(DESTDIR) that you have permissions for, even if you aren't
root.

Signed-off-by: Benjamin Marzinski <bmarzins redhat com>

[multitpathd] add "show paths format" cli command

to let users extract custom reports from the daemon data stractures.
format is printf fmt-like with :

%w uuid
%i hcil
%d dev
%D dev_t
%t dm_st
%T chk_st
%s vend/prod/rev
%C next_check
%p pri
%S size

example:
$ mutlipathd -k'show paths format "/dev/%d is a path to %w"'

[lib] new hwtable entry

S/390 FBA DASDs are not blacklisted because they are not detected correctly.
Added S/390 FBA DASDs to hwtable.c to solve this problem

Allow zero paths for multipath map

There is no reason why multipath should handle the removal
of the last path from a multipath map different than any other
path removal. In fact, in doing so we'll shed the stale reference
to the dead device in the map and allow for a clean reconnection.

Signed-off-by: Hannes Reinecke <hare@suse.de>

fine-grained hwentry config override

== Before:
adding

device {
 vendor EMC
 product FOO
 checker tur
}

resets all hwentry vars not specified in the block to internal
defaults ... losing the precious bits in the internal default
hwtable.

== After:
adding the same block retains all info present in the
default hwtable and override only the bits specified in the conf
file.

print the multipath map write-protection status

wildcard is %r
appears in "multipath -l" and cli command "show topo"

don't include header length in column width in "show topo"

which aligns daemon output to "multipath -l" output

add write protect column to "show maps status"

apply the same treatment to prioritizer than Ben applied to checkers

ie:
o don't so prio shared object if not used
o error if prioritizer lib is not found instead of falling back to default

I also had to move up the multipath_dir initialization in load_config()
because add_prio/add_checker need the var to load the shared object.
Also realize the multpath_dir keyword has to be  set before default:prio
and default:checker in the config file.

A correct solution would be to defer the loads to the end of the config
file processing. Contribution welcome.

add '-r' option to force devmap reload

This takes care of updating the write-protection flag
of the devmap in case the write-prot of the underlying
paths has changed (and the kernel somehow has discovered
so).

Now a RO->RW change scenario for a multipathed device can
be treated with :
1/ echo 1 >/sys/block/XX/device/rescan on all paths to dev
2/ multipath -r dev

Which minimaly fulfills my needs with Symmetrix SRDF spliting
in interim of more collaboration from other subsystems.

make "show conf" output usable as a /etc/multipath.conf

Some multipath.conf keywords take strings values, which can embed
spaces. Add quotes to those.

vendor
product
hwhandler
getuid
features
udev_dir
multipath_dir

and blacklist regexps

track .gitignore so everyone can benefit from its presence

[lib] adapt checker print function to Ben's change

[checkers]

checker_lookup() silently returns the default checker if the requested
one can't be loaded. Even worse, it the default checker can't be loaded,
it gets stuck in an infinite loop.

It seems to me that if the requested checker can't be loaded, we should
just throw an error. That's what this patch does.

multipath.conf should be order independent, and with the existing
checker code, it isn't.  The multipath_dir had to be set before
you could set a checker, otherwise the checker load failed (since the
multipath_dir wasn't specified).

Fixup Makefiles

We're now using dlopen() etc, so we should link to libdl
explicitely instead of relying on some other library to do
this for us.
And '-fPIC' is a mandatory CFLAGS setting now, not an
optimisation.

Signed-off-by: Hannes Reinecke <hare@suse.de>

Remove DAEMON defines

We're now building just one shared library for both programs,
multipath and multipathd. So any DAEMON defines are quite
pointless.
Remove them and use 'mpp->waiter == NULL' to distinguish between
multipath and multipathd where required.

Signed-off-by: Hannes Reinecke <hare@suse.de>

block SIGPIPE before writing to a pipe

We have to block SIGPIPE before we're writing to the communication
pipe otherwise the daemon will be killed if the listening program
terminates prematurely.

Signed-off-by: Hannes Reinecke <hare@suse.de>

Make modules directory configurable

As we know have a separate directory for the various shared
libraries we should make this configurable.
And use that variable a prefix for dlopen() to make that
work correctly.

Signed-off-by: Hannes Reinecke <hare@suse.de>

multipathd crash on shutdown

On shutdown multipathd flushes its internal message queue;
but we have to check if the messages on the queue are not empty.

Signed-off-by: Hannes Reinecke <hare@suse.de>

libdevmapper prints garbage on shutdown

This patch fixes 2 logging bugs:
  o multipath command prints unexpected log message like
    "libdevmapper: libdm-common.c(303): Created /dev/mapper/<mapname>"
  o multipathd doesn't log messages like "--------shut down------"
    during the exit path

What is the problem:
  o multipath command and multipathd register dm_write_log() using
    dm_log_init() and it can be called from libdevmapper codes like
    dm_lib_release().
  o dm_write_log() references the global "conf" to find the verbosity,
    but it is freed before dm_lib_release() calls dm_write_log().
  o So dm_write_log() reads garbage value like big vervosity.

What does the patch do:
  o multipath command sets NULL to "conf" after freeing it.
    This prevents dm_write_log() from reading garbage data.
  o multipath command and multipathd free "conf" after all logging
    are completed, because the logging functions reference it
    to find the verbosity.

Signed-off-by: Kiyoshi Ueda <k-ueda@ct.jp.nec.com>
Signed-off-by: Hannes Reinecke <hare@suse.de>

Improve sense code scanning in sg_read() and tur checker

sg_read and tur should be able to correctly parse sense data,
as we might need to retry any UNIT ATTENTION sense codes.

Signed-off-by: Hannes Reinecke <hare@suse.de>

Use 'mpatha' for user_friendly_names option

We really should use 'mpatha' instead of 'mpath0' for the
generated names with the user_friendly_names option.
Otherwise we can't distinguish them from EVMS names.

Signed-off-by: Hannes Reinecke <hare@suse.de>

Add cciss_tur checker

The 'normal' SG_IO tur checker has some issues with cciss, so
we'd better use a dedicated path checker here.

Signed-off-by: Hannes Reinecke <hare@suse.de>

Don't print failure messages for callouts by default

Calling 'multipath -ll' on devices with paths results in
lots of error messages; they really should be suppressed
for the normal output. The user can always have them printed
out by increasing verbosity.

Signed-off-by: Hannes Reinecke <hare@suse.de>

Fixup varags usage

We already call va_end() at the correct position, no need to
duplicate it in log_safe().

Signed-off-by: Hannes Reinecke <hare@suse.de>

Define LIBDM_API_FLUSH for 64bit systems correctly

64bit Installation will have libraries in /lib64, not /lib.
So we'll have to check against this directory, too, to calculate
the correct LIBDM_API_FLUSH define.

Signed-off-by: Hannes Reinecke <hare@suse.de>

Update hardware table

Update the built-in hardware table with definitions for various
new machines.

Signed-off-by: Hannes Reinecke <hare@suse.de>

[lib] preparation for user-defined output format

[build] remove references to prio callouts in spec file

Remove devmap_name tool, redundant with dmsetup

[lib] add "checker" keyword as an alias to "patch_checker"

[checkers] checkers are now dlopen'ed plugins

just like prioritizers.
A lot of files shuffling too.

[lib] merge libprio in libmultipath

There is actually just the prio plugins api files linked into libmultipath.so
Prioritizers proper go under libmultipath/prioritizers

[build] move SHARED_FLAGS to Makefile include

[libmultipath] remove unused KEEP_VEC define

[libprio] prioritizer libs loading message level up'ed to 3

Move to a shared lib model for
1) checkers (one lib for all checkers for a start)
2) prioritizers (one helper lib, plus one lib per prioritizer)
3) libmultipath

Collaterals include :
o Remove old prioritizer callouts.
o Drop the klibc support
o Add remove_map(s)/remove_map(s)_and_stop_waiter(s) helpers

Regression testing is needed now.

[libmultipath] update sysfs code

This updates the sysfs code to work with the latest driver core
changes. Copied from udev sources.

[libmultipath] Update discovery to work with new sysfs layout

With the new sysfs layout the parent device of a block device
it 'block', and only the parent of this is the 'real' parent.

[libmultipath] ignore nonascii characters in multipath.conf

[doc] Document "queue_if_no_path" behavior

Document the queue_if_no_path behavior in situations where
all the paths to the LUN go offline.

[config] fixes some wrong annotations about default value.

[libmultipath] fix the "too many files" error

Added a max_fds parameter to /etc/multipath.conf. This allows
you to set the maximum number of open fds that multipathd can use, like with
ulimit -n.  Also added some code so that multipath closes the file descriptor
after it's used by the checker function, since multipath doesn't need to keep
them always open like multipathd does.

Merge branch 'origin'

[libmultipath] reset the multipath struct "action" field after usage

This is necessary for the daemon is stateful, and it will remember
this action value forever.

One example of a thing gone wrong is when daemon takes actions upon startup.
"show topo" will then always display these initial actions, though they are
long done.

[libmultipath] discard trailing whitespaces from vendor/product strings

[libmultipath] add %s wildcard the multipath printing function

same as %s for path printing function,
prints the vendor/product string

[libmultipath] correctly place a whitespace in "multipath -l" output

When user_friendly_names is no set, wwid and dm-* infos are not correctly separed. Fix.

[libprio] random prio was still printing instead of returning value

fix

kpartx: remove unused "-n" code

Signed-Off-By: Guido Guenther <agx@sigxcpu.org>

kpartx: on delete process partitions in reverse order

otherwise we try to remove the extended partition of MSDOS labels
(/dev/mapper/mpathX-part[1-4]) before the logical partition
/dev/mapper/mpathX-partY (Y>5) which fails.

Signed-Off-By: Guido Guenther <agx@sigxcpu.org>

kpartx: document "-g"

Signed-Off-By: Guido Guenther <agx@sigxcpu.org>

[libprio] initial commit

Priority callouts are nice, but have drawbacks.

1) multipathd holds a fd per path, but callouts have to open another for themselves. Which may fail.

2) callouts stored on a multipahed filesystem may hang multipathed on paging operation when there are no active path for the hosting device (getprio is in the salvation codepath). The window is small but Netapp fault injection tool manage to triggers the bug reliably.

This patch merges to priority methods in multipathd.

[libmultipath] update path group prio on pg display

pg prio was previously only computed upon switching.
Updating upon display make sense too.

[libmultipath] change all readsector0 defaults to directio

Follow-up the readsector0 deprecation in favor of the async
directio checker.

[libmultipath] fix "show devices" CLI command

Whatever this command was intented to do, it did not.
I still don't see the usefulness, but now it displays :

    ...
    sdf devnode whitelisted, monitored
    sdb devnode whitelisted, unmonitored
    sda devnode whitelisted, unmonitored
    ram15 devnode blacklisted, unmonitored
    ...

[defaults] add Pivot3 RAIGE defaults

Submitted by Bart Brooks, Pivot3

[libmultipath] blacklist exceptions issues

the current situation is fishy. Ben pointed a true braino in the
code I introduced when restructuring the blacklist lib :

in _filter_path(), I test each _filter_*() for r!=0 , where I intented
to check for r>0.

r==0 implements  : "exit on first blacklist or exception match".
 r>0 implements  : "exit on first blacklist match".

With this later behaviour I can set things like that for max safety and
efficiency :

blacklist {
        devnode .*
        device {
                vendor .*
                product .*
        }
        wwid .*
}
blacklist_exceptions {
        devnode sd.*
        device {
                vendor IET.*
                product .*
        }
        wwid "1646561646265.*"
}

or pragmatically :

blacklist {
        devnode .*
        wwid .*
}
blacklist_exceptions {
        devnode sd.*
        wwid "1646561646265.*"
}

Working that out, I also realized there may be another small
misbehaviour :

First, a little background on path discovery operations :

1) /sys/block parsing shows devnode names
2) devnode names examination shows device identification strings
3) these strings help us choose a getuid helper, which finally shows
wwids

Meaning we want the devnode blacklisting to prevail over device and
wwid, in case we know we don't have device strings available (loop, dm-,
raw, ...)

Similarily, we want the device blacklist to prevail over wwid, in case
we know we don't have getuid callout available. I have no example for
this case though, so it shouldn't be as important as the previous one.

Problem is we challenge _filter_device() after _filter_wwid().
This can be easily shufled around.

[defaults] rename hp_sw hwhandler

HP storageworks handler has been submitted upstream.  During the review,
the name of the handler was changed from "dm_hp" to "dm-hp" for consistency
with kernel code.  This patch  updates the hwtable for these HP arrays

Signed-off-by: Dave Wysochanski <dwysocha redhat com>

[defaults] new cciss multipath-capable hardware

[kpartx] use uint64_t to account slices start/size

And thus support >2TB partitioned devices.
Redhat patch, pushed by Gerald Nowitzky.

[kpartx] missing ptr init

Redhat fix, pushed by Gerald Nowitzky.

[libmultipath] filter_wwid() is called with the wrong lists from filter_path()

When filter_path() calls filter_wwid() it passes the devnode lists instead
of the wwid lists.

Signed-off-by: Christophe Varoqui <christophe.varoqui@free.fr>

[multipathd] extract a spaghetto from checkerloop()

Code reorg only.

[multipathd] fail/reinstate CLI commands disable/enable path checker

The "fail path X" CLI command was an interesting debug tool, showing the checkers automatically reinstating the failed path. But some fun spoilers want to use the thing to prepare cable unplugs and other maintenance ops. So make the command also care about diabling and enabling the checker to inhibit auto-reinstates.

[libmultipath] update version

[multipathd] Add SuSE init script

[libmultipath] add missing action messages

There was some garbled output after renaming a multipath device and rerunning multipath.  This is just a minor fix to add some actions that were missing.

[libmultipath] initial support for cciss multipathing

Whatever HP wants from this support, which is still not clear to me, merge this work from Hannes as an initial stage.

Beware Proliant owners: "unipathing" finest technology is comming to you.

[priority] pp_sgi is actually a RDAC controller familly prioritizer

So rename, as suggested by Hannes.

[checkers] emc_clariion: change scsi read buffer size to 4096 bytes

648833108fc5a95cbe15bd779289e98165c34d25 changed the scsi read buffer to 4096
bytes but forgot the emc patch checker. This fixes an immediate segfault on
startup.

[multipathd] remove sysfs devices from cache

Whenever a device is really removed from any multipath map we should
also remove it from the cache. Otherwise we'll induce a memory leak.

[multipathd] whitespace cleanup

multipathd/main.c has quite some 'interesting' whitespace usage.
Better stick to established coding rules.

[libmultipath] Add "^dcssblk[0-9]*" to default blacklist.

Added some System z specific device nodes, which would otherwise cause
problems, to default blacklist.

[libmultipath] cache sysfs_devices

this one fixes the described bug of paths coming back as different block
devices:

Keep a list of sysfs devices for sysfs_device_get() so uev_trigger() can look
up the necessary information for proper path removal in case of a 'remove'
uevent - the sysfs files in the filesystem might be long gone at this point.

This also plugs a memory leak where we'd malloc space for the same sysfs device
over and over again for every processed uevent.

[libmultipath] revert e1e1a1bfb2cf76bfd1a49335e3deec5360fb09db

Counter productive change concerning hardware showing ghost paths,
like rdac.