[libmultipath] a bit of code reorganisation

o locking primitives moved to libmultipath/lock.[ch]
o waiter threads control primitives moved to libmultipath/waiter.[ch]
o update_multipath() and queue_mode_{add,del}_path() moved to
libmultipath/structs_vec.c

[libmultipath] move the tools' version string to the lib

o Remove multipath/main.h
o Print the version string in the CLI syntax reference

[build] minor compilation issues

SuSE checker found some minor issues:

- refwwid in libmultipath/configure.c:get_refwwid() might be used
uninitialized. As dev_type is a simple 'int' there is nothing which
prevents the unsuspecting user to call it with an unhandled value.
We shoud rather use an enum and set refwwid to NULL to be on the safe
side.

- attr in libmultipath/discovery.c:devt2devname() might be used
uninitialized. Quite unlikely, but might happen in principle.
So better have it initialized.

- r in multipath/main.c:main() might be used uninitialized.
True. So have it initialized.

[build] libmultipath Makefile fix

libmultipath/Makefile resets CFLAGS, so we can't pass anything from the
top-level makefile.

Hannes Reinecke, SuSE

[libmultipath] IBM defaults tweaks

There is a new hardware ID for the IBM F20; and I've also switched to
'dasd_id' from udev instead of dasdview from s390-tools.

Hannes Reinecke, SuSE

[multipath] release preparation

[libmultipath] add pathcountgr() helper function

Teach pathcount() to use it.

Edward Goggin, EMC

[multipathd] add more checkers message printing upon path failures

Edward Goggin, EMC

[checkers] emc_clariion checker init() fix

Edward Goggin, EMC

[checkers] checker_put() to exec the free fn only if one is registered

Edward Goggin, EMC

[multipathd] ev_add_map should return ok for spurious events

Benjamin Marzinski, Redhat

[libmultipath] "show config" segfault due to checkers framework work

[libmultipath] per-hwentry product string blacklist

Associate a default blacklist product string with each hwentry.
This is useful for the CLARiiON in order to blacklist LUNZ entries
by default.

Edward Goggin, EMC

[libmultipath] pathinfo() should not try get_prio() if path is down

David Wysochanski, Netapp
Edward Goggin, EMC

[libmultipath] cycling remove/add a map leaks paths info

When you delete a multipath map, orphaning the path clears out some members
of the path structure.  Adding that map again doesn't bring them back.
Specifically, you loose your checker file descriptor.

The attached patch restores most of the members. It doesn't reset getuid.

Benjamin Marzinski, Redhat

[multipathd] syncing path states

Occasionally, the path states for multipathd and device mapper are out of
sync.
This happens either when multipathd starts, or after a multipath map is
created or reloaded (what a path is added or removed, or a map is added).
The attached patch syncs the paths' dmstate with it's state after one of
these actions happens.

Benjamin Marzinski, Redhat

[multipathd] nr_active inc/dec losts or overzealous

There is some weirdness in the nr_active handling in multipathd, For
instance, whenever you change state to a PATH_DOWN or PATH_SHAKY state,
you decrement the number of active paths, even if you change from
PATH_DOWN to PATH_SHAKY.

This patch attempts to fix the problem.  It slightly changes how some
of the states are handled.

[multipathd] due failback not happening

If the failback period is set to more that four times the polling interval,
paths will never fail back. This is because the failback_tick keeps getting
reset. The attached patch fixes this.

Benjamin Marzinski, Redhat

[multipathd] blacklisting and blacklist changes ignored on spots

multipathd doesn't correctly blacklist devices by wwid, because the
blacklist check happens before the device information is known.

This patch fixes that.

Benjamin Marzinski, Redhat

[build] fix install target glitch in alua prioritizer

Triggered by "make rpm" on fresh systems.
Spotted and fixed by Brian Wong, Pillardata

[checkers] fix segfault in the checker lookup function

Multipath was segfaulting on startup because of some pointer arithmatic
craziness with the checkers. The attached patch fixes it.

Benjamin Marzinski, Redhat

[checkers] API rewrite

The context handling and the layering were poor, so rewrite.

The users now need to :

- alloc a "struct checker"
- select a checker by name : checker_lookup()
- init own checker instance : checker_get()
- set the path file descriptor to check : checker_set_fd()
- use : checker_check()
- release : checker_put()

Checkers now are asked to provide 3 functions :

- foo_init : alloc and initialize the checker context
- foo_free : free the context
- foo      : the checking function proper

These 3 are registered in a static checkers array, along with the checker
name. Lookups are based on checker name.

The users are all updated :

- checker_get is folded into path (re)discovery
- checker_put is folded into path free/orphan

Additional gains :

- directio is updated to use a context to avoid computations upon each
  check
- checkers code is leaner

Please test and report.

Merge ... 137.250.31.225/rsync/git/linux/storage/multipath-tools.git

[kpartx] Add support for mac partition table

Signed-off-by: Bastian Blank <waldi@debian.org>

[build] make rpm fix

Adaptation to new prioritizer and path changes

Brian Wong, Pillardata

[libmultipath] discovery broken for DASD

Since I moved the configlet setting right after vendor/product string
fetching in sysfs_scsi_pathinfo() and forgot about its *ccw* counterpart.

Stefan Weinhuber and Stefan Bader spotted and fixed that.

[libmultipath] set_default_blacklist() : fix the fix

[libmultipath] set_default_blacklist() should not register .rodata strings

... because free_blacklist will try to free those strings, and some glibc
are set to be verbose about that by default.

[libmultipath] snprint_hw_prio_callout() segv

... if prio_callout is not defined in the default config section.

[libmultipath] correct keyword lookup in snprint_hwentry()

[libmultipath] fix blacklist printing segv when "show config"

[libmultipath] fix uninitialized var in discovery.c:get_serial()

[libmultipath] plug leaks in blacklist free_* functions

[libmultipath] plug leak in discover.c:syfs_get_*()

[config] synthetic template mispelled the "user_friendly_names" keyword

Missed the ending 's'.

[libmultipath] "show conf" CLI command to output the blacklist too

All multipath.conf keywords and sections are now covered by "show conf".

[libmultipath] fix new "blacklist" keyword incorrectly spelled to "devnode"

[libmultipath] yet more output prefixing

[libmultipath] move apply_format() from discovery.c to callout.c

[libmultipath] don't set the hwe configlet pointer if !(mask & DI_SYSFS)

Vendor and product strings are fetched if (mask & DI_SYSFS).

We shouldn't even try to find_hwe(vendor, product) if there is a chance
the params are not set.

[libmultipath] more path: and multipath: output prefixing

[libmultipath] add "map:" prefix to propsel functions output

[libmultipath] path discovery reorganisation

o split logic in smaller functions
o prefix output with "%s:...", pp->dev
o rename "curpath" to "pp"

[config] add the "device" blacklist keyword to config templates

[libmultipath] adapt discover.c to the new libsysfs2 API

In fact, I tried to use only the functions common to libsysfs v1 and v2.

[libmultipath] rename conf->default_hwhandler to conf->hwhandler

Misleading name. The real default is DEFAULT_HWHANDLER.

[libmultipath] rename conf->default_getprio to conf->getprio

Misleading name. The real default is DEFAULT_GETPRIO.

[libmultipath] rename conf->default_getuid to conf->getuid

Misleading name. The real default is DEFAULT_GETUID.

[libmultipath] rename conf->default_checker_index to conf->checker_index

Misleading name. The real default is DEFAULT_CHECKER_ID.

[libmultipath] rename conf->default_pgpolicy to conf->pgpolicy

Misleading name. The real default is DEFAULT_PGPOLICY.

[libmultipath] remove vector.h include from config.h

[libmultipath] deprecate the "devnode_blacklist" keyword

Please use the "blacklist" keyword instead.

The blacklist section implements the "devnode", "wwid" and "device"
keywords, so it's misleading to keep the old section name.

[libmultipath] add device blacklisting

Syntax is :

devnode_blacklist {
devnode sr*
wwid 6005*
device {
vendor DEC
product *
}
}

[libmultipath] renaming a map triggers its partitions renames

[multipathd] "show topo" as a "show maps topo" alias

[multipathd] add "show config" CLI command

This commands dumps a multipath.conf config file.

The "defaults" section is factorized : settings in sync with the internal
defaults are not printed.

The "devices" section lists the internal hwtable, plus mods and adds from
the actual config file. The layout is factorized : settings in sync with
the "defaults" section are not printed.

The "devnode_blacklist" section is ommited for now, as this requires a bit
more infrastructure.

The "multipaths" section is not factorized as we can not reliably guess the
hardware a multipath is parented to. Multipath entries are just clones
of their actual config file equivalent.

[libmultipath] add internal some defaults handling to propsel.c

o getprio
o checker_index
o getuid

Merge branch 'master' of /linux/storage/multipath-tools/

[libmultipath] fix the internal defaults loading

hwtable.c segfaults : the increment of the hwe pointer is wrong

Mark Haverkamp, OSDL

[libmultipath] STK D280 to use the tpc prioritizer

Align the defaults to SGI TP4500 ones.

Suggested by Chris Penney

[libmultipath] add a buffer len param to get_pgpolicy_name()

[libmultipath] do proper string equality checks in dict.c

[libmultipath] move CHECKINT definition to defaults.h

And transform MAX_CHECKINT into a macro.

Use that in dict.c to set conf->max_checkint with the same formula we
use when we set the in-core default.

[libmultipath] define more defaults to defaults.h

And use them in propsel.c when appropriate.

[libmultipath] add a buffer len param to get_checker_name()

[build] adapt to new "make" rules

compatibility with the new make's line continuation rules.

Steve Langasek

[libmultipath] fix the fix

braino.

[libmultipath] fix segfault on dlog() format violation

Noticed by Kiyoshi Ueda, NEC
Alasdair Kergon, Redhat, suggested the compilation checking.

[multipathd] 'show maps xxx' CLI tweaks

o rename PRINT_MAP_FAILBACK to PRINT_MAP_STATUS
o 'print maps' command renamed to 'print maps status'
o 'print maps' now use the PRINT_MAP_NAMES layout, ie name|dm_name|wwid
o remove the dm_name field from PRINT_MAP_STATUS and PRINT_MAP_STATS

[libmultipath] hardware defaults framework overhaul

- Access to all "struct hwentry" parameters
- Removes old store_hwe{_ext} functions
- Remove unused selector_args param in all config.h structs
- Add hardware family maintainership banner, and pre-populate
- Move hardcoded minio in a defaults.h:DEFAULT_MINIO define

Please verify I didn't mess the defaults for hardware you care about,
and start claiming maintainership.

[multipathd] remove unused variable

[multipathd] "multipath" is a "map" synonym

Like "multipaths" is a "maps" synonym

[multipathd] convert another user to find_mp_by_str()

[multipathd] add "show map $map topo" CLI command

multipathd> sho map dm-1 topo
mpath0 (149455400000000000000000000000000d00600000b000000)
[size=67 GB][features=1 queue_if_no_path][hwhandler=0]
\_ round-robin 0 [prio=10][enabled]
 \_ 3:0:0:1 sdb 8:16 [active][ready]
\_ round-robin 0 [prio=6][enabled]
 \_ 4:0:0:1 sde 8:64 [active][ready]

and :

multipathd> sho map mpath0 topo
mpath0 (149455400000000000000000000000000d00600000b000000)
[size=67 GB][features=1 queue_if_no_path][hwhandler=0]
\_ round-robin 0 [prio=0][enabled]
 \_ 3:0:0:1 sdb 8:16 [active][ready]
\_ round-robin 0 [prio=0][enabled]
 \_ 4:0:0:1 sde 8:64 [active][ready]

[multipathd] allow shortcut in CLI syntax

For example "li maps topo" is allowed and synonymous of "list maps
topology".

[multipathd] change last CLI command syntax

"show multipaths" was confusing because "show maps" looks so awfuly close.

Now :
1) "multipaths" is a "maps" synomym
2) "show multipaths topology" shows what "show multipaths" did

There is a bit of function naming sanitizing in the lib too.

[libmultipath] tweaks for IBM / SGI common hardware

here's a small update for the hardware table.

I've added a new controller (IBM DS4100), which uses the same controller
than SGI TPC. For a proper support I had to relax the checks in pp_tpc
slightly.

Secondly, it sets the FAILBACK for all machines supported by pp_tpc to
-FAILBACK_IMMEDIATE, as we cannot (yet) adjust the path setting. Hence
we need to switch back to the preferred path as soon as it becomes
available again.

Hannes Reinecke, Suse

[build] Makefile cleanup

Fixup CFLAGS so that it can be adjusted by setting 'OPTFLAGS'
from the commandline.
General cleanup of Makefiles; move common parts into Makefile.inc.

Signed-off-by: Hannes Reinecke <hare@suse.de>

[devmapper] Compilation fixes

As we're returning a strdup()ed string from dm_mapname() it hardly
qualifies as 'const'.

Signed-off-by: Hannes Reinecke <hare@suse.de>

[kpartx] Add suport for S/390 ECKD DASD

This patch adds support for S/390 ECKD DASD partition tables.

Signed-off-by: Hannes Reinecke <hare@suse.de>

[devmapper] Check mapname length

dm_task_get_name might return a zero-length string, which also
seem to indicate an invalid mapname. Fix dm_mapname() to always
return NULL if either no mapname or an zero-length mapname
was returned.

Signed-off-by: Hannes Reinecke <hare@suse.de>

[multipathd] add "show multipaths" CLI command

Mimics the 'multipath -ll' output in the CLI.

[libmultipath] groundwork to share print_mp() between multipath & deamon

Introduce snprint_mp() and teach print_mp() to use it.

print_mp() uses a 64 lines buffer, which mean multipath(8) can only
print 62 "paths or pathgroup". Daemon will use the buffer doubling
trick to work around that.

You are allowed to report your unhappiness about this default :/

[kpartx] use lseek64 instead of self-defined syscall

Hannes Reinecke, Suse

[priority] new prioritizer for some SGI hardware (take 2)

Add to files for real.

Hannes Reinecke, Suse

[libmultipath] add DASD discovery profile

Make DASD fits the vendor/product scsi-ism the tools use to
index its hardware table.

Hannes Reinecke, Suse

[multipathd] adjust oom_adj to the 2.6.14 standards

As of 2.6.14, the kernel will only accept oom_adj values of > -17.
Writing '-17' into oom_adj will be ignored. This patch fixes the
value to -16.

Hannes Reinecke, Suse

[libmultipath] SGI hardware defaults tuning

Switch TPs to GROUP_BY_PRIO now that we have a priority checker

That enables multiple paths to the prefered array port to
be grouped together and load-balanced. I'll do that and see if users get
annoyed.

Suggested by Hannes Reinecke, Suse

[libmultipath] add some IBM hardware defaults

Hannes Reinecke, Suse

[priority] new prioritizer for some SGI hardware

Hannes Reinecke, Suse

[kpartx] bug fixes for dos extended partition [4/4]

There is meaninglessly duplicated code in read_dos_pt().
It should be safe to remove it.

un'ichi "Nick" Nomura, NEC

[kpartx] bug fixes for dos extended partition [3/4]

in the for loop in read_extended_partition,
'here' is updated if the next extended partition is found.

However, the 'here' value should be updated in the next while loop.
Otherwise it's possible that following partition table
entry refers updated value and generate wrong mapping.

I'm not sure if there is any partitioning tool which can generate
such table. But it's safer to fix this.

Jun'ichi Nomura, NEC

[kpartx] bug fixes for dos extended partition [2/4]

kpartx usually doesn't create a mapping for extended partition.
However, it does if it's empty.
It's harmless but not consistent.
Attached patch makes it consistent by not creating a mapping
even when the extended partition is empty.

Please consider to apply.

If you have logical partitions in extended partition:
# parted /dev/sdc p
Disk geometry for /dev/sdc: 0.000-34686.000 megabytes
Disk label type: msdos
Minor    Start       End     Type      Filesystem  Flags
1          7.844     31.376  extended
5          7.875     23.532  logical

No mapping is created for extended partition:
# dmsetup table|grep sdc|sort
  sdc5: 0 32067 linear 8:32 16128

However, if the extended partition is empty:
# parted /dev/sdc p
Disk geometry for /dev/sdc: 0.000-34686.000 megabytes
Disk label type: msdos
Minor    Start       End     Type      Filesystem  Flags
1          7.844     31.376  extended

The following mapping is created:
# dmsetup table|grep sdc|sort
  sdc1: 0 48195 linear 8:32 16065

Jun'ichi Nomura, NEC

[kpartx] bug fixes for dos extended partition [1/4]

the latest kpartx generates wrong mapping for
MS-DOS extended partitions.
Attached patch fixes the problem.
Please consider to apply.

Consider you created the following partition table.
# parted /dev/sdc p
Disk geometry for /dev/sdc: 0.000-34686.000 megabytes
Disk label type: msdos
Minor    Start       End     Type      Filesystem  Flags
  1          0.031      7.844  primary
  2          7.844     31.376  extended
  5          7.875     23.532  logical
  6         23.563     31.376  logical

kpartx should generate the following mappings:
# dmsetup table|grep sdc|sort
  sdc1: 0 16002 linear 8:32 63
  sdc5: 0 32067 linear 8:32 16128
  sdc6: 0 16002 linear 8:32 48258

However, actually it generates:
# dmsetup table|grep sdc|sort
  sdc1: 0 16002 linear 8:32 63
  sdc5: 0 32067 linear 8:32 16128
  sdc6: 0 16065 linear 8:32 80325
  sdc7: 0 16002 linear 8:32 48258

Jun'ichi Nomura, NEC

[multipathd] move show_{paths,maps} in cli_handlers.c

Near their users.

[libmultipath] remove remnents of the old print padding framework

[libmultipath] extend the printing framework

- for pathgroup information printing
- for print_mp() start of integration

[libmultipath] sysfs_get_size() returning 0 is not necessarily an error

0-sized devices exist in real life but sysfs_get_size() returns 0 on
errors.

Current behaviour cascade the failure in :

- sysfs_get_size
- up to sysfs_pathinfo
- up to pathinfo
- up to discovery

Not fair at all.

So feed the &size as sysfs_get_size() parameter and use the return code
only to report status to caller.

Noted by Maxim Kozover

[libmultipath] remove math lib dependency

The new printing framework does not need the math lib anymore.
So remove it from the includes and Makefiles.

[libmultipath] drop the path cache

- remove the cache library files
- remove the cache loading in multipath
- remove the "dump pathvec" facility in multipathd
- remove a small cache assertion in the discovery