Merge ... 137.250.31.225/rsync/git/linux/storage/multipath-tools.git

[kpartx] Add support for mac partition table

Signed-off-by: Bastian Blank <waldi@debian.org>

[build] make rpm fix

Adaptation to new prioritizer and path changes

Brian Wong, Pillardata

[libmultipath] discovery broken for DASD

Since I moved the configlet setting right after vendor/product string
fetching in sysfs_scsi_pathinfo() and forgot about its *ccw* counterpart.

Stefan Weinhuber and Stefan Bader spotted and fixed that.

[libmultipath] set_default_blacklist() : fix the fix

[libmultipath] set_default_blacklist() should not register .rodata strings

... because free_blacklist will try to free those strings, and some glibc
are set to be verbose about that by default.

[libmultipath] snprint_hw_prio_callout() segv

... if prio_callout is not defined in the default config section.

[libmultipath] correct keyword lookup in snprint_hwentry()

[libmultipath] fix blacklist printing segv when "show config"

[libmultipath] fix uninitialized var in discovery.c:get_serial()

[libmultipath] plug leaks in blacklist free_* functions

[libmultipath] plug leak in discover.c:syfs_get_*()

[config] synthetic template mispelled the "user_friendly_names" keyword

Missed the ending 's'.

[libmultipath] "show conf" CLI command to output the blacklist too

All multipath.conf keywords and sections are now covered by "show conf".

[libmultipath] fix new "blacklist" keyword incorrectly spelled to "devnode"

[libmultipath] yet more output prefixing

[libmultipath] move apply_format() from discovery.c to callout.c

[libmultipath] don't set the hwe configlet pointer if !(mask & DI_SYSFS)

Vendor and product strings are fetched if (mask & DI_SYSFS).

We shouldn't even try to find_hwe(vendor, product) if there is a chance
the params are not set.

[libmultipath] more path: and multipath: output prefixing

[libmultipath] add "map:" prefix to propsel functions output

[libmultipath] path discovery reorganisation

o split logic in smaller functions
o prefix output with "%s:...", pp->dev
o rename "curpath" to "pp"

[config] add the "device" blacklist keyword to config templates

[libmultipath] adapt discover.c to the new libsysfs2 API

In fact, I tried to use only the functions common to libsysfs v1 and v2.

[libmultipath] rename conf->default_hwhandler to conf->hwhandler

Misleading name. The real default is DEFAULT_HWHANDLER.

[libmultipath] rename conf->default_getprio to conf->getprio

Misleading name. The real default is DEFAULT_GETPRIO.

[libmultipath] rename conf->default_getuid to conf->getuid

Misleading name. The real default is DEFAULT_GETUID.

[libmultipath] rename conf->default_checker_index to conf->checker_index

Misleading name. The real default is DEFAULT_CHECKER_ID.

[libmultipath] rename conf->default_pgpolicy to conf->pgpolicy

Misleading name. The real default is DEFAULT_PGPOLICY.

[libmultipath] remove vector.h include from config.h

[libmultipath] deprecate the "devnode_blacklist" keyword

Please use the "blacklist" keyword instead.

The blacklist section implements the "devnode", "wwid" and "device"
keywords, so it's misleading to keep the old section name.

[libmultipath] add device blacklisting

Syntax is :

devnode_blacklist {
devnode sr*
wwid 6005*
device {
vendor DEC
product *
}
}

[libmultipath] renaming a map triggers its partitions renames

[multipathd] "show topo" as a "show maps topo" alias

[multipathd] add "show config" CLI command

This commands dumps a multipath.conf config file.

The "defaults" section is factorized : settings in sync with the internal
defaults are not printed.

The "devices" section lists the internal hwtable, plus mods and adds from
the actual config file. The layout is factorized : settings in sync with
the "defaults" section are not printed.

The "devnode_blacklist" section is ommited for now, as this requires a bit
more infrastructure.

The "multipaths" section is not factorized as we can not reliably guess the
hardware a multipath is parented to. Multipath entries are just clones
of their actual config file equivalent.

[libmultipath] add internal some defaults handling to propsel.c

o getprio
o checker_index
o getuid

Merge branch 'master' of /linux/storage/multipath-tools/

[libmultipath] fix the internal defaults loading

hwtable.c segfaults : the increment of the hwe pointer is wrong

Mark Haverkamp, OSDL

[libmultipath] STK D280 to use the tpc prioritizer

Align the defaults to SGI TP4500 ones.

Suggested by Chris Penney

[libmultipath] add a buffer len param to get_pgpolicy_name()

[libmultipath] do proper string equality checks in dict.c

[libmultipath] move CHECKINT definition to defaults.h

And transform MAX_CHECKINT into a macro.

Use that in dict.c to set conf->max_checkint with the same formula we
use when we set the in-core default.

[libmultipath] define more defaults to defaults.h

And use them in propsel.c when appropriate.

[libmultipath] add a buffer len param to get_checker_name()

[build] adapt to new "make" rules

compatibility with the new make's line continuation rules.

Steve Langasek

[libmultipath] fix the fix

braino.

[libmultipath] fix segfault on dlog() format violation

Noticed by Kiyoshi Ueda, NEC
Alasdair Kergon, Redhat, suggested the compilation checking.

[multipathd] 'show maps xxx' CLI tweaks

o rename PRINT_MAP_FAILBACK to PRINT_MAP_STATUS
o 'print maps' command renamed to 'print maps status'
o 'print maps' now use the PRINT_MAP_NAMES layout, ie name|dm_name|wwid
o remove the dm_name field from PRINT_MAP_STATUS and PRINT_MAP_STATS

[libmultipath] hardware defaults framework overhaul

- Access to all "struct hwentry" parameters
- Removes old store_hwe{_ext} functions
- Remove unused selector_args param in all config.h structs
- Add hardware family maintainership banner, and pre-populate
- Move hardcoded minio in a defaults.h:DEFAULT_MINIO define

Please verify I didn't mess the defaults for hardware you care about,
and start claiming maintainership.

[multipathd] remove unused variable

[multipathd] "multipath" is a "map" synonym

Like "multipaths" is a "maps" synonym

[multipathd] convert another user to find_mp_by_str()

[multipathd] add "show map $map topo" CLI command

multipathd> sho map dm-1 topo
mpath0 (149455400000000000000000000000000d00600000b000000)
[size=67 GB][features=1 queue_if_no_path][hwhandler=0]
\_ round-robin 0 [prio=10][enabled]
 \_ 3:0:0:1 sdb 8:16 [active][ready]
\_ round-robin 0 [prio=6][enabled]
 \_ 4:0:0:1 sde 8:64 [active][ready]

and :

multipathd> sho map mpath0 topo
mpath0 (149455400000000000000000000000000d00600000b000000)
[size=67 GB][features=1 queue_if_no_path][hwhandler=0]
\_ round-robin 0 [prio=0][enabled]
 \_ 3:0:0:1 sdb 8:16 [active][ready]
\_ round-robin 0 [prio=0][enabled]
 \_ 4:0:0:1 sde 8:64 [active][ready]

[multipathd] allow shortcut in CLI syntax

For example "li maps topo" is allowed and synonymous of "list maps
topology".

[multipathd] change last CLI command syntax

"show multipaths" was confusing because "show maps" looks so awfuly close.

Now :
1) "multipaths" is a "maps" synomym
2) "show multipaths topology" shows what "show multipaths" did

There is a bit of function naming sanitizing in the lib too.

[libmultipath] tweaks for IBM / SGI common hardware

here's a small update for the hardware table.

I've added a new controller (IBM DS4100), which uses the same controller
than SGI TPC. For a proper support I had to relax the checks in pp_tpc
slightly.

Secondly, it sets the FAILBACK for all machines supported by pp_tpc to
-FAILBACK_IMMEDIATE, as we cannot (yet) adjust the path setting. Hence
we need to switch back to the preferred path as soon as it becomes
available again.

Hannes Reinecke, Suse

[build] Makefile cleanup

Fixup CFLAGS so that it can be adjusted by setting 'OPTFLAGS'
from the commandline.
General cleanup of Makefiles; move common parts into Makefile.inc.

Signed-off-by: Hannes Reinecke <hare@suse.de>

[devmapper] Compilation fixes

As we're returning a strdup()ed string from dm_mapname() it hardly
qualifies as 'const'.

Signed-off-by: Hannes Reinecke <hare@suse.de>

[kpartx] Add suport for S/390 ECKD DASD

This patch adds support for S/390 ECKD DASD partition tables.

Signed-off-by: Hannes Reinecke <hare@suse.de>

[devmapper] Check mapname length

dm_task_get_name might return a zero-length string, which also
seem to indicate an invalid mapname. Fix dm_mapname() to always
return NULL if either no mapname or an zero-length mapname
was returned.

Signed-off-by: Hannes Reinecke <hare@suse.de>

[multipathd] add "show multipaths" CLI command

Mimics the 'multipath -ll' output in the CLI.

[libmultipath] groundwork to share print_mp() between multipath & deamon

Introduce snprint_mp() and teach print_mp() to use it.

print_mp() uses a 64 lines buffer, which mean multipath(8) can only
print 62 "paths or pathgroup". Daemon will use the buffer doubling
trick to work around that.

You are allowed to report your unhappiness about this default :/

[kpartx] use lseek64 instead of self-defined syscall

Hannes Reinecke, Suse

[priority] new prioritizer for some SGI hardware (take 2)

Add to files for real.

Hannes Reinecke, Suse

[libmultipath] add DASD discovery profile

Make DASD fits the vendor/product scsi-ism the tools use to
index its hardware table.

Hannes Reinecke, Suse

[multipathd] adjust oom_adj to the 2.6.14 standards

As of 2.6.14, the kernel will only accept oom_adj values of > -17.
Writing '-17' into oom_adj will be ignored. This patch fixes the
value to -16.

Hannes Reinecke, Suse

[libmultipath] SGI hardware defaults tuning

Switch TPs to GROUP_BY_PRIO now that we have a priority checker

That enables multiple paths to the prefered array port to
be grouped together and load-balanced. I'll do that and see if users get
annoyed.

Suggested by Hannes Reinecke, Suse

[libmultipath] add some IBM hardware defaults

Hannes Reinecke, Suse

[priority] new prioritizer for some SGI hardware

Hannes Reinecke, Suse

[kpartx] bug fixes for dos extended partition [4/4]

There is meaninglessly duplicated code in read_dos_pt().
It should be safe to remove it.

un'ichi "Nick" Nomura, NEC

[kpartx] bug fixes for dos extended partition [3/4]

in the for loop in read_extended_partition,
'here' is updated if the next extended partition is found.

However, the 'here' value should be updated in the next while loop.
Otherwise it's possible that following partition table
entry refers updated value and generate wrong mapping.

I'm not sure if there is any partitioning tool which can generate
such table. But it's safer to fix this.

Jun'ichi Nomura, NEC

[kpartx] bug fixes for dos extended partition [2/4]

kpartx usually doesn't create a mapping for extended partition.
However, it does if it's empty.
It's harmless but not consistent.
Attached patch makes it consistent by not creating a mapping
even when the extended partition is empty.

Please consider to apply.

If you have logical partitions in extended partition:
# parted /dev/sdc p
Disk geometry for /dev/sdc: 0.000-34686.000 megabytes
Disk label type: msdos
Minor    Start       End     Type      Filesystem  Flags
1          7.844     31.376  extended
5          7.875     23.532  logical

No mapping is created for extended partition:
# dmsetup table|grep sdc|sort
  sdc5: 0 32067 linear 8:32 16128

However, if the extended partition is empty:
# parted /dev/sdc p
Disk geometry for /dev/sdc: 0.000-34686.000 megabytes
Disk label type: msdos
Minor    Start       End     Type      Filesystem  Flags
1          7.844     31.376  extended

The following mapping is created:
# dmsetup table|grep sdc|sort
  sdc1: 0 48195 linear 8:32 16065

Jun'ichi Nomura, NEC

[kpartx] bug fixes for dos extended partition [1/4]

the latest kpartx generates wrong mapping for
MS-DOS extended partitions.
Attached patch fixes the problem.
Please consider to apply.

Consider you created the following partition table.
# parted /dev/sdc p
Disk geometry for /dev/sdc: 0.000-34686.000 megabytes
Disk label type: msdos
Minor    Start       End     Type      Filesystem  Flags
  1          0.031      7.844  primary
  2          7.844     31.376  extended
  5          7.875     23.532  logical
  6         23.563     31.376  logical

kpartx should generate the following mappings:
# dmsetup table|grep sdc|sort
  sdc1: 0 16002 linear 8:32 63
  sdc5: 0 32067 linear 8:32 16128
  sdc6: 0 16002 linear 8:32 48258

However, actually it generates:
# dmsetup table|grep sdc|sort
  sdc1: 0 16002 linear 8:32 63
  sdc5: 0 32067 linear 8:32 16128
  sdc6: 0 16065 linear 8:32 80325
  sdc7: 0 16002 linear 8:32 48258

Jun'ichi Nomura, NEC

[multipathd] move show_{paths,maps} in cli_handlers.c

Near their users.

[libmultipath] remove remnents of the old print padding framework

[libmultipath] extend the printing framework

- for pathgroup information printing
- for print_mp() start of integration

[libmultipath] sysfs_get_size() returning 0 is not necessarily an error

0-sized devices exist in real life but sysfs_get_size() returns 0 on
errors.

Current behaviour cascade the failure in :

- sysfs_get_size
- up to sysfs_pathinfo
- up to pathinfo
- up to discovery

Not fair at all.

So feed the &size as sysfs_get_size() parameter and use the return code
only to report status to caller.

Noted by Maxim Kozover

[libmultipath] remove math lib dependency

The new printing framework does not need the math lib anymore.
So remove it from the includes and Makefiles.

[libmultipath] drop the path cache

- remove the cache library files
- remove the cache loading in multipath
- remove the "dump pathvec" facility in multipathd
- remove a small cache assertion in the discovery

[libmultipath] max column size incorrectly trimed to 32 in previous patch

Set it back to 64 to enable display of full wwid fields.

[libmultipath] fix multipath renaming

This handles a rename from within multipath
now only via multipath.conf file.

Edward Goggin, EMC

[libmultipath] extensible padded printing framework

And decrement author shame counter :/

[multipathd] add "show maps stats" CLI command

xa-s05:~# multipathd -k"show maps stats"
name   sysfs path_fails switch_grp map_loads total_q_time q_tmo
mpath0 dm-0  1          4424       2         0            0
mpath1 dm-1  0          13717      2         0            0

[libmultipath] log-friendly version of print_mp() in domap()

Seeing this in log files is not nice :

mpath1 (149455400000000000000000000000000d20600000b000000)
[size=33 GB][features="1 queue_if_no_path"][hwhandler="0"]
\_ round-robin 0 [enabled]
  \_ 8:0:0:2  sdc 8:32  [active][undef]
\_ round-robin 0 [enabled]
  \_ 9:0:0:2  sde 8:64  [active][undef]
\_ round-robin 0 [enabled]
  \_ 10:0:0:2 sdg 8:96  [active][undef]
\_ round-robin 0 [active]
  \_ 6:0:0:2  sdl 8:176 [active][undef]

Let's rather print this :

Nov 24 18:05:38 | mpath1: load table [0 71122560 multipath 0 0 4 1
round-robin 0 1 1 8:32 100 round-robin 0 1 1 8:64 100 round-robin 0 1 1
8:96 100 round-robin 0 1 1 8:176 100]

[multipathd] make clear in the logs what triggered an action

Nov 24 17:37:58 | mpath0: event checker started
Nov 24 17:37:58 | mpath1: event checker started
Nov 24 17:37:58 | path checkers start up
Nov 24 17:38:08 | sdb: add path (uevent)
Nov 24 17:38:08 | 8:16: ownership set to mpath0
Nov 24 17:38:08 | sdc: add path (uevent)
Nov 24 17:38:08 | 8:32: ownership set to mpath1
Nov 24 17:38:23 | mpath1: switch to path group #1
Nov 24 17:39:21 | mpath1: switch to path group #2 (operator)
Nov 24 17:39:36 | mpath1: switch to path group #1
Nov 24 17:39:39 | mpath0: switch to path group #2
Nov 24 17:39:42 | sdb: remove path (operator)
Nov 24 17:39:47 | mpath1: switch to path group #2
Nov 24 17:40:15 | mpath1: switch to path group #1
Nov 24 17:40:50 | sdb: remove path (uevent)
Nov 24 17:40:50 | sdb: spurious uevent, path not in pathvec
Nov 24 17:40:50 | uevent trigger error
Nov 24 17:41:03 | sdb: add path (uevent)
Nov 24 17:41:04 | 8:16: ownership set to mpath0

[libmultipath] log the date in "multipathd -d" output

xa-s05:~/scm/multipath-tools-0.4.7# multipathd/multipathd -d
Nov 24 15:22:18 | mpath0: event checker started
Nov 24 15:22:18 | mpath1: event checker started
Nov 24 15:22:18 | path checkers start up
Nov 24 15:22:18 | mpath1: switch to path group #1
Nov 24 15:22:52 | mpath0: switch to path group #4
Nov 24 15:23:00 | mpath1: switch to path group #3

[multipathd] remove the retry login in uev_remove_path()

The last uev_remove_path() should succeed since in addition to
removing from the map the path being removed by the uevent, it will
also remove all paths found in the current map which do not appear
in pathvec.

This avoids long delays due to path verifying in the old code.

Edward Goggin, EMC

[multipathd] "add/del map" to keep the DM in sync

The reach that goal, the following changes were applied :

- call dm_lib_release() after each map creation/deletion
- coalesce_paths() new refwwid parameter to do scope-limiting
- flush_map() didn't really need the devname parameter, remove
- uev_{add,remove}_map extended to manipulate DM maps
- trap devmap umount events to try a little house-keeping
  (For testing. Might be removed latter)

[libmultipath] move get_refwwid() to libmultipath/configure.c

And pass "dev" and "dev_type" as params
to make it usable from multipathd.

[multipathd] discarding an event is not an error

This avoids sending misleading "uxtrigger error" messages.

[libmultipath] fix non-daemon build

The waiting logic in sysfs_get_bus() does not matter for multipath(8).
Pre-process it out.

[libmultipath] move messages from crit to warn in domap()

Edward Goggin, EMC

[libmultipath] discovery too fast for sysfs_get_bus

discovery.c:sysfs_get_bus() is unreliable in the following code path :

uev_add_path
-> store_pathinfo
-> pathinfo

Example trace :

### sdb: sdev = 539720
### sdb: attr_path = /sys/block/sdb/device
### sdb: attr_buff = /sys/devices/platform/host3/target3:0:0/3:0:0:1
### sdb: sdev->bus =

For whatever reason sysfs_open_device_path() can silently fails to
produce a usable ->bus.

As a consequence,
pp->hwe is NULL
-> mpp->hwe inherits this pp->hwe == NULL through add_map_with_path
-> the prop selectors fails to detect hardware settings

So this patch adds a sleep there.

[multipath] resurect the rules file

I overlooked the fact we still need the rules file to handle the
partitions through kpartx.

So revert 3872743f0b2479b0450368e56a664583821bc5a3, but remove the
multipath(8) trigger from the rules file.

[multipathd] more symmetry in lock/unlock macro usage

Edward Goggin, EMC

[multipathd] use DM rename instead of a remove/create cycle

This patch depends on a kernel patch yet to be merged. Beware.

Also fixed callers of dm_info() to check for <=0 as an error instead of
just == 0.

Edward Goggin, EMC.

[libmultipath] DCG hardware defaults do not apply to "LUN_Z"

[libmultipath] don't switchgroup on map create in multipathd

Keep the old behaviour for multipath(8)

[libmultipath] remove redondant and wrong adopt_paths in setup_multipath

This caused already loaded maps to disappear at daemon startup.

[build] legacy files update

- ChangeLog purged, now points to the web
- README was too outdated to live
- FAQ points to the web

[build] remove the udev rules file handling