multipath/multipath.conf.5

   1 .TH MULTIPATH.CONF 5 "30 November 2006"
   2 .SH NAME
   3 multipath.conf \- multipath daemon configuration file
   4 .SH DESCRIPTION
   5 .B "multipath.conf"
   6 is the configuration file for the multipath daemon. It is used to
   7 overwrite the built-in configuration table of \fBmultipathd\fP.
   8 Any line whose first non-white-space character is a '#' is considered
   9 a comment line. Empty lines are ignored.
  10 .SH SYNTAX
  11 The configuration file contains entries of the form:
  12 .RS
  13 .nf
  14 .ft B
  15 .sp
  16 <section> {
  17 .RS
  18 .ft B
  19 <attribute> <value>
  20 .I "..."
  21 .ft B
  22 <subsection> {
  23 .RS
  24 .ft B
  25 <attribute> <value>
  26 .I "..."
  27 .RE
  28 }
  29 .RE
  30 }
  31 .ft R
  32 .fi
  33 .RE
  34 .LP
  35 Each \fIsection\fP contains one or more attributes or subsections. The
  36 recognized keywords for attributes or subsections depend on the
  37 section in which they occor.
  38 .LP
  39 The following \fIsection\fP keywords are recognized:
  40 .TP 17
  41 .B defaults
  42 This section defines default values for attributes which are used
  43 whenever no values are given in the appropriate device or multipath
  44 sections.
  45 .TP
  46 .B blacklist
  47 This section defines which devices should be excluded from the
  48 multipath topology discovery.
  49 .TP
  50 .B blacklist_exceptions
  51 This section defines which devices should be included in the
  52 multipath topology discovery, despite being listed in the
  53 .I blacklist
  54 section.
  55 .TP
  56 .B multipaths
  57 This section defines the multipath topologies. They are indexed by a
  58 \fIWorld Wide Identifier\fR(wwid), which is taken to be the value of
  59 the udev attribute given by the
  60 \fIuid_attribute\fR keyword.
  61 .TP
  62 .B devices
  63 This section defines the device-specific settings.
  64 .RE
  65 .LP
  66 .SH "defaults section"
  67 The
  68 .B defaults
  69 section recognizes the following keywords:
  70 .TP 17
  71 .B polling_interval
  72 interval between two path checks in seconds. For properly functioning paths,
  73 the interval between checks will gradually increase to
  74 .B max_polling_interval;
  75 default is
  76 .I 5
  77 .TP
  78 .B max_polling_interval
  79 maximal interval between two path checks in seconds; default is
  80 .I 4 * polling_interval
  81 .TP
  82 .B multipath_dir
  83 directory where the dynamic shared objects are stored; default is system
  84 dependent, commonly
  85 .I /lib/multipath
  86 .TP
  87 .B verbosity
  88 default verbosity. Higher values increase the verbosity level. Valid
  89 levels are between 0 and 6; default is
  90 .I 2
  91 .TP
  92 .B reassign_maps
  93 enable reassigning of device-mapper maps. With this option multipathd
  94 will remap existing device-mapper maps to always point to multipath
  95 device, not the underlying block devices. Possible values are
  96 \fIyes\fR and \fIno\fR. Default is
  97 .I yes
  98 .TP
  99 .B path_selector
 100 The default path selector algorithm to use; they are offered by the
 101 kernel multipath target. There are three selector algorithms.
 102 .RS
 103 .TP 12
 104 .B "round-robin 0"
 105 Loop through every path in the path group, sending the same amount of IO to
 106 each.
 107 .TP
 108 .B "queue-length 0"
 109 Send the next bunch of IO down the path with the least amount of outstanding IO.
 110 .TP
 111 .B "service-time 0"
 112 Choose the path for the next bunch of IO based on the amount of outstanding IO
 113 to the path and its relative throughput.
 114 .RE
 115 .TP
 116 .B path_grouping_policy
 117 The default path grouping policy to apply to unspecified
 118 multipaths. Possible values are
 119 .RS
 120 .TP 12
 121 .B failover
 122 1 path per priority group
 123 .TP
 124 .B multibus
 125 all paths in 1 priority group
 126 .TP
 127 .B group_by_serial
 128 1 priority group per serial number
 129 .TP
 130 .B group_by_prio
 131 1 priority group per priority value. Priorities are determined by
 132 callout programs specified as a global, per-controller or
 133 per-multipath option in the configuration file.
 134 .TP
 135 .B group_by_node_name
 136 1 priority group per target node name. Target node names are fetched
 137 in /sys/class/fc_transport/target*/node_name.
 138 .TP
 139 Default value is \fImultibus\fR.
 140 .RE
 141 .TP
 142 .B uid_attribute
 143 The udev attribute providing a unique path
 144 identifier. Default value is
 145 .I ID_SERIAL
 146 .TP
 147 .B prio
 148 The name of the path priority routine. The specified routine
 149 should return a numeric value specifying the relative priority
 150 of this path. Higher number have a higher priority.
 151 .I "none"
 152 is a valid value. Currently the following path priority routines
 153 are implemented:
 154 .RS
 155 .TP 12
 156 .B const
 157 Return a constant priority of \fI1\fR.
 158 .TP
 159 .B emc
 160 Generate the path priority for EMC arrays.
 161 .TP
 162 .B alua
 163 Generate the path priority based on the SCSI-3 ALUA settings.
 164 .TP
 165 .B ontap
 166 Generate the path priority for NetApp arrays.
 167 .TP
 168 .B rdac
 169 Generate the path priority for LSI/Engenio/NetApp E-Series RDAC controller.
 170 .TP
 171 .B hp_sw
 172 Generate the path priority for Compaq/HP controller in
 173 active/standby mode.
 174 .TP
 175 .B hds
 176 Generate the path priority for Hitachi HDS Modular storage arrays.
 177 .TP
 178 .B random
 179 Generate a random priority between 1 and 10.
 180 .TP 12
 181 .B weightedpath
 182 Generate the path priority based on the regular expression and the
 183 priority provided as argument. requires prio_args keyword.
 184 .TP
 185 Default value is \fBnone\fR.
 186 .RE
 187 .TP
 188 .B prio_args
 189 Arguments to pass to to the prio function.  Currently only used with
 190 .I weighted, which needs a value of the form
 191 .I "<hbtl|devname> <regex1> <prio1> <regex2> <prio2> ..."
 192 .I hbtl
 193 regex can be of SCSI H:B:T:L format  Ex: 1:0:.:. , *:0:0:.
 194 .I devname
 195 regex can be of device name format  Ex: sda , sd.e
 196 .TP
 197 .B features
 198 Specify any device-mapper features to be used. Syntax is
 199 .I num list
 200 where
 201 .I num
 202 is the number of features in
 203 .I list.
 204 Possible values for the feature list are
 205 .RS
 206 .TP 12
 207 .B queue_if_no_path
 208 Queue IO if no path is active; identical to the
 209 .I no_path_retry
 210 keyword.
 211 .TP
 212 .B no_partitions
 213 Disable automatic partitions generation via kpartx.
 214 .RE
 215 .TP
 216 .B path_checker
 217 The default method used to determine the paths state. Possible values
 218 are
 219 .RS
 220 .TP 12
 221 .B readsector0
 222 (Deprecated) Read the first sector of the device. This checker is being
 223 deprecated, please use \fIdirectio\fR instead
 224 .TP
 225 .B tur
 226 Issue a
 227 .I TEST UNIT READY
 228 command to the device.
 229 .TP
 230 .B emc_clariion
 231 Query the EMC Clariion specific EVPD page 0xC0 to determine the path
 232 state.
 233 .TP
 234 .B hp_sw
 235 Check the path state for HP storage arrays with Active/Standby firmware.
 236 .TP
 237 .B rdac
 238 Check the path state for LSI/Engenio/NetApp E-Series RDAC storage controller.
 239 .TP
 240 .B directio
 241 Read the first sector with direct I/O.
 242 .TP
 243 Default value is \fIdirectio\fR.
 244 .RE
 245 .TP
 246 .B failback
 247 Tell multipathd how to manage path group failback.
 248 .RS
 249 .TP 12
 250 .B immediate
 251 Immediately failback to the highest priority pathgroup that contains
 252 active paths.
 253 .TP
 254 .B manual
 255 Do not perform automatic failback.
 256 .TP
 257 .B followover
 258 Only perform automatic failback when the first path of a pathgroup
 259 becomes active. This keeps a node from automatically failing back when
 260 another node requested the failover.
 261 .TP
 262 .B values > 0
 263 deferred failback (time to defer in seconds)
 264 .TP
 265 Default value is \fImanual\fR.
 266 .RE
 267 .TP
 268 .B  rr_min_io
 269 The number of IO to route to a path before switching to the next in
 270 the same path group. This is only for BIO based multipath. Default is
 271 .I 1000
 272 .TP
 273 .B rr_min_io_q
 274 The number of IO requests to route to a path before switching to the
 275 next in the same path group. This is only for request based multipath.
 276 Default is
 277 .I 1
 278 .TP
 279 .B rr_weight
 280 If set to \fIpriorities\fR the multipath configurator will assign
 281 path weights as "path prio * rr_min_io". Possible values are
 282 .I priorities
 283 or
 284 .IR uniform .
 285 Default is
 286 .IR uniform .
 287 .TP
 288 .B no_path_retry
 289 Specify the number of retries until disable queueing, or
 290 .I fail
 291 for immediate failure (no queueing),
 292 .I queue
 293 for never stop queueing. Default is 0.
 294 .TP
 295 .B user_friendly_names
 296 If set to
 297 .I yes
 298 , using the bindings file
 299 .I /etc/multipath/bindings
 300 to assign a persistent and unique alias to the multipath, in the form of mpath<n>.
 301 If set to
 302 .I no
 303 use the WWID as the alias. In either case this be will
 304 be overriden by any specific aliases in the \fImultipaths\fR section.
 305 Default is
 306 .I no
 307 .TP
 308 .B flush_on_last_del
 309 If set to
 310 .I yes
 311 , multipathd will disable queueing when the last path to a device has been
 312 deleted. Default is
 313 .I no
 314 .TP
 315 .B max_fds
 316 Specify the maximum number of file descriptors that can be opened by multipath
 317 and multipathd.  This is equivalent to ulimit -n. A value of \fImax\fR will set
 318 this to the system limit from /proc/sys/fs/nr_open. If this is not set, the
 319 maximum number of open fds is taken from the calling process. It is usually
 320 1024. To be safe, this should be set to the maximum number of paths plus 32,
 321 if that number is greated than 1024.
 322 .TP
 323 .B checker_timeout
 324 Specify the timeout to user for path checkers that issue scsi commands with an
 325 explict timeout, in seconds; default taken from
 326 .I /sys/block/sd<x>/device/timeout
 327 .TP
 328 .B fast_io_fail_tmo
 329 Specify the number of seconds the scsi layer will wait after a problem has been
 330 detected on a FC remote port before failing IO to devices on that remote port.
 331 This should be smaller than dev_loss_tmo. Setting this to
 332 .I off
 333 will disable the timeout.
 334 .TP
 335 .B dev_loss_tmo
 336 Specify the number of seconds the scsi layer will wait after a problem has
 337 been detected on a FC remote port before removing it from the system. This
 338 can be set to "infinity" which sets it to the max value of 2147483647
 339 seconds, or 68 years.
 340 .TP
 341 .B queue_without_daemon
 342 If set to
 343 .I no
 344 , when multipathd stops, queueing will be turned off for all devices.
 345 This is useful for devices that set no_path_retry.  If a machine is
 346 shut down while all paths to a device are down, it is possible to hang waiting
 347 for IO to return from the device after multipathd has been stopped. Without
 348 multipathd running, access to the paths cannot be restored, and the kernel
 349 cannot be told to stop queueing IO. Setting queue_without_daemon to
 350 .I no
 351 , avoids this problem. Default is
 352 .I yes
 353 .TP
 354 .B bindings_file
 355 The full pathname of the binding file to be used when the user_friendly_names option is set. Defaults to
 356 .I /etc/multipath/bindings
 357 .TP
 358 .B wwids_file
 359 The full pathname of the wwids file, which is used by multipath to keep track
 360 of the wwids for LUNs it has created multipath devices on in the past.
 361 Defaults to
 362 .I /etc/multipath/wwids
 363 .TP
 364 .B log_checker_err
 365 If set to
 366 .I once
 367 , multipathd logs the first path checker error at logging level 2. Any later
 368 errors are logged at level 3 until the device is restored. If set to
 369 .I always
 370 , multipathd always logs the path checker error at logging level 2. Default is
 371 .I always
 372 .
 373 .SH "blacklist section"
 374 The
 375 .I blacklist
 376 section is used to exclude specific device from inclusion in the
 377 multipath topology. It is most commonly used to exclude local disks or
 378 LUNs for the array controller.
 379 .LP
 380 The following keywords are recognized:
 381 .TP 17
 382 .B wwid
 383 The \fIWorld Wide Identification\fR of a device.
 384 .TP
 385 .B devnode
 386 Regular expression of the device nodes to be excluded.
 387 .TP
 388 .B device
 389 Subsection for the device description. This subsection recognizes the
 390 .I vendor
 391 and
 392 .I product
 393 keywords. For a full description of these keywords please see the
 394 .I devices
 395 section description.
 396 .SH "blacklist_exceptions section"
 397 The
 398 .I blacklist_exceptions
 399 section is used to revert the actions of the
 400 .I blacklist
 401 section, ie to include specific device in the
 402 multipath topology. This allows to selectively include devices which
 403 would normally be excluded via the
 404 .I blacklist
 405 section.
 406 .LP
 407 The following keywords are recognized:
 408 .TP 17
 409 .B wwid
 410 The \fIWorld Wide Identification\fR of a device.
 411 .TP
 412 .B devnode
 413 Regular expression of the device nodes to be excluded.
 414 .TP
 415 .B device
 416 Subsection for the device description. This subsection recognizes the
 417 .I vendor
 418 and
 419 .I product
 420 keywords. For a full description of these keywords please see the
 421 .I devices
 422 section description.
 423 .SH "multipaths section"
 424 The only recognized attribute for the
 425 .B multipaths
 426 section is the
 427 .I multipath
 428 subsection.
 429 .LP
 430 The
 431 .B multipath
 432 subsection recognizes the following attributes:
 433 .TP 17
 434 .B wwid
 435 Index of the container. Mandatory for this subsection.
 436 .TP
 437 .B alias
 438 (Optional) symbolic name for the multipath map.
 439 .LP
 440 The following attributes are optional; if not set the default values
 441 are taken from the
 442 .I defaults
 443 or
 444 .I devices
 445 section:
 446 .sp 1
 447 .PD .1v
 448 .RS
 449 .TP 18
 450 .B path_grouping_policy
 451 .TP
 452 .B path_selector
 453 .TP
 454 .B prio
 455 .TP
 456 .B prio_args
 457 .TP
 458 .B failback
 459 .TP
 460 .B rr_weight
 461 .TP
 462 .B flush_on_last_del
 463 .TP
 464 .B no_path_retry
 465 .TP
 466 .B rr_min_io
 467 .TP
 468 .B rr_min_io_q
 469 .TP
 470 .B features
 471 .RE
 472 .PD
 473 .LP
 474 .SH "devices section"
 475 The only recognized attribute for the
 476 .B devices
 477 section is the
 478 .I device
 479 subsection.
 480 .LP
 481 The
 482 .I device
 483 subsection recognizes the following attributes:
 484 .TP 17
 485 .B vendor
 486 (Mandatory) Vendor identifier
 487 .TP
 488 .B product
 489 (Mandatory) Product identifier
 490 .TP
 491 .B revision
 492 (Optional) Revision identfier
 493 .TP
 494 .B product_blacklist
 495 (Optional) Product strings to blacklist for this vendor
 496 .TP
 497 .B alias_prefix
 498 (Optional) The user_friendly_names prefix to use for this
 499 device type, instead of the default "mpath"
 500 .TP
 501 .B hardware_handler
 502 (Optional) The hardware handler to use for this device type.
 503 The following hardware handler are implemented:
 504 .RS
 505 .TP 12
 506 .B 1 emc
 507 Hardware handler for EMC storage arrays.
 508 .TP
 509 .B 1 rdac
 510 Hardware handler for LSI/Engenio/NetApp E-Series RDAC storage controller.
 511 .TP
 512 .B 1 hp_sw
 513 Hardware handler for Compaq/HP storage arrays in active/standby
 514 mode.
 515 .TP
 516 .B 1 alua
 517 Hardware handler for SCSI-3 ALUA compatible arrays.
 518 .RE
 519 .LP
 520 The following attributes are optional; if not set the default values
 521 are taken from the
 522 .I defaults
 523 section:
 524 .sp 1
 525 .PD .1v
 526 .RS
 527 .TP 18
 528 .B path_grouping_policy
 529 .TP
 530 .B uid_attribute
 531 .TP
 532 .B path_selector
 533 .TP
 534 .B path_checker
 535 .TP
 536 .B prio
 537 .TP
 538 .B prio_args
 539 .TP
 540 .B features
 541 .TP
 542 .B failback
 543 .TP
 544 .B rr_weight
 545 .TP
 546 .B no_path_retry
 547 .TP
 548 .B rr_min_io
 549 .TP
 550 .B rr_min_io_rq
 551 .TP
 552 .B fast_io_fail_tmo
 553 .TP
 554 .B dev_loss_tmo
 555 .TP
 556 .B flush_on_last_del
 557 .RE
 558 .PD
 559 .LP
 560 .SH "KNOWN ISSUES"
 561 The usage of
 562 .B queue_if_no_path
 563 option can lead to
 564 .B D state
 565 processes being hung and not killable in situations where all the paths to the LUN go offline.
 566 It is advisable to use the
 567 .B no_path_retry
 568 option instead.
 569 .P
 570 The use of
 571 .B queue_if_no_path
 572 or
 573 .B no_path_retry
 574 might lead to a deadlock if the
 575 .B dev_loss_tmo
 576 setting results in a device being removed while I/O is still queued.
 577 The multipath daemon will update the
 578 .B dev_loss_tmo
 579 setting accordingly to avoid this deadlock. Hence if both values are
 580 specified the order of precedence is
 581 .I no_path_retry, queue_if_no_path, dev_loss_tmo
 582
 583 .SH "SEE ALSO"
 584 .BR udev (8),
 585 .BR dmsetup (8)
 586 .BR multipath (8)
 587 .BR multipathd (8)
 588 .SH AUTHORS
 589 .B multipath
 590 was developed by Christophe Varoqui, <christophe.varoqui@opensvc.com> and others.