Imported Upstream version 0.7.6
[platform/upstream/multipath-tools.git] / multipath / multipath.conf.5
1 .\" ----------------------------------------------------------------------------
2 .\" Update the date below if you make any significant change.
3 .\" Make sure there are no errors with:
4 .\" groff -z -wall -b -e -t multipath/multipath.conf.5
5 .\" man --warnings -E UTF-8 -l -Tutf8 -Z multipath/multipath.conf.5 >/dev/null
6 .\"
7 .\" TODO: Look for XXX and ???
8 .\"
9 .\" ----------------------------------------------------------------------------
10 .
11 .TH MULTIPATH.CONF 5 2017-08-18 Linux
12 .
13 .
14 .\" ----------------------------------------------------------------------------
15 .SH NAME
16 .\" ----------------------------------------------------------------------------
17 .
18 multipath.conf \- multipath daemon configuration file.
19 .
20 .
21 .\" ----------------------------------------------------------------------------
22 .SH DESCRIPTION
23 .\" ----------------------------------------------------------------------------
24 .
25 .B "/etc/multipath.conf"
26 is the configuration file for the multipath daemon. It is used to
27 overwrite the built-in configuration table of \fBmultipathd\fP.
28 Any line whose first non-white-space character is a '#' is considered
29 a comment line. Empty lines are ignored.
30 .PP
31 Currently used multipathd configuration can be displayed with the \fBmultipath -t\fR
32 or \fBmultipathd show config\fR command.
33 .
34 .
35 .\" ----------------------------------------------------------------------------
36 .SH SYNTAX
37 .\" ----------------------------------------------------------------------------
38 .
39 The configuration file contains entries of the form:
40 .RS
41 .nf
42 .ft B
43 .sp
44 <section> {
45 .RS
46 .ft B
47 <attribute> <value>
48 .I "..."
49 .ft B
50 <subsection> {
51 .RS
52 .ft B
53 <attribute> <value>
54 .I "..."
55 .RE
56 .ft B
57 }
58 .RE
59 .ft B
60 }
61 .ft R
62 .fi
63 .RE
64 .LP
65 Each \fIsection\fP contains one or more attributes or subsections. The
66 recognized keywords for attributes or subsections depend on the
67 section in which they occur.
68 .LP
69 .
70 \fB<attribute>\fR and \fB<value>\fR must be on a single line.
71 \fB<attribute>\fR is one of the keywords listed in this man page.
72 \fB<value>\fR is either a simple word (containing no whitespace and none of the
73 characters '\(dq', '#', and '!') or \fIone\fR string enclosed in double
74 quotes ("..."). Outside a quoted string, text starting with '#', and '!' is
75 regarded as a comment and ignored until the end of the line. Inside a quoted
76 string, '#' and '!' are normal characters, and whitespace is preserved.
77 To represent a double quote character inside a double quoted string, use two
78 consecutive double quotes ('""'). Thus '2.5\(dq SSD' can be written as "2.5"" SSD".
79 .LP
80 .
81 Opening braces ('{') must follow the (sub)section name on the same line. Closing
82 braces ('}') that mark the end of a (sub)section must be the only non-whitespace
83 character on the line. Whitespace is ignored except inside double quotes, thus
84 the indentation shown in the above example is helpful for human readers but
85 not mandatory.
86 .LP
87 .
88 The following \fIsection\fP keywords are recognized:
89 .TP 17
90 .B defaults
91 This section defines default values for attributes which are used
92 whenever no values are given in the appropriate device or multipath
93 sections.
94 .TP
95 .B blacklist
96 This section defines which devices should be excluded from the
97 multipath topology discovery.
98 .TP
99 .B blacklist_exceptions
100 This section defines which devices should be included in the
101 multipath topology discovery, despite being listed in the
102 \fIblacklist\fR section.
103 .TP
104 .B multipaths
105 This section defines the multipath topologies. They are indexed by a
106 \fIWorld Wide Identifier\fR(WWID). For details on the WWID generation
107 see section \fIWWID generation\fR below.
108 .TP
109 .B devices
110 This section defines the device-specific settings.
111 .TP
112 .B overrides
113 This section defines values for attributes that should override the
114 device-specific settings for all devices.
115 .RE
116 .LP
117 .
118 .
119 .\" ----------------------------------------------------------------------------
120 .SH "defaults section"
121 .\" ----------------------------------------------------------------------------
122 .
123 The \fIdefaults\fR section recognizes the following keywords:
124 .
125 .
126 .TP 17
127 .B verbosity
128 Default verbosity. Higher values increase the verbosity level. Valid
129 levels are between 0 and 6.
130 .RS
131 .TP
132 The default is: \fB2\fR
133 .RE
134 .
135 .
136 .TP
137 .B polling_interval
138 Interval between two path checks in seconds. For properly functioning paths,
139 the interval between checks will gradually increase to \fImax_polling_interval\fR.
140 This value will be overridden by the \fIWatchdogSec\fR
141 setting in the multipathd.service definition if systemd is used.
142 .RS
143 .TP
144 The default is: \fB5\fR
145 .RE
146 .
147 .
148 .TP
149 .B max_polling_interval
150 Maximal interval between two path checks in seconds.
151 .RS
152 .TP
153 The default is: \fB4 * polling_interval\fR
154 .RE
155 .
156 .
157 .TP
158 .B reassign_maps
159 Enable reassigning of device-mapper maps. With this option multipathd
160 will remap existing device-mapper maps to always point to multipath
161 device, not the underlying block devices. Possible values are
162 \fIyes\fR and \fIno\fR.
163 .RS
164 .TP
165 The default is: \fBno\fR
166 .RE
167 .
168 .
169 .TP
170 .B multipath_dir
171 Directory where the dynamic shared objects are stored. Defined at compile time,
172 commonly \fI/lib64/multipath/\fR or \fI/lib/multipath/\fR.
173 .RS
174 .TP
175 The default is: \fB<system dependent>\fR
176 .RE
177 .
178 .
179 .TP
180 .B path_selector
181 The default path selector algorithm to use; they are offered by the
182 kernel multipath target. There are three selector algorithms:
183 .RS
184 .TP 12
185 .I "round-robin 0"
186 Loop through every path in the path group, sending the same amount of I/O to
187 each. Some aspects of behavior can be controlled with the attributes:
188 \fIrr_min_io\fR, \fIrr_min_io_rq\fR and \fIrr_weight\fR.
189 .TP
190 .I "queue-length 0"
191 (Since 2.6.31 kernel) Choose the path for the next bunch of I/O based on the amount
192 of outstanding I/O to the path.
193 .TP
194 .I "service-time 0"
195 (Since 2.6.31 kernel) Choose the path for the next bunch of I/O based on the amount
196 of outstanding I/O to the path and its relative throughput.
197 .TP
198 The default is: \fBservice-time 0\fR
199 .RE
200 .
201 .
202 .TP
203 .B path_grouping_policy
204 The default path grouping policy to apply to unspecified
205 multipaths. Possible values are:
206 .RS
207 .TP 12
208 .I failover
209 One path per priority group.
210 .TP
211 .I multibus
212 All paths in one priority group.
213 .TP
214 .I group_by_serial
215 One priority group per serial number.
216 .TP
217 .I group_by_prio
218 One priority group per priority value. Priorities are determined by
219 callout programs specified as a global, per-controller or
220 per-multipath option in the configuration file.
221 .TP
222 .I group_by_node_name
223 One priority group per target node name. Target node names are fetched
224 in \fI/sys/class/fc_transport/target*/node_name\fR.
225 .TP
226 The default is: \fBfailover\fR
227 .RE
228 .
229 .
230 .TP
231 .B uid_attrs
232 The udev attribute providing a unique path identifier for corresponding
233 type of path devices. If this field is configured and matched with type
234 of device, it would override any other methods providing for device
235 unique identifier in config file, and it would activate merging uevents
236 according to the identifier to promote effiecncy in processing uevents.
237 It has no default value, if you want to identify path by udev attribute
238 and to activate merging uevents for SCSI and DASD devices, you can set
239 its value as: \fIuid_attrs "sd:ID_SERIAL dasd:ID_UID"\fR.
240 .RS
241 .TP
242 The default is: \fB<unset>\fR
243 .RE
244 .
245 .
246 .TP
247 .B uid_attribute
248 The udev attribute providing a unique path identifier.
249 .RS
250 .TP
251 The default is: for SCSI devices \fBID_SERIAL\fR
252 .TP
253 The default is: for DASD devices \fBID_UID\fR
254 .TP
255 The default is: for NVME devices \fBID_WWN\fR
256 .RE
257 .
258 .
259 .TP
260 .B getuid_callout
261 (Superseded by \fIuid_attribute\fR) The default program and args to callout
262 to obtain a unique path identifier. Should be specified with an absolute path.
263 .RS
264 .TP
265 The default is: \fB<unset>\fR
266 .RE
267 .
268 .
269 .TP
270 .B prio
271 The name of the path priority routine. The specified routine
272 should return a numeric value specifying the relative priority
273 of this path. Higher number have a higher priority.
274 \fI"none"\fR is a valid value. Currently the following path priority routines
275 are implemented:
276 .RS
277 .TP 12
278 .I const
279 Return a constant priority of \fI1\fR.
280 .TP
281 .I sysfs
282 Use the sysfs attributes \fIaccess_state\fR and \fIpreferred_path\fR to
283 generate the path priority. This prioritizer accepts the optional prio_arg
284 \fIexclusive_pref_bit\fR.
285 .TP
286 .I emc
287 (Hardware-dependent)
288 Generate the path priority for DGC class arrays as CLARiiON CX/AX and
289 EMC VNX and Unity families.
290 .TP
291 .I alua
292 (Hardware-dependent)
293 Generate the path priority based on the SCSI-3 ALUA settings. This prioritizer
294 accepts the optional prio_arg \fIexclusive_pref_bit\fR.
295 .TP
296 .I ontap
297 (Hardware-dependent)
298 Generate the path priority for NetApp ONTAP class and OEM arrays as IBM NSeries.
299 .TP
300 .I rdac
301 (Hardware-dependent)
302 Generate the path priority for LSI/Engenio/NetApp RDAC class as NetApp SANtricity
303 E/EF Series, and OEM arrays from IBM DELL SGI STK and SUN.
304 .TP
305 .I hp_sw
306 (Hardware-dependent)
307 Generate the path priority for HP/COMPAQ/DEC HSG80 and MSA/HSV arrays with
308 Active/Standby mode exclusively.
309 .TP
310 .I hds
311 (Hardware-dependent)
312 Generate the path priority for Hitachi AMS 2000 and HUS 100 families of arrays.
313 .TP
314 .I random
315 Generate a random priority between 1 and 10.
316 .TP
317 .I weightedpath
318 Generate the path priority based on the regular expression and the
319 priority provided as argument. Requires prio_args keyword.
320 .TP
321 .I path_latency
322 Generate the path priority based on a latency algorithm.
323 Requires prio_args keyword.
324 .TP
325 .I datacore
326 (Hardware-dependent)
327 Generate the path priority for some DataCore storage arrays. Requires prio_args
328 keyword.
329 .TP
330 .I iet
331 (iSCSI only)
332 Generate path priority for iSCSI targets based on IP address. Requires
333 prio_args keyword.
334 .PP
335 The default depends on the \fBdetect_prio\fR setting: If \fBdetect_prio\fR is
336 \fByes\fR (default), the default priority algorithm is \fBsysfs\fR (except for
337 NetAPP E-Series, where it is \fBalua\fR). If \fBdetect_prio\fR is
338 \fBno\fR, the default priority algorithm is \fBconst\fR.
339 .RE
340 .
341 .
342 .TP
343 .B prio_args
344 Arguments to pass to to the prio function. This only applies to certain
345 prioritizers:
346 .RS
347 .TP 12
348 .I weighted
349 Needs a value of the form
350 \fI"<hbtl|devname|serial|wwn> <regex1> <prio1> <regex2> <prio2> ..."\fR
351 .RS
352 .TP 8
353 .I hbtl
354 Regex can be of SCSI H:B:T:L format. For example: 1:0:.:. , *:0:0:.
355 .TP
356 .I devname
357 Regex can be of device name format. For example: sda , sd.e
358 .TP
359 .I serial
360 Regex can be of serial number format. For example: .*J1FR.*324 . The serial can
361 be looked up through sysfs or by running multipathd show paths format "%z". For
362 example: 0395J1FR904324
363 .TP
364 .I wwn
365 Regex can be of the form \fI"host_wwnn:host_wwpn:target_wwnn:target_wwpn"\fR
366 these values can be looked up through sysfs or by running \fImultipathd show paths format
367 "%N:%R:%n:%r"\fR. For example: 0x200100e08ba0aea0:0x210100e08ba0aea0:.*:.* , .*:.*:iqn.2009-10.com.redhat.msp.lab.ask-06:.*
368 .RE
369 .TP 12
370 .I path_latency
371 Needs a value of the form "io_num=\fI<20>\fR base_num=\fI<10>\fR"
372 .RS
373 .TP 8
374 .I io_num
375 The number of read IOs sent to the current path continuously, used to calculate the average path latency.
376 Valid Values: Integer, [2, 200].
377 .TP
378 .I base_num
379 The base number value of logarithmic scale, used to partition different priority ranks. Valid Values: Integer,
380 [2, 10]. And Max average latency value is 100s, min average latency value is 1us.
381 For example: If base_num=10, the paths will be grouped in priority groups with path latency <=1us, (1us, 10us],
382 (10us, 100us], (100us, 1ms], (1ms, 10ms], (10ms, 100ms], (100ms, 1s], (1s, 10s], (10s, 100s], >100s.
383 .RE
384 .TP 12
385 .I alua
386 If \fIexclusive_pref_bit\fR is set, paths with the \fIpreferred path\fR bit
387 set will always be in their own path group.
388 .TP
389 .I sysfs
390 If \fIexclusive_pref_bit\fR is set, paths with the \fIpreferred path\fR bit
391 set will always be in their own path group.
392 .TP
393 .I datacore
394 .RS
395 .TP 8
396 .I preferredsds
397 (Mandatory) The preferred "SDS name".
398 .TP
399 .I timeout
400 (Optional) The timeout for the INQUIRY, in ms.
401 .RE
402 .TP 12
403 .I iet
404 .RS
405 .TP 8
406 .I preferredip=...
407 (Mandatory) Th preferred IP address, in dotted decimal notation, for iSCSI targets.
408 .RE
409 .TP
410 The default is: \fB<unset>\fR
411 .RE
412 .
413 .
414 .TP
415 .B features
416 Specify any device-mapper features to be used. Syntax is \fInum list\fR
417 where \fInum\fR is the number, between 0 and 8, of features in \fIlist\fR.
418 Possible values for the feature list are:
419 .RS
420 .TP 12
421 .I queue_if_no_path
422 (Deprecated, superseded by \fIno_path_retry\fR) Queue I/O if no path is active.
423 Identical to the \fIno_path_retry\fR with \fIqueue\fR value. If both this
424 feature and \fIno_path_retry\fR are set, the latter value takes
425 precedence. See KNOWN ISSUES.
426 .TP
427 .I pg_init_retries <times>
428 (Since kernel 2.6.24) Number of times to retry pg_init, it must be between 1 and 50.
429 .TP
430 .I pg_init_delay_msecs <msecs>
431 (Since kernel 2.6.38) Number of msecs before pg_init retry, it must be between 0 and 60000.
432 .TP
433 .I queue_mode <mode>
434 (Since kernel 4.8) Select the the queueing mode per multipath device.
435 <mode> can be \fIbio\fR, \fIrq\fR or \fImq\fR, which corresponds to
436 bio-based, request-based, and block-multiqueue (blk-mq) request-based,
437 respectively.
438 The default depends on the kernel parameter \fBdm_mod.use_blk_mq\fR. It is
439 \fImq\fR if the latter is set, and \fIrq\fR otherwise.
440 .TP
441 The default is: \fB<unset>\fR
442 .RE
443 .
444 .
445 .TP
446 .B path_checker
447 The default method used to determine the paths state. Possible values
448 are:
449 .RS
450 .TP 12
451 .I readsector0
452 (Deprecated) Read the first sector of the device. This checker is being
453 deprecated, please use \fItur\fR instead.
454 .TP
455 .I tur
456 Issue a \fITEST UNIT READY\fR command to the device.
457 .TP
458 .I emc_clariion
459 (Hardware-dependent)
460 Query the DGC/EMC specific EVPD page 0xC0 to determine the path state
461 for CLARiiON CX/AX and EMC VNX and Unity arrays families.
462 .TP
463 .I hp_sw
464 (Hardware-dependent)
465 Check the path state for HP/COMPAQ/DEC HSG80 and MSA/HSV arrays with
466 Active/Standby mode exclusively.
467 .TP
468 .I rdac
469 (Hardware-dependent)
470 Check the path state for LSI/Engenio/NetApp RDAC class as NetApp SANtricity E/EF
471 Series, and OEM arrays from IBM DELL SGI STK and SUN.
472 .TP
473 .I directio
474 (Deprecated) Read the first sector with direct I/O. This checker is being
475 deprecated, it could cause spurious path failures under high load.
476 Please use \fItur\fR instead.
477 .TP
478 .I cciss_tur
479 (Hardware-dependent)
480 Check the path state for HP/COMPAQ Smart Array(CCISS) controllers.
481 .TP
482 .I none
483 Do not check the device, fallback to use the values retrieved from sysfs
484 .TP
485 .I rbd
486 Check if the path is in the Ceph blacklist and remap the path if it is.
487 .TP
488 The default is: \fBtur\fR
489 .RE
490 .
491 .
492 .TP
493 .B alias_prefix
494 The \fIuser_friendly_names\fR prefix.
495 .RS
496 .TP
497 The default is: \fBmpath\fR
498 .RE
499 .
500 .
501 .TP
502 .B failback
503 Tell multipathd how to manage path group failback.
504 To select \fIimmediate\fR or a \fIvalue\fR, it's mandatory that the device
505 has support for a working prioritizer.
506 .RS
507 .TP 12
508 .I immediate
509 Immediately failback to the highest priority pathgroup that contains
510 active paths.
511 .TP
512 .I manual
513 Do not perform automatic failback.
514 .TP
515 .I followover
516 Used to deal with multiple computers accessing the same Active/Passive storage
517 devices. Only perform automatic failback when the first path of a pathgroup
518 becomes active. This keeps a cluster node from automatically failing back when
519 another node requested the failover.
520 .TP
521 .I values > 0
522 Deferred failback (time to defer in seconds).
523 .TP
524 The default is: \fBmanual\fR
525 .RE
526 .
527 .
528 .TP
529 .B  rr_min_io
530 Number of I/O requests to route to a path before switching to the next in the
531 same path group. This is only for \fIBlock I/O\fR(BIO) based multipath and
532 only apply to \fIround-robin\fR path_selector.
533 .RS
534 .TP
535 The default is: \fB1000\fR
536 .RE
537 .
538 .
539 .TP
540 .B rr_min_io_rq
541 Number of I/O requests to route to a path before switching to the next in the
542 same path group. This is only for \fIRequest\fR based multipath and
543 only apply to \fIround-robin\fR path_selector.
544 .RS
545 .TP
546 The default is: \fB1\fR
547 .RE
548 .
549 .
550 .TP
551 .B max_fds
552 Specify the maximum number of file descriptors that can be opened by multipath
553 and multipathd. This is equivalent to ulimit \-n. A value of \fImax\fR will set
554 this to the system limit from \fI/proc/sys/fs/nr_open\fR. If this is not set, the
555 maximum number of open fds is taken from the calling process. It is usually
556 1024. To be safe, this should be set to the maximum number of paths plus 32,
557 if that number is greated than 1024.
558 .RS
559 .TP
560 The default is: \fBmax\fR
561 .RE
562 .
563 .
564 .TP
565 .B rr_weight
566 If set to \fIpriorities\fR the multipath configurator will assign path weights
567 as "path prio * rr_min_io". Possible values are
568 .I priorities
569 or
570 .I uniform .
571 Only apply to \fIround-robin\fR path_selector.
572 .RS
573 .TP
574 The default is: \fBuniform\fR
575 .RE
576 .
577 .
578 .TP
579 .B no_path_retry
580 Specify what to do when all paths are down. Possible values are:
581 .RS
582 .TP 12
583 .I value > 0
584 Number of retries until disable I/O queueing.
585 .TP
586 .I fail
587 For immediate failure (no I/O queueing).
588 .TP
589 .I queue
590 For never stop I/O queueing, similar to \fIqueue_if_no_path\fR. See KNOWN ISSUES.
591 .TP
592 The default is: \fBfail\fR
593 .RE
594 .
595 .
596 .TP
597 .B queue_without_daemon
598 If set to
599 .I no
600 , when multipathd stops, queueing will be turned off for all devices.
601 This is useful for devices that set no_path_retry. If a machine is
602 shut down while all paths to a device are down, it is possible to hang waiting
603 for I/O to return from the device after multipathd has been stopped. Without
604 multipathd running, access to the paths cannot be restored, and the kernel
605 cannot be told to stop queueing I/O. Setting queue_without_daemon to
606 .I no
607 , avoids this problem.
608 .RS
609 .TP
610 The default is: \fBno\fR
611 .RE
612 .
613 .
614 .TP
615 .B checker_timeout
616 Specify the timeout to use for path checkers and prioritizers that issue SCSI
617 commands with an explicit timeout, in seconds.
618 .RS
619 .TP
620 The default is: in \fB/sys/block/sd<x>/device/timeout\fR
621 .RE
622 .
623 .
624 .TP
625 .B flush_on_last_del
626 If set to
627 .I yes
628 , multipathd will disable queueing when the last path to a device has been
629 deleted.
630 .RS
631 .TP
632 The default is: \fBno\fR
633 .RE
634 .
635 .
636 .TP
637 .B user_friendly_names
638 If set to
639 .I yes
640 , using the bindings file \fI/etc/multipath/bindings\fR to assign a persistent
641 and unique alias to the multipath, in the form of mpath<n>. If set to
642 .I no
643 use the WWID as the alias. In either case this be will
644 be overridden by any specific aliases in the \fImultipaths\fR section.
645 .RS
646 .TP
647 The default is: \fBno\fR
648 .RE
649 .
650 .
651 .TP
652 .B fast_io_fail_tmo
653 Specify the number of seconds the SCSI layer will wait after a problem has been
654 detected on a FC remote port before failing I/O to devices on that remote port.
655 This should be smaller than dev_loss_tmo. Setting this to
656 .I off
657 will disable the timeout.
658 .RS
659 .TP
660 The default is: in \fB5\fR
661 .RE
662 .
663 .
664 .TP
665 .B dev_loss_tmo
666 Specify the number of seconds the SCSI layer will wait after a problem has
667 been detected on a FC remote port before removing it from the system. This
668 can be set to "infinity" which sets it to the max value of 2147483647
669 seconds, or 68 years. It will be automatically adjusted to the overall
670 retry interval \fIno_path_retry\fR * \fIpolling_interval\fR
671 if a number of retries is given with \fIno_path_retry\fR and the
672 overall retry interval is longer than the specified \fIdev_loss_tmo\fR value.
673 The Linux kernel will cap this value to \fI600\fR if \fIfast_io_fail_tmo\fR
674 is not set. See KNOWN ISSUES.
675 .RS
676 .TP
677 The default is: \fB600\fR
678 .RE
679 .
680 .
681 .TP
682 .B bindings_file
683 The full pathname of the binding file to be used when the user_friendly_names
684 option is set.
685 .RS
686 .TP
687 The default is: \fB/etc/multipath/bindings\fR
688 .RE
689 .
690 .
691 .TP
692 .B wwids_file
693 The full pathname of the WWIDs file, which is used by multipath to keep track
694 of the WWIDs for LUNs it has created multipath devices on in the past.
695 .RS
696 .TP
697 The default is: \fB/etc/multipath/wwids\fR
698 .RE
699 .
700 .
701 .TP
702 .B prkeys_file
703 The full pathname of the prkeys file, which is used by multipathd to keep
704 track of the persistent reservation key used for a specific WWID, when
705 \fIreservation_key\fR is set to \fBfile\fR.
706 .RS
707 .TP
708 The default is \fB/etc/multipath/prkeys\fR
709 .RE
710 .
711 .
712 .TP
713 .B log_checker_err
714 If set to
715 .I once
716 , multipathd logs the first path checker error at logging level 2. Any later
717 errors are logged at level 3 until the device is restored. If set to
718 .I always
719 , multipathd always logs the path checker error at logging level 2.
720 .RS
721 .TP
722 The default is: \fBalways\fR
723 .RE
724 .
725 .
726 .TP
727 .B reservation_key
728 This is the service action reservation key used by mpathpersist. It must be
729 set for all multipath devices using persistent reservations, and it must be
730 the same as the RESERVATION KEY field of the PERSISTENT RESERVE OUT parameter
731 list which contains an 8-byte value provided by the application client to the
732 device server to identify the I_T nexus.
733 .RS
734 .PP
735 Alternatively, this can be set to \fBfile\fR, which will store the RESERVATION
736 KEY registered by mpathpersist in the \fIprkeys_file\fR. multipathd will then
737 use this key to register additional paths as they appear.  When the
738 registration is removed, the RESERVATION KEY is removed from the
739 \fIprkeys_file\fR.
740 .TP
741 The default is: \fB<unset>\fR
742 .RE
743 .
744 .
745 .TP
746 .B retain_attached_hw_handler
747 (Obsolete for kernels >= 4.3) If set to
748 .I yes
749 and the SCSI layer has already attached a hardware_handler to the device,
750 multipath will not force the device to use the hardware_handler specified by
751 mutipath.conf. If the SCSI layer has not attached a hardware handler,
752 multipath will continue to use its configured hardware handler.
753 .RS
754 .PP
755 The default is: \fByes\fR
756 .PP
757 \fBImportant Note:\fR Linux kernel 4.3 or newer always behaves as if
758 \fB"retain_attached_hw_handler yes"\fR was set.
759 .RE
760 .
761 .
762 .TP
763 .B detect_prio
764 If set to
765 .I yes
766 , multipath will try to detect if the device supports SCSI-3 ALUA. If so, the
767 device will automatically use the \fIsysfs\fR prioritizer if the required sysf
768 attributes \fIaccess_state\fR and \fIpreferred_path\fR are supported, or the
769 \fIalua\fR prioritizer if not. If set to
770 .I no
771 , the prioritizer will be selected as usual.
772 .RS
773 .TP
774 The default is: \fByes\fR
775 .RE
776 .
777 .
778 .TP
779 .B detect_checker
780 if set to
781 .I yes
782 , multipath will try to detect if the device supports SCSI-3 ALUA. If so, the
783 device will automatically use the \fItur\fR checker. If set to
784 .I no
785 , the checker will be selected as usual.
786 .RS
787 .TP
788 The default is: \fByes\fR
789 .RE
790 .
791 .
792 .TP
793 .B force_sync
794 If set to
795 .I yes
796 , multipathd will call the path checkers in sync mode only.  This means that
797 only one checker will run at a time.  This is useful in the case where many
798 multipathd checkers running in parallel causes significant CPU pressure.
799 .RS
800 .TP
801 The default is: \fBno\fR
802 .RE
803 .
804 .
805 .TP
806 .B strict_timing
807 If set to
808 .I yes
809 , multipathd will start a new path checker loop after exactly one second,
810 so that each path check will occur at exactly \fIpolling_interval\fR
811 seconds. On busy systems path checks might take longer than one second;
812 here the missing ticks will be accounted for on the next round.
813 A warning will be printed if path checks take longer than \fIpolling_interval\fR
814 seconds.
815 .RS
816 .TP
817 The default is: \fBno\fR
818 .RE
819 .
820 .
821 .TP
822 .B deferred_remove
823 If set to
824 .I yes
825 , multipathd will do a deferred remove instead of a regular remove when the
826 last path device has been deleted.  This means that if the multipath device is
827 still in use, it will be freed when the last user closes it.  If path is added
828 to the multipath device before the last user closes it, the deferred remove
829 will be canceled.
830 .RS
831 .TP
832 The default is: \fBno\fR
833 .RE
834 .
835 .
836 .TP
837 .B partition_delimiter
838 If this value is not set, when multipath renames a device, it will act just
839 like the kpartx default does, only adding a \fI"p"\fR to names ending in a
840 number. If this parameter is set, multipath will act like kpartx does with
841 the \fI-p\fR option is used, and always add delimiter.
842 .RS
843 .TP
844 The default is: \fB<unset>\fR
845 .RE
846 .
847 .
848 .TP
849 .B config_dir
850 If set to anything other than "", multipath will search this directory
851 alphabetically for file ending in ".conf" and it will read configuration
852 information from them, just as if it was in \fI/etc/multipath.conf\fR.
853 config_dir must either be "" or a fully qualified directory name.
854 .RS
855 .TP
856 The default is: \fB/etc/multipath/conf.d/\fR
857 .RE
858 .
859 .
860 .TP
861 .B marginal_path_double_failed_time
862 One of the four parameters of supporting path check based on accounting IO
863 error such as intermittent error. When a path failed event occurs twice in
864 \fImarginal_path_double_failed_time\fR seconds due to an IO error and all the
865 other three parameters are set, multipathd will fail the path and enqueue
866 this path into a queue of which members are sent a couple of continuous
867 direct reading asynchronous IOs at a fixed sample rate of 10HZ to start IO
868 error accounting process.
869 .RS
870 .TP
871 The default is: \fBno\fR
872 .RE
873 .
874 .
875 .TP
876 .B marginal_path_err_sample_time
877 One of the four parameters of supporting path check based on accounting IO
878 error such as intermittent error. If it is set to a value no less than 120,
879 when a path fail event occurs twice in \fImarginal_path_double_failed_time\fR
880 second due to an IO error, multipathd will fail the path and enqueue this
881 path into a queue of which members are sent a couple of continuous direct
882 reading asynchronous IOs at a fixed sample rate of 10HZ to start the IO
883 accounting process for the path will last for
884 \fImarginal_path_err_sample_time\fR.
885 If the rate of IO error on a particular path is greater than the
886 \fImarginal_path_err_rate_threshold\fR, then the path will not reinstate for
887 \fImarginal_path_err_recheck_gap_time\fR seconds unless there is only one
888 active path. After \fImarginal_path_err_recheck_gap_time\fR expires, the path
889 will be requeueed for rechecking. If checking result is good enough, the
890 path will be reinstated.
891 .RS
892 .TP
893 The default is: \fBno\fR
894 .RE
895 .
896 .
897 .TP
898 .B marginal_path_err_rate_threshold
899 The error rate threshold as a permillage (1/1000). One of the four parameters
900 of supporting path check based on accounting IO error such as intermittent
901 error. Refer to \fImarginal_path_err_sample_time\fR. If the rate of IO errors
902 on a particular path is greater than this parameter, then the path will not
903 reinstate for \fImarginal_path_err_rate_threshold\fR seconds unless there is
904 only one active path.
905 .RS
906 .TP
907 The default is: \fBno\fR
908 .RE
909 .
910 .
911 .TP
912 .B marginal_path_err_recheck_gap_time
913 One of the four parameters of supporting path check based on accounting IO
914 error such as intermittent error. Refer to
915 \fImarginal_path_err_sample_time\fR. If this parameter is set to a positive
916 value, the failed path of  which the IO error rate is larger than
917 \fImarginal_path_err_rate_threshold\fR will be kept in failed state for
918 \fImarginal_path_err_recheck_gap_time\fR seconds. When
919 \fImarginal_path_err_recheck_gap_time\fR seconds expires, the path will be
920 requeueed for checking. If checking result is good enough, the path will be
921 reinstated, or else it will keep failed.
922 .RS
923 .TP
924 The default is: \fBno\fR
925 .RE
926 .
927 .
928 .TP
929 .B delay_watch_checks
930 If set to a value greater than 0, multipathd will watch paths that have
931 recently become valid for this many checks. If they fail again while they are
932 being watched, when they next become valid, they will not be used until they
933 have stayed up for \fIdelay_wait_checks\fR checks.
934 .RS
935 .TP
936 The default is: \fBno\fR
937 .RE
938 .
939 .
940 .TP
941 .B delay_wait_checks
942 If set to a value greater than 0, when a device that has recently come back
943 online fails again within \fIdelay_watch_checks\fR checks, the next time it
944 comes back online, it will marked and delayed, and not used until it has passed
945 \fIdelay_wait_checks\fR checks.
946 .RS
947 .TP
948 The default is: \fBno\fR
949 .RE
950 .
951 .
952 .TP
953 .B find_multipaths
954 If set to
955 .I yes
956 , instead of trying to create a multipath device for every non-blacklisted
957 path, multipath will only create a device if one of three condidions are
958 met.
959 .I 1
960 There are at least two non-blacklisted paths with the same WWID,
961 .I 2
962 the user manually forces the creation, by specifying a device with the multipath
963 command, or
964 .I 3
965 a path has the same WWID as a multipath device that was previously created
966 while find_multipaths was set (even if that multipath device doesn't currently
967 exist).
968 Whenever a multipath device is created with find_multipaths set, multipath will
969 remember the WWID of the device, so that it will automatically create the
970 device again, as soon as it sees a path with that WWID. This should allow most
971 users to have multipath automatically choose the correct paths to make into
972 multipath devices, without having to edit the blacklist.
973 .RS
974 .TP
975 The default is: \fBno\fR
976 .RE
977 .
978 .
979 .TP
980 .B uxsock_timeout
981 CLI receive timeout in milliseconds. For larger systems CLI commands
982 might timeout before the multipathd lock is released and the CLI command
983 can be processed. This will result in errors like
984 "timeout receiving packet" to be returned from CLI commands.
985 In these cases it is recommended to increase the CLI timeout to avoid
986 those issues.
987 .RS
988 .TP
989 The default is: \fB1000\fR
990 .RE
991 .
992 .
993 .TP
994 .B retrigger_tries
995 Sets the number of times multipathd will try to retrigger a uevent to get the
996 WWID.
997 .RS
998 .TP
999 The default is: \fB3\fR
1000 .RE
1001 .
1002 .
1003 .TP
1004 .B retrigger_delay
1005 Sets the amount of time, in seconds, to wait between retriggers.
1006 .RS
1007 .TP
1008 The default is: \fB10\fR
1009 .RE
1010 .
1011 .
1012 .TP
1013 .B missing_uev_wait_timeout
1014 Controls how many seconds multipathd will wait, after a new multipath device
1015 is created, to receive a change event from udev for the device, before
1016 automatically enabling device reloads. Usually multipathd will delay reloads
1017 on a device until it receives a change uevent from the initial table load.
1018 .RS
1019 .TP
1020 The default is: \fB30\fR
1021 .RE
1022 .
1023 .
1024 .TP
1025 .B skip_kpartx
1026 If set to
1027 .I yes
1028 , kpartx will not automatically create partitions on the device.
1029 .RS
1030 .TP
1031 The default is: \fBno\fR
1032 .RE
1033 .
1034 .
1035 .TP
1036 .B disable_changed_wwids
1037 If set to \fIyes\fR, multipathd will check the path wwid on change events, and
1038 if it has changed from the wwid of the multipath device, multipathd will
1039 disable access to the path until the wwid changes back.
1040 .RS
1041 .TP
1042 The default is: \fBno\fR
1043 .RE
1044 .
1045 .
1046 .TP
1047 .B remove_retries
1048 This sets how may times multipath will retry removing a device that is in-use.
1049 Between each attempt, multipath will sleep 1 second.
1050 .RS
1051 .TP
1052 The default is: \fB0\fR
1053 .RE
1054 .
1055 .
1056 .TP
1057 .B max_sectors_kb
1058 Sets the max_sectors_kb device parameter on all path devices and the multipath
1059 device to the specified value.
1060 .RS
1061 .TP
1062 The default is: \fB<device dependent>\fR
1063 .RE
1064 .
1065 .
1066 .TP
1067 .B ghost_delay
1068 Sets the number of seconds that multipath will wait after creating a device
1069 with only ghost paths before marking it ready for use in systemd. This gives
1070 the active paths time to appear before the multipath runs the hardware handler
1071 to switch the ghost paths to active ones. Setting this to \fI0\fR or \fIon\fR
1072 makes multipath immediately mark a device with only ghost paths as ready.
1073 .RS
1074 .TP
1075 The default is \fBno\fR
1076 .RE
1077 .
1078 .
1079 .\" ----------------------------------------------------------------------------
1080 .SH "blacklist section"
1081 .\" ----------------------------------------------------------------------------
1082 .
1083 The \fIblacklist\fR section is used to exclude specific device from inclusion in
1084 the multipath topology. It is most commonly used to exclude local disks or LUNs
1085 for the array controller.
1086 .LP
1087 .
1088 .
1089 The following keywords are recognized:
1090 .TP 17
1091 .B devnode
1092 Regular expression of the device nodes to be excluded.
1093 .RS
1094 .TP
1095 The default is: \fB^(ram|raw|loop|fd|md|dm-|sr|scd|st|dcssblk)[0-9]\fR and \fB^(td|hd|vd)[a-z]\fR
1096 .RE
1097 .TP
1098 .B wwid
1099 The \fIWorld Wide Identification\fR of a device.
1100 .TP
1101 .B property
1102 Regular expression of the udev property to be excluded.
1103 .TP
1104 .B device
1105 Subsection for the device description. This subsection recognizes the
1106 .B vendor
1107 and
1108 .B product
1109 keywords. For a full description of these keywords please see the
1110 \fIdevices\fR section description.
1111 .
1112 .
1113 .\" ----------------------------------------------------------------------------
1114 .SH "blacklist_exceptions section"
1115 .\" ----------------------------------------------------------------------------
1116 .
1117 The \fIblacklist_exceptions\fR section is used to revert the actions of the
1118 \fIblacklist\fR section. For example to include specific device in the
1119 multipath topology. This allows one to selectively include devices which
1120 would normally be excluded via the \fIblacklist\fR section.
1121 .LP
1122 .
1123 .
1124 The following keywords are recognized:
1125 .TP 17
1126 .B devnode
1127 Regular expression of the device nodes to be whitelisted.
1128 .TP
1129 .B wwid
1130 The \fIWorld Wide Identification\fR of a device.
1131 .TP
1132 .B property
1133 Regular expression of the udev property to be whitelisted.
1134 .RS
1135 .TP
1136 The default is: \fB(SCSI_IDENT_|ID_WWN)\fR
1137 .RE
1138 .TP
1139 .B device
1140 Subsection for the device description. This subsection recognizes the
1141 .B vendor
1142 and
1143 .B product
1144 keywords. For a full description of these keywords please see the \fIdevices\fR
1145 section description.
1146 .LP
1147 The \fIproperty\fR blacklist and whitelist handling is different from the usual
1148 handling in the sense that the whitelist \fIhas\fR to be set, otherwise the
1149 device will be blacklisted. In these cases the message \fIblacklisted, udev
1150 property missing\fR will be displayed.
1151 .
1152 .
1153 .\" ----------------------------------------------------------------------------
1154 .SH "multipaths section"
1155 .\" ----------------------------------------------------------------------------
1156 .
1157 The only recognized attribute for the \fImultipaths\fR section is the
1158 \fImultipath\fR subsection.
1159 .LP
1160 .
1161 .
1162 The \fImultipath\fR subsection recognizes the following attributes:
1163 .TP 17
1164 .B wwid
1165 (Mandatory) Index of the container.
1166 .TP
1167 .B alias
1168 Symbolic name for the multipath map.
1169 .LP
1170 .
1171 .
1172 The following attributes are optional; if not set the default values
1173 are taken from the \fIdefaults\fR or \fIdevices\fR section:
1174 .sp 1
1175 .PD .1v
1176 .RS
1177 .TP 18
1178 .B path_grouping_policy
1179 .TP
1180 .B path_selector
1181 .TP
1182 .B prio
1183 .TP
1184 .B prio_args
1185 .TP
1186 .B failback
1187 .TP
1188 .B rr_weight
1189 .TP
1190 .B no_path_retry
1191 .TP
1192 .B rr_min_io
1193 .TP
1194 .B rr_min_io_rq
1195 .TP
1196 .B flush_on_last_del
1197 .TP
1198 .B features
1199 .TP
1200 .B reservation_key
1201 .TP
1202 .B user_friendly_names
1203 .TP
1204 .B deferred_remove
1205 .TP
1206 .B marginal_path_err_sample_time
1207 .TP
1208 .B marginal_path_err_rate_threshold
1209 .TP
1210 .B marginal_path_err_recheck_gap_time
1211 .TP
1212 .B marginal_path_double_failed_time
1213 .TP
1214 .B delay_watch_checks
1215 .TP
1216 .B delay_wait_checks
1217 .TP
1218 .B skip_kpartx
1219 .TP
1220 .B max_sectors_kb
1221 .TP
1222 .B ghost_delay
1223 .RE
1224 .PD
1225 .LP
1226 .
1227 .
1228 .\" ----------------------------------------------------------------------------
1229 .SH "devices section"
1230 .\" ----------------------------------------------------------------------------
1231 .
1232 The only recognized attribute for the \fIdevices\fR section is the \fIdevice\fR
1233 subsection.
1234 .LP
1235 .
1236 .
1237 The \fIdevice\fR subsection recognizes the following attributes:
1238 .TP
1239 vendor, product, revision and product_blacklist are POSIX Extended regex.
1240 .TP 17
1241 .B vendor
1242 (Mandatory) Vendor identifier.
1243 .TP
1244 .B product
1245 (Mandatory) Product identifier.
1246 .TP
1247 .B revision
1248 Revision identfier.
1249 .TP
1250 .B product_blacklist
1251 Product strings to blacklist for this vendor.
1252 .TP
1253 .B alias_prefix
1254 The user_friendly_names prefix to use for this
1255 device type, instead of the default "mpath".
1256 .TP
1257 .B hardware_handler
1258 The hardware handler to use for this device type.
1259 The following hardware handler are implemented:
1260 .RS
1261 .TP 12
1262 .I 1 emc
1263 (Hardware-dependent)
1264 Hardware handler for DGC class arrays as CLARiiON CX/AX and EMC VNX and Unity
1265 families.
1266 .TP
1267 .I 1 rdac
1268 (Hardware-dependent)
1269 Hardware handler for LSI/Engenio/NetApp RDAC class as NetApp SANtricity E/EF
1270 Series, and OEM arrays from IBM DELL SGI STK and SUN.
1271 .TP
1272 .I 1 hp_sw
1273 (Hardware-dependent)
1274 Hardware handler for HP/COMPAQ/DEC HSG80 and MSA/HSV arrays with
1275 Active/Standby mode exclusively.
1276 .TP
1277 .I 1 alua
1278 (Hardware-dependent)
1279 Hardware handler for SCSI-3 ALUA compatible arrays.
1280 .PP
1281 The default is: \fB<unset>\fR
1282 .PP
1283 \fBImportant Note:\fR Linux kernels 4.3 and newer automatically attach a device
1284 handler to known devices (which includes all devices supporting SCSI-3 ALUA)
1285 and disallow changing the handler
1286 afterwards. Setting \fBhardware_handler\fR for such devices on these kernels
1287 has no effect.
1288 .RE
1289 .
1290 .
1291 .LP
1292 The following attributes are optional; if not set the default values
1293 are taken from the \fIdefaults\fR
1294 section:
1295 .sp 1
1296 .PD .1v
1297 .RS
1298 .TP 18
1299 .B path_grouping_policy
1300 .TP
1301 .B uid_attribute
1302 .TP
1303 .B path_selector
1304 .TP
1305 .B path_checker
1306 .TP
1307 .B prio
1308 .TP
1309 .B prio_args
1310 .TP
1311 .B features
1312 .TP
1313 .B failback
1314 .TP
1315 .B rr_weight
1316 .TP
1317 .B no_path_retry
1318 .TP
1319 .B rr_min_io
1320 .TP
1321 .B rr_min_io_rq
1322 .TP
1323 .B fast_io_fail_tmo
1324 .TP
1325 .B dev_loss_tmo
1326 .TP
1327 .B flush_on_last_del
1328 .TP
1329 .B retain_attached_hw_handler
1330 .TP
1331 .B detect_prio
1332 .TP
1333 .B detect_checker
1334 .TP
1335 .B deferred_remove
1336 .TP
1337 .B marginal_path_err_sample_time
1338 .TP
1339 .B marginal_path_err_rate_threshold
1340 .TP
1341 .B marginal_path_err_recheck_gap_time
1342 .TP
1343 .B marginal_path_double_failed_time
1344 .TP
1345 .B delay_watch_checks
1346 .TP
1347 .B delay_wait_checks
1348 .TP
1349 .B skip_kpartx
1350 .TP
1351 .B max_sectors_kb
1352 .TP
1353 .B ghost_delay
1354 .RE
1355 .PD
1356 .LP
1357 .
1358 .
1359 .\" ----------------------------------------------------------------------------
1360 .SH "overrides section"
1361 .\" ----------------------------------------------------------------------------
1362 .
1363 The overrides section recognizes the following optional attributes; if not set
1364 the values are taken from the \fIdevices\fR or \fIdefaults\fR sections:
1365 .sp 1
1366 .PD .1v
1367 .RS
1368 .TP 18
1369 .B path_grouping_policy
1370 .TP
1371 .B uid_attribute
1372 .TP
1373 .B getuid_callout
1374 .TP
1375 .B path_selector
1376 .TP
1377 .B path_checker
1378 .TP
1379 .B alias_prefix
1380 .TP
1381 .B features
1382 .TP
1383 .B prio
1384 .TP
1385 .B prio_args
1386 .TP
1387 .B failback
1388 .TP
1389 .B rr_weight
1390 .TP
1391 .B no_path_retry
1392 .TP
1393 .B rr_min_io
1394 .TP
1395 .B rr_min_io_rq
1396 .TP
1397 .B flush_on_last_del
1398 .TP
1399 .B fast_io_fail_tmo
1400 .TP
1401 .B dev_loss_tmo
1402 .TP
1403 .B user_friendly_names
1404 .TP
1405 .B retain_attached_hw_handler
1406 .TP
1407 .B detect_prio
1408 .TP
1409 .B detect_checker
1410 .TP
1411 .B deferred_remove
1412 .TP
1413 .B marginal_path_err_sample_time
1414 .TP
1415 .B marginal_path_err_rate_threshold
1416 .TP
1417 .B marginal_path_err_recheck_gap_time
1418 .TP
1419 .B marginal_path_double_failed_time
1420 .TP
1421 .B delay_watch_checks
1422 .TP
1423 .B delay_wait_checks
1424 .TP
1425 .B skip_kpartx
1426 .TP
1427 .B ghost_delay
1428 .RE
1429 .PD
1430 .LP
1431 .
1432 .
1433 .\" ----------------------------------------------------------------------------
1434 .SH "WWID generation"
1435 .\" ----------------------------------------------------------------------------
1436 .
1437 Multipath uses a \fIWorld Wide Identification\fR (WWID) to determine
1438 which paths belong to the same device. Each path presenting the same
1439 WWID is assumed to point to the same device.
1440 .LP
1441 The WWID is generated by three methods (in the order of preference):
1442 .TP 17
1443 .B getuid_callout
1444 Use the specified external program; cf \fIgetuid_callout\fR above.
1445 Care should be taken when using this method; the external program
1446 needs to be loaded from disk for execution, which might lead to
1447 deadlock situations in an all-paths-down scenario.
1448 .TP
1449 .B uid_attribute
1450 Use the value of the specified udev attribute; cf \fIuid_attribute\fR
1451 above. This method is preferred to \fIgetuid_callout\fR as multipath
1452 does not need to call any external programs here. However, under
1453 certain circumstances udev might not be able to generate the requested
1454 variable.
1455 .TP
1456 .B vpd_pg83
1457 If none of the \fIgetuid_callout\fR or \fIuid_attribute\fR parameters
1458 are present multipath will try to use the sysfs attribute
1459 \fIvpd_pg83\fR to generate the WWID.
1460 .
1461 .
1462 .\" ----------------------------------------------------------------------------
1463 .SH "KNOWN ISSUES"
1464 .\" ----------------------------------------------------------------------------
1465 .
1466 The usage of \fIqueue_if_no_path\fR option can lead to \fID state\fR
1467 processes being hung and not killable in situations where all the paths to the
1468 LUN go offline. It is advisable to use the \fIno_path_retry\fR option instead.
1469 .P
1470 The use of \fIqueue_if_no_path\fR or \fIno_path_retry\fR might lead to a
1471 deadlock if the \fIdev_loss_tmo\fR setting results in a device being removed
1472 while I/O is still queued. The multipath daemon will update the \fIdev_loss_tmo\fR
1473 setting accordingly to avoid this deadlock. Hence if both values are
1474 specified the order of precedence is \fIno_path_retry, queue_if_no_path, dev_loss_tmo\fR.
1475 .
1476 .
1477 .\" ----------------------------------------------------------------------------
1478 .SH "SEE ALSO"
1479 .\" ----------------------------------------------------------------------------
1480 .
1481 .BR udev (8),
1482 .BR dmsetup (8),
1483 .BR multipath (8),
1484 .BR multipathd (8).
1485 .
1486 .
1487 .\" ----------------------------------------------------------------------------
1488 .SH AUTHORS
1489 .\" ----------------------------------------------------------------------------
1490 .
1491 \fImultipath-tools\fR was developed by Christophe Varoqui, <christophe.varoqui@opensvc.com>
1492 and others.
1493 .\" EOF