First cut at device-mapper multipath support

Speed up DeviceKit device probing on really slow devices

My wife has a embroidery machine that acts as a USB memory stick when
plugged into a computer through its USB port. It has a truly stunning read
speed of 15kB/s (yes, really), and it turns out that both udev and
DeviceKit react very badly to devices that are slow, because they read too
much data off it.

udev - through blkid - ended up reading closer to two hundred kB off the
device in order to check all possible filesystems. DeviceKit is much
better, and only does a single 512-byte read to figure out the DOS
partitioning sceme.

However, unluckily, both udev and DeviceKit end up triggering read-ahead
on the device. The kernel decides that if you start reading from the
beginning (and the partition info is at the start), you're likely going to
continue reading. Which is a reasonable assumption in general, but isn't
true for odd things like "read just the partition table".

So even though DeviceKit only does a 512-byte read, read-ahead will turn
it into a 16kB device access, and you get timing behavior like this:

time /lib/udev/devkit-disks-part-id /dev/sdc

real 0m1.043s
user 0m0.004s
sys 0m0.008s

which basically delays figuring out what to do with the newly plugged in
hardware by a second (blkid took 13+ seconds for both the full device and
the partition it contained, so DeviceKit is positively wonderful in
comparison ;).

Making part-id just ask for no read-ahead (by saying that the access
patterns are random) ends up helping performance noticeably. Recompiling
part-id with this patch results in:

time ./src/probers/udisks-part-id /dev/sdc

real 0m0.276s
user 0m0.005s
sys 0m0.007s

because the kernel will now only read 4kB off the disk (4kB is the caching
granularity, so you'll never see an actual 512-byte read without doing
special odd things).

Signed-off-by: Linus Torvalds <torvalds@linux-foundation.org>
Signed-off-by: David Zeuthen <davidz@redhat.com>

Use the PV UUID in LinuxLvm2VGRemovePV() to identify the PV

... instead of the object path. This is to make it possible (albeit
not yet supported in vgreduce(8)) to remove a non-existant PV - say,
the disk with the PV was destroyed.

Add methods for adding/removing PVs to a VG

Minor update to LVM2 PV export routines

Add a method to create LVM2 Logical Volumes

Add method to remove/delete a LVM LV

Add methods for setting LVM2 VG and LV names

Get the LVM LV UUIDs from sysfs to avoid using liblvm2 in the dm prober

Fix typo in udev rule for udisks-lvm-pv-export

This typo made the export program run for each and every block device
- only run it for LVM2 PVs.

First cut at LVM2 support

Use SUBSYSTEMS whenever using ATTRS

This speeds up udev rules processing considerably.

Signed-off-by: David Zeuthen <davidz@redhat.com>

Add media type udev rule for SD card reader in MacbookPro5,4

Signed-off-by: David Zeuthen <davidz@redhat.com>

Update NEWS

We're not doing a release just yet (more ABI changes are planned - and
we need to do them before committing to ABI stability for the 1.0.x
series to avoid opening 1.1.x too early) but it might be nice to
incrementally add items to this file as we are reworking the ABI and
API.

Add a man page for udisks-tcp-bridge(1)

It's nice for sysadmins to have this when they see processes like this
running.

Install udisks-tcp-bridge in /usr/bin

This way it will be in $PATH and clients such as gnome-disk-utility
won't have to hardcode /usr/lib/udisks/udisks-tcp-bridge.

Make Avahi announce a service of type _udisks-ssh._tcp for us

Take a secret from the client via stdin and use this to authorize ourselves

Install udisks-tcp-bridge in $prefix/lib/udisks

It's important that vendors install this in the same location -
clients will need this location for ssh connections.

Make udisks-tcp-bridge connect to a DBusServer, not be a DBusServer

Export connector type on Port objects

Also add a quirk for my CardBus based eSATA controller.

Fix up SATA/PATA detection slightly

Bug 24606 — Add support for ReiserFS

Signed-off-by: David Zeuthen <davidz@redhat.com>

Avoid multiple inconsistent checks for adapter fabric type

Instead, just make port.c rely on the fabric type detected in
adapter.c. This fixes a bug on VirtualBox when the SATA adapter only
has one port.

Signed-off-by: David Zeuthen <davidz@redhat.com>

Remove debugging spew

Signed-off-by: David Zeuthen <davidz@redhat.com>

Handle ATA controllers with only one port

This happens on e.g. VirtualBox SATA controllers - just check the
driver name before anything else.

Signed-off-by: David Zeuthen <davidz@redhat.com>

Bug 24999 — Hide Compaq recovery partition type 0x12

http://www.win.tue.nl/~aeb/partitions/partition_types-1.html lists MBR type
0x12 as "configuration/rescue", used by Compaq, IBM, Intel, and NCR.

https://bugs.launchpad.net/bugs/451304

Signed-off-by: David Zeuthen <davidz@redhat.com>

Add experimental bridging program for providing D-Bus access over TCP/IP

The idea is that this

 # ./udisks-tcp-bridge -p 1000

will listen on port 1000 of all network interfaces. Another host can
then access the udisks daemon via D-Bus' TCP/IP transport. See
gnome-disk-utility master for a an experimental --address option that
uses this.

Since Palimpsest use D-Bus 100% to obtain information and export
operations, everything just works. See

 http://people.freedesktop.org/~david/gdu-palimpsest-remote-connection.png

for an example.

This feature needs a lot of thought and some work - for example,
authentication and encryption is needed. And we need to figure out how
this should work with polkit as well - the only reason it works now is
that the bridging process runs as uid 0. And then there's firewalls to
consider and pierce through. All this is not insurmountable, it's just
work.

For now udisks-tcp-bridge is not installed via 'make install' - it is
considered an experimental feature for now - and will probably remain
so for some time.

Bug 24772 — Allow simulated SMART data on non-SMART devices

DriveAtaSmartRefreshData(): Defer the "device supports SMART" test until after
evaluating the "simulate" option, and set DriveAtaSmartIsAvailable property
when simulate is given. With this, SMART data blobs can be used with non-SMART
or virtual devices, too.

Signed-off-by: David Zeuthen <davidz@redhat.com>

Bug 25009 — ignore Western Digital SmartWare partitions

The SmartWare Virtual CD partition on these drives is useless in Linux. It
includes Windows/Mac utilities only, and is not usable space.

https://launchpad.net/bugs/474790

Signed-off-by: David Zeuthen <davidz@redhat.com>

Update udev property names in the udisks(7) man page

Update bug tracker address

Update HACKING, README and COPYING files

Rename to udisks - nuke remaining references to Device-disks

Still need to update HACKING and README but the only remaining
references seem to be these

 $ git clean -d -x -f

 $ grep devkit `find data doc po policy src tools`
 doc/man/udisks7.xml:      devkit-devel mailing list,
 doc/man/udisks7.xml:      see <ulink url="http://lists.freedesktop.org/mailman/listinfo/devkit-devel"/>.
 doc/TODO:   - devkit-disk-device.c is way too long right now

 $ grep DeviceKit `find data doc po policy src tools`
 doc/TODO-ISCSI: c) Some thoughts on how to integrate iSCSI into DeviceKit-disks,
 doc/TODO-ISCSI:Teaching DeviceKit-disks / Palimpsest / GNOME about iSCSI devices
 doc/TODO-ISCSI:DeviceKit-disks changes:
 doc/TODO-ISCSI:   the org.freedesktop.DeviceKit.Disks interface add
 doc/TODO-ISCSI:   method on DeviceKit-disks to probe a portal for targets.
 doc/TODO: - DeviceKit 003

 $ grep devicekit `find data doc po policy src tools`

Now to port gnome-disk-utility to use udisks instead of DKD...

Reindent source code to adhere to the GNU-style

First I used the Eclipse indent tool. Then I ran c-indent-<something>
in Emacs. Finally, I fixed a couple of things up manually.

Update/add mode lines to all source files

Specifically we're going to switch to the GNU-style for indentation
and not use tabs

 -*- mode: C; c-file-style: "gnu"; indent-tabs-mode: nil; -*-

Now to reindent all the code...

Rename to udisks - rename source files and symbols

Rename to udisks - move helpers and probers to separate subdirs

Rename to udisks - udev property names

Rename from DeviceKit-disks to udisks, part 1

Bug 25043 — Crashes with atasmart.c:2701: sk_disk_set_blob: Assertion `blob' failed.

This fixes a crash if devkit-disks-helper-ata-smart-collect returns just a
single character on stdout. It is not understood yet under which conditions
that happens, but DK-disks should handle this gracefully.

Also add debug logging to show the actual output, so that later on we can fix
the root cause.

https://launchpad.net/bugs/419663

Signed-off-by: David Zeuthen <davidz@redhat.com>

Bug 25034 — PartitionModify() for GUID partitions does not work

Use the official ped_partition_set_flag() libparted API for setting partition
flags instead of poking it into libparted's internal data structure (which
worked for MBR, but not for GPT).

Signed-off-by: David Zeuthen <davidz@redhat.com>

Fix typos in udev rules

Signed-off-by: David Zeuthen <davidz@redhat.com>

Forgot to add prober for SAS expanders

Add support for SAS expanders

Export Port objects for SAS PHYs on the HBA

PHYs on SAS expanders to follow...

Change Device::DrivePort (of type 'o') to Device::DrivePorts (of type 'ao')

Technically a disk can be connected to more than one port so allow
this in the API.

For SAS, report number of PHYs for the NumPorts property on Adapter

The plan is that each Port object will have more details -
e.g. whether the SAS port is a wide-port (4 PHYs) and so on.

Export Fabric and NumPorts for ATA

Fix doc fallout from the Controller -> Adapter rename

Rename Controller interface to Adapter

Add support for Port objects

This commit only includes support for ATA ports. Support for SAS and
FibreChannel will follow.

Also generate D-Bus docs for the Controller interface

Fix type in udev rules for pci-id

Initial stab at exporting storage controllers via D-Bus

Guesstimate the buffer size to use for benchmarking

This gives more precise results and puts an upper bound on time taken
to benchmark (minutes).

Abort benchmark on IO errors

This happens a lot with DVDs because of "encryption".

Add DriveWwn, DriveRotationalRate and DriveWriteCache properties

Signed-off-by: David Zeuthen <davidz@redhat.com>

Add a method to benchmark drives

Signed-off-by: David Zeuthen <davidz@redhat.com>

Bug 24885 — LVM LVs now have NOPOLICY=0

Commit a95d3 caused the NOPOLICY rules get cut short for LVs. Move the NOPOLICY
check close to the top, since its (1) very cheap, and (2) very generic, i. e.
rules further down might want to tweak it for special cases.

Signed-off-by: David Zeuthen <davidz@redhat.com>

Update udev rules to cope better with device-mapper

See https://bugzilla.redhat.com/show_bug.cgi?id=528909#c24 for details.

Post-release version bump to 010

Update NEWS for release

Don't use hyphens in param names

It may upset some tools reading the introspection XML.

Bug 24718 — Proper handling of missing mkfs.*/fsck.*

Introduce two new errors:
  org.freedesktop.DeviceKit.Disks.Error.FilesystemDriverMissing
  org.freedesktop.DeviceKit.Disks.Error.FilesystemToolsMissing

which are thrown instead of a general Error.Failed when file system tools (such
as mkfs.<type> or xfs_admin) are not installed, or the kernel does not support
the fs type for FilesystemMount().

Note that this does not yet cover a missing cryptsetup.

Signed-off-by: David Zeuthen <davidz@redhat.com>

Bug 24679 — Support creating minix file systems

Signed-off-by: David Zeuthen <davidz@redhat.com>

Bug 24757 – Simplify helper-change-luks-password

Use "set -e" to do the error handling which was previously done manually.

Signed-off-by: David Zeuthen <davidz@redhat.com>

Bug 24757 — Bashism in luks helper breaks password changing

Fix bashism in devkit-disks-helper-change-luks-password which broke
LuksChangePassphrase() due to POSIX shell not knowing about "-e".

Signed-off-by: David Zeuthen <davidz@redhat.com>

Bug 24778 — throw_error() segfaults for daemon-internally called methods

Some functions like devkit_disks_device_drive_ata_smart_refresh_data() are used
internally by the daemon, in which case the DBusGMethodInvocation context is
NULL. If these methods throw an error (observed on "daemon is inhibited"), this
NULL context is propagated all the way down to throw_error, which previously
tried to call dbus_g_method_return_error() with a NULL context; there is no
D-Bus method call to terminate, so this caused a segfault.

Change throw_error() to just use g_warning() in this case, so that the error
appears on the daemon's stderr. This makes it generally safe to internally call
D-Bus exported methods.

Signed-off-by: David Zeuthen <davidz@redhat.com>

Use BLKPG_ADD_PARTITION when adding a partition

This is similar to the previous commit. We don't want to rely on
libparted because that won't work if another partition on the main
device is busy.

Use BLKPG_DEL_PARTITION when deleting partitions instead of libparted

Sadly, libparted gets this wrong since it does the equivalent of
'blockdev --rereadpt' which fails if one or more partitions are busy.

Also disallow deleting an extended partition if logical partitions
exist. We can undo this if we add some code to also do DEL_PARTITION
for the logical partitions (including scrubbing signatures).

Also ignore a device if DM_UDEV_DISABLE_OTHER_RULES_FLAG is set

https://bugzilla.redhat.com/show_bug.cgi?id=528909#c10

Add new LinuxMdComponentPosition property

Use unregister facility in dbus-glib 0.82 and misc life-cycle fixes

Pass -F to mkfs.ext[234] to allow creating a filesystem on the whole disk

Allow creating a partition table with same scheme as existing one

Use 'udevadm settle' instead of 15-second timeout

Suggested by Milan Broz <mbroz@redhat.com> in

https://bugzilla.redhat.com/show_bug.cgi?id=530721#c1

Work around blkid incorrectly detecting FAT on extended partitions

This is really a blkid bug but work around it for now by clearing Id*
properties for extended partitions.

When updating holders/slaves, defer the updates to an idle handler

This is needed because sometimes updates may depend on the actual
device just being added.

Specifically, this patch fixes a problem with manually unlocking LUKS
devices, e.g.

 # echo xyz123 | cryptsetup -T 1 luksOpen /dev/sdb1 foobar

Here we get /dev/dm-0 at some point and then we want to update
/dev/sdb1. But the update of /dev/sdb1 depends on the existence of
/dev/dm-0 - specifically update_info_luks() won't set :DeviceIsLuks
and :Luks before /dev/dm-0 really exists.

Bug 24673 — Support creating swap fs with labels

mkswapfs supports labels just fine, add support for it to FilesystemCreate().

Signed-off-by: David Zeuthen <davidz@redhat.com>

Pass -T to cryptsetup to handle incorrect passphrases

Also don't sleep on the error path. Also filed a bug for the
root-problem and included the bug reference in the tirade of why we
need to sleep 15 seconds etc.

https://bugzilla.redhat.com/show_bug.cgi?id=530721

Various device-mapper and cryptsetup fixes

Post-release version bump to 009

Update NEWS for release

Bug 24499 – media players have USB drive icon

Set "media-player" icon for devices which have ID_MEDIA_PLAYER (as set by
media-player-info).

Signed-off-by: David Zeuthen <davidz@redhat.com>

Bug 24468 – part-id crashes if drive device node does not exist

This fixes a corner case crash if a partition device node exists (like
/dev/sda5), but the corresponding drive device node (like /dev/sda) does not.
This should not happen in a running system, but was reported to occur during a
distribution upgrade.

Just handle the situation gracefully with a proper error message instead of
crashing.

http://bugs.freedesktop.org/show_bug.cgi?id=24468

Signed-off-by: David Zeuthen <davidz@redhat.com>

Bug 24264 – Crash on removing NULL value from hash in device_remove()

Properly handle the situtation where we're processing a 'change' event
but the 'remove' event has happened but is still queued up in our own
process. Also handle device file renames and 'move' uevents.

https://bugs.freedesktop.org/show_bug.cgi?id=24264

Bug 24351 – Firewire hard drive is considered system-internal

Firewire subsystem is called "ieee1394" in current Linux. Now check for both
"ieee1394" and "firewire". This fixes firewire drives to not be considered
system internal any more.

https://bugs.freedesktop.org/show_bug.cgi?id=24351

Signed-off-by: David Zeuthen <davidz@redhat.com>

Bug 24343 – Unintended side-effect when calling DriveDetach()

Some laptops like the Dell Mini 10 have builtin SD card readers which
are wired through an internal USB bus. The current behaviour is that
if you click the eject button in nautilus, the card reader device gets
ejected and disconnected, and cannot be reactivated ever, except by a
reboot.

The cause of this is that DK-d's update_info_drive() sets "can_detach"
for all USB devices currently, which causes
devkit-disks-helper-drive-detach to be called on them.

https://bugs.freedesktop.org/show_bug.cgi?id=24343

Bug 24129 – Please mount vfat disks with shortname=mixed

The previous default, shortname=lower, breaks all-uppercase file names ("touch
FOO" creates "foo"), thus breaks rsync, and Windows compatibility.

The default was changed in the Linux kernel as well, see
http://git.kernel.org/?p=linux/kernel/git/torvalds/linux-2.6.git;a=commit;h=955234755ce4a2c33cfc558912aa8f2148cc1fc6

https://bugs.freedesktop.org/show_bug.cgi?id=24129

Signed-off-by: David Zeuthen <davidz@redhat.com>

Bug 24054 – Devickit-disks doesn't support changing ntfs label

Bug 24053 – MMC cards aren't automounted.

Show MMC/MemStick cards by default. The previous whitelist in the
udev rules ignored them.

https://bugs.freedesktop.org/show_bug.cgi?id=24053

Signed-off-by: David Zeuthen <davidz@redhat.com>
Signed-off-by: Martin Pitt <martin.pitt@ubuntu.com>

Bug 24052 – CDROM eject button is locked while CDROM is mounted

Unlike in the hal world, we do not have a daemon polling CD drives for eject
button presses. In order to make hardware tray eject buttons work, unlock the
tray after mounting a CD.

This is pretty much equivalent to yanking out USB sticks, which we already
handle reasonably (detecting disappeared device, force-unmounting).

https://bugs.freedesktop.org/show_bug.cgi?id=24052

Signed-off-by: David Zeuthen <davidz@redhat.com>

Actually inhibit the daemon when Inhibit() is called

Guess this was forgotten with the polkit-1 porting effort.

Post-release version bump to 008

Update NEWS for release

Bug 23926 – Error creating partition

When creating a partition we may already have received the uevent for
the new partition. Check for this before waiting for it.

Bug 23541 – PartitionTableCreate method times out

... when 'none' is specified as a parameter.

Signed-off-by: David Zeuthen <davidz@redhat.com>

Bug 23579 – Must allow DBus Properties interface for g-d-u to work

Bug 23761 – Some leaks

g_hash_table_get_values returns a newly-allocated GList. The callers
of devkit_disks_daemon_local_get_all_devices need to free it.

Signed-off-by: David Zeuthen <davidz@redhat.com>