testsuite: mkfs() code cleanup

Replace the long if ladder for mkfs special cases with option dictionaries.
This makes it easier to extend in the future and the code easier to read.

Bug 28075 — Do not have all files executable on vfat

Enable the "showexec" vfat mount option, to avoid data files being executable
(which causes confusing question dialogs in nautilus which only have one
sensible answer).

See http://www.kernel.org/doc/Documentation/filesystems/vfat.txt (search for
"showexec") for the details of this option.

Update to latest LVM2 API

See

 http://lists.freedesktop.org/archives/devkit-devel/2010-April/000783.html

testsuite: Check file permissions

Add a check to the filesystem test cases for sane permissions of data files and
executables. In particular, this ensures that the executable bit is set where
it makes sense (directories and programs), but not on mere data files.

We currently ignore known-broken file systems like vfat and ntfs.

This is the groundwork to fix this behaviour at least on vfat. Its current
behaviour is quite unnerving, since trying to open a file on them in e. g.
GNOME will always ask for "do you want to open or run this file".

Post-release version bump to 1.0.2

Update NEWS for release

add information about CVE-2010-1149 to NEWS

Hide Sony E-Book launcher partition

It only contains Windows software and is read-only, and thus useless.

https://launchpad.net/bugs/546924

job-drive-benchmark.c: Fix data types in error messages

We previously used wrongly sized data types in the error messages, which causes
crashes on platforms where they do not coincidentally match in size.

https://launchpad.net/bugs/527202

part-id: Fix DM partition table detection

If DM_NAME does not end in 'pN' (i. e. is not a partition), do not treat it as
malformed, but just go ahead probing it. This fixes partition table detection
for kpartx'ed DM devices.

Re-enable the test case which originally uncovered this bug.

testsuite: Check presence and properties of loop devices

Bug 27494 — publicly exports dm key information

Change udisks-dm-export to only export UDISKS_DM_TARGETS_PARAMS for "linear"
types. It is the only one we care about for now and know how to interpret.
"crypto" types have information about the encryption key in the target
parameters, which we must not leak.

Also add appropriate comments to the two places which currently evaluate
UDISKS_DM_TARGETS_PARAMS.

testsuite: Test detection of kpartx LVM partitions

Add a new LVM test case where we create two partitions of the LV and check
their udisks properties.

This is primarily meant to test the rather involved logic of udisks-part-id to
determine which device that partition is a slave of (it involves parsing
UDISKS_DM_TARGETS_PARAMS and various DM_* properties).

This also apparently uncovered a bug: the partition table does not have correct
properties in udisks. Comment out the two checks for now, to be investigated
later.

testsuite: Check that our udev probers do not leak key information

This reproduces https://bugs.freedesktop.org/show_bug.cgi?id=27494

Fix exit code of umount.udisks

Exit with return code 0 if the unmount succeeded.

https://launchpad.net/bugs/541740

Allow other rules to set a more specific presentation icon

If previous rules already set UDISKS_PRESENTATION_ICON_NAME (like in a future
media-player-info, to attach more specific icons to particular devices), do not
overwrite it with our generic icons; just set them if we do not have an icon at
all yet.

Also put the icon rules into their own visual section now, they were previously
in the middle of the "card reader type" rules.

Set multimedia-player-ipod icon for iPod media players

Part of https://launchpad.net/bugs/540235

Update NEWS for release

Ooops, should have done this before 1.0.0 - this will have to do.

Post-release version bump to 1.0.1

Signed-off-by: David Zeuthen <davidz@redhat.com>

Add TODO item about UTF-8 and D-Bus properties

Guarantee that DeviceFilePresentation always contain something meaningful

This makes life easier for UI tools - they can always just display
:DeviceFilePresentation instead of having to check whether it's blank
and if so use :DeviceFile.

Signed-off-by: David Zeuthen <davidz@redhat.com>

Make it possible to disable LVM2 and dm-multipath support

Evidently, the device-mapper and LVM2 side of this needs some more
work so certain enterprise distros may want to disable this for now.

Signed-off-by: David Zeuthen <davidz@redhat.com>

Update TODO

Signed-off-by: David Zeuthen <davidz@redhat.com>

Fix partition table probing during coldplug

Commit 8aa58f68ae3b53f6ba6d8c51b4f66bc8135b4123 introduced a subtle
assumption that the device file given on the command line for
udisks-part-id is the same as what udev_device_get_devnode() returns
for the udev_device object. This is actually not true when handling an
event as the node passed is a temporary one.

Signed-off-by: David Zeuthen <davidz@redhat.com>

udisks-part-id: Simplify code

In 8aa58f we changed part-id to keep one singe udev_device around. Simplify
get_part_table_device_file() to not get the syspath from our device, just to
get a new udev device from that syspath again (which is exactly the same as the
device that we already have).

This also fixes a double udev_device_unref(), although this seems to have been
harmless.

Bug 27072 — does not force-unmount for drives in fstab

force_removal() previously only checked for entries in our own mtab.
This caused forced unmounts for drives in /etc/fstab not to work.

Now check for drives in /etc/fstab as well.

TODO update for property update race conditions

testsuite: Add option to disable workarounds for race conditions

Some D-BUS API methods cause properties to not be up to date yet when a method
call finishes, thus we do an udevadm settle as a workaround in the test suite.
Those bugs should eventually get fixed properly, but it's unnerving to have the
tests fail on them when you are working on something else.

Split the udevadm settles into the existing .sync() for legitimate syncs, and a
new sync_workaround() for race condition workarounds.

Add --no-workarounds CLI option to disable those workaround syncs, so that
these race conditions can be detected and fixed.

testsuite: Use loop devices instead of ram disks

On many platforms, the default size of RAM disks is too small for some file
systems or LVM devices. Rewrite using temporary loop devices.

udisks-part-id: Check ID_FS_TYPE from environment first

We need to do that for the initial udev run where blkid and udisks-part-id are
called in the same round; the database is not updated at that time yet.

Bug 26996 — wrongly detects partition on unpartitioned VFAT device

A standard VFAT header matches the signature of an MBR, so we detected VFAT
file systems on raw unpartitioned devices as both VFAT and MBR partition table.
This confuses gnome-disk-utility/gvfs, and causes them to be ignored in GNOME.

The standard approach in the kernel/blkid is to only detect an MBR if it does
not have a valid VFAT signature. Since blkid already does that for us, do not
output PARTITION_TABLE properties in udisks-part-id if we already know that we
have a valid ID_FS_TYPE.

udisks-part-id: Shuffle code to keep udev_device in main()

Reorder the code to get and keep an udev_device struct in main() and pass it
down to get_part_table_device_file(), instead of temporarily creating them in
that function and get_syspath(). This avoids duplicate lookups and also
allows us to do further queries on the udev_device later on (which we need to
fix bz#26996)

testsuite: Check partitions with filesystems

So far we only checked handling of partitions without file systems, which did
not detect the regression from commit cfc6698. Now test both combinations.

Note that we have to jump through some hoops here, since
Partition{Create,Modify} internally writes the new partition type/flags/etc,
and thus does not care about a broken part-id. Thus we trigger a change event
on block devices to actually check what the udev probers do.

Bug 25424 — Update to stable API of udev/gudev/dbus

Remove G_UDEV_API_IS_SUBJECT_TO_CHANGE and
LIBUDEV_I_KNOW_THE_API_IS_SUBJECT_TO_CHANGE.
Bump the build dependency on libudev to >= 143 and gudev-1.0 to >= 147
when those APIs were declared stable.
We also depend on dbus >= 1.0, so remove DBUS_API_SUBJECT_TO_CHANGE as
well.

Signed-off-by: David Zeuthen <davidz@redhat.com>

Bug 25012 ­Add "usefree" to vfat available options

When mounting a vfat volume, system scan the entire partition to know free
space available, using "usefree" option avoid this scan and use the free
clusters info on file system.

Modern kernels should not really need this any more, even on a 500 GB vfat
external disk it only takes two or three seconds to probe the file system.

However, this regressed in the kernel already twice in the past, so merely
allowing the mount option (without making it the default) provides a workaround
for such cases.

Signed-off-by: Martin Pitt <martin.pitt@ubuntu.com>

testsuite: Get along with running gvfs/nautilus

Send a SIGSTOP to all gvfs-gdu-volume-monitor processes while the test suite is
running, to avoid nautilus windows popping up by the dozens, and causing "busy"
failures.

testsuite: Add TODO item to test new support for loop devices

Handle loopback devices

 http://people.freedesktop.org/~david/udisks-loop-devices.png

it even works with kpartx partitions

 http://people.freedesktop.org/~david/palimpsest-loop-kpartx-partition.png

In order for this to work well, you will this patch

 http://people.freedesktop.org/~david/0001-Generate-change-uevent-for-loop-device.patch

which is also needed in order to make the /dev/disk hierarchy work
well. In lieu of this patch, you can generate the 'change' uevent
yourself. I've submitted this patch upstream through Kay Sievers.

Revert "Bug 26996 — wrongly detects partition on unpartitioned VFAT device"

This commit actually broke partition table parsing for the partitions
itself, e.g. this output

UDISKS_PARTITION=1
UDISKS_PARTITION_SCHEME=mbr
UDISKS_PARTITION_NUMBER=1
UDISKS_PARTITION_TYPE=0x83
UDISKS_PARTITION_SIZE=51202335744
UDISKS_PARTITION_LABEL=
UDISKS_PARTITION_UUID=
UDISKS_PARTITION_FLAGS=boot
UDISKS_PARTITION_SLAVE=/sys/devices/pci0000:00/0000:00:1f.2/host0/target0:0:0/0:0:0:0/block/sda
UDISKS_PARTITION_OFFSET=32256
UDISKS_PARTITION_ALIGNMENT_OFFSET=0

if the partition in question had a recognizable filesystem.

This reverts commit cfc669846a53815517d32d0b7b96cbc4935cea7a.

Update TODO

Bug 26996 — wrongly detects partition on unpartitioned VFAT device

A standard VFAT header matches the signature of an MBR, so we detected
VFAT file systems on raw unpartitioned devices as both VFAT and MBR partition
table. This confuses gnome-disk-utility/gvfs, and causes them to be ignored in
GNOME.

The standard approach in the kernel/blkid is to only detect an MBR if it does
not have a valid VFAT signature. Since blkid already does that for us, just
skip the udisks-part-id invocation completely if we already know that we have a
valid ID_FS_TYPE.

testsuite: Ensure that volumes on raw partitions don't have a partition table

This reproduces bz#26996.

Drop obsolete rule for suspended LVM devices

udisks-dm-export does not set UDISKS_DM_{STATE,NAME} any more, and recent LVM
versions check and flag private devices themselves, so just drop our own rules
for that.

Signed-off-by: Martin Pitt <martin.pitt@ubuntu.com>

Drop obsolete rules for private LVM devices

udisks-dm-export does not set UDISKS_DM_{UUID,NAME} any more, and recent LVM
versions check and flag private devices themselves, so just drop our own rules
for that.

Signed-off-by: Martin Pitt <martin.pitt@ubuntu.com>

Respect DM_UDEV_DISABLE_DISK_RULES_FLAG from current LVM

Include udisks-tcp-bridge.xml in dist tarball

Signed-off-by: Martin Pitt <martin.pitt@ubuntu.com>

Include profile.h in dist tarball

Signed-off-by: Martin Pitt <martin.pitt@ubuntu.com>

Update .gitignore files

fix compiler warnings

Fix a couple of unchecked function call results, and a strict pointer aliasing
violation, which resulted in compiler warnings.

in maintainer mode, build with -Werror

With --enable-maintainer-mode, or with --enable-strict, build with -Werror.

Initialize variable before use

Bug 26725 — add profiling

Add a PROFILE() macro (src/profile.h) which, when building with
--enable-profiling, adds fake access() calls as trace points for startup speed
profiling.

http://people.gnome.org/~federico/news-2006-03.html#login-time-2 describes how
to use strace and turn its output into a nice graph:

  # strace -tttfo /tmp/trace src/udisks-daemon
  [...]
  $ plot-timeline.py -o /tmp/trace.png /tmp/trace

Instrument the most important/complex methods in daemon.c and device.c, and
main().

Bug 26822 — Fix benchmarking for large files

Use lseek64() instead of lseek() in job-drive-benchmark.c (as in the rest of
the code), to also work with large devices.

Signed-off-by: Martin Pitt <martin.pitt@ubuntu.com>

fix media detection of CD-ROMs

Use ID_CDROM_MEDIA property for media detection in update_info(), not
ID_CDROM_MEDIA_STATE. The latter is not set by udev's cdrom_id for pure CD-ROM
media (since it's sometimes wrong), and we are already using ID_CDROM_MEDIA in
our udev rules, so let's be consistent here.

This was exposed by commit c8d02e0, which previously shadowed this bug.

Include stdout in mkfs error output

This is to help expose this bug

 mke2fs insists on user interaction even if stdin is not a tty and -F is passed
 https://bugzilla.redhat.com/show_bug.cgi?id=569021

Bug 24424 - Move UDISKS_MEDIA_AVAILABLE out of the part table prober

This change (magically) makes floppy disks work in GNOME. Woot.

We're using the UDISKS_ prefix, not DKD_

Also pointed out in

http://bugs.freedesktop.org/show_bug.cgi?id=26720

Add a --disable-remote-access option

Certain Enterprise Linux vendors might not want to support the udisks
1.0.x ABI for seven years.

Update detach helper for current sysfs interface

Writing 'suspend' to power/level doesn't seem to work these days
(worked in F12 but broken in F13). Also use the new remove/ sysfs
attribute.

Improve debug output and support for the detach helper

This allows easily invoking the tool from a shell, like this

 $ sudo /usr/libexec/udisks-helper-drive-detach /dev/sdb
 Detaching device: /dev/sdb
 SYNCHRONIZE CACHE: FAILED: No such file or directory
 (Continuing despite SYNCHRONIZE CACHE failure.)
 STOP UNIT: OK
 Unbind USB interface driver: OK
 Suspend USB Device: OK
 $ echo $?
 0

Use DM_NAME instead of DM_UUID when determining partition number

Gah, looks like DM_UUID is not always set for partitions on multipath
devices. Let's hope it's the case for DM_NAME.

testsuite: Fix LVM tests

Turns out that current LVM versions/rules do create by-id symlinks for RAID
mirror images, on purpose. So do not fail on them, just check that they do not
have a real IdUsage/IdUuid.

Update for new liblvm2app library

Several things changed in liblvm2app

 - sizes are now reported in bytes instead of sectors
 - a couple of new functions were added

You will need lvm2 version 2.02.61 or later (on Fedora Rawhide, this
is available as lvm2-2.02.61-1.fc13.x86_64). Unfortunately the liblvm2
pc version number is stuck at 2.1 so we can't require this version in
configure.in. I've asked the LVM team to fix that.

Add doc/udisks-overrides.txt so 'make dist' works

Hmm, need to investigate later why this is needed.

Fix compiler warning

Export alignment offset for a partition

Rework partition table probing

In particular, always respect UDISKS_PARTITION_* and
UDISKS_PARTITION_TABLE_* udev properties.

Also, temporarily, use g_getenv() to retrieve properties in
udisks-part-id. It seems like libudev doesn't return properties
correctly in some cases involving dm-multipath. Will need to
investigate.

Add support for "disable polling" udev property

Do not poll a device which has UDISKS_DISABLE_POLLING set. Some known-broken
CD-ROM drives cause a lot of CPU activity when being polled, so allow admins to
suppress polling with a local udev rule like

  SUBSYSTEM=="block", ENV{ID_VENDOR}=="Optiarc*", ENV{ID_MODEL}=="*AD-7640S*", \
      ENV{UDISKS_DISABLE_POLLING}="1"

https://bugs.freedesktop.org/show_bug.cgi?id=26508

Make sure udisks-helper-mdadm-expand is included in the dist tarball

Signed-off-by: Martin Pitt <martin.pitt@ubuntu.com>

testsuite: check --localstatedir configuration

If the local build tree is not built with a sensible --localstatedir, i. e.
${localstatedir}/{run,lib}/udisks/ does not exist, the test suite is doomed to
fail and requires lots of manual cleanup.

Detect this situation and fail early with a sensible error message. This will
also cause the test suite to not really run on a mere "distcheck" without
configure arguments.

Robustify evaluation of DM_SUSPEND

If a DM device does not have DM_SUSPEND at all, do not consider it suspended.

Bug 24446 — automake integration of test suite

This ensures that the test script is shipped with the distribution tarball, and
the tests are run during "make check" through sudo.

Bug 24446 — Add a test suite

Add a test suite which checks operations on a fake device (currently a RAID-0
md built from a RAM disk).  This is useful for regression and system/distro
integration testing, since it will only succeed if working versions of
cryptsetup, udev rules, etc. are installed.

Current coverage:
 - tests local build tree or system binaries, depending from where it is run
 - udisks --show-info
 - create/relabel/mount/unmount/fsck/open files/take ownership for supported
file systems (ext[234], minix, xfs, ntfs, vfat, swap), with both command line
tools (and udisks detection) as well as udisks D-Bus interface
 - LUKS create/teardown/mount/unmount/change password
 - Partition create/flags/modify/delete for MBR and GPT (APM tests are present,
but disabled)
 - SMART status/real HD/simulate
 - LVM single LV/single LV with RAID-1
 - Manager functionality: Enumerate*, FindDeviceBy*, Inhibition

Bug 24446 — Add --helper-dir option

Add daemon option --helper-dir to specify helper directory. This is useful for
running the daemon from the local build tree for testing (--helper-dir
src/helpers).

Remove explicit PACKAGE_LIBEXEC_DIR from job invocations, since job_new()
already searches $PATH and the daemon sets $PATH to a known-good value. So
--helper-dir only prepends the custom directory to $PATH.

Support building without lvm2app

Add LinuxMdExpand method and rename LinuxMdAddComponent to LinuxMdAddSpare

When creating a LV, ensure that it is part of PV metadata until returning

This is important in gnome-disk-utility where we only displays LVs
that are part of PV metadata.

Make sure all devices are returned, even when handling change events

We actually remove the device from map_native_path_to_device during a
change event. This means that the device being handled in e.g. update_info()
isn't part of what daemon_local_get_all_devices() returns.

Export multipath parameters as a textual string

The string itself is defined here

http://christophe.varoqui.free.fr/refbook.html

We could play games like decoding the string daemon side and export a
complicated object model but it's much easier to pint that to the
client.

Copy identifying data from multipath components onto the multipath device

Don't copy data from each path into the virtual multipath device

We punt this responsibility to the client.

Require both SERIAL and WWN to be non-empty when matching up similar drives

The previous behavior was to require either-or. Unfortunately this
easily matched N-in-one card readers which wasn't optimal.

Add udev rules for detecting some common USB card readers

Should probably port everything from

 /usr/share/hal/fdi/information/10freedesktop/10-usb-card-readers.fdi

some day.

Tighten up checks for detecting kpartx partitions for dm-multipath

We inadvertenly tagged any linear mapping - ensure the source that we
map for is really a dm-multipath device.

Make sure to fsync(2) the main block device when scrubbing signatures

Add a DriveSimilarDevices property

This property can help clients figure out if multipath isn't set up.

First cut at device-mapper multipath support

Speed up DeviceKit device probing on really slow devices

My wife has a embroidery machine that acts as a USB memory stick when
plugged into a computer through its USB port. It has a truly stunning read
speed of 15kB/s (yes, really), and it turns out that both udev and
DeviceKit react very badly to devices that are slow, because they read too
much data off it.

udev - through blkid - ended up reading closer to two hundred kB off the
device in order to check all possible filesystems. DeviceKit is much
better, and only does a single 512-byte read to figure out the DOS
partitioning sceme.

However, unluckily, both udev and DeviceKit end up triggering read-ahead
on the device. The kernel decides that if you start reading from the
beginning (and the partition info is at the start), you're likely going to
continue reading. Which is a reasonable assumption in general, but isn't
true for odd things like "read just the partition table".

So even though DeviceKit only does a 512-byte read, read-ahead will turn
it into a 16kB device access, and you get timing behavior like this:

time /lib/udev/devkit-disks-part-id /dev/sdc

real 0m1.043s
user 0m0.004s
sys 0m0.008s

which basically delays figuring out what to do with the newly plugged in
hardware by a second (blkid took 13+ seconds for both the full device and
the partition it contained, so DeviceKit is positively wonderful in
comparison ;).

Making part-id just ask for no read-ahead (by saying that the access
patterns are random) ends up helping performance noticeably. Recompiling
part-id with this patch results in:

time ./src/probers/udisks-part-id /dev/sdc

real 0m0.276s
user 0m0.005s
sys 0m0.007s

because the kernel will now only read 4kB off the disk (4kB is the caching
granularity, so you'll never see an actual 512-byte read without doing
special odd things).

Signed-off-by: Linus Torvalds <torvalds@linux-foundation.org>
Signed-off-by: David Zeuthen <davidz@redhat.com>

Use the PV UUID in LinuxLvm2VGRemovePV() to identify the PV

... instead of the object path. This is to make it possible (albeit
not yet supported in vgreduce(8)) to remove a non-existant PV - say,
the disk with the PV was destroyed.

Add methods for adding/removing PVs to a VG

Minor update to LVM2 PV export routines

Add a method to create LVM2 Logical Volumes

Add method to remove/delete a LVM LV

Add methods for setting LVM2 VG and LV names

Get the LVM LV UUIDs from sysfs to avoid using liblvm2 in the dm prober

Fix typo in udev rule for udisks-lvm-pv-export

This typo made the export program run for each and every block device
- only run it for LVM2 PVs.

First cut at LVM2 support

Use SUBSYSTEMS whenever using ATTRS

This speeds up udev rules processing considerably.

Signed-off-by: David Zeuthen <davidz@redhat.com>

Add media type udev rule for SD card reader in MacbookPro5,4

Signed-off-by: David Zeuthen <davidz@redhat.com>

Update NEWS

We're not doing a release just yet (more ABI changes are planned - and
we need to do them before committing to ABI stability for the 1.0.x
series to avoid opening 1.1.x too early) but it might be nice to
incrementally add items to this file as we are reworking the ABI and
API.