testsuite: fix race in LVM

Do an udev sync before getting the old list of devices, as there might still be
lingering updates from other tests; these appear as new devices in the delta
list and break the test.

Hide recovery partition on newer Lenovo machines

Hide the "SYSTEM RESERVED" recovery partition on newer Lenovo
machines.

https://bugs.freedesktop.org/show_bug.cgi?id=30930

Signed-off-by: David Zeuthen <davidz@redhat.com>

Post-release version bump to 1.0.3

update NEWS for 1.0.2 release

Fix hang on setting invalid VFAT labels

VFAT does not support several characters in file names and labels, in
particular: " * / : < > ? \ |
(http://en.wikipedia.org/wiki/File_Allocation_Table)

When using one of those, mlabel interactively asks what to do, and thus causes
a hang. Now check for invalid characters and return a proper error instead.

Also update the test case to verify that we get an Error on invalid labels, and
that valid labels still work.

simplify validate_and_escape_label()

Cleanup from 3d42082

Escape NTFS labels properly

Caught by recent test suite update.

testsuite: use shorter label for renaming

The previous one was too long for some file systems like XFS. This produced a
correct DBusException, but it's not what we primarily want to test for.

udisks: escape backslash for label string

validate_and_escape_label will only escapes '"'.
However, string '\"' will be escaped to '\\"' which leads unmatched
double quote for shell string in result.

This adds escaping '\' in validate_and_escape_label to avoid the problem.

Signed-off-by: Jiro SEKIBA <jir@unicus.jp>
Signed-off-by: Martin Pitt <martin.pitt@ubuntu.com>

testsuite: Check correct handling of labels with funny characters

Try to change to a label containing backslashes and quotes. This will make
things fall over quite badly in a lot of cases right now.

Fix building with Linux 2.6.37

<linux/fs.h> uses uint64_t without including it itself. Arguably a kernel bug,
but it costs us nothing to defend against it.

udisks: Avoid deprecated polkit_authority_get() function

Use polkit_authority_get_sync() instead.

This was introduced in polkit-1 commit 322513b0d, thus bump the configure.ac
check to 0.97.

Signed-off-by: Martin Pitt <martin.pitt@ubuntu.com>

testsuite: Test forced removal of standard devices

Corresponding to the previous test for forced removal of LUKS encrypted
devices, also test handling of forced removal for plain unencrypted devices.

testsuite: Check forced removal of LUKS encrypted device

Add two new methods remove_device() and readd_devices() which simulate device
removal and readdition.

Add new test case for force-removal handling of a mounted LUKS device: verify
that it cleans up properly and device can be remounted again afterwards.

This reproduces the cleanup failure in bug 30332 and verifies that the fix for
tihs (16529b69f) works.

Fix uninitialized variable in part-id

With gcc 4.5:

part-id.c: In function ‘main’:
part-id.c:186:9: error: ‘partition_number’ may be used uninitialized in this function

This only affected the error path, where we would return an arbitrary value in
get_part_table_device_file()'s out_partition_number (but return a failure
result). No big deal, but let's initialize it for quiescing gcc.

partutil: Explicitly use PART_TYPE_UNKNOWN

Previously we were comparing PartitionScheme values against the undefined enum
value -1, which causes a warning with gcc 4.5. Define -1 explicitly as
"PART_TYPE_UNKNOWN" and only use that in the code, which is cleaner.

Thanks to Marti Raudsepp for pointing this out!

udisks: fix a bug of unquoted/unescaped label string

This patch quotes/escapes label string for nilfs-tune.

Signed-off-by: Jiro SEKIBA <jir@unicus.jp>
Signed-off-by: Martin Pitt <martin.pitt@ubuntu.com>

Add nilfs2 label rename

Support renaming label of nilfs2 partition.  Renaming is done by nilfs2-tune,
which is in nilfs2-util > 2.0.20.

This patch enables the label test excluded for lacking utility.

Signed-off-by: Martin Pitt <martin.pitt@ubuntu.com>

Also export UDISKS_DM_TARGET_PARAMS for 'multipath' target

This is safe - no key material or similar is ever exported
cf. CVE-2010-1149. Additionally, this unbreaks multipath support, see

http://people.freedesktop.org/~david/multipath-restored.png

Signed-off-by: David Zeuthen <davidz@redhat.com>

testsuite: Move to scsi_debug

Drop the usage of loop devices and move to scsi_debug. This provides much more
realistic behaviour (such as partitioning) and avoids using a kind of device
which udisks special-cases. scsi_debug fake devices can also be forcibly
removed (unlike loop and md), thus we can write test cases to check the cleanup
in this case.

Since scsi_debug only provides one (independent) test device, reorganize the
code a little to either just use one that one device (for most tests such as FS
or Smart), or use two partitions on that (for the LVM PVs).

Drop the "Loop" test case; it is not that interesting.

Fix creating NTFS on raw devices

Similarly to the other file systems, add a -F option to mkntfs, to avoid
failing on "this is not a partition blabla".

Fix mkfs.ext* arguments

Pass exactly one -F argument to mkfs.ext*, not one for each D-BUS method option
that we got (which meant none at all if there were no options). This fixes
creating ext* file systems on unpartitioned devices when supplying no option.

testsuite: LVM: fix naming assumptions

The LVM tests previously assumed that LVM devices had their primary device node
in /dev/mapper/. However, under the current udev rule device names should match
the kernel name, i. e. /dev/dm-*, and /dev/mapper/ should merely contain
symlinks.

Drop the /dev/mapper/* assumptions and just check whether there is a by-id/
symlink with the LV name.

testsuite: Fix SMART test for SSDs

SSDs do not have a "start-stop-count" (at least mine doesn't). Use
"power-on-hours" in the test suite instead.

testsuite: fix race with SMART data

On fast machines, the Smart.test_0_hd_status progresses too fast for the SMART
data to be collected at the time when its properties are tested. Now wait for
the data to become available.

Bug 30332 — udisks does not tear down LUKS devices when the slave is forcibly removed

In the event of the forced removal of a crypto device, use the luks_holder
property since it is still available to figure out which underlying cleartext
LUKS device to teardown, instead of scanning through all available devices
(because the cleartext device already has had its properties cleaned up).

Signed-off-by: Martin Pitt <martin.pitt@ubuntu.com>

profile.h: Add missing include

access() and F_OK are defined in unistd.h. Not strictly necessary for udisks
itself, but easier for stealing the file for other projects.

Fix btrfs properties

Fix the maximum label size, and availability for online resizing. Thanks Chris
Ball!

Bug 26258 — initial btrfs support

Add basic support for creating and checking btrfs. This does not yet support
spanning multiple devices, RAID, etc.

We disable online fsck for now. It works, but is said to be too unstable still.

Also bump the size of the loop devices in the test suite, since btrfs needs at
least 256 MB.

Add nilfs2 file system support

This needs util-linux-ng > 2.18.

Signed-off-by: Martin Pitt <martin.pitt@ubuntu.com>

Add udisks --eject option

As a companion to --mount, --unmount, and --detach, it's useful for testing and
provides a policykit-authenticated alternative to eject(1).

Signed-off-by: Martin Pitt <martin.pitt@ubuntu.com>

Bug 28075 — Do not have files executable on NTFS

Set fmask on NTFS devices to avoid having files being executable. This provides
a better default for almost all NTFS use cases under Linux, and avoids
confusing "show or execute?" questions in nautilus.

This is similar to what commit 7e7ec1 did for vfat, except that NTFS does not
have this handy "showexec" option.

Fix long hangs on probing nonexistant floppy drives

A lot of modern machines do not have a floppy drive any more, but still have a
floppy controller somewhere (or at least the BIOS pretends to). Trying to
open(/dev/fd0) on these machines causes long hangs, which lead to long desktop
startup times.

To fix this, avoid probing floppies for media in update_info().

https://launchpad.net/bugs/539515

Avoid using entities in introspection XML

Unfortunately GMarkup doesn't understand entities so
gdbus-binding-tool will not work with these XML files without this
patch.

Don't probe non-data discs for partition tables

Suggested by Kay Sievers. This is related to
https://bugzilla.kernel.org/show_bug.cgi?id=15757

Signed-off-by: David Zeuthen <davidz@redhat.com>

testsuite: mkfs() code cleanup

Replace the long if ladder for mkfs special cases with option dictionaries.
This makes it easier to extend in the future and the code easier to read.

Bug 28075 — Do not have all files executable on vfat

Enable the "showexec" vfat mount option, to avoid data files being executable
(which causes confusing question dialogs in nautilus which only have one
sensible answer).

See http://www.kernel.org/doc/Documentation/filesystems/vfat.txt (search for
"showexec") for the details of this option.

Update to latest LVM2 API

See

 http://lists.freedesktop.org/archives/devkit-devel/2010-April/000783.html

testsuite: Check file permissions

Add a check to the filesystem test cases for sane permissions of data files and
executables. In particular, this ensures that the executable bit is set where
it makes sense (directories and programs), but not on mere data files.

We currently ignore known-broken file systems like vfat and ntfs.

This is the groundwork to fix this behaviour at least on vfat. Its current
behaviour is quite unnerving, since trying to open a file on them in e. g.
GNOME will always ask for "do you want to open or run this file".

Post-release version bump to 1.0.2

Update NEWS for release

add information about CVE-2010-1149 to NEWS

Hide Sony E-Book launcher partition

It only contains Windows software and is read-only, and thus useless.

https://launchpad.net/bugs/546924

job-drive-benchmark.c: Fix data types in error messages

We previously used wrongly sized data types in the error messages, which causes
crashes on platforms where they do not coincidentally match in size.

https://launchpad.net/bugs/527202

part-id: Fix DM partition table detection

If DM_NAME does not end in 'pN' (i. e. is not a partition), do not treat it as
malformed, but just go ahead probing it. This fixes partition table detection
for kpartx'ed DM devices.

Re-enable the test case which originally uncovered this bug.

testsuite: Check presence and properties of loop devices

Bug 27494 — publicly exports dm key information

Change udisks-dm-export to only export UDISKS_DM_TARGETS_PARAMS for "linear"
types. It is the only one we care about for now and know how to interpret.
"crypto" types have information about the encryption key in the target
parameters, which we must not leak.

Also add appropriate comments to the two places which currently evaluate
UDISKS_DM_TARGETS_PARAMS.

testsuite: Test detection of kpartx LVM partitions

Add a new LVM test case where we create two partitions of the LV and check
their udisks properties.

This is primarily meant to test the rather involved logic of udisks-part-id to
determine which device that partition is a slave of (it involves parsing
UDISKS_DM_TARGETS_PARAMS and various DM_* properties).

This also apparently uncovered a bug: the partition table does not have correct
properties in udisks. Comment out the two checks for now, to be investigated
later.

testsuite: Check that our udev probers do not leak key information

This reproduces https://bugs.freedesktop.org/show_bug.cgi?id=27494

Fix exit code of umount.udisks

Exit with return code 0 if the unmount succeeded.

https://launchpad.net/bugs/541740

Allow other rules to set a more specific presentation icon

If previous rules already set UDISKS_PRESENTATION_ICON_NAME (like in a future
media-player-info, to attach more specific icons to particular devices), do not
overwrite it with our generic icons; just set them if we do not have an icon at
all yet.

Also put the icon rules into their own visual section now, they were previously
in the middle of the "card reader type" rules.

Set multimedia-player-ipod icon for iPod media players

Part of https://launchpad.net/bugs/540235

Update NEWS for release

Ooops, should have done this before 1.0.0 - this will have to do.

Post-release version bump to 1.0.1

Signed-off-by: David Zeuthen <davidz@redhat.com>

Add TODO item about UTF-8 and D-Bus properties

Guarantee that DeviceFilePresentation always contain something meaningful

This makes life easier for UI tools - they can always just display
:DeviceFilePresentation instead of having to check whether it's blank
and if so use :DeviceFile.

Signed-off-by: David Zeuthen <davidz@redhat.com>

Make it possible to disable LVM2 and dm-multipath support

Evidently, the device-mapper and LVM2 side of this needs some more
work so certain enterprise distros may want to disable this for now.

Signed-off-by: David Zeuthen <davidz@redhat.com>

Update TODO

Signed-off-by: David Zeuthen <davidz@redhat.com>

Fix partition table probing during coldplug

Commit 8aa58f68ae3b53f6ba6d8c51b4f66bc8135b4123 introduced a subtle
assumption that the device file given on the command line for
udisks-part-id is the same as what udev_device_get_devnode() returns
for the udev_device object. This is actually not true when handling an
event as the node passed is a temporary one.

Signed-off-by: David Zeuthen <davidz@redhat.com>

udisks-part-id: Simplify code

In 8aa58f we changed part-id to keep one singe udev_device around. Simplify
get_part_table_device_file() to not get the syspath from our device, just to
get a new udev device from that syspath again (which is exactly the same as the
device that we already have).

This also fixes a double udev_device_unref(), although this seems to have been
harmless.

Bug 27072 — does not force-unmount for drives in fstab

force_removal() previously only checked for entries in our own mtab.
This caused forced unmounts for drives in /etc/fstab not to work.

Now check for drives in /etc/fstab as well.

TODO update for property update race conditions

testsuite: Add option to disable workarounds for race conditions

Some D-BUS API methods cause properties to not be up to date yet when a method
call finishes, thus we do an udevadm settle as a workaround in the test suite.
Those bugs should eventually get fixed properly, but it's unnerving to have the
tests fail on them when you are working on something else.

Split the udevadm settles into the existing .sync() for legitimate syncs, and a
new sync_workaround() for race condition workarounds.

Add --no-workarounds CLI option to disable those workaround syncs, so that
these race conditions can be detected and fixed.

testsuite: Use loop devices instead of ram disks

On many platforms, the default size of RAM disks is too small for some file
systems or LVM devices. Rewrite using temporary loop devices.

udisks-part-id: Check ID_FS_TYPE from environment first

We need to do that for the initial udev run where blkid and udisks-part-id are
called in the same round; the database is not updated at that time yet.

Bug 26996 — wrongly detects partition on unpartitioned VFAT device

A standard VFAT header matches the signature of an MBR, so we detected VFAT
file systems on raw unpartitioned devices as both VFAT and MBR partition table.
This confuses gnome-disk-utility/gvfs, and causes them to be ignored in GNOME.

The standard approach in the kernel/blkid is to only detect an MBR if it does
not have a valid VFAT signature. Since blkid already does that for us, do not
output PARTITION_TABLE properties in udisks-part-id if we already know that we
have a valid ID_FS_TYPE.

udisks-part-id: Shuffle code to keep udev_device in main()

Reorder the code to get and keep an udev_device struct in main() and pass it
down to get_part_table_device_file(), instead of temporarily creating them in
that function and get_syspath(). This avoids duplicate lookups and also
allows us to do further queries on the udev_device later on (which we need to
fix bz#26996)

testsuite: Check partitions with filesystems

So far we only checked handling of partitions without file systems, which did
not detect the regression from commit cfc6698. Now test both combinations.

Note that we have to jump through some hoops here, since
Partition{Create,Modify} internally writes the new partition type/flags/etc,
and thus does not care about a broken part-id. Thus we trigger a change event
on block devices to actually check what the udev probers do.

Bug 25424 — Update to stable API of udev/gudev/dbus

Remove G_UDEV_API_IS_SUBJECT_TO_CHANGE and
LIBUDEV_I_KNOW_THE_API_IS_SUBJECT_TO_CHANGE.
Bump the build dependency on libudev to >= 143 and gudev-1.0 to >= 147
when those APIs were declared stable.
We also depend on dbus >= 1.0, so remove DBUS_API_SUBJECT_TO_CHANGE as
well.

Signed-off-by: David Zeuthen <davidz@redhat.com>

Bug 25012 ­Add "usefree" to vfat available options

When mounting a vfat volume, system scan the entire partition to know free
space available, using "usefree" option avoid this scan and use the free
clusters info on file system.

Modern kernels should not really need this any more, even on a 500 GB vfat
external disk it only takes two or three seconds to probe the file system.

However, this regressed in the kernel already twice in the past, so merely
allowing the mount option (without making it the default) provides a workaround
for such cases.

Signed-off-by: Martin Pitt <martin.pitt@ubuntu.com>

testsuite: Get along with running gvfs/nautilus

Send a SIGSTOP to all gvfs-gdu-volume-monitor processes while the test suite is
running, to avoid nautilus windows popping up by the dozens, and causing "busy"
failures.

testsuite: Add TODO item to test new support for loop devices

Handle loopback devices

 http://people.freedesktop.org/~david/udisks-loop-devices.png

it even works with kpartx partitions

 http://people.freedesktop.org/~david/palimpsest-loop-kpartx-partition.png

In order for this to work well, you will this patch

 http://people.freedesktop.org/~david/0001-Generate-change-uevent-for-loop-device.patch

which is also needed in order to make the /dev/disk hierarchy work
well. In lieu of this patch, you can generate the 'change' uevent
yourself. I've submitted this patch upstream through Kay Sievers.

Revert "Bug 26996 — wrongly detects partition on unpartitioned VFAT device"

This commit actually broke partition table parsing for the partitions
itself, e.g. this output

UDISKS_PARTITION=1
UDISKS_PARTITION_SCHEME=mbr
UDISKS_PARTITION_NUMBER=1
UDISKS_PARTITION_TYPE=0x83
UDISKS_PARTITION_SIZE=51202335744
UDISKS_PARTITION_LABEL=
UDISKS_PARTITION_UUID=
UDISKS_PARTITION_FLAGS=boot
UDISKS_PARTITION_SLAVE=/sys/devices/pci0000:00/0000:00:1f.2/host0/target0:0:0/0:0:0:0/block/sda
UDISKS_PARTITION_OFFSET=32256
UDISKS_PARTITION_ALIGNMENT_OFFSET=0

if the partition in question had a recognizable filesystem.

This reverts commit cfc669846a53815517d32d0b7b96cbc4935cea7a.

Update TODO

Bug 26996 — wrongly detects partition on unpartitioned VFAT device

A standard VFAT header matches the signature of an MBR, so we detected
VFAT file systems on raw unpartitioned devices as both VFAT and MBR partition
table. This confuses gnome-disk-utility/gvfs, and causes them to be ignored in
GNOME.

The standard approach in the kernel/blkid is to only detect an MBR if it does
not have a valid VFAT signature. Since blkid already does that for us, just
skip the udisks-part-id invocation completely if we already know that we have a
valid ID_FS_TYPE.

testsuite: Ensure that volumes on raw partitions don't have a partition table

This reproduces bz#26996.

Drop obsolete rule for suspended LVM devices

udisks-dm-export does not set UDISKS_DM_{STATE,NAME} any more, and recent LVM
versions check and flag private devices themselves, so just drop our own rules
for that.

Signed-off-by: Martin Pitt <martin.pitt@ubuntu.com>

Drop obsolete rules for private LVM devices

udisks-dm-export does not set UDISKS_DM_{UUID,NAME} any more, and recent LVM
versions check and flag private devices themselves, so just drop our own rules
for that.

Signed-off-by: Martin Pitt <martin.pitt@ubuntu.com>

Respect DM_UDEV_DISABLE_DISK_RULES_FLAG from current LVM

Include udisks-tcp-bridge.xml in dist tarball

Signed-off-by: Martin Pitt <martin.pitt@ubuntu.com>

Include profile.h in dist tarball

Signed-off-by: Martin Pitt <martin.pitt@ubuntu.com>

Update .gitignore files

fix compiler warnings

Fix a couple of unchecked function call results, and a strict pointer aliasing
violation, which resulted in compiler warnings.

in maintainer mode, build with -Werror

With --enable-maintainer-mode, or with --enable-strict, build with -Werror.

Initialize variable before use

Bug 26725 — add profiling

Add a PROFILE() macro (src/profile.h) which, when building with
--enable-profiling, adds fake access() calls as trace points for startup speed
profiling.

http://people.gnome.org/~federico/news-2006-03.html#login-time-2 describes how
to use strace and turn its output into a nice graph:

  # strace -tttfo /tmp/trace src/udisks-daemon
  [...]
  $ plot-timeline.py -o /tmp/trace.png /tmp/trace

Instrument the most important/complex methods in daemon.c and device.c, and
main().

Bug 26822 — Fix benchmarking for large files

Use lseek64() instead of lseek() in job-drive-benchmark.c (as in the rest of
the code), to also work with large devices.

Signed-off-by: Martin Pitt <martin.pitt@ubuntu.com>

fix media detection of CD-ROMs

Use ID_CDROM_MEDIA property for media detection in update_info(), not
ID_CDROM_MEDIA_STATE. The latter is not set by udev's cdrom_id for pure CD-ROM
media (since it's sometimes wrong), and we are already using ID_CDROM_MEDIA in
our udev rules, so let's be consistent here.

This was exposed by commit c8d02e0, which previously shadowed this bug.

Include stdout in mkfs error output

This is to help expose this bug

 mke2fs insists on user interaction even if stdin is not a tty and -F is passed
 https://bugzilla.redhat.com/show_bug.cgi?id=569021

Bug 24424 - Move UDISKS_MEDIA_AVAILABLE out of the part table prober

This change (magically) makes floppy disks work in GNOME. Woot.

We're using the UDISKS_ prefix, not DKD_

Also pointed out in

http://bugs.freedesktop.org/show_bug.cgi?id=26720

Add a --disable-remote-access option

Certain Enterprise Linux vendors might not want to support the udisks
1.0.x ABI for seven years.

Update detach helper for current sysfs interface

Writing 'suspend' to power/level doesn't seem to work these days
(worked in F12 but broken in F13). Also use the new remove/ sysfs
attribute.

Improve debug output and support for the detach helper

This allows easily invoking the tool from a shell, like this

 $ sudo /usr/libexec/udisks-helper-drive-detach /dev/sdb
 Detaching device: /dev/sdb
 SYNCHRONIZE CACHE: FAILED: No such file or directory
 (Continuing despite SYNCHRONIZE CACHE failure.)
 STOP UNIT: OK
 Unbind USB interface driver: OK
 Suspend USB Device: OK
 $ echo $?
 0

Use DM_NAME instead of DM_UUID when determining partition number

Gah, looks like DM_UUID is not always set for partitions on multipath
devices. Let's hope it's the case for DM_NAME.

testsuite: Fix LVM tests

Turns out that current LVM versions/rules do create by-id symlinks for RAID
mirror images, on purpose. So do not fail on them, just check that they do not
have a real IdUsage/IdUuid.

Update for new liblvm2app library

Several things changed in liblvm2app

 - sizes are now reported in bytes instead of sectors
 - a couple of new functions were added

You will need lvm2 version 2.02.61 or later (on Fedora Rawhide, this
is available as lvm2-2.02.61-1.fc13.x86_64). Unfortunately the liblvm2
pc version number is stuck at 2.1 so we can't require this version in
configure.in. I've asked the LVM team to fix that.

Add doc/udisks-overrides.txt so 'make dist' works

Hmm, need to investigate later why this is needed.

Fix compiler warning