testsuite: Fix LVM tests

Turns out that current LVM versions/rules do create by-id symlinks for RAID
mirror images, on purpose. So do not fail on them, just check that they do not
have a real IdUsage/IdUuid.

Update for new liblvm2app library

Several things changed in liblvm2app

 - sizes are now reported in bytes instead of sectors
 - a couple of new functions were added

You will need lvm2 version 2.02.61 or later (on Fedora Rawhide, this
is available as lvm2-2.02.61-1.fc13.x86_64). Unfortunately the liblvm2
pc version number is stuck at 2.1 so we can't require this version in
configure.in. I've asked the LVM team to fix that.

Add doc/udisks-overrides.txt so 'make dist' works

Hmm, need to investigate later why this is needed.

Fix compiler warning

Export alignment offset for a partition

Rework partition table probing

In particular, always respect UDISKS_PARTITION_* and
UDISKS_PARTITION_TABLE_* udev properties.

Also, temporarily, use g_getenv() to retrieve properties in
udisks-part-id. It seems like libudev doesn't return properties
correctly in some cases involving dm-multipath. Will need to
investigate.

Add support for "disable polling" udev property

Do not poll a device which has UDISKS_DISABLE_POLLING set. Some known-broken
CD-ROM drives cause a lot of CPU activity when being polled, so allow admins to
suppress polling with a local udev rule like

  SUBSYSTEM=="block", ENV{ID_VENDOR}=="Optiarc*", ENV{ID_MODEL}=="*AD-7640S*", \
      ENV{UDISKS_DISABLE_POLLING}="1"

https://bugs.freedesktop.org/show_bug.cgi?id=26508

Make sure udisks-helper-mdadm-expand is included in the dist tarball

Signed-off-by: Martin Pitt <martin.pitt@ubuntu.com>

testsuite: check --localstatedir configuration

If the local build tree is not built with a sensible --localstatedir, i. e.
${localstatedir}/{run,lib}/udisks/ does not exist, the test suite is doomed to
fail and requires lots of manual cleanup.

Detect this situation and fail early with a sensible error message. This will
also cause the test suite to not really run on a mere "distcheck" without
configure arguments.

Robustify evaluation of DM_SUSPEND

If a DM device does not have DM_SUSPEND at all, do not consider it suspended.

Bug 24446 — automake integration of test suite

This ensures that the test script is shipped with the distribution tarball, and
the tests are run during "make check" through sudo.

Bug 24446 — Add a test suite

Add a test suite which checks operations on a fake device (currently a RAID-0
md built from a RAM disk).  This is useful for regression and system/distro
integration testing, since it will only succeed if working versions of
cryptsetup, udev rules, etc. are installed.

Current coverage:
 - tests local build tree or system binaries, depending from where it is run
 - udisks --show-info
 - create/relabel/mount/unmount/fsck/open files/take ownership for supported
file systems (ext[234], minix, xfs, ntfs, vfat, swap), with both command line
tools (and udisks detection) as well as udisks D-Bus interface
 - LUKS create/teardown/mount/unmount/change password
 - Partition create/flags/modify/delete for MBR and GPT (APM tests are present,
but disabled)
 - SMART status/real HD/simulate
 - LVM single LV/single LV with RAID-1
 - Manager functionality: Enumerate*, FindDeviceBy*, Inhibition

Bug 24446 — Add --helper-dir option

Add daemon option --helper-dir to specify helper directory. This is useful for
running the daemon from the local build tree for testing (--helper-dir
src/helpers).

Remove explicit PACKAGE_LIBEXEC_DIR from job invocations, since job_new()
already searches $PATH and the daemon sets $PATH to a known-good value. So
--helper-dir only prepends the custom directory to $PATH.

Support building without lvm2app

Add LinuxMdExpand method and rename LinuxMdAddComponent to LinuxMdAddSpare

When creating a LV, ensure that it is part of PV metadata until returning

This is important in gnome-disk-utility where we only displays LVs
that are part of PV metadata.

Make sure all devices are returned, even when handling change events

We actually remove the device from map_native_path_to_device during a
change event. This means that the device being handled in e.g. update_info()
isn't part of what daemon_local_get_all_devices() returns.

Export multipath parameters as a textual string

The string itself is defined here

http://christophe.varoqui.free.fr/refbook.html

We could play games like decoding the string daemon side and export a
complicated object model but it's much easier to pint that to the
client.

Copy identifying data from multipath components onto the multipath device

Don't copy data from each path into the virtual multipath device

We punt this responsibility to the client.

Require both SERIAL and WWN to be non-empty when matching up similar drives

The previous behavior was to require either-or. Unfortunately this
easily matched N-in-one card readers which wasn't optimal.

Add udev rules for detecting some common USB card readers

Should probably port everything from

 /usr/share/hal/fdi/information/10freedesktop/10-usb-card-readers.fdi

some day.

Tighten up checks for detecting kpartx partitions for dm-multipath

We inadvertenly tagged any linear mapping - ensure the source that we
map for is really a dm-multipath device.

Make sure to fsync(2) the main block device when scrubbing signatures

Add a DriveSimilarDevices property

This property can help clients figure out if multipath isn't set up.

First cut at device-mapper multipath support

Speed up DeviceKit device probing on really slow devices

My wife has a embroidery machine that acts as a USB memory stick when
plugged into a computer through its USB port. It has a truly stunning read
speed of 15kB/s (yes, really), and it turns out that both udev and
DeviceKit react very badly to devices that are slow, because they read too
much data off it.

udev - through blkid - ended up reading closer to two hundred kB off the
device in order to check all possible filesystems. DeviceKit is much
better, and only does a single 512-byte read to figure out the DOS
partitioning sceme.

However, unluckily, both udev and DeviceKit end up triggering read-ahead
on the device. The kernel decides that if you start reading from the
beginning (and the partition info is at the start), you're likely going to
continue reading. Which is a reasonable assumption in general, but isn't
true for odd things like "read just the partition table".

So even though DeviceKit only does a 512-byte read, read-ahead will turn
it into a 16kB device access, and you get timing behavior like this:

time /lib/udev/devkit-disks-part-id /dev/sdc

real 0m1.043s
user 0m0.004s
sys 0m0.008s

which basically delays figuring out what to do with the newly plugged in
hardware by a second (blkid took 13+ seconds for both the full device and
the partition it contained, so DeviceKit is positively wonderful in
comparison ;).

Making part-id just ask for no read-ahead (by saying that the access
patterns are random) ends up helping performance noticeably. Recompiling
part-id with this patch results in:

time ./src/probers/udisks-part-id /dev/sdc

real 0m0.276s
user 0m0.005s
sys 0m0.007s

because the kernel will now only read 4kB off the disk (4kB is the caching
granularity, so you'll never see an actual 512-byte read without doing
special odd things).

Signed-off-by: Linus Torvalds <torvalds@linux-foundation.org>
Signed-off-by: David Zeuthen <davidz@redhat.com>

Use the PV UUID in LinuxLvm2VGRemovePV() to identify the PV

... instead of the object path. This is to make it possible (albeit
not yet supported in vgreduce(8)) to remove a non-existant PV - say,
the disk with the PV was destroyed.

Add methods for adding/removing PVs to a VG

Minor update to LVM2 PV export routines

Add a method to create LVM2 Logical Volumes

Add method to remove/delete a LVM LV

Add methods for setting LVM2 VG and LV names

Get the LVM LV UUIDs from sysfs to avoid using liblvm2 in the dm prober

Fix typo in udev rule for udisks-lvm-pv-export

This typo made the export program run for each and every block device
- only run it for LVM2 PVs.

First cut at LVM2 support

Use SUBSYSTEMS whenever using ATTRS

This speeds up udev rules processing considerably.

Signed-off-by: David Zeuthen <davidz@redhat.com>

Add media type udev rule for SD card reader in MacbookPro5,4

Signed-off-by: David Zeuthen <davidz@redhat.com>

Update NEWS

We're not doing a release just yet (more ABI changes are planned - and
we need to do them before committing to ABI stability for the 1.0.x
series to avoid opening 1.1.x too early) but it might be nice to
incrementally add items to this file as we are reworking the ABI and
API.

Add a man page for udisks-tcp-bridge(1)

It's nice for sysadmins to have this when they see processes like this
running.

Install udisks-tcp-bridge in /usr/bin

This way it will be in $PATH and clients such as gnome-disk-utility
won't have to hardcode /usr/lib/udisks/udisks-tcp-bridge.

Make Avahi announce a service of type _udisks-ssh._tcp for us

Take a secret from the client via stdin and use this to authorize ourselves

Install udisks-tcp-bridge in $prefix/lib/udisks

It's important that vendors install this in the same location -
clients will need this location for ssh connections.

Make udisks-tcp-bridge connect to a DBusServer, not be a DBusServer

Export connector type on Port objects

Also add a quirk for my CardBus based eSATA controller.

Fix up SATA/PATA detection slightly

Bug 24606 — Add support for ReiserFS

Signed-off-by: David Zeuthen <davidz@redhat.com>

Avoid multiple inconsistent checks for adapter fabric type

Instead, just make port.c rely on the fabric type detected in
adapter.c. This fixes a bug on VirtualBox when the SATA adapter only
has one port.

Signed-off-by: David Zeuthen <davidz@redhat.com>

Remove debugging spew

Signed-off-by: David Zeuthen <davidz@redhat.com>

Handle ATA controllers with only one port

This happens on e.g. VirtualBox SATA controllers - just check the
driver name before anything else.

Signed-off-by: David Zeuthen <davidz@redhat.com>

Bug 24999 — Hide Compaq recovery partition type 0x12

http://www.win.tue.nl/~aeb/partitions/partition_types-1.html lists MBR type
0x12 as "configuration/rescue", used by Compaq, IBM, Intel, and NCR.

https://bugs.launchpad.net/bugs/451304

Signed-off-by: David Zeuthen <davidz@redhat.com>

Add experimental bridging program for providing D-Bus access over TCP/IP

The idea is that this

 # ./udisks-tcp-bridge -p 1000

will listen on port 1000 of all network interfaces. Another host can
then access the udisks daemon via D-Bus' TCP/IP transport. See
gnome-disk-utility master for a an experimental --address option that
uses this.

Since Palimpsest use D-Bus 100% to obtain information and export
operations, everything just works. See

 http://people.freedesktop.org/~david/gdu-palimpsest-remote-connection.png

for an example.

This feature needs a lot of thought and some work - for example,
authentication and encryption is needed. And we need to figure out how
this should work with polkit as well - the only reason it works now is
that the bridging process runs as uid 0. And then there's firewalls to
consider and pierce through. All this is not insurmountable, it's just
work.

For now udisks-tcp-bridge is not installed via 'make install' - it is
considered an experimental feature for now - and will probably remain
so for some time.

Bug 24772 — Allow simulated SMART data on non-SMART devices

DriveAtaSmartRefreshData(): Defer the "device supports SMART" test until after
evaluating the "simulate" option, and set DriveAtaSmartIsAvailable property
when simulate is given. With this, SMART data blobs can be used with non-SMART
or virtual devices, too.

Signed-off-by: David Zeuthen <davidz@redhat.com>

Bug 25009 — ignore Western Digital SmartWare partitions

The SmartWare Virtual CD partition on these drives is useless in Linux. It
includes Windows/Mac utilities only, and is not usable space.

https://launchpad.net/bugs/474790

Signed-off-by: David Zeuthen <davidz@redhat.com>

Update udev property names in the udisks(7) man page

Update bug tracker address

Update HACKING, README and COPYING files

Rename to udisks - nuke remaining references to Device-disks

Still need to update HACKING and README but the only remaining
references seem to be these

 $ git clean -d -x -f

 $ grep devkit `find data doc po policy src tools`
 doc/man/udisks7.xml:      devkit-devel mailing list,
 doc/man/udisks7.xml:      see <ulink url="http://lists.freedesktop.org/mailman/listinfo/devkit-devel"/>.
 doc/TODO:   - devkit-disk-device.c is way too long right now

 $ grep DeviceKit `find data doc po policy src tools`
 doc/TODO-ISCSI: c) Some thoughts on how to integrate iSCSI into DeviceKit-disks,
 doc/TODO-ISCSI:Teaching DeviceKit-disks / Palimpsest / GNOME about iSCSI devices
 doc/TODO-ISCSI:DeviceKit-disks changes:
 doc/TODO-ISCSI:   the org.freedesktop.DeviceKit.Disks interface add
 doc/TODO-ISCSI:   method on DeviceKit-disks to probe a portal for targets.
 doc/TODO: - DeviceKit 003

 $ grep devicekit `find data doc po policy src tools`

Now to port gnome-disk-utility to use udisks instead of DKD...

Reindent source code to adhere to the GNU-style

First I used the Eclipse indent tool. Then I ran c-indent-<something>
in Emacs. Finally, I fixed a couple of things up manually.

Update/add mode lines to all source files

Specifically we're going to switch to the GNU-style for indentation
and not use tabs

 -*- mode: C; c-file-style: "gnu"; indent-tabs-mode: nil; -*-

Now to reindent all the code...

Rename to udisks - rename source files and symbols

Rename to udisks - move helpers and probers to separate subdirs

Rename to udisks - udev property names

Rename from DeviceKit-disks to udisks, part 1

Bug 25043 — Crashes with atasmart.c:2701: sk_disk_set_blob: Assertion `blob' failed.

This fixes a crash if devkit-disks-helper-ata-smart-collect returns just a
single character on stdout. It is not understood yet under which conditions
that happens, but DK-disks should handle this gracefully.

Also add debug logging to show the actual output, so that later on we can fix
the root cause.

https://launchpad.net/bugs/419663

Signed-off-by: David Zeuthen <davidz@redhat.com>

Bug 25034 — PartitionModify() for GUID partitions does not work

Use the official ped_partition_set_flag() libparted API for setting partition
flags instead of poking it into libparted's internal data structure (which
worked for MBR, but not for GPT).

Signed-off-by: David Zeuthen <davidz@redhat.com>

Fix typos in udev rules

Signed-off-by: David Zeuthen <davidz@redhat.com>

Forgot to add prober for SAS expanders

Add support for SAS expanders

Export Port objects for SAS PHYs on the HBA

PHYs on SAS expanders to follow...

Change Device::DrivePort (of type 'o') to Device::DrivePorts (of type 'ao')

Technically a disk can be connected to more than one port so allow
this in the API.

For SAS, report number of PHYs for the NumPorts property on Adapter

The plan is that each Port object will have more details -
e.g. whether the SAS port is a wide-port (4 PHYs) and so on.

Export Fabric and NumPorts for ATA

Fix doc fallout from the Controller -> Adapter rename

Rename Controller interface to Adapter

Add support for Port objects

This commit only includes support for ATA ports. Support for SAS and
FibreChannel will follow.

Also generate D-Bus docs for the Controller interface

Fix type in udev rules for pci-id

Initial stab at exporting storage controllers via D-Bus

Guesstimate the buffer size to use for benchmarking

This gives more precise results and puts an upper bound on time taken
to benchmark (minutes).

Abort benchmark on IO errors

This happens a lot with DVDs because of "encryption".

Add DriveWwn, DriveRotationalRate and DriveWriteCache properties

Signed-off-by: David Zeuthen <davidz@redhat.com>

Add a method to benchmark drives

Signed-off-by: David Zeuthen <davidz@redhat.com>

Bug 24885 — LVM LVs now have NOPOLICY=0

Commit a95d3 caused the NOPOLICY rules get cut short for LVs. Move the NOPOLICY
check close to the top, since its (1) very cheap, and (2) very generic, i. e.
rules further down might want to tweak it for special cases.

Signed-off-by: David Zeuthen <davidz@redhat.com>

Update udev rules to cope better with device-mapper

See https://bugzilla.redhat.com/show_bug.cgi?id=528909#c24 for details.

Post-release version bump to 010

Update NEWS for release

Don't use hyphens in param names

It may upset some tools reading the introspection XML.

Bug 24718 — Proper handling of missing mkfs.*/fsck.*

Introduce two new errors:
  org.freedesktop.DeviceKit.Disks.Error.FilesystemDriverMissing
  org.freedesktop.DeviceKit.Disks.Error.FilesystemToolsMissing

which are thrown instead of a general Error.Failed when file system tools (such
as mkfs.<type> or xfs_admin) are not installed, or the kernel does not support
the fs type for FilesystemMount().

Note that this does not yet cover a missing cryptsetup.

Signed-off-by: David Zeuthen <davidz@redhat.com>

Bug 24679 — Support creating minix file systems

Signed-off-by: David Zeuthen <davidz@redhat.com>

Bug 24757 – Simplify helper-change-luks-password

Use "set -e" to do the error handling which was previously done manually.

Signed-off-by: David Zeuthen <davidz@redhat.com>

Bug 24757 — Bashism in luks helper breaks password changing

Fix bashism in devkit-disks-helper-change-luks-password which broke
LuksChangePassphrase() due to POSIX shell not knowing about "-e".

Signed-off-by: David Zeuthen <davidz@redhat.com>

Bug 24778 — throw_error() segfaults for daemon-internally called methods

Some functions like devkit_disks_device_drive_ata_smart_refresh_data() are used
internally by the daemon, in which case the DBusGMethodInvocation context is
NULL. If these methods throw an error (observed on "daemon is inhibited"), this
NULL context is propagated all the way down to throw_error, which previously
tried to call dbus_g_method_return_error() with a NULL context; there is no
D-Bus method call to terminate, so this caused a segfault.

Change throw_error() to just use g_warning() in this case, so that the error
appears on the daemon's stderr. This makes it generally safe to internally call
D-Bus exported methods.

Signed-off-by: David Zeuthen <davidz@redhat.com>

Use BLKPG_ADD_PARTITION when adding a partition

This is similar to the previous commit. We don't want to rely on
libparted because that won't work if another partition on the main
device is busy.

Use BLKPG_DEL_PARTITION when deleting partitions instead of libparted

Sadly, libparted gets this wrong since it does the equivalent of
'blockdev --rereadpt' which fails if one or more partitions are busy.

Also disallow deleting an extended partition if logical partitions
exist. We can undo this if we add some code to also do DEL_PARTITION
for the logical partitions (including scrubbing signatures).

Also ignore a device if DM_UDEV_DISABLE_OTHER_RULES_FLAG is set

https://bugzilla.redhat.com/show_bug.cgi?id=528909#c10

Add new LinuxMdComponentPosition property

Use unregister facility in dbus-glib 0.82 and misc life-cycle fixes

Pass -F to mkfs.ext[234] to allow creating a filesystem on the whole disk