staging: vboxvideo: Fix reporting invalid suggested-offset-properties
authorHans de Goede <hdegoede@redhat.com>
Thu, 12 Oct 2017 18:10:25 +0000 (20:10 +0200)
committerGreg Kroah-Hartman <gregkh@linuxfoundation.org>
Wed, 18 Oct 2017 14:44:00 +0000 (16:44 +0200)
commitce10d7b4e8e3574b9616e54a09d64521b9aeb8b6
treed9a813b6483cd6de0d38d70d0e06ccf94f321bff
parent69ccc6240d635abedf0f099abf613d7f939c9fae
staging: vboxvideo: Fix reporting invalid suggested-offset-properties

The x and y hints receives from the host are unsigned 32 bit integers and
they get set to -1 (0xffffffff) when invalid. Before this commit the
vboxvideo driver was storing them in an u16 causing the -1 to be truncated
to 65535 which, once reported to userspace, was breaking gnome 3.26+
in Wayland mode.

This commit stores the host values in 32 bit variables, removing the
truncation and checks for -1, replacing it with 0 as -1 is not a valid
suggested-offset-property value. Likewise the properties are now
initialized to 0 instead of -1, since -1 is not a valid value.
This fixes gnome 3.26+ in Wayland mode not working with the vboxvideo
driver.

Reported-by: Gianfranco Costamagna <locutusofborg@debian.org>
Cc: stable@vger.kernel.org
Cc: Michael Thayer <michael.thayer@oracle.com>
Signed-off-by: Hans de Goede <hdegoede@redhat.com>
Signed-off-by: Greg Kroah-Hartman <gregkh@linuxfoundation.org>
drivers/staging/vboxvideo/vbox_drv.h
drivers/staging/vboxvideo/vbox_irq.c
drivers/staging/vboxvideo/vbox_mode.c