mesa: Fix element count for byte-swaps in texstore, readpix and texgetimage
authorIago Toral Quiroga <itoral@igalia.com>
Fri, 13 Feb 2015 11:56:26 +0000 (12:56 +0100)
committerIago Toral Quiroga <itoral@igalia.com>
Mon, 16 Feb 2015 09:51:18 +0000 (10:51 +0100)
commitba426522dddf0860f59dedfe9953dbd509160c7d
tree4c6e294f6d9768f7a9805de192b17eec066c8c53
parent4b249d2eed686384d6d7c36f3232360891d5eeda
mesa: Fix element count for byte-swaps in texstore, readpix and texgetimage

Some old format conversion code in pack.c implemented byte-swapping like this:

GLint comps = _mesa_components_in_format(dstFormat);
GLint swapSize = _mesa_sizeof_packed_type(dstType);
if (swapSize == 2)
   _mesa_swap2((GLushort *) dstAddr, n * comps);
else if (swapSize == 4)
   _mesa_swap4((GLuint *) dstAddr, n * comps);

where n is the pixel count. But this is incorrect for packed formats,
where _mesa_sizeof_packed_type is already returning the size of a pixel
instead of the size of a single component, so multiplying this by the
number of components in the format results in a larger element count
for _mesa_swap than we want.

Unfortunately, we followed the same implementation for byte-swapping
in the rewrite of the format conversion code for texstore, readpixels
and texgetimage.

This patch computes the correct element counts for _mesa_swap calls
by computing the bytes per pixel in the image and dividing that by the
swap size to obtain the number of swaps required per pixel. Then multiplies
that by the number of pixels in the image to obtain the swap count that
we need to use.

Also, when handling byte-swapping in texstore_rgba, we were ignoring
the image's depth. This patch fixes this too.

Reviewed-by: Jason Ekstrand <jason.ekstrand@intel.com>
Cc: "10.5" <mesa-stable@lists.freedesktop.org>
src/mesa/main/readpix.c
src/mesa/main/texgetimage.c
src/mesa/main/texstore.c