rv34: fix invalid memory access for small video dimensions
authorJohn Brooks <john.brooks@bluecherry.net>
Wed, 4 Jan 2012 06:27:35 +0000 (23:27 -0700)
committerKostya Shishkov <kostya.shishkov@gmail.com>
Wed, 4 Jan 2012 09:32:23 +0000 (10:32 +0100)
commitaacf6b3a2fd8bc8603e3deaa6e612ea03cf08707
tree4a0298252fe006b4b2442804a63f9dfdb9322b04
parent98f24ecd6cfc9c57a555aae6bfcd3d9a4ce9503d
rv34: fix invalid memory access for small video dimensions

For small video dimensions calculations of the upper bound for pixel
access may result in negative value. Using an unsigned comparison
works only if the greater operand is non-negative. This is fixed by
doing edge emulation explicitly for such conditions.

Signed-off-by: Kostya Shishkov <kostya.shishkov@gmail.com>
libavcodec/rv34.c