quantizer: fix assertion in fast quantizer path
authorJohn Koleszar <jkoleszar@google.com>
Thu, 11 Nov 2010 17:41:07 +0000 (12:41 -0500)
committerJohn Koleszar <jkoleszar@google.com>
Thu, 11 Nov 2010 18:05:20 +0000 (13:05 -0500)
commit0a49747b01401900272ccf0dfbb6481429707ad5
treeb82ba1c84fadf030ef7ab0471aab661c91a247ad
parent58083cb34db84349d8f138e1ee59f4aee77e6624
quantizer: fix assertion in fast quantizer path

The fast quantizer assembly code has not been updated to match the new
exact quantizer, which was made the default in commit 6adbe09.
Specifically, they are not aware of the potential for the coefficient
to be scaled, which results in the quantized result exceeding the range
of the DCT. This patch restores the previous behavior of using the
non-shifted coefficients when in the fast quantizer code path, but
unfortunately requires rebuilding the tables when switching between the
two.

Change-Id: I0a33f5b3850335011a06906f49fafed54dda9546
vp8/encoder/encodeframe.c
vp8/encoder/onyx_if.c
vp8/encoder/quantize.c