Fix a bug in ml_prune_rect_partition()
authorHui Su <huisu@google.com>
Tue, 16 Oct 2018 16:50:13 +0000 (09:50 -0700)
committerHui Su <huisu@google.com>
Tue, 16 Oct 2018 17:52:08 +0000 (10:52 -0700)
commit2bc3d47dd1fb65bd718116b4afb607c961a06872
tree7a1074cc03d2d6262209b3add7df6b5d9bed634f
parentb7e9a463f88982505f938557bc9dcea1178b39c2
Fix a bug in ml_prune_rect_partition()

The quantization step size should be scaled properly for high bit depth
settings.

This only affects speed 0.
Encoder speed change is almost neutral.
There is a small coding gain of 0.09%.

Change-Id: I96b2bae03a53ce8ccd6428e3a050cfe18e06a024
vp9/encoder/vp9_encodeframe.c