Use pmovmskb to skip quantize loops over empty coefficients.

If none of the 16 coefficients that we quantize per loop iteration
are larger than the zbin, directly skip to the next round of coeffs,
rather than doing a full quantize loop that will eventually result
in 16 zeroes. This incurs a jump cost, but saves a lot of other work.
32x32 quant goes from 1349 -> 1184 cycles. The same approach yielded
no significantly positive results for smaller transforms, so is not
used there (8x8: 103 -> 101 cycles; 16x16: 302 -> 306 cycles).

Change-Id: I8fca17dc2543fc8eed1dbcd5100145e3c3a9b647

Remove unused function vp9_build_inter4x4_predictors_mbuv().

Change-Id: Ibfd2def2c088f4bc541a1de25990d73480b53d4b

Make get_coef_context() branchless.

This should significantly speedup cost_coeffs(). Basically what the
patch does is to make the neighbour arrays padded by one item to
prevent an eob check in get_coef_context(), then it populates each
col/row scan and left/top edge coefficient with two times the same
neighbour - this prevents a single/double context branch in
get_coef_context(). Lastly, it populates neighbour arrays in pixel
order (rather than scan order), so we don't have to dereference the
scantable to get the correct neighbours.

Total encoding time of first 50 frames of bus (speed 0) at 1500kbps
goes from 2min10.1 to 2min5.3, i.e. a 2.6% overall speed increase.

Change-Id: I42bcd2210fd7bec03767ef0e2945a665b851df56

Update quantize SSSE3 SIMD to cover 32x32 transform case also.

Encode time of bus (speed 0) 50 frames @ 1500kbps goes from 2min14.4 to
2min10.1, i.e. a 2.3% overall speed increase.

Change-Id: I3699580e74ec26c7d24e03681bc47ba25ee1ee87

Quantize (64-bit only, for now) SSSE3 SIMD.

Total encoding time for first 50 frames of bus (speed 0) @ 1500kbps
goes 2min34.8 to 2min14.4, i.e. a 10.4% overall speedup. The code is
x86-64 only, it needs some minor modifications to be 32bit compatible,
because it uses 15 xmm registers, whereas 32bit only has 8.

Change-Id: I2df53770c2e850813ffa713e1a91b45b0082b904

fix a mismatch in cpuused 2

Change-Id: I921c9faba6386535aaf717a54301dd346a9b8540

Merge "Enable SSE2 4x4 ADST/DCT transform"

SSE2 version of vp9_short_fdct32x32_rd.

43,000 -> 5,750 cycles, about 7.5x faster.

Change-Id: Ibfd92821b9603f4ed9c256e0ececec14fa4565d0

Merge "fixed a bug where sse is not populated"

Merge "add Neon optimized add constant residual functions"

Merge "fix test compile error"

Merge "Inline vp9_get_coef_context() (and remove vp9_ prefix)."

Merge "Minor change to prevent one level of dereference in cost_coeffs()."

add Neon optimized add constant residual functions

- Add add_constant_residual_8x8 16x16 32x32 functions
- Tested under RealView debugger enviroment

Change-Id: I5c3a432f651b49bf375de6496353706a33e3e68e

Merge "Cosmetic reordering of FRAME_CONTEXT members."

fix test compile error

since:
92479d9 Make update_partition_context faster

fixes:
vp9/common/vp9_blockd.h:408:22: error:
non-constant-expression cannot be narrowed from type 'int' to 'char' in
initializer list [-Wc++11-narrowing]
  char pcvalue[2] = {~(0xe << boffset), ~(0xf <<boffset)};
                     ^~~~~~~~~~~~~~~~~

Change-Id: Id5b00b9a72d00a2b314081a23879bd1fa3ce983b

Enable SSE2 4x4 ADST/DCT transform

This commit enables SSE2 4x4 foward hybrid transform. The runtime
goes from 249 cycles down to 74 cycles. Overall around 2% speed-up
at no compression performance change.

Change-Id: Iad4d526346e05c7be896466c05500711bb763660

fixed a bug where sse is not populated

Change-Id: I692d800af1f976c84a76f8bd66864c4b39540abc

Merge "Fix switch statement in 8x8 transform"

Cosmetic reordering of FRAME_CONTEXT members.

Change-Id: Id641e5188adf55e53e606e5813ae45feaf7abbd2

Merge "Removing CONFIG_DEBUG checks on assertions."

Fix switch statement in 8x8 transform

Change-Id: I7c46354c4983feb5f6202c3ab4a1d9534da7e30f

Merge "Some minor optimizations for cost_coeffs()."

Merge "Make coefficient skip condition an explicit RD choice."

Inline vp9_get_coef_context() (and remove vp9_ prefix).

Makes cost_coeffs() a lot faster:
4x4: 236 -> 181 cycles
8x8: 888 -> 588 cycles
16x16: 3550 -> 2483 cycles
32x32: 17392 -> 12010 cycles

Total encode time of first 50 frames of bus (speed 0) @ 1500kbps goes
from 2min51.6 to 2min43.9, i.e. 4.7% overall speedup.

Change-Id: I16b8d595946393c8dc661599550b3f37f5718896

Merge "Decoder's code cleanup."

Removing CONFIG_DEBUG checks on assertions.

Adding CHECK_MEM_ERROR macro to vp9_common.h and removing two duplicated
ones from vp9_onyx_int.h and vp9_onyxd_int.h.

Change-Id: I916afec61b3019f18193135dac7c35ed0f89b8b6

Minor change to prevent one level of dereference in cost_coeffs().

4x4: 234 -> 236 cycles
8x8: 878 -> 888 cycles
16x16: 3664 -> 3550 cycles
32x32: 18134 -> 17392 cycles

Change-Id: I37a51bfbb0060a3a54f09c6045c14a989811ed78

Some minor optimizations for cost_coeffs().

Cycle timings for first 3 frames of bus (speed 0) at 1500kbps:
4x4: 298 -> 234 cycles
8x8: 1227 -> 878 cycles
16x16: 23426 -> 18134 cycles
32x32: 4906 -> 3664 cycles

Total encode time of first 50 frames of bus @ 1500kbps (speed 0) goes
from 3min0.7 to 2min51.6 seconds, i.e. 5.3% faster.

Change-Id: I68a0e1b530b0563b84a67342cca4b45146077e95

Make coefficient skip condition an explicit RD choice.

This commit replaces zrun_zbin_boost, a method of biasing non-zero
coefficients following runs of zero-coefficients to be rounded towards
zero, with an explicit skip-block choice in the RD loop.

The logic is basically that if individual coefficients should be rounded
towards zero (from a RD point of view), the trellis/optimize loop should
take care of it. If whole blocks should be zero (from a RD point of
view), a single RD check is much more efficient than a complete
serialization of the quantization loop.

Quality change: derf +0.5% psnr, +1.6% ssim; yt +0.6% psnr, +1.1% ssim.
SIMD for quantize will follow in a separate patch. Results for other
test sets pending.

Change-Id: Ife5fa641163ac5150ac428011e87188f1937c1f4

Merge "Minor cleanups"

Merge "Optimize partition search order"

Minor cleanups

Change-Id: I379617c1c731a686b3f7e032b8805860c1055b12

Optimize partition search order

This commit change the partition search order to allow checking of
rectangular partition to be done after square partitions. It also
added a speed feature to skip rectangular partition check when
NONE is better than SPLIT in RD sense.

This feature roughly speed up encoder by 1.5X with loss on compression
-0.91% on cif set
-0.56% on stdhd set

Change-Id: I0d2d06993041aa9ea9073fcc39c54f73a127dfa4

Merge "Fix tile independence with both column tiling and static_thresh set."

Merge "variance_test: add missing ClearSystemState..."

Fix tile independence with both column tiling and static_thresh set.

Change-Id: I0b2be0ec2c410a527f88b95a44f24ac967b2dac1

Decoder's code cleanup.

Using vp9_set_pred_flag function instead of custom code, adding
decode_tokens function which is now called from decode_atom,
decode_sb_intra, and decode_sb.

Change-Id: Ie163a7106c0241099da9c5fe03069bd71f9d9ff8

Add Neon optimized loop filter functions.

- Added vp9_loop_filter_horizontal_edge_neon and
  vp9_loop_filter_vertical_edge_neon.
- The functions are based off the vp8 loopfilter
  functions.
- Matches x86 md5 checksum.

Change-Id: Id1c4dddb03584227e5ecd29f574a6ac27738fdd0

Merge "General cleanup in segmentation-related code."

Merge "Moving subexp encoding functions in separate vp9_dsubexp.c file."

Inline quantize so idiv instruction gets removed from inner loop.

Encoding time of first 50 frames of bus @ 1500kbps (speed 0) goes from
3min15.0 to 3min10.9, i.e. 2.1% faster overall.

Change-Id: If592ee99be09bcd34a7c8498347f44e7305e982c

Merge "Auto adapt step size feature."

Merge "Start adaptive threshold for each mode at max."

Merge "Change meaning of cpi->sf.first_step and rename."

Merge "Make intra predictor reference buffer configurable"

Merge "Make update_partition_context faster"

variance_test: add missing ClearSystemState...

...to recently added SubpelVarianceTest

Change-Id: I8775e39fd5dbfba81ad42b79b47bf6dd6ca8cc0e

Merge "Change to use LUT for mode-to-txfm conversion"

Make intra predictor reference buffer configurable

This commit enables configurable reference buffer pointer for intra
predictor. This allows later removal of spatial dependency between
blocks inside a 64x64 superblock in the rate-distortion optimization
loop.

Change-Id: I02418c2077efe19adc86e046a6b49364a980f5b1

Merge "Remove empty function vp9_build_block_offsets"

Make update_partition_context faster

Use vpx_memset for updating the partition contexts. Thanks to Noah
for pointing out the need of refactoring in this part.

Change-Id: I67fb78429d632298f1cd8a0be346cc76f79392a6

Remove unused macro RDTRUNC_8x8 from encodemb.c.

Change-Id: I0c097567adab24215d807963ccb34810a2afe007

Remove empty function vp9_build_block_offsets

This function is empty, hence is removed.

Change-Id: Ia9d01710806bffe0398a6dc9405f8a5a81b27d74

Change to use LUT for mode-to-txfm conversion

Change-Id: Ieb989830f49e6708ee7728eddebf7a2144c37c6f

Merge "Fix aligned memory allocation in unit tests"

Fix aligned memory allocation in unit tests

Change-Id: I38fac90e0ed25cb747453ab1d6396187cf5ef3b9

Merge "fixed a compiling problem with MSVC win32 build"

Auto adapt step size feature.

Also tweaks to other features and experiments with
what is on and off at different speed settings.

Change-Id: I3e1d0be0d195216bf17c2ac5df67f34ce0b306b2

test/fdct*: fix some warnings

comment out some unused parameters and adjust the format to avoid:
./test/fdct4x4_test.cc|27| warning C4138: '*/' found outside of comment

Change-Id: I60f93b4c3cd7e8d61f0de80019f3404b40161f03

General cleanup in segmentation-related code.

Using consistent function and variable names.

Change-Id: I2deb3fded8797453a2081836c9ce2e79ade06eb7

Merge "Using get_plane_block_{width, height} instead of custom code."

fixed a compiling problem with MSVC win32 build

The aligned array in parameter list caused win32 build to report
c2719 error. This commit fixed the issue by make the parameter
type a pointer instead of an array.

Change-Id: I4ed654ce4eba2db4995d9cdc136c68e9a6acc992

Start adaptive threshold for each mode at max.

Each frame we reset all adaptive thresholds to MAX
rather than base. As modes are picked their thresholds
drop down.

Change-Id: Ia37f03a73003c2d9bfcda57edea07205e9a0e5e8

Change meaning of cpi->sf.first_step and rename.

Renamed cpi->sf.first_step to cpi->sf.reduce_first_step_size
and changed its meaning such that it is a delta applied to
reduce the default first step size (>> x) in the motion search
rather than an absolute value.

The default first step size is already changed according to the image
dimensions (smaller for smaller images). cpi->sf.reduce_first_step_size
now applies a further correction from the default.

Change-Id: Ia94e08bc24c67b604831f980909af7e982fcd16d

Merge "vpxenc: send usage to stderr"

Merge ".gitignore: add gcov files"

Merge "Move vp9_counts_to_nmv_context to encoder"

Merge "Move vp9_full_to_model_counts to encoder"

Merge "make: add libvpx_test_srcs.txt target"

Merge "tests/*source: test file pointer before reading"

Merge "encode_test_driver: check for fatal failures"

Merge "Refactor intra predictor block"

tests/*source: test file pointer before reading

if the caller did not abort after an ASSERT failure in Begin()
FillFrame() would segfault.

Change-Id: I2d3f5a0918611bbd081be6f686dea19c56695073

encode_test_driver: check for fatal failures

Make the base test be:
!(fatal || abort_) removing some redundancy in the encode tests

Change-Id: I8ffaf33fcf9a3030b38ea3e8eb94704cdc2fc920

Refactor intra predictor block

Remove vp9_intra4x4_predict(). Use the common intra prediction
function for all block sizes.

Change-Id: Ibd19d51dfa3da8bbdfb79ddeb81530b2e2089560

Renaming "nmv" to "mv".

Change-Id: I8299f55c3b930221e52c2237f2ddea65b94fd33b

Using get_plane_block_{width, height} instead of custom code.

Change-Id: I453ed11b965e857a14c18ea5c0f4a0a48e7dc0d9

Merge "Only do metrics on cropped (visible) area of picture."

Merge "Don't skip right/bottom border pixels in SSIM calculations."

Merge "Add averaging-SAD functions for 8-point comp-inter motion search."

make: add libvpx_test_srcs.txt target

same application as libvpx_srcs.txt

Change-Id: I1f096cc3c180d205365663c1aa5533b52561d811

Merge "Cosmetic changes in 4x4 fwd transform unit test"

Merge "Tune the rounding operations in 8x8 ADST/DCT sse2"

Merge "I420VideoSource: normalize framerate types"

Only do metrics on cropped (visible) area of picture.

The part where we align it by 8 or 16 is an implementation detail that
shouldn't matter to the outside world.

Change-Id: I9edd6f08b51b31c839c0ea91f767640bccb08d53

Don't skip right/bottom border pixels in SSIM calculations.

Change-Id: I75acb55ade54bef6ad7703ed5e691581fa2f8fe1

Add averaging-SAD functions for 8-point comp-inter motion search.

Makes first 50 frames of bus @ 1500kbps encode from 3min22.7 to 3min18.2,
i.e. 2.3% faster. In addition, use the sub_pixel_avg functions to calc
the variance of the averaging predictor. This is slightly suboptimal
because the function is subpixel-position-aware, but it will (at least
for the SSE2 version) not actually use a bilinear filter for a full-pixel
position, thus leading to approximately the same performance compared to
if we implemented an actual average-aware full-pixel variance function.
That gains another 0.3 seconds (i.e. encode time goes to 3min17.4), thus
leading to a total gain of 2.7%.

Change-Id: I3f059d2b04243921868cfed2568d4fa65d7b5acd

Merge "intrapred_test: add virtual dtor to IntraPredBase"

Tune the rounding operations in 8x8 ADST/DCT sse2

Improve the round-trip precision to meet the unit test setttings.

Change-Id: I303febae56b4b990ea3798b8ebed94c0510ecf79

Merge "Add SAD unit tests for all rectangular sizes."

Merge "Don't re-allocate comp_pred buffers for each call to comp motion search."

Moving subexp encoding functions in separate vp9_dsubexp.c file.

Change-Id: Idbb2ea80f764fa830fe2ddcfc54ef7fe232f05a8

Merge "Removing unused code."

Cosmetic changes in 4x4 fwd transform unit test

Change-Id: I7a9ea03b92160f1052e56665b19a155211ee241f

Merge "Add 8x8 dct/adst unit tests"

Merge "Changed size of mb_mode_context to 8 bits"

Merge "Small mode_info_context cleanup in filter_block_plane"

Removing unused code.

Removing block index (ib) parameter from get_tx_type_{8x8, 16x16}
functions.

Change-Id: Ia213335aae7a7cb027f97b9cc9b04519840250f1

Merge "Removing find_seg_id and using vp9_get_pred_mi_segid instead."