Tune the rounding operations in 8x8 ADST/DCT sse2

Improve the round-trip precision to meet the unit test setttings.

Change-Id: I303febae56b4b990ea3798b8ebed94c0510ecf79

Merge "Add 8x8 dct/adst unit tests"

Merge "Changed size of mb_mode_context to 8 bits"

Merge "Small mode_info_context cleanup in filter_block_plane"

Merge "Removing find_seg_id and using vp9_get_pred_mi_segid instead."

Merge "Transforming scale_mv_component_q4 into scale_mv_q4 function."

Add 8x8 dct/adst unit tests

This commit enables 8x8 DCT and hybrid transform unit tests. It
also tunes the forward hybrid transform rounding opertions for
more precise round-trip performance.

Change-Id: If05c1ce59d75d641b9c6c91527d02d3a6ef498c3

Merge "Use aligned buffer operations in 8x8/16x16 2D-DCT"

Small mode_info_context cleanup in filter_block_plane

Unnecessary updates to xd->mode_info_context.

Change-Id: I36d2d68ca48366f727548526726b1b5437f62968

Merge "Enable sse2 implmentation of 8x8 ADST/DCT"

Merge "change to enable use_largest_txform feature"

Use aligned buffer operations in 8x8/16x16 2D-DCT

This reduces 16x16 2D-DCT runtime from 865 cycles to 837 cycles.

Change-Id: I137758b81cd127b936175284310e81378db64552

Enable sse2 implmentation of 8x8 ADST/DCT

This commit makes use of the butterfly structure to enable the sse2
version implementation of 8x8 ADST/DCT hybrid transform coding.

The runtime of hybrid transform module goes down from 1170 cycles
to 245 cycles. Overall speed-up around 1.5%.

Change-Id: Ic808ffd21ece8a9d0410d8c0243d7b6c28ac3b3f

change to enable use_largest_txform feature

for all regular inter frames at speed 1

Change-Id: I0a8b301273ecf2b8730ab1f6b7a05f89f4d498e0

Merge "Remove unused vp9_build_intra_predictors_sb{y,uv}_s"

Merge "Remove unused vp9_model_to_full_probs_sb()"

Changed size of mb_mode_context to 8 bits

This reduced the size of the MODE_INFO array (mip and prev_mip)
by 425,568 bytes each for 1080p resolutions.

Change-Id: Ifa513ec2d0a49e8ec0867ec90620762fb7f1261d

Merge "Fix loopfilter of leftmost 4x4 edges in SB"

Fix loopfilter of leftmost 4x4 edges in SB

For cases where there's no transform set in bit 0 (the left edge of
the SB) but bit 0 of mask_4x4_int is set (the edge 4 pixels from the
left edge needs filtering), it was incorrectly being skipped before.
This situation only happens on the leftmost edge of the image, as
the edge at column 0 is intentionally skipped since there aren't
pixels to the left to read.

Change-Id: Ib2fbbcb40166e90af31b1a0e13b85b68c226cbd3

Merge "Allocate memory using appropriate expected alignment in unit tests."

Allocate memory using appropriate expected alignment in unit tests.

Fixes crashes of test_libvpx on 32-bit Linux.

Change-Id: If94e7628a86b788ca26c004861dee2f162e47ed6

Merge "Add some unaligned test vectors"

Remove unused vp9_build_intra_predictors_sb{y,uv}_s

The functions no longer referenced.

Change-Id: If2705dfbc607f79ec8ec2242d5e03bec27a35aaf

Merge "Remove emms - that shouldn't be there."

Remove unused vp9_model_to_full_probs_sb()

This function never referenced.

Change-Id: I1c42cd355bfa88e17d169f7335a44be682af58cc

Transforming scale_mv_component_q4 into scale_mv_q4 function.

Using MV instead of int_mv for function arguments.

Change-Id: Ic25e13dccbc98fac1fa1b3255127e00cca2a57f6

Remove emms - that shouldn't be there.

Change-Id: I8fcab81e390f93dc17e9666bbf8f77883b5aa897

variance_test: use REGISTER_STATE_CHECK

Change-Id: Id54ad9a781634f075e990d5bade5be8490959975

Removing find_seg_id and using vp9_get_pred_mi_segid instead.

Change-Id: Ia40229903c08f14020e90e94cfdf494aba1be827

Add missing SECTION .text marker in assembly file.

Fixes a crash on Windows when building with MSVC.

Change-Id: I124ac756a1be55d190fadda5fcc46d23b1445dbf

Implement SSE2 block_error.

Change vp9_block_error() to return a 64bit error variable, change all
callers to expect a 64bit return value (this will prevent overflows,
which we basically don't check for at all right now). Remove duplicate
block_error() function, which fixed that through truncation. Remove
old (incompatible) mmx/sse2 block_error SIMD versions and replace with
a new one that returns a 64bit value.

Encoding time of first 50 frames of bus @ 1500kbps goes from 3min29 to
3min23, i.e. a 3% overall speedup.

Change-Id: Ib71ac5508b5ee8a80f1753cd85d72df1629abe68

Merge "Add subtract_block SSE2 version and unit test."

Merge "SSE2/SSSE3 optimizations and unit test for sub_pixel_avg_variance()."

Add subtract_block SSE2 version and unit test.

3% faster overall (3min35.0 to 3min28.5).

Change-Id: I5ff8a5c2c91586b6632ca5009ad1ea51ce94af5e

Merge "Get some speed back for cpuused 1"

Get some speed back for cpuused 1

and remove unused code.

Change-Id: If380440c4450294b5450b7a9eeb94a376846ec01

Merge "rename variables to avoid build error in MSVC"

rename variables to avoid build error in MSVC

Change-Id: I7960178c95c54d5c4497e44cfc8c493566294b34

Merge "Implement sse2 and ssse3 versions for all sub_pixel_variance sizes."

SSE2/SSSE3 optimizations and unit test for sub_pixel_avg_variance().

Encoding of bus @ 1500kbps (first 50 frames) goes from 3min57 to
3min35, i.e. approximately a 10.5% speedup. Note that the SIMD versions
which use a bilinear filter (x_offset & 7 || y_offset & 7) aren't
perfectly interleaved, and can probably be improved further in the
future. I've marked this with a few TODOs/FIXMEs in the code.

Change-Id: I5c9e900c0f0d32e431a50fecae213b510b2549f9

Merge "clean out libvpx-srcs.txt if built"

clean out libvpx-srcs.txt if built

Change-Id: Idfd69e66e8982275eb00d8007a55efd1a4f86a98

Merge "Revert "test_libvpx: disable pthreads in gtest""

Fix win64 warning.

- size_t vs int.

Change-Id: Ib47ebd932a4b69db9f52a43000bb69d0a96b9134

Revert "test_libvpx: disable pthreads in gtest"

This reverts commit 90a9900abb79fabfd44189a959d14ca677c2777a

Seems to break the Mac build:
src/include/gtest/internal/gtest-port.h:1208:: pthread_mutex_lock(&mutex_)failed with error 22
Abort trap: 6

Change-Id: Icbe31161d7c27f1b0a28d33409e7712430bbf0ae

Merge "Add unit tests for 4x4 ADST"

Merge "Cast value to avoid size_t/int warning on win64"

Merge "Renaming 'nmv' to 'mv' for several functions."

Merge "Function decomposition inside vp9_decodemv.c file."

Improving model rd with variance and quant step

Improves the rd modeling function and implements them using interpolation
from a table which is a little faster. Also uses sse as input to the
modeling function rather than var - since there is no dc prediction
used and as a result the sse works a little better.

derfraw300: +0.05%
Speedup: ~1%

Change-Id: I151353c6451e0e8fe3ae18ab9842f8f67e5151ff

Cast value to avoid size_t/int warning on win64

dboolhuff.c(50) : warning C4267: 'initializing' : conversion from
'size_t' to 'int'

Change-Id: I6b85759efb2fa19f362f406623d8a7583a55c036

adds force partitioning greater than or less than block size

adds a new speed feature to force partitioning to be greater than
or less than a certain size

Change-Id: I8c048eeeef93700ae822eccf98f8751a45b2e7d0

adds a set partitioning to speed features

this feature lets you set a partitioning size to be used by the entire
frame.

Change-Id: I208a4c8c701375cbb054418266f677768b6f8f06

partition by variance using var from last frame

This uses variance to split partition. Variance is calculated using
nearest mv,  always from last ref frame.

Change-Id: Idd015b4a9aa3bc82591759eac239680c07496896

convert all speed things to speed features

Change-Id: Ie24489a4d39f3e53e816eeebf75a1c9c7d94515a

new partition via variance

Change-Id: Ideee45cad8b38087c509cd404484728e85d0c427

fix to set up new speed feature

This uses the speed feature functionality for code.

Change-Id: I9cd16c0c5f98520ae27ebba81aa2c178546587f8

don't copy partitions for key frames or altrefs

force us to go through slow partitioning for keyframes, altref and
overlays.

Change-Id: I1a286361bf74083e71973575a7296be46eb98742

Implement sse2 and ssse3 versions for all sub_pixel_variance sizes.

Overall speedup around 5% (bus @ 1500kbps first 50 frames 4min10 ->
3min58). Specific changes to timings for each function compared to
original assembly-optimized versions (or just new version timings if
no previous assembly-optimized version was available):

sse2   4x4:    99 ->   82 cycles
sse2   4x8:           128 cycles
sse2   8x4:           121 cycles
sse2   8x8:   149 ->  129 cycles
sse2   8x16:  235 ->  245 cycles (?)
sse2  16x8:   269 ->  203 cycles
sse2  16x16:  441 ->  349 cycles
sse2  16x32:          641 cycles
sse2  32x16:          643 cycles
sse2  32x32: 1733 -> 1154 cycles
sse2  32x64:         2247 cycles
sse2  64x32:         2323 cycles
sse2  64x64: 6984 -> 4442 cycles

ssse3  4x4:           100 cycles (?)
ssse3  4x8:           103 cycles
ssse3  8x4:            71 cycles
ssse3  8x8:           147 cycles
ssse3  8x16:          158 cycles
ssse3 16x8:   188 ->  162 cycles
ssse3 16x16:  316 ->  273 cycles
ssse3 16x32:          535 cycles
ssse3 32x16:          564 cycles
ssse3 32x32:          973 cycles
ssse3 32x64:         1930 cycles
ssse3 64x32:         1922 cycles
ssse3 64x64:         3760 cycles

Change-Id: I81ff6fe51daf35a40d19785167004664d7e0c59d

disable speed > 1 speed corrections in firstpass

need to rework these

Change-Id: I17dc2c88d2faadd2f8fb117c52c25f04ea2e9856

new debug modes code

The new print out includes skips and has prefixed sections so you can
grep to find things like transforms chosen on each frame.

Change-Id: I195043424647d9514cfc3ff6720a5b20d010fa1b

Merge "copy partitioning from last fame"

copy partitioning from last fame

Change-Id: I26e80ede80cb4389378a95afa95d229092a9859a

Add unit tests for 4x4 ADST

Enable sign bias check and round-trip error unit tests for 4x4 hybrid
transform modules.

Change-Id: Icd3d839f098d4b92b00ff76eac146765b039d0d3

Merge "test_libvpx: disable pthreads in gtest"

Removed a number of unnecessary check on ref_frame

Since intra block decoding is handled by decode_sb_intra() separately.

Change-Id: I42d757884714084c92fc23ec5d35d4dc946f4b15

Function decomposition inside vp9_decodemv.c file.

Change-Id: Iab96e6a50aec543c63e15cd134f9d5f01ca7ceff

test_libvpx: disable pthreads in gtest

currently threading is internal to libvpx so thread safety is unneeded
in libgtest -- visual studio builds already operate in this way as they
do not have pthread.h available by default.

this removes an unconditional link to libpthread using $(extralibs)
should libvpx require it.

Change-Id: Ieae1d693406653a54b54fba818c598836797d33b

Add some unaligned test vectors

Tests resolutions of 8, 10, 16, 18, 32, 34, 64, 66 to exercise the
border conditions, as well as non-SB aligned sizes.

Change-Id: Ie7c2b7860ac3727e23202042f2e86792652912f8

Merge "Add two-pass quantization"

Add two-pass quantization

Optimized the quantization function by making it a two-pass
process. The first pass does a quick checking of the transform
coefficients against the base ZBIN, and only keep the good
enough set of coefficients for quantization. A skipping
check is added. If all coefficients are within the base ZBIN, no
quantization is needed. The second pass is the actual quantization
pass, which only processes the coefficient subset determined
in first pass. This reduces the computation. Furthermore, an
alternitive method is used for large transform size, which often
has sparse nonzero quantized coefficients.

Overall, the encoder speedup is about 4%. The quantization function
itself gets 20% faster.

Change-Id: I3a9dd0da6db030260b6d9c314a9fa48ecae89f22

Remove unnecessary copying of probs.

Change-Id: Ic924f07c6ab0c929c6cdf11880d3c625806e272c

Renaming 'nmv' to 'mv' for several functions.

Change-Id: I183a38997a9d01e4a1b869e92509f6915216fa09

Merge "tests: clear system state after non-API calls"

Merge "Make fdct32 computation flow within 16bit range"

tests: clear system state after non-API calls

add ClearSystemState() to reset MMX registers avoiding corrupting
subsequent tests.

Change-Id: I668deb09aa7aa467709776e5819f936910698bc0

Merge "Code cleanup inside the decoder code."

Merge "Removing vp9_invtrans.{c, h} files."

Make fdct32 computation flow within 16bit range

This commit makes use of dual fdct32x32 versions for rate-distortion
optimization loop and encoding process, respectively. The one for
rd loop requires only 16 bits precision for intermediate steps.
The original fdct32x32 that allows higher intermediate precision (18
bits) was retained for the encoding process only.

This allows speed-up for fdct32x32 in the rd loop. No performance
loss observed.

Change-Id: I3237770e39a8f87ed17ae5513c87228533397cc3

Merge "Move subpixel variance function from common/ to encoder/."

Merge "Use assembly-optimized variance functions in sub_pixel_{avg}_var()."

Merge "vpx_ports/x86.h: de-dup #elif block"

convolve_test: align filter arrays

fixes issue #583

Change-Id: I4b855a5b5b168c8961410cef6ab5e6d86f14d301

vpx_ports/x86.h: de-dup #elif block

Change-Id: I052647e13dd24354888c890f6b4a987d989552ae

Code cleanup inside the decoder code.

Change-Id: I927c7223996cdeb44f46e0e6c2e2054d458c300b

Move subpixel variance function from common/ to encoder/.

This seems to only be used in the encoder. Also remove an empty wrapper
file that contained forward declarations for this function, but didn't
actually define any actual functions.

Change-Id: Ifc561eef7ebe374a7d03698055e51e105f6d614b

Removing vp9_invtrans.{c, h} files.

Moving single function from vp9_invtrans.c to vp9_encodemb.c.

Change-Id: I26bf6bb90de342a3036c0dbfba78a7dd75a61fe7

Use assembly-optimized variance functions in sub_pixel_{avg}_var().

2.5% faster when encoding first 50 frames of bus @ 1500kbps.

Change-Id: I5a64703996cf7fd39b07e32c72311c4b125ec6d4

Merge "Fixing compilation error on Mac OS."

Merge "Fix typo ('weight' instead of 'width')."

Fix typo ('weight' instead of 'width').

Change-Id: I5d3944051d091b4bf3eb13e2a30132d34203ef74

Fixing compilation error on Mac OS.

The error happened because of vp8_decrypt_cb typedef redefinition in both
treereader.h and vp8dx.h. Removing typedef from vp8dx.h in favor of raw
function pointer declaration.

Change-Id: I0266eb341ce433d40caf0abf8748694d505ee786

Merge "Removed hardcoded global->limit"

Removed hardcoded global->limit

Looks like test code.

Change-Id: I5deae2bf14ea6fdcbb9b9d993966c9abef95eb2e

Change the encryption feature to use a callback for decryption.

This allows code calling the library can choose an arbitrary
encryption algorithm.

Decoder control parameter VP8_SET_DECRYPT_KEY is renamed to
VP8D_SET_DECRYPTOR, and now takes an small config struct instead
of just a byte array.

Change-Id: I0462b3388d8d45057e4f79a6b6777fe713dc546e

Merge "Add vp9 test vectors unit test"

Merge "Remove unused need_to_clamp_mvs"

Merge "vpxdec: add --loops option"

vs9 build: avoid deprecated /Wp64 flag

quiets a warning on every file; the preference is to use a 64-bit
compiler, which is readily available at and above this version.

Change-Id: I56e7eb569022e7148249d93fe386ad5ea0eee3fc

Merge "Fix type mismatch in array definition"