Optimize 32x32 idct function

Wrote sse2 version of vp9_short_idct_32x32 function. Compared
to c version, the sse2 version is 5X faster.

Change-Id: I071ab7378358346ab4d9c6e2980f713c3c209864

Optimize 16x16 idct10 function

Wrote sse2 version of vp9_short_idct10_16x16 function. Compared
to c version, the sse2 version is 2.3X faster.

Change-Id: I314c4f09369648721798321eeed6f58e38857f26

Merge "Optimize 16x16 idct function" into experimental

Optimize 16x16 idct function

Wrote sse2 version of vp9_short_idct16x16 function. Compared to c
version, the sse2 version is over 2.5X faster.

Change-Id: I38536e2b846427a2cc5c5423aaf305fd0e605d61

Code cleanup: lower case variable names.

Renaming Width to width, Height to height and Version to version in
several structs and function signatures.

Change-Id: I084c3f7e747cb2ce3345aff27a3dff9b13a87543

Merge "Motion vector code cleanup." into experimental

Changes to rd error_per_bit calculation.

Specifically changes to retain more precision
especially at low Q through to the point of use.

Change-Id: Ief5f010f2ca4daaabef49520e7edb46c35daf397

Merge "Fix ENTROPY_STATS code in vp9_tokenize.c." into experimental

Fix ENTROPY_STATS code in vp9_tokenize.c.

Change-Id: I9b4cb1e2ce6c6a99cffd473ff2fa7579bd318fcd

Optimize 8x8 idct function

Wrote sse2 functions of vp9_short_idct8x8 and vp9_short_idct10_8x8.
Compared to c version, the sse2 version is 2X faster. The decoder
test didn't show noticeable gain since 8x8 idct doesn't take much
of decoding time (less than 1% in my test).

Change-Id: I56313e18cd481700b3b52c4eda5ca204ca6365f3

VP9/ResizeInternalTest: adjust passing threshold

Update to +/- 1dB.

Change-Id: Idada001f261b36945c9334e288a415ee2c79c415

Merge "Replace scaling byte with explicit display size" into experimental

Replace scaling byte with explicit display size

If the intended display size is different than the size the frame is
coded at, then send that size explicitly in the bitstream. Adds a new
bit to the frame header to indicate whether the extra size fields
are present.

Change-Id: I525c66f22d207efaf1e5f903c6a2a91b80245854

Merge "Adapt ARNR filter length and strength." into experimental

Merge "Fix pulsing issue with scaling" into experimental

Merge "Add VP9_GET_REFERENCE control" into experimental

Adapt ARNR filter length and strength.

Adjust the filter length and strength for each
ARF group based on a measure of difficulty (the boost)
and the active q range.

Remove lower limit on RDMULT value.

Average gains on the different sets in range 0.4%-0.9%.
However the ARNR changes give a very big boost on a
few clips.

Eg. Soccer ~5%, in derf set and Cyclist ~ 10% in the std-hd set

Change-Id: I2078d78798e27ad2bcc2b32d703ea37b67412ec4

Merge "put refmvselection under experiment" into experimental

Merge "removed reference to "LLM" and "x8"" into experimental

Merge "Remove some unused rate control variables" into experimental

Merge "Fix use of NaN in firstpass" into experimental

Merge "Context-pred fix to not use top/left on edges" into experimental

Context-pred fix to not use top/left on edges

This fix resolves some of the mismatch issues being seen
recently. While this is the right thing to do when tiling
is used for this experiment, it is not the underlying cause
of the the mismatches.
Something else is causing writing outside of the allowable
frame area in the encoder leading to this mismatch.

Change-Id: If52c6f67555aa18ab8762865384e323b47237277

Remove some unused rate control variables

These variables are unused, and are subject to overflowing, causing
assertions when built with -ftrapv.

Change-Id: Ia00a3201af309906c05bcd4b23a643925ed6ea86

Fix use of NaN in firstpass

If the second reference is better than the first in the long term,
it was possible to try to take the fractional exponent of a
negative number, giving an undefined result.

Change-Id: I1dd08286747ceae960eb03bb5d98a383cc9d253b

Merge "Cleaning up frame decoding functionality." into experimental

Faster vp9_short_fdct16x16.

Scalar path is about 1.5x faster (3.1% overall encoder speedup).
SSE2 path is about 7.2x faster (7.8% overall encoder speedup).

Change-Id: I06da5ad0cdae2488431eabf002b0d898d66d8289

Motion vector code cleanup.

Moving identical code to separate functions, variable declaration and
initialization on the same line.

Change-Id: Ifa6474a64189f9d8051e88e19850453b0227752c

Merge "force lossless coding at very high quality end" into experimental

Merge "Remove leftover reference to 2nd order dc/ac quant" into experimental

Cleaning up frame decoding functionality.

Change-Id: I25424904fb8541fc19d00d9fbc592379374b98c0

force lossless coding at very high quality end

Change-Id: I75fc4eee10bee9efd419d248827290cce8e6d637

Remove leftover reference to 2nd order dc/ac quant

Change-Id: Ib8dacf1d2797743569771b8f699e40e1aeb085cb

Fix pulsing issue with scaling

Updates the YV12_BUFFER_CONFIG structure to be crop-aware. The
exiting width/height parameters are left unchanged, storing the
width and height algined to a 16 byte boundary. The cropped
dimensions are added as new fields.

This fixes a nasty visual pulse when switching between scaled and
unscaled frame dimensions due to a mismatch between the scaling
ratio and the 16-byte aligned sizes.

Change-Id: Id4a3f6aea6b9b9ae38bdfa1b87b7eb2cfcdd57b6

Add VP9_GET_REFERENCE control

This is like VP8_COPY_REFERENCE, but returns a pointer to the reference
frame rather than a copy of it. This is useful when the application
doesn't know what the size of the reference is, as is the case when
scaling is in effect.

Change-Id: I63667109f65510364d0e397ebe56217140772085

Support +/-2048 motion vector coding

Enable entropy coding of motion vectors up to +/-2048. Also
extend the motion search range accordingly.

Change-Id: Iac2bb015e8934521cef83a19edbe967d9f097436

put refmvselection under experiment

and turn the experiment off by default.

Change-Id: If9e684aa6cc49eacd39f36645a110a447e38d2de

removed reference to "LLM" and "x8"

The commit changed the name of files and function to remove obselete
reference to LLM and x8.

Change-Id: I973b20fc1a55149ed68b5408b3874768e6f88516

fix superframe index marker masks

The superframe index marker byte carries data in the lower 5 bits. Only the
upper 3 should be used as part of the mask to detect it. By masking with
0xf0, the previous code was incorrect for frames over 65k bytes.

Change-Id: I6248889f5af227457f359a56b2348ef6db87a3b4

fix superframe index with lagged encoding

If a superframe (ARF) is generated while flushing the lagged frames
at the end of the clip, the buffer pointer wasn't being properly
updated to account for the size of the index, causing the next
frame to overwrite the index on the previous frame.

Change-Id: Ib158cc8e4183d663bdfb9ba002dd4c98916abdc9

Merge "disambiguate superframe index in vp9_stop_encode()" into experimental

disambiguate superframe index in vp9_stop_encode()

If the bool-coded partition naturally ends in a byte that matches the
superframe index marker, it could lead to a parse error. This commit
ensures that if such a marker is seen, it is padded out with an
additional zero byte to disambiguate it.

Change-Id: Id977de05745b6fa9ef08afb71e210a2a3ecca02e

Merge "Change buffer update rules on ARF overlay." into experimental

Merge "Fix typo in comment for number of extra bits for cat6 tokens." into experimental

Merge "fix an assumption about uv_stride" into experimental

Fix typo in comment for number of extra bits for cat6 tokens.

Change-Id: I07ddf3be8bc5d6c2eb561d4241879777c315b183

Merge "Changes to maximum gf/arf interval." into experimental

Change buffer update rules on ARF overlay.

When coding the frame that corresponds to the midpoint frame
defining an ARF, do not update the last reference frame buffer.
Previously this buffer was updated meaning that when coding the next
ARF all the reference buffers were the same (or nearly so).
Turning the update off means that the frame before is still available
as an alternative predictor and for use in compound prediction.

Also fixed inconsistency in test for mismatch (patch from JK).

Net average gains (derf 0.049, yt 0.163, yt-hd 0.207, std-hd 0.286)

Change-Id: Ifee21da21ccbb1648ac2eafe890d3ce60562c7bc

fix an assumption about uv_stride

Use the uv_stride from the framebuffer rather than deriving it from the
y_stride.

Change-Id: I94581cb741539d094ff062b3d008235556903b8c

Merge "Code cleanup." into experimental

Code cleanup.

Removing redundant code, introducing new functions for better
decomposition, adding 'clamp' function to vp9_common.h.

Change-Id: Ic3b8ca13bbc38f60f0c9c43910b5802005e31aaf

Merge "Reinitialize motion search tables on frame size change" into experimental

Merge "Add 'superframe' index" into experimental

Merge "Update ResizeInternalTest threshold" into experimental

Changes to maximum gf/arf interval.

This patch puts in an adjustment to the maximum gf/arf
interval based on the active q range.  It sets a fixed
baseline maximum of 16 but can drop this down to 12 at
lower q. This required some re-ordering in the first pass
code to insure we have a Q range estimate before defining
the first gf sequence.

The main gains seed are int he STD hd set on 50fps clips
where previously the interval could rise as high as 25.
On the std hd clip the gains are around 2.8% with limit set
to 300 frames.

When combined with the one shot rate control flags we get
combined of:

derf 1.55% (limit300), yt 7.25%, hd 5.17% std-hd 5.84% (limit300)

Change-Id: Ib380d51354511f2ff0f171a8df4e74291c0421f9

Fix vp9_tree_probs_from_distribution with CONFIG_CODE_NONZEROCOUNT

The automatic merge result was incomplete.

Change-Id: I8976318bfc346d867660a013a302c80edb25fc29

Merge "Simplify vp9_adapt_nmv_probs" into experimental

Simplify vp9_adapt_nmv_probs

Remove the temporary branch count arrays and build the adapted probabilities
while walking the tree. Gives an additional 1.5% or so on CIF.

Change-Id: I875d61e5e0ec778e5d2f7f9d0837b989a91cf3a3

Merge "Minor optimization in mv entropy adaptation" into experimental

Merge "Optimize vp9_tree_probs_from_distribution" into experimental

Minor optimization in mv entropy adaptation

Adds a check to exit from the increment_nmv_count function when the
increment is 0.

Change-Id: I99c1e342d351f7800e23590f9c2419881bf1d708

Optimize vp9_tree_probs_from_distribution

The previous implementation visited each node in the tree multiple times
because it used each symbol's encoding to revisit the branches taken and
increment its count. Instead, we can traverse the tree depth first and
calculate the probabilities and branch counts as we walk back up. The
complexity goes from somewhere between O(nlogn) and O(n^2) (depending on
how balanced the tree is) to O(n).

Only tested one clip (256kbps, CIF), saw 13% decoding perf improvement.

Note that this optimization should port trivially to VP8 as well. In VP8,
the decoder doesn't use this function, but it does routinely show up
on the profile for realtime encoding.

Change-Id: I4f2848e4f41dc9a7694f73f3e75034bce08d1b12

Continued experiment with nonzero count

Adds probability updates for extra bits for the nzcs, code for
getting nzc stats, plus some minor cleanups and fixes.

Change-Id: If2814e7f04fb52f5025ad9f400f3e6c50a00b543

Merge "Add support for tx_select in i8x8 encoding in keyframes." into experimental

Merge "Add vp9_idct4_1d_sse2" into experimental

Add vp9_idct4_1d_sse2

Added SSE2 idct4_1d which is called by vp9_short_iht4x4. Also,
modified the parameter type passed to vp9_short_iht functions to
make it work with rtcd prototype.

Change-Id: I81ba7cb4db6738f1923383b52a06deb760923ffe

Merge "Consistent usage of ROUND_POWER_OF_TWO macro." into experimental

Merge "Optimize add_constant_residual function" into experimental

Extend diff MV limit from +/-256 to +/-1024

Increase the motion search range by 4x. Change MV_CLASS tree of the
entropy coding to allow two additional mv classes to cover the
extended motion vector limit. The codec determines the effective
motion search range conditioned on the actual frame dimension.

It provides coding gains:

stdhd 0.39%
yt    0.56%
hd    0.47%

Major coding performance gains are packed in several sequences with
intense motion activities, e.g., ped_1080p gains 7% at high bit-rates,
and on average 3%.

TODO: Need to further tune the rate control and motion search units.

Change-Id: Ib842540a6796fbee5a797809433ef6a477c6d78d

Add support for tx_select in i8x8 encoding in keyframes.

Also enable tx_select for keyframes.

Change-Id: Iadb1231d9fa7af0c8dce3d9b41830b93a302479e

Optimize add_constant_residual function

Optimized adding constant diff to predictor, which gave about
2% decoder performance gain.

Change-Id: I47db20c31428e8c4a8f16214a85cbe386a6e9303

Merge "Allocate 16-byte aligned diff buffer" into experimental

Allocate 16-byte aligned diff buffer

This was done based on John's suggestion.

Change-Id: I62516a513c31fe3dbea0d6cd063df79d9e819ec8

Consistent usage of ROUND_POWER_OF_TWO macro.

Change-Id: I44660975e9985310d8c654c158ee7a61291b5a08

Update ADST selection if tx_size < block_size.

Change-Id: Ic9b336486774c95ffbb92adcb110cc0fc2a83cc5

Re-add support for ADST in superblocks.

This also changes the RD search to take account of the correct block
index when searching (this is required for ADST positioning to work
correctly in combination with tx_select).

Change-Id: Ie50d05b3a024a64ecd0b376887aa38ac5f7b6af6

Fix issue in add_residual intrinsic function

Yaowu found this function had a compiling issue with MSVC because
of using _mm_storel_pi((__m64 *)(dest + 0 * stride), (__m128)p0).
To be safe, changed back to use integer store instruction.

Also, for some build, diff could not always be 16-byte aligned.
Changed that in the code.

Change-Id: I9995e5446af15dad18f3c5c0bad1ae68abef6c0d

Coding con-zero count rather than EOB for coeffs

This patch revamps the entropy coding of coefficients to code first
a non-zero count per coded block and correspondingly remove the EOB
token from the token set.

STATUS:
Main encode/decode code achieving encode/decode sync - done.
Forward and backward probability updates to the nzcs - done.
Rd costing updates for nzcs - done.
Note: The dynamic progrmaming apporach used in trellis quantization
is not exactly compatible with nzcs. A suboptimal approach has been
used instead where branch costs are updated to account for changes
in the nzcs.

TODO:
Training the default probs/counts for nzcs

Change-Id: I951bc1e22f47885077a7453a09b0493daa77883d

Merge "Code cleanup." into experimental

Merge "Added stricter Q control flag." into experimental

Added stricter Q control flag.

Added a variant of the one shot maxQ flag
for two pass that forces a fixed Q for the
normal inter frames. Disabled by default.
Also small adjustment to the Bits per MB
estimation.
Change-Id: I87efdfb2d094fe1340ca9ddae37470d7b278c8b8

Merge "Optimize add_residual function" into experimental

Optimize add_residual function

Optimized adding diff to predictor, which gave 0.8% decoder
performance gain.

Change-Id: Ic920f0baa8cbd13a73fa77b7f9da83b58749f0f8

Code cleanup.

Removing redundant 'extern' keywords, fixing formatting and #include order,
code simplification.

Change-Id: I0e5fdc8009010f3f885f13b5d76859b9da511758

Update ResizeInternalTest threshold

Improved coding performance made this test fail. Adjust the threshold
so that it passes again. A more stable metric is an open TODO.

Change-Id: I56e18749ced48123ee2488888a3eed631759912b

Add 'superframe' index

A 'superframe' is a group of frames that share the same PTS, but have a
defined decoding order. This commit adds the ability to append an index
to such a group of frames, allowing for random access to the constituent
frames. This could be useful for frame-level parallelism or partial
decoding in a multilayer scenario.

Decoding the stream serially without such an index should work as a
fallback, and VP9/TestSuperframeIndexIsOptional verifies that.

Change-Id: Idff83b7560e1a7077d8fb067bfbc45b567e78b1c

Merge changes Ifacbf5a0,Ibad7c3dd into experimental

* changes:
  vpxenc: actually report mismatch on stderr.
  Make superblocks independent of macroblock code and data.

Merge "Code cleanup and simplification of build_4x4uvmvs function." into experimental

vpxenc: actually report mismatch on stderr.

Because ctx->err is not set in that case, it will not report the error
on stderr.

Change-Id: Ifacbf5a03e676fd56522b03c0281d6c723c563ee

Make superblocks independent of macroblock code and data.

Split macroblock and superblock tokenization and detokenization
functions and coefficient-related data structs so that the bitstream
layout and related code of superblock coefficients looks less like it's
a hack to fit macroblocks in superblocks.

In addition, unify chroma transform size selection from luma transform
size (i.e. always use the same size, as long as it fits the predictor);
in practice, this means 32x32 and 64x64 superblocks using the 16x16 luma
transform will now use the 16x16 (instead of the 8x8) chroma transform,
and 64x64 superblocks using the 32x32 luma transform will now use the
32x32 (instead of the 16x16) chroma transform.

Lastly, add a trellis optimize function for 32x32 transform blocks.

HD gains about 0.3%, STDHD about 0.15% and derf about 0.1%. There's
a few negative points here and there that I might want to analyze
a little closer.

Change-Id: Ibad7c3ddfe1acfc52771dfc27c03e9783e054430

Reinitialize motion search tables on frame size change

Make sure the motion search is done with the offsets calculated from
the correct stride.

Change-Id: Ifbcc0f742eda3399c255bfcfa1cdee9a4bb4b4e7

Merge "Code cleanup." into experimental

Merge "Optimize vp9_short_idct4x4llm function" into experimental

Merge "Rename quantize_sse2.c to quantize_sse2_intrinsics.c to avoid collision." into experimental

Rename quantize_sse2.c to quantize_sse2_intrinsics.c to avoid collision.

Change-Id: I5637d491eb6a9b7633f72e03fd9df72131eeb121

Optimize vp9_short_idct4x4llm function

Wrote a SSE2 vp9_short_idct4x4llm to improve the decoder
performance.

Change-Id: I90b9d48c4bf37aaf47995bffe7e584e6d4a2c000

Support 16K sequence coding

Fixed a couple of variable/function definitions, as well as header
handling to support 16K sequence coding at high bit-rates.

The width and height are each specified by two bytes in the header.
Use an extra byte to explicitly indicate the scaling factors in
both directions, each ranging from 0 to 15.

Tested coding up to 16400x16400 dimension.

Change-Id: Ibc2225c6036620270f2c0cf5172d1760aaec10ec

Merge changes If5896507,I06b5ba5c,I2712f99e into experimental

* changes:
  Add unit test for x4 multi-SAD functions
  Add VP9 1 block SAD functions to unit test
  Merge master branch into experimental

Add unit test for x4 multi-SAD functions

Update the function prototypes to match between VP9 and VP8.

Change-Id: If58965073989e87df3b62b67a030ec6ce23ca04f

Add VP9 1 block SAD functions to unit test

Change-Id: I06b5ba5c457944cfa4cd9f53c3bd8cda132439c2