General code cleanup.

Removing redundant code, lower case variable names, better indentation,
better parameter names, adding const to readonly parameters.

Change-Id: Ibfdee00f60316fdc5b3f024028c7aaa76a627483

Merge "Convert inv_tile_order to control interface" into experimental

Merge "Convert g_frame_parallel_decoding to control interface" into experimental

Merge "Modify idct code to use macro" into experimental

Modify idct code to use macro

Small modification of idct code.

Change-Id: I5c4e3223944c68e4ccf762f6cf07c990250e4290

Merge "Merge branch 'master' into experimental" into experimental

Merge "Cleaning up rate control code." into experimental

Merge "Optimize 32x32 idct function" into experimental

Convert inv_tile_order to control interface

Restore ABI compatibility with the master branch.

Change-Id: Ie9f6fdf536662bd87dfcf114d16f003422670763

Convert g_frame_parallel_decoding to control interface

Restore ABI compatibility with the master branch.

Change-Id: Ic57e7e1de09ab33bd37990e52a63ba7c8f1432a4

Optimize 32x32 idct function

Wrote sse2 version of vp9_short_idct_32x32 function. Compared
to c version, the sse2 version is 5X faster.

Change-Id: I071ab7378358346ab4d9c6e2980f713c3c209864

Merge branch 'master' into experimental

Pick up VP8 encryption, quantization changes, and some fixes to vpxenc

Conflicts:
test/decode_test_driver.cc
test/decode_test_driver.h
test/encode_test_driver.cc
vp8/vp8cx.mk
vpxdec.c
vpxenc.c

Change-Id: I9fbcc64808ead47e22f1f22501965cc7f0c4791c

Scatter-based scantables.

This gains about 0.2% on derf, 0.1% on hd and 0.4% on stdhd. I can put
this under an experimental flag if wanted, just trying to get my patch
queue in shape.

Change-Id: Ibe1a30fe0e0b07bec4802e0f3ff0ba22e505f576

Merge "ENTROPY_STATS -> VP8_ENTROPY_STATS in vp8/." into experimental

Merge "Add col/row-based coefficient scanning patterns for 1D 8x8/16x16 ADSTs." into experimental

Merge "Redo banding for all transforms." into experimental

Merge "Use above/left (instead of previous in scan-order) as token context." into experimental

Implicit weighted prediction experiment

Adds an experiment to use a weighted prediction of two INTER
predictors, where the weight is one of (1/4, 3/4), (3/8, 5/8),
(1/2, 1/2), (5/8, 3/8) or (3/4, 1/4), and is chosen implicitly
based on consistency of the predictors to the already
reconstructed pixels to the top and left of the current macroblock
or superblock.

Currently the weighting is not applied to SPLITMV modes, which
default to the usual (1/2, 1/2) weighting. However the code is in
place controlled by a macro. The same weighting is used for Y and
UV components, where the weight is derived from analyzing the Y
component only.

Results (over compound inter-intra experiment)
derf: +0.18%
yt: +0.34%
hd: +0.49%
stdhd: +0.23%

The experiment suggests bigger benefit for explicitly signaled weights.

Change-Id: I5438539ff4485c5752874cd1eb078ff14bf5235a

Add col/row-based coefficient scanning patterns for 1D 8x8/16x16 ADSTs.

These are mostly just for experimental purposes. I saw small gains (in
the 0.1% range) when playing with this on derf.

Change-Id: Ib21eed477bbb46bddcd73b21c5c708a5b46abedc

Redo banding for all transforms.

Now that the first AC coefficient in both directions use the same DC
as their context, there no longer is a purpose in letting both have
their own band. Merging these two bands allows us to split bands for
some of the very high-frequency AC bands.

In addition, I'm redoing the banding for the 1D-ADST col/row scans. I
don't think the old banding made any sense at all (it merged the last
coefficient of the first row/col in the same band as the first two of
the second row/col), which was clearly an oversight from the band being
applied in scan-order (rather than in their actual position). Now,
coefficients at the same position will be in the same band, regardless
what scan order is used. I think this makes most sense for the purpose
of banding, which is basically "predict energy for this coefficient
depending on the energy of context coefficients" (i.e. pt).

After full re-training, together with previous patch, derf gains about
1.2-1.3%, and hd/stdhd gain about 0.9-1.0%.

Change-Id: I7a0cc12ba724e88b278034113cb4adaaebf87e0c

Use above/left (instead of previous in scan-order) as token context.

Pearson correlation for above or left is significantly higher than for
previous-in-scan-order (absolute values depend on position in scan, but
in general, we gain about 0.1-0.2 by using either above or left; using
both basically just makes this even better). For eob branch skipping,
we continue to use the previous token in scan order.

This helps about 0.9% on derf after re-training on a limited data set.
Full re-training and results on larger-resolution clips are pending.

Note that this commit breaks trellis, so we can probably get further
gains out of it by fixing trellis at some later point.

Change-Id: Iead68e296fc3a105cca746b5e3da9555d6010cfe

Merge "Cleaning up loopfilter code." into experimental

Cleaning up rate control code.

Lower case variable names, declaration and initialization on the same line,
removing redundant casts to double.

Change-Id: I7ea3905bed827aa6faac11a78401b85e448b57f9

Cleaning up loopfilter code.

Lower case variable names, removing redundant variables, declaration and
initialization on the same line.

Change-Id: Ie0c6c95b14103990eb6a9d7784f8259c662e1251

Decomposition of vp9_decode_frame function.

Moving code from vp9_decode_frame function into setup_loopfilter and
setup_segmentation functions. A little bit of cleanup.

Change-Id: I2cce1813e4d7aeec701ccf752bf57e3bdd41b51c

Merge "Add an in-loop deringing experiment" into experimental

Merge "Code cleanup." into experimental

Merge "Code cleanup." into experimental

Merge "Changing initialization order of mb_to_top_edge & mb_to_bottom_edge" into experimental

Add an in-loop deringing experiment

Adds a per-frame, strength adjustable, in loop deringing filter. Uses
the existing vp9_post_proc_down_and_across 5 tap thresholded blur
code, with a brute force search for the threshold.

Results almost strictly positive on the YT HD set, either having no
effect or helping PSNR in the range of 1-3% (overall average 0.8%).
Results more mixed for the CIF set, (-0.5 min, 1.4 max, 0.1 avg).
This has an almost strictly negative impact to SSIM, so examining a
different filter or a more balanced search heuristic is in order.

Other test set results pending.

Change-Id: I5ca6ee8fe292dfa3f2eab7f65332423fa1710b58

Bugfix in model coef prob experiment

Fixes an issue with model based update that got into
the original patch that was merged.

Change-Id: Ie42d3d0aff2e48cd187d96664dbd3e9d6d3ac22f

Merge "Modeling default coef probs with distribution" into experimental

Modeling default coef probs with distribution

Replaces the default tables for single coefficient magnitudes with
those obtained from an appropriate distribution. The EOB node
is left unchanged. The model is represeted as a 256-size codebook
where the index corresponds to the probability of the Zero or the
One node. Two variations are implemented corresponding to whether
the Zero node or the One-node is used as the peg. The main advantage
is that the default prob tables will become considerably smaller and
manageable. Besides there is substantially less risk of over-fitting
for a training set.

Various distributions are tried and the one that gives the best
results is the family of Generalized Gaussian distributions with
shape parameter 0.75. The results are within about 0.2% of fully
trained tables for the Zero peg variant, and within 0.1% of the
One peg variant.

The forward updates are optionally (controlled by a macro)
model-based, i.e. restricted to only convey probabilities from the
codebook. Backward updates can also be optionally (controlled by
another macro) model-based, but is turned off by default. Currently
model-based forward updates work about the same as unconstrained
updates, but there is a drop in performance with backward-updates
being model based.

The model based approach also allows the probabilities for the key
frames to be adjusted from the defaults based on the base_qindex of
the frame. Currently the adjustment function is a placeholder that
adjusts the prob of EOB and Zero node from the nominal one at higher
quality (lower qindex) or lower quality (higher qindex) ends of the
range. The rest of the probabilities are then derived based on the
model from the adjusted prob of zero.

Change-Id: Iae050f3cbcc6d8b3f204e8dc395ae47b3b2192c9

Code cleanup.

Fixing function arguments alignment, reusing MIN/MAX and clamp functions.

Change-Id: I87dd5a40ffb65b521b8abbf0fccf2f50552c5309

Code cleanup.

Lower case variable names, code simplification by using already defined
clamp and read_le16 functions.

Change-Id: I8fd544365bd8d1daed86d7b2ae0843e4ef80df08

Fixing fourcc for VP8 and VP9.

Changing 0x00 ('') fourcc byte to 0x30 ('0'). For VP8 from
0x00385056 to 0x30385056, for VP9 from 0x00395056 to 0x30395056.

Change-Id: I26b1b603c20dd41f7aeabf8cd7893dfd5b1c8b59

Merge "Optimize 16x16 idct10 function" into experimental

Merge "Disable zero bin mode boost." into experimental

Merge "Minor code clean up" into experimental

Disable zero bin mode boost.

As things stand the zero bin mode boost is hurting somewhat.
In part this seems to be because the boost applied as is
interferes with the rd mode selection loop.

Average gains (derf 0.072, yt 0.243, ythd 0.179 std-hd 0.212%)

Change-Id: Icaecea3908d9a7352370e49b8fa822f2c2c49dc1

Minor code clean up

Change-Id: Ifa864e0acb253b238b03cdeed0fe5d6ee30a45d8

Merge "Remove TX size segment feature" into experimental

Remove gcc-specific __label__

Use unique names and ditch the local label declaration. Visual Studio
does not support it.

https://code.google.com/p/webm/issues/detail?id=561

Change-Id: Ica643cf5abb56ee6156371f5bf73fdeb58014422

Optimize 16x16 idct10 function

Wrote sse2 version of vp9_short_idct10_16x16 function. Compared
to c version, the sse2 version is 2.3X faster.

Change-Id: I314c4f09369648721798321eeed6f58e38857f26

Changing initialization order of mb_to_top_edge & mb_to_bottom_edge

Making consistent initialization of mb_to_{top,botton,left,right}_edge
variables after set_mb_row & set_mb_col calls. A little bit of code cleanup
additionally.

Change-Id: I245bfe32c5701e9836956dc25cf8c770d109cbc1

Merge "Optimize 16x16 idct function" into experimental

Optimize 16x16 idct function

Wrote sse2 version of vp9_short_idct16x16 function. Compared to c
version, the sse2 version is over 2.5X faster.

Change-Id: I38536e2b846427a2cc5c5423aaf305fd0e605d61

Code cleanup: lower case variable names.

Renaming Width to width, Height to height and Version to version in
several structs and function signatures.

Change-Id: I084c3f7e747cb2ce3345aff27a3dff9b13a87543

Removed mode_chosen_counts

This eliminates a tsan warning.

Change-Id: I204d109b12adb4e347762e63d12859244f28d1a9

Merge "Motion vector code cleanup." into experimental

Remove TX size segment feature

Change-Id: I0d226e4cb240caced37230f46905bf69b46e0cce

Changes to rd error_per_bit calculation.

Specifically changes to retain more precision
especially at low Q through to the point of use.

Change-Id: Ief5f010f2ca4daaabef49520e7edb46c35daf397

Merge "Fix ENTROPY_STATS code in vp9_tokenize.c." into experimental

ENTROPY_STATS -> VP8_ENTROPY_STATS in vp8/.

Change-Id: I0027483e47900de84394de47c3273cc8292e6119

Fix ENTROPY_STATS code in vp9_tokenize.c.

Change-Id: I9b4cb1e2ce6c6a99cffd473ff2fa7579bd318fcd

Optimize 8x8 idct function

Wrote sse2 functions of vp9_short_idct8x8 and vp9_short_idct10_8x8.
Compared to c version, the sse2 version is 2X faster. The decoder
test didn't show noticeable gain since 8x8 idct doesn't take much
of decoding time (less than 1% in my test).

Change-Id: I56313e18cd481700b3b52c4eda5ca204ca6365f3

VP9/ResizeInternalTest: adjust passing threshold

Update to +/- 1dB.

Change-Id: Idada001f261b36945c9334e288a415ee2c79c415

Merge "Replace scaling byte with explicit display size" into experimental

Replace scaling byte with explicit display size

If the intended display size is different than the size the frame is
coded at, then send that size explicitly in the bitstream. Adds a new
bit to the frame header to indicate whether the extra size fields
are present.

Change-Id: I525c66f22d207efaf1e5f903c6a2a91b80245854

Merge "Adapt ARNR filter length and strength." into experimental

Merge "Fix pulsing issue with scaling" into experimental

Merge "Add VP9_GET_REFERENCE control" into experimental

Adapt ARNR filter length and strength.

Adjust the filter length and strength for each
ARF group based on a measure of difficulty (the boost)
and the active q range.

Remove lower limit on RDMULT value.

Average gains on the different sets in range 0.4%-0.9%.
However the ARNR changes give a very big boost on a
few clips.

Eg. Soccer ~5%, in derf set and Cyclist ~ 10% in the std-hd set

Change-Id: I2078d78798e27ad2bcc2b32d703ea37b67412ec4

Merge "put refmvselection under experiment" into experimental

Merge "removed reference to "LLM" and "x8"" into experimental

Merge "Remove some unused rate control variables" into experimental

Merge "Fix use of NaN in firstpass" into experimental

Merge "Context-pred fix to not use top/left on edges" into experimental

Context-pred fix to not use top/left on edges

This fix resolves some of the mismatch issues being seen
recently. While this is the right thing to do when tiling
is used for this experiment, it is not the underlying cause
of the the mismatches.
Something else is causing writing outside of the allowable
frame area in the encoder leading to this mismatch.

Change-Id: If52c6f67555aa18ab8762865384e323b47237277

Merge "Basic encryption feature for libvpx."

Basic encryption feature for libvpx.

New decoder control paramter VP8_SET_DECRYPT_KEY to set the decryption key.

Change-Id: I6fc1f44d41f74f3b3f702778af1a6f8f5cc9439f

Remove some unused rate control variables

These variables are unused, and are subject to overflowing, causing
assertions when built with -ftrapv.

Change-Id: Ia00a3201af309906c05bcd4b23a643925ed6ea86

Fix use of NaN in firstpass

If the second reference is better than the first in the long term,
it was possible to try to take the fractional exponent of a
negative number, giving an undefined result.

Change-Id: I1dd08286747ceae960eb03bb5d98a383cc9d253b

Merge "Cleaning up frame decoding functionality." into experimental

Faster vp9_short_fdct16x16.

Scalar path is about 1.5x faster (3.1% overall encoder speedup).
SSE2 path is about 7.2x faster (7.8% overall encoder speedup).

Change-Id: I06da5ad0cdae2488431eabf002b0d898d66d8289

Motion vector code cleanup.

Moving identical code to separate functions, variable declaration and
initialization on the same line.

Change-Id: Ifa6474a64189f9d8051e88e19850453b0227752c

Bug fix: Issue 531: MMX code tries to read from SSE2 register

Reported by Krzysztof Kaspruk.
https://code.google.com/p/webm/issues/detail?id=531

Change-Id: Ib5d5878ad07707bd42c2ca833eb021004f537012

Merge "force lossless coding at very high quality end" into experimental

Merge "Remove leftover reference to 2nd order dc/ac quant" into experimental

Cleaning up frame decoding functionality.

Change-Id: I25424904fb8541fc19d00d9fbc592379374b98c0

force lossless coding at very high quality end

Change-Id: I75fc4eee10bee9efd419d248827290cce8e6d637

Merge "Removed shadow warnings : loopfilter*.c"

Remove leftover reference to 2nd order dc/ac quant

Change-Id: Ib8dacf1d2797743569771b8f699e40e1aeb085cb

Removed shadow warnings : reconintra.c

Adding -Wshadow to CFLAGS generated a bunch of warnings.  This patch
removes these warnings.

Change-Id: I9d52c4a44351607d7d20d52e2a1bffe2a067891a

Removed shadow warnings : loopfilter*.c

Adding -Wshadow to CFLAGS generated a bunch of warnings.  This commit
is based on work already done by jzern.

Change-Id: Iefc08a7ab601c4d1b507f039577433bfb1c6cc9d

Fix pulsing issue with scaling

Updates the YV12_BUFFER_CONFIG structure to be crop-aware. The
exiting width/height parameters are left unchanged, storing the
width and height algined to a 16 byte boundary. The cropped
dimensions are added as new fields.

This fixes a nasty visual pulse when switching between scaled and
unscaled frame dimensions due to a mismatch between the scaling
ratio and the 16-byte aligned sizes.

Change-Id: Id4a3f6aea6b9b9ae38bdfa1b87b7eb2cfcdd57b6

Add VP9_GET_REFERENCE control

This is like VP8_COPY_REFERENCE, but returns a pointer to the reference
frame rather than a copy of it. This is useful when the application
doesn't know what the size of the reference is, as is the case when
scaling is in effect.

Change-Id: I63667109f65510364d0e397ebe56217140772085

Support +/-2048 motion vector coding

Enable entropy coding of motion vectors up to +/-2048. Also
extend the motion search range accordingly.

Change-Id: Iac2bb015e8934521cef83a19edbe967d9f097436

put refmvselection under experiment

and turn the experiment off by default.

Change-Id: If9e684aa6cc49eacd39f36645a110a447e38d2de

removed reference to "LLM" and "x8"

The commit changed the name of files and function to remove obselete
reference to LLM and x8.

Change-Id: I973b20fc1a55149ed68b5408b3874768e6f88516

fix superframe index marker masks

The superframe index marker byte carries data in the lower 5 bits. Only the
upper 3 should be used as part of the mask to detect it. By masking with
0xf0, the previous code was incorrect for frames over 65k bytes.

Change-Id: I6248889f5af227457f359a56b2348ef6db87a3b4

fix superframe index with lagged encoding

If a superframe (ARF) is generated while flushing the lagged frames
at the end of the clip, the buffer pointer wasn't being properly
updated to account for the size of the index, causing the next
frame to overwrite the index on the previous frame.

Change-Id: Ib158cc8e4183d663bdfb9ba002dd4c98916abdc9

Merge "disambiguate superframe index in vp9_stop_encode()" into experimental

disambiguate superframe index in vp9_stop_encode()

If the bool-coded partition naturally ends in a byte that matches the
superframe index marker, it could lead to a parse error. This commit
ensures that if such a marker is seen, it is padded out with an
additional zero byte to disambiguate it.

Change-Id: Id977de05745b6fa9ef08afb71e210a2a3ecca02e

Merge "Change buffer update rules on ARF overlay." into experimental

Merge "Fix typo in comment for number of extra bits for cat6 tokens." into experimental

Merge "fix an assumption about uv_stride" into experimental

Fix typo in comment for number of extra bits for cat6 tokens.

Change-Id: I07ddf3be8bc5d6c2eb561d4241879777c315b183

Merge "Changes to maximum gf/arf interval." into experimental

Change buffer update rules on ARF overlay.

When coding the frame that corresponds to the midpoint frame
defining an ARF, do not update the last reference frame buffer.
Previously this buffer was updated meaning that when coding the next
ARF all the reference buffers were the same (or nearly so).
Turning the update off means that the frame before is still available
as an alternative predictor and for use in compound prediction.

Also fixed inconsistency in test for mismatch (patch from JK).

Net average gains (derf 0.049, yt 0.163, yt-hd 0.207, std-hd 0.286)

Change-Id: Ifee21da21ccbb1648ac2eafe890d3ce60562c7bc