Merge "Remove variance vtable from rtcd" into experimental

Merge "Fix use of wrong context in i8x8 coefficient cost calculation." into experimental

Remove variance vtable from rtcd

Change-Id: Idd2722a538423b451e1e3495f89a7141480493d6

Merge "Allow B_VL_PRED & B_LD_PRED modes with Superblocks" into experimental

Allow B_VL_PRED & B_LD_PRED modes with Superblocks

Allows B_VL_PRED & B_LD_PRED modes to be used for all blocks
within a MB in B_PRED mode. These modes were temporarily
disabled with super-block coding.

Change-Id: I973b9bdb82c3da5f12d7cc963162a28805f25303

Fix use of wrong context in i8x8 coefficient cost calculation.

Change-Id: Ica58d0c7d8addb5ddd5d6e1fdea8f0f96e110862

calculate probs consistently

There were several different methods for calculating bitstream
probabilities in use. Consolodate these into a pair of functions,
get_prob() and get_binary_prob().

Change-Id: I5534f517f74027fee16d89c9baefaafea8156b2f

lint-hunks: better support for working tree

When run with no arguments, report warnings in the diff between the
working tree and HEAD. With arguments, report warnings in the diff
between the named commit and its parents.

Change-Id: Ie10dcdecb303edf8af51bad645cc11206a1fc26b

Remove bc, bc2 from pbi,cpi,xd

Pass the bool coder to be used explicitly. This avoids cases where two
different bool coders can be addressed from the same function. Also be
more consistent with bool coder variable naming, start to standardize
on 'bc'.

Change-Id: I1c95e2fdbe24ebe8c0f84924daa1728e3b054a31

Some cleanups and fixes.

Separates the logic on transform type selection previously spread out
over a number of files into a separate function. Currently the tx_type
field in b_mode_info is not used, but still left in there to eventually
use for signaling the transform type in the bitstream.

Also, now for tx_type = DCT_DCT, the regular integer DCT is used, as
opposed to the floating point DCT used in conjuction with hybrid
transform.

Results change somewhat due to the transform change, but are within
reasonable limits. The hd/std-hd sets are slightly up, while derf/yt
are slightly down.

Change-Id: I5776840c2239ca2da31ca6cfd7fd1148dc5f9e0f

Merge "Fix encode breakout skip handling." into experimental

Merge "Detect skippable blocks in splitmv RD loop case." into experimental

Merge "Use correct context for optimize_b() in vp8_optimize_mby_8x8()." into experimental

A fix for crashes when #macroblock rows is odd.

Change-Id: If9fc2df4051ccfb8d804dae9d1be08d12d0f81ce

lint-hunks: exit status for only affected lines

Prior to this patch, if there were any lint errors, this script would
exit with an error, even if those errors were not in the hunks being
tested by this script. This change makes it so that if any lint lines
are printed, an error is returned.

Change-Id: I69c8bef4367ccf25d287508f29e587b1f4426143

Fix encode breakout skip handling.

Change-Id: Ib42a5dbded27abf2a01fd656a47a1e96b1fe2912

Merge "lint-hunks: support operating on arbirary revs" into experimental

Detect skippable blocks in splitmv RD loop case.

Change-Id: Id8a7265dc721e5cdcaa144e0041beeb32a98f51c

Merge "cosmetic: fix '= & ' construct" into experimental

Merge "rtcd: merge rtcd.c from master" into experimental

Merge "consolidate update_mb_segmentation_map data" into experimental

Merge changes Ic711a378,I43a46c36,If19ee74a into experimental

* changes:
  Move remaining per-frame data into partition 0
  Interleave modes/residual per macroblock
  Force interleaved decoding

cosmetic: fix '= & ' construct

remove useless space after address-of operator.

Change-Id: I1fb9e82e8d6cf87558fbd454fb5c0f87599ca2ab

Move remaining per-frame data into partition 0

This commit moves a bit of data that ended up packed with the
modes/mv/residual partition during the change to interleaved encoding
into partition 0 where it belongs.

Change-Id: Ic711a378c58d9d6a17254384f492c213a15bad92

lint-hunks: support operating on arbirary revs

Rather than diffing only the index, support checking arbitrary commits.

Change-Id: Ia135a487990d8293d1e0799dc062b9f49e020b25

Use correct context for optimize_b() in vp8_optimize_mby_8x8().

Change-Id: Ic975ab85a9924adc7b3d421f64155cc79f40ffd0

Interleave modes/residual per macroblock

Packs the bitstream with each mb's residual following its mode/mv
information.

TODO: There are still a few fields that should be packed into partition
0 but are included in partition 1, due to them being serialized from
write_kfmodes/pack_inter_mode_mvs, which execute after the first
partition is finalized. These need to be separated out into a separate
function, similar to mb_mode_mv_init() in decodemv.c.

Change-Id: I43a46c363601ab36954d07ebe498760e1e2e3af4

Use 8x8 block bases for non-4x4 splitmv RD.

Change-Id: I76095d5a02edcc5d404ea830157780b24fd509d7

Merge "Removed the loopfilter rtcd invoke macro code" into experimental

removed obselete build dependency

this commit fixes the build on windows with visual studio 2008.

Change-Id: I0baa4044e9e54237da29f2e17332ea6f766dbbec

Removed the loopfilter rtcd invoke macro code

Change-Id: I446b2ffcbe732ffb112dbd97a4799272d4c01a84

Force interleaved decoding

Rather than decoding all modes/mvs separately, decode them per MB. This
forces the mode which was already used form the CONFIG_NEWBESTREFMV and
CONFIG_SUPERBLOCKS experiments, and is a precursor to changing to
interleaved encoding.

Change-Id: If19ee74ac8a987846d1cd0cf2b2e02a82f1a43ad

Merge "removed the recon rtcd invoke macro code (unrevert)" into experimental

Fix a mismatch if a keyframe contains skip-blocks.

Change-Id: I0681d3183f51627be8c2bb76f343b7270f9116d8

removed the recon rtcd invoke macro code (unrevert)

This reinstates reverted commit 2113a831575d81faeadd9966e256d58b6b2b1633

Change-Id: I9a9af13497d1e58d4f467e3e083fddf06b1b786c

Merge "Remove test from B_MODE_INFO." into experimental

Merge "Remove mode_rdopt from MB_MODE_INFO." into experimental

Merge "Properly use chroma block object for chroma coefficient costing." into experimental

Merge "Changed to use real pixels only for evaluating MVs" into experimental

Changed to use real pixels only for evaluating MVs

The commit changed to avoid using pixels from extended border in
in evaluating and select best reference motion vector.

Change-Id: I39b758889373e42ed2889d59744388e5b9c1a20a

Remove test from B_MODE_INFO.

It is essentially a duplicate of mode for RD-only purposes. Removing it
saves us 4 bytes per B_MODE_INFO, or ~0.5MB for a 1080p video encode.

Change-Id: I0a54db5f51658b3946d7efb1ca6e8cfbda0cdf88

Remove mode_rdopt from MB_MODE_INFO.

The variable is essentially a duplicate of mode for RD-only purposes.
Removing it gives identical results, and saves 4 bytes per macroblock
(i.e. 32.5kB for a 1080p HD video encode).

Change-Id: I22d5058fdb80ab0b69862caee825e9d86bb148b3

Properly use chroma block object for chroma coefficient costing.

Change-Id: Ieb38c7aae91dbaca4a8add204fa84e1cfc459933

Add a new token stuffing function vp8_stuff_mb().

This way a caller doesn't need to implement the logic for which (and how
many) tokens to write out to stuff one macroblock worth of EOBs. Make
the actual function implementations static, since they are now only used
in tokenize.c; also do some minor stylistic changes so it follows the
style guide a little more closely; use PLANE_TYPE where appropriate,
remove old (stale) frame_type function arguments; hardcode plane type
where only a single one is possible (2nd order DC or U/V EOB stuffing);
support stuffing 8x8/4x4 transform EOBs with no 2nd order DC.

Change-Id: Ia448e251d19a4e3182eddeb9edd034bd7dc16fa3

Add and consistently use PLANE_TYPE.

Change the macros PLANE_TYPE_{Y_NO_DC,Y2,UV,Y_WITH_DC} to a typed enum,
and use this typed enum consistently across all places where relevant.
In places where the type is implied (e.g. in functions that only handle
second order planes or chroma planes), remove it as a function argument
and instead hardcode the proper enum in the code directly.

Change-Id: I93652b4a36aa43163d49c732b0bf5c4442738c47

Merge duplicate loops in tokenization code.

Also merge the three occurrences of 4x4 chroma block writing into a
single function, and call that function instead of duplicating the
4x4 chroma tokenization code in 3 places.

Change-Id: I7913538d1029f709b0e3ae49fff1148d3be9eeb9

Minor refactoring in encodeintra.c.

Merge code blocks for different transform sizes; use MACROBLOCKD as a
temp variable where that leads to smaller overall source code; remove
duplicate code under #if CONFIG_HYBRIDTRANSFORM/#else blocks. Some style
changes to make it follow the style guide a little better.

Change-Id: I1870a06dae298243db46e14c6729c96c66196525

Make optimize_mb_16x16() static.

It is not used outside this file.

Change-Id: Id0947180edab4c5f1f50589863350b21e97c25f1

Remove assignment in vp8_optimize_mby_16x16().

The result of the assignment is unused.

Change-Id: Id94b790baa6451f24e9aeda6f036390388d93921

Remove duplicate code in optimize_mb_NxN vs. vp8_optimize_mby/uv_NxN().

Instead, just call vp8_optimize_mby/uv_NxN() inside optimize_mb_NxN().

Change-Id: Ief941064d86db4277ba02e990a26819144b55f7c

Remove duplicate or unused code in encoder/encodemb.c.

Also make some minor stylistic changes to bring the code closer to
the style guide. Remove distinction between inter and intra transform
functions, since both do exactly the same thing except for the check
against SPLITMV for the second-order transform. Remove some commented
out debug code. Remove 8x8/16x16 transform code in encode_inter16x16y(),
since the first-pass only uses 4x4 anyway.

Change-Id: Ife54816ff759825b9141f95dc2ba43c253c14dba

Remove duplicate or unused code in encoder/quantize.c.

Also make some minor stylistic changes to bring the code closer to
the style guide. Remove checks against i8x8/bpred in the mb-codepath,
since these do individual block reconstruction and thus don't go through
this codepath.

Change-Id: I4dfcf8f78746f4647a206475acf731837aa4fd47

Remove duplicate or unused code in common/invtrans.c.

Also make some minor stylistic changes to bring the code closer to
the style guide.

Change-Id: Idafa280724f49868ed6b7d65b7fd9227d781994b

Add a _4x4 sufix to all 4x4-transform-related functions.

This includes trellis optimization, forward/inverse transform,
quantization, tokenization and stuffing functions.

Change-Id: Ibd34132e1bf0cd667671a57b3f25b3d361b9bf8a

Replace vp8_inverse_htransform_b() by direct call to vp8_ihtllm_c().

Change-Id: I55ee7566341b04d7e7340fdab95189f82231a792

Revert "removed the recon. rtcd invoke macro code"

This reverts commit 2113a831575d81faeadd9966e256d58b6b2b1633

removed the recon. rtcd invoke macro code

Code clean up - removed rtcd

Change-Id: Id963ecf53c370b1d99484ef18d6befeed7e0c748

Merge "Remove reverting of tx-select if only a single txfm-size is used." into experimental

removed the dependency cross key frame boundary

This allowed decoding from any key frame after skipping the frames
prior.

Change-Id: I096fccad5346d75ae50a017c94eb8d772a7e8b00

Merge "added the ablility to skip first n frames for vpxdec" into experimental

Remove reverting of tx-select if only a single txfm-size is used.

Entropy coding takes care of this anyway, and this causes changes to
the txfm size assigned to skip blocks, which can affect the loopfilter
output, thus causing encoder/decoding mismatches.

Change-Id: I591a8d8a4758a507986b751a9f83e6d76e406998

Remove CONFIG_TX16X16, since the experiment was merged.

Change-Id: Ib74824c824f7ebb279e7df8eb32440d4d65fbd79

consolidate update_mb_segmentation_map data

The update_mb_segmentation_map flag was being signalled earlier than
other data dependent on that flag. Consolidate this data so it's
parsed within the same if-scope as the flag is originally parsed in.

Change-Id: I10e90b4f511856445ef75a85a44ff441e1e5e672

added the ablility to skip first n frames for vpxdec

Change-Id: Id7d1f25078be92dd6cda246738ad6fb50579f555

Add encoder/decoder mismatch information to internal stats file.

Change-Id: Ibb6ba26e8718d3af27553ca59443a8c6aec7749d

Use transform-size selection for i8x8_pred also.

Change-Id: Iecb282fc89f9b5145ef31c5eda294ad42bc32a5d

Merge of the TX_16X16 experiment

Change-Id: I22aa803ffff330622cdb77277e7b196a9766f882

rtcd: merge rtcd.c from master

Pick up changes to multithreading and once() implementations.

Change-Id: I4a98df6b714f3208643798e0e7f74e373a7931e3

Merge "Removing dr[16] from VP8D_COMP" into experimental

Merge "write_kfmodes: use update_skip_probs()" into experimental

Merge "convert copy16x16 to rtcd" into experimental

convert copy16x16 to rtcd

Convert copy16x16 from invoke to rtcd.  The first in a long
string of converts.

Change-Id: I296b0aa32f40e9fb649f7a3cb914a4e5300cad63

Removing dr[16] from VP8D_COMP

Currently not used.  Also using this as a test commit into the
experimental branch.

Change-Id: I68c479461ae02f1c7a7f75fa02d1fc0db84bf198

write_kfmodes: use update_skip_probs()

Use the common update_skip_probs() function rather than duplicating its
logic in write_kf_modes().

Change-Id: I2890a28f6907cb79ffe0fb21d20f0ef98b85cdd9

Selectable transform size try 2.

Results: derf (vanilla or +hybridtx) +0.2% and (+hybrid16x16
or +tx16x16) +0.7%-0.8%; HD (vanilla or +hybridtx) +0.1-0.2%
and (+hybrid16x16 or +tx16x16) +1.4%, STD/HD (vanilla or +hybridtx)
about even, and (+hybrid16x16 or +tx16x16) +0.8-1.0%.

Change-Id: I03899e2f7a64e725a863f32e55366035ba77aa62

Merge "Mismatch bug-fix when transform expts are off" into experimental

Mismatch bug-fix when transform expts are off

A variety of issues related to tangling of various hybrid transform
experiments.

Change-Id: I84dac65ff513f8b024407760df55fffa95e198de

Fix SIMD unsafe use of floating point.

This commit fixes unsafe simd / floating point interactions arising
from the current hybrid and 16x16 transform implementation.
These led to a raft of bugs and issues when the project was
built using VS2008 for Win32 though they did not show up with
the unix builds.

Gerrit makes a meal out of presenting the fix but all I have actually
done is indent the body of each function that uses floating point by
one level and bracket with emms instructions using  the function
vp8_clear_system_state(). See below.

function () {
  vp8_clear_system_state();
  {
  ... function body
  }
  vp8_clear_system_state();
}

This is almost certainly over the top in terms of number of emms
instructions but is a temporary measure pending implementation of
integer variants of each function to replace the floating point.

Limited testing suggests that this fixes the problems that arose for
Win32 VS2008 when the hybrid or 16x16 transforms were enabled.

Change-Id: I7c9a72bd79315246ed880578dec51e2b7c178442

Merge "all_builds.py: add ability to pass extra configure flags" into experimental

Entropy coding for hybrid transform

Separates the entropy coding context models for 4x4, 8x8 and 16x16
ADST variants.

There is a small improvement for HD (hd/std-hd) by about 0.1-0.2%.
Results on derf/yt are about the same, probably because there is not
enough statistics.

Results may improve somewhat once the initial probability tables are
updated for the hybrid transforms which is coming soon.

Change-Id: Ic7c0c62dacc68ef551054fdb575be8b8507d32a8

Separating 8x8DCT use from hybridtransform8x8

With this change, even if hybridtransform8x8 experiment is off,
8x8 dct is used for the I8x8 mode. However note that the gains
observed with the hybridtransform8x8 experiment will now be less,
since part of the gain is now merged in.

Change-Id: I9afb3880906fd0a1368a374041fc08efcf060c54

fixed inconsistency of transform size decision

for MBs using i8x8 prediciton mode when hybridtransform8x8 is not
enabled in configure.

Change-Id: I3e3c8bb1c0261108c1c71213ca9557b0ce558036

Added default return value to transform selector

The non-void function didn't return a value in the default case.

Change-Id: Ie4c965315bedc189d2080dd65cf29d3347661946

removed redundant initialization

Change-Id: I34569375e520759860504c3dfb17a2c27ceb9aed

Use 3 rows and cols of pixels for ref_mv scoring

The commit changed to use 3 rows above and 3 cols from left for SAD
scoring for selecting the best reference motion vector. The change
helped std-hd set by >.2% on psnr/ssim metrics.

Change-Id: Ifad3b528d0b4b6e3c22518af789d76eff23c1520

Removed redundant line.

Removed spurious line that has no effect.

Change-Id: I9dc90babbbfcaca049d4a40dc996edc7de123e01

Adds feature for companded MV encoding

The high-precision (1/8) pel bit is turned off if the reference
MV is larger than a threshold. The motivation for this patch is
the intuition that if motion is likely large (as indicated by
the reference), there is likley to be more motion blur, and as
a result 1/8 pel precision would be wasteful both in rd sense
as well as computationally.

The feature is incorporated as part of the newmventropy experiment.
There is a modest RD improvement with the patch. Overall the
results with the newmventropy experiment with the threshold being
16 integer pels are:

derf: +0.279%
std-hd: +0.617%
hd: +1.299%
yt: +0.822%

With threshold 8 integer pels are:

derf: +0.295%
std-hd: +0.623%
hd: +1.365%
yt: +0.847%

Patch: rebased
Patch: rebase fixes

Change-Id: I4ed14600df3c457944e6541ed407cb6e91fe428b

Cleanups for hybrid transform

Some cleanups on the transform size and type selection logic.

Change-Id: If2e9675459482242cf83b4f7de7634505e3f6dac

Merge "Revert "Hybrid transform cleanups"" into experimental

Revert "Hybrid transform cleanups"

This reverts commit c5af82b7ed6d89a4a12003b8d1c6b4befcadce92

There was a mismatch bug introduced by this patch. Hence reverting until it is fixed.

Merge "Hybrid transform cleanups" into experimental

Hybrid transform cleanups

Some cleanups that will make it easier to maintain the code
and incorporate upcoming changes on  entropy coding for the
hybrid transforms.

Change-Id: I44bdba368f7b8bf203161d7a6d3b1fc2c9e21a8f

Partial merge of NEWBESTREFMV and NEW_MVREF.

This commit merges those parts of the CONFIG_NEW_MVREF
that specifically relate to choosing a better set of candidate
MV references into the NEWBESTREFMV experiment.

CONFIG_NEW_MVREF will then be used for changes relating
to the explicit coding of a cost optimized MV reference in the
bitstream as part of MV coding.

Change-Id: Ied982c0ad72093eab29e38b8cd74d5c3d7458b10

MV reference changes

Extend experiment to use both vectors from MBs
coded using compound prediction as candidates.

In final sort only consider best 4 candidates
for now but make sure 0,0 is always one of them.

Other minor changes to new MV reference code.
Pass in Mv list to vp8_find_best_ref_mvs().

Change-Id: Ib96220c33c6b80bd1d5e0fbe8b68121be7997095

New motion vector entropy coding

Adds a new experiment with redesigned/refactored motion vector entropy
coding. The patch also takes a first step towards separating the
integer and fractional pel components of a MV. However the fractional
pel encoding still depends on the integer pel part and so they are
not fully independent. Further experiments are in progress to see
how much they can be decoupled without affecting performance.
All components including entropy coding/decoding, costing for MV
search, forward updates and backward updates to probability tables,
have been implemented.

Results so far:
derf: +0.19%
std-hd: +0.28%
yt: +0.80%
hd: +1.15%

Patch: Simplifies the fractional pel models:
derf: +0.284%
std-hd: +0.289%
yt: +0.849%
hd: +1.254%

Patch: Some changes in the models, rebased.
derf: +0.330%
std-hd: +0.306%
yt: +0.816%
hd: +1.225%

Change-Id: I646b3c48f3587f4cc909639b78c3798da6402678

hybrid transform of 16x16 dimension

Enable ADST/DCT of dimension 16x16 for I16X16 modes. This change provides
benefits mostly for hd sequences.

Set up the framework for selectable transform dimension.

Also allowing quantization parameter threshold to control the use
of hybrid transform (This is currently disabled by setting threshold
always above the quantization parameter. Adaptive thresholding can
be built upon this, which will further improve the coding performance.)

The coding performance gains (with respect to the codec that has all
other configuration settings turned on) are

derf:   0.013
yt:     0.086
hd:     0.198
std-hd: 0.501

Change-Id: Ibb4263a61fc74e0b3c345f54d73e8c73552bf926

Merge "Add proper skip support to intra frames." into experimental

Add proper skip support to intra frames.

Change-Id: I7524883fb29f42303fb46a5bc6772fbcf8781d1d

Remove some disabled code from pick_inter_mode_sb().

Change-Id: I323c429b453eec8c3b76c37f7e2a52da9dfe8d77

Disable 16x16 temp buffer for superblocks.

Change-Id: I3d585bae446c16fcf7a39d72c1bcd6468a7bb1a1