consolidate update_mb_segmentation_map data

The update_mb_segmentation_map flag was being signalled earlier than
other data dependent on that flag. Consolidate this data so it's
parsed within the same if-scope as the flag is originally parsed in.

Change-Id: I10e90b4f511856445ef75a85a44ff441e1e5e672

Merge of the TX_16X16 experiment

Change-Id: I22aa803ffff330622cdb77277e7b196a9766f882

Merge "Removing dr[16] from VP8D_COMP" into experimental

Merge "write_kfmodes: use update_skip_probs()" into experimental

Merge "convert copy16x16 to rtcd" into experimental

convert copy16x16 to rtcd

Convert copy16x16 from invoke to rtcd.  The first in a long
string of converts.

Change-Id: I296b0aa32f40e9fb649f7a3cb914a4e5300cad63

Removing dr[16] from VP8D_COMP

Currently not used.  Also using this as a test commit into the
experimental branch.

Change-Id: I68c479461ae02f1c7a7f75fa02d1fc0db84bf198

write_kfmodes: use update_skip_probs()

Use the common update_skip_probs() function rather than duplicating its
logic in write_kf_modes().

Change-Id: I2890a28f6907cb79ffe0fb21d20f0ef98b85cdd9

Selectable transform size try 2.

Results: derf (vanilla or +hybridtx) +0.2% and (+hybrid16x16
or +tx16x16) +0.7%-0.8%; HD (vanilla or +hybridtx) +0.1-0.2%
and (+hybrid16x16 or +tx16x16) +1.4%, STD/HD (vanilla or +hybridtx)
about even, and (+hybrid16x16 or +tx16x16) +0.8-1.0%.

Change-Id: I03899e2f7a64e725a863f32e55366035ba77aa62

Merge "Mismatch bug-fix when transform expts are off" into experimental

Mismatch bug-fix when transform expts are off

A variety of issues related to tangling of various hybrid transform
experiments.

Change-Id: I84dac65ff513f8b024407760df55fffa95e198de

Fix SIMD unsafe use of floating point.

This commit fixes unsafe simd / floating point interactions arising
from the current hybrid and 16x16 transform implementation.
These led to a raft of bugs and issues when the project was
built using VS2008 for Win32 though they did not show up with
the unix builds.

Gerrit makes a meal out of presenting the fix but all I have actually
done is indent the body of each function that uses floating point by
one level and bracket with emms instructions using  the function
vp8_clear_system_state(). See below.

function () {
  vp8_clear_system_state();
  {
  ... function body
  }
  vp8_clear_system_state();
}

This is almost certainly over the top in terms of number of emms
instructions but is a temporary measure pending implementation of
integer variants of each function to replace the floating point.

Limited testing suggests that this fixes the problems that arose for
Win32 VS2008 when the hybrid or 16x16 transforms were enabled.

Change-Id: I7c9a72bd79315246ed880578dec51e2b7c178442

Merge "all_builds.py: add ability to pass extra configure flags" into experimental

Entropy coding for hybrid transform

Separates the entropy coding context models for 4x4, 8x8 and 16x16
ADST variants.

There is a small improvement for HD (hd/std-hd) by about 0.1-0.2%.
Results on derf/yt are about the same, probably because there is not
enough statistics.

Results may improve somewhat once the initial probability tables are
updated for the hybrid transforms which is coming soon.

Change-Id: Ic7c0c62dacc68ef551054fdb575be8b8507d32a8

Separating 8x8DCT use from hybridtransform8x8

With this change, even if hybridtransform8x8 experiment is off,
8x8 dct is used for the I8x8 mode. However note that the gains
observed with the hybridtransform8x8 experiment will now be less,
since part of the gain is now merged in.

Change-Id: I9afb3880906fd0a1368a374041fc08efcf060c54

fixed inconsistency of transform size decision

for MBs using i8x8 prediciton mode when hybridtransform8x8 is not
enabled in configure.

Change-Id: I3e3c8bb1c0261108c1c71213ca9557b0ce558036

Added default return value to transform selector

The non-void function didn't return a value in the default case.

Change-Id: Ie4c965315bedc189d2080dd65cf29d3347661946

removed redundant initialization

Change-Id: I34569375e520759860504c3dfb17a2c27ceb9aed

Use 3 rows and cols of pixels for ref_mv scoring

The commit changed to use 3 rows above and 3 cols from left for SAD
scoring for selecting the best reference motion vector. The change
helped std-hd set by >.2% on psnr/ssim metrics.

Change-Id: Ifad3b528d0b4b6e3c22518af789d76eff23c1520

Removed redundant line.

Removed spurious line that has no effect.

Change-Id: I9dc90babbbfcaca049d4a40dc996edc7de123e01

Adds feature for companded MV encoding

The high-precision (1/8) pel bit is turned off if the reference
MV is larger than a threshold. The motivation for this patch is
the intuition that if motion is likely large (as indicated by
the reference), there is likley to be more motion blur, and as
a result 1/8 pel precision would be wasteful both in rd sense
as well as computationally.

The feature is incorporated as part of the newmventropy experiment.
There is a modest RD improvement with the patch. Overall the
results with the newmventropy experiment with the threshold being
16 integer pels are:

derf: +0.279%
std-hd: +0.617%
hd: +1.299%
yt: +0.822%

With threshold 8 integer pels are:

derf: +0.295%
std-hd: +0.623%
hd: +1.365%
yt: +0.847%

Patch: rebased
Patch: rebase fixes

Change-Id: I4ed14600df3c457944e6541ed407cb6e91fe428b

Cleanups for hybrid transform

Some cleanups on the transform size and type selection logic.

Change-Id: If2e9675459482242cf83b4f7de7634505e3f6dac

Merge "Revert "Hybrid transform cleanups"" into experimental

Revert "Hybrid transform cleanups"

This reverts commit c5af82b7ed6d89a4a12003b8d1c6b4befcadce92

There was a mismatch bug introduced by this patch. Hence reverting until it is fixed.

Merge "Hybrid transform cleanups" into experimental

Hybrid transform cleanups

Some cleanups that will make it easier to maintain the code
and incorporate upcoming changes on  entropy coding for the
hybrid transforms.

Change-Id: I44bdba368f7b8bf203161d7a6d3b1fc2c9e21a8f

Partial merge of NEWBESTREFMV and NEW_MVREF.

This commit merges those parts of the CONFIG_NEW_MVREF
that specifically relate to choosing a better set of candidate
MV references into the NEWBESTREFMV experiment.

CONFIG_NEW_MVREF will then be used for changes relating
to the explicit coding of a cost optimized MV reference in the
bitstream as part of MV coding.

Change-Id: Ied982c0ad72093eab29e38b8cd74d5c3d7458b10

MV reference changes

Extend experiment to use both vectors from MBs
coded using compound prediction as candidates.

In final sort only consider best 4 candidates
for now but make sure 0,0 is always one of them.

Other minor changes to new MV reference code.
Pass in Mv list to vp8_find_best_ref_mvs().

Change-Id: Ib96220c33c6b80bd1d5e0fbe8b68121be7997095

New motion vector entropy coding

Adds a new experiment with redesigned/refactored motion vector entropy
coding. The patch also takes a first step towards separating the
integer and fractional pel components of a MV. However the fractional
pel encoding still depends on the integer pel part and so they are
not fully independent. Further experiments are in progress to see
how much they can be decoupled without affecting performance.
All components including entropy coding/decoding, costing for MV
search, forward updates and backward updates to probability tables,
have been implemented.

Results so far:
derf: +0.19%
std-hd: +0.28%
yt: +0.80%
hd: +1.15%

Patch: Simplifies the fractional pel models:
derf: +0.284%
std-hd: +0.289%
yt: +0.849%
hd: +1.254%

Patch: Some changes in the models, rebased.
derf: +0.330%
std-hd: +0.306%
yt: +0.816%
hd: +1.225%

Change-Id: I646b3c48f3587f4cc909639b78c3798da6402678

hybrid transform of 16x16 dimension

Enable ADST/DCT of dimension 16x16 for I16X16 modes. This change provides
benefits mostly for hd sequences.

Set up the framework for selectable transform dimension.

Also allowing quantization parameter threshold to control the use
of hybrid transform (This is currently disabled by setting threshold
always above the quantization parameter. Adaptive thresholding can
be built upon this, which will further improve the coding performance.)

The coding performance gains (with respect to the codec that has all
other configuration settings turned on) are

derf:   0.013
yt:     0.086
hd:     0.198
std-hd: 0.501

Change-Id: Ibb4263a61fc74e0b3c345f54d73e8c73552bf926

Merge "Add proper skip support to intra frames." into experimental

Add proper skip support to intra frames.

Change-Id: I7524883fb29f42303fb46a5bc6772fbcf8781d1d

Remove some disabled code from pick_inter_mode_sb().

Change-Id: I323c429b453eec8c3b76c37f7e2a52da9dfe8d77

Disable 16x16 temp buffer for superblocks.

Change-Id: I3d585bae446c16fcf7a39d72c1bcd6468a7bb1a1

all_builds.py: add ability to pass extra configure flags

Useful to pass --target etc to this script on Jenkins.

Change-Id: I9b22339a211df543077bcc84bdef4460f3ca5c9c

Merge "Fix file permissions" into experimental

Merge "change to properly account for coef scaling in unit tests" into experimental

change to properly account for coef scaling in unit tests

The transform functions in experimental branch absorbed a scaling
factor of 4 to allow quantization steps closer to unit quantizer.
This commit added scaling code in between forward and inverse
transform to properly account for the scaling factor.

Change-Id: I9a573ddc1ffa74973b34800a5da1a56dbabe0949

New Motion Reference Search

Alternative strategy for finding a list of candidate motion
vectors to use as reference values in mv coding and as
nearest and near.

Sort by sad in vp8_find_best_ref_mvs() rather than just
pick the best. Allow 0,0 as a best ref option but not a
nearest or near unless there are no alternatives.

Encode/Decode verified on at least some clips.

Some commented out experimental and stats code still in place.

Gain over existing code averages about 1% on derf (alll metrics)
with improvement on all clips. Other test results pending.

The entropy coding of the mode (nearest/near etc) still
depends upon and requires the old "findnear" code so
this needs looking at and may provide room for further gains.

Change-Id: I871d7cba1d1c379c4bad9bcccce1fb19c46b8247

Remove duplicate code in C intra prediction.

Change-Id: If4eb0fd60cc5bc2f32254e82e8d6cfa4120cb558

Fix file permissions

Change-Id: I8d1a2c664cbeb939cf23bcd414b23e19da760a14

Merge "all_builds.py: move to tools/" into experimental

Merge "all_builds.py: support for sharding builds" into experimental

Merge "remove rotation experiment" into experimental

Merge "SSE2 version of vectorized 8-tap filtering." into experimental

Merge "Fix mismatch caused by a rebase failure." into experimental

Fix mismatch caused by a rebase failure.

Change-Id: Ifff660de60fb12d745092eafc17f6a49f6e1fb53

SSE2 version of vectorized 8-tap filtering.

About 20% overall encoder speedup (vs. about 30% for sse4 version).

Change-Id: Ibf608a6a1bc94b14ec47e8046d3206b275b5a8bd

Fix compiler warnings

Change-Id: I887cdcf90b87736f2a3805420aa41eed93324bee

Fix warning.

Change-Id: I99311811820169d62fda3febac4bafacfc7a538b

all_builds.py: move to tools/

Change-Id: I64c470fb5a4f32a862cfb5424fb95baac47fcc24

all_builds.py: support for sharding builds

Allow sharding of the builds with the --shard= and --shards= options.

Change-Id: I9d5552ad2edc0b1210e96f0e94ce7dfd645c45f8

Merge changes I96cd08c9,If8eeb8ff into experimental

* changes:
  hybridtransform8x8: fix compilation
  comp_intra_pred: fix compilation

remove rotation experiment

This is being reimplemented more generically in terms of affine
transforms.

Change-Id: I9300bfde5f8b93c708c64f59427087720f8ed782

hybridtransform8x8: fix compilation

corrected ifdefs to include CONFIG_HYBRIDTRANSFORM8X8 for missing
definitions

Change-Id: I96cd08c98d74b5ba10866f3fa30252073ce92fa5

Fix some compiler warnings.

Change-Id: Iccb56e3b966d1519ba49dfe4e1396479c6b54a6f

comp_intra_pred: fix compilation

Added missing parameters to calls to:
  vp8_build_intra_predictors_internal
  vp8_build_intra_predictors_mbuv_internal

Change-Id: If8eeb8ff23eff4572397b404fe61be5d0c950bbe

Merge "Fix typo." into experimental

Fix typo.

Change-Id: I95217ce52675ad00637fc8f60d4d0dd054efd512

Merge "Superblock coding." into experimental

Superblock coding.

This commit adds a pick_sb_mode() function which selects the best 32x32
superblock coding mode. Then it selects the best per-MB modes, compares
the two and encodes that in the bitstream.

The bitstream coding is rather simplistic right now. At the SB level,
we code a bit to indicate whether this block uses SB-coding (32x32
prediction) or MB-coding (anything else), and then we follow with the
actual modes. This could and should be modified in the future, but is
omitted from this commit because it will likely involve reorganizing
much more code rather than just adding SB coding, so it's better to let
that be judged on its own merits.

Gains on derf: about even, YT/HD: +0.75%, STD/HD: +1.5%.

Change-Id: Iae313a7cbd8f75b3c66d04a68b991cb096eaaba6

Fix warnings.

Change-Id: I01dd96da18fe22450bb372b10ba90eab52e29bdf

Merge "A few more optimizations, about 1% overall speedup." into experimental

A few more optimizations, about 1% overall speedup.

Unroll horizontal pass, no more intermediate buffer, faster special transpose.

Change-Id: I05df75be4e5f01420066cdf3c61a2edf35bedb64

Fixed decoder mismatch issue

Resolved the decoder mismatch issue due to quantization parameter
threshold for hybrid transform coding. The macroblock dequantizer
initialization is moved to be performed before coefficient
detokenization, since the (de)tokenization is now dependent on the
macroblock level quantization parameter.

Change-Id: I443da4992ebb70ae4114750b2f1363c0c628580e

Merge "Set a default mv entropy if no tokens are coded." into experimental

Set a default mv entropy if no tokens are coded.

This doesn't affect the result, since there are no MVs coded using this
entropy. It does, however, silence valgrind warnings about uninitialized
variables.

Change-Id: I6e21ba92df6ce5381bf58b8c349ef4373294a0b6

Fix valgrind error which causes non-deterministic results.

Error was introduced in bf474e170fefbed60cf20fa3d2e9e229776469f0

Change-Id: I55bf114a1938c3a8869d8ff49cbe076eb9e83ea0

Fix stack overrun in calculating segmentation map coding method.

This caused spurious crashes on encodes, frustratingly often only on
high-definition material.

Change-Id: Ia8c1dfc420d598ca92108bd9cc2df7450e8d10a2

Merge "First partial snapshot of vectorized 8-tap filtering." into experimental

First partial snapshot of vectorized 8-tap filtering.

About 3.5x faster, 30% overall encoder speedup. Rest of optimizations
will come soon (see TODO section in filter_sse4.c).

Change-Id: If18108048bfd5345fc942e8574e4c7f58e0e86e0

Fix build with TX_16X16

Change-Id: I1ccb2546e29803d0e9d69282409d549a28201967

Code clean up.

Further cases of inconsistent naming convention.

Change-Id: Id3411ecec6f01a4c889268a00f0c9fd5a92ea143

Fix warnings.

Change-Id: I4b911e4173da30c164bde7ea50bc80a70fbbb745

Fix build.

Change-Id: I27729a8631cffd54dfbae3ec0f07df7c883f7510

Shut up warnings added by -Wundef

Change-Id: I9c7ef4a75c37aa0e10df75e165e3066614c955ef

Merge changes I0b51674f,I1ea6ebf9,I89076d93 into experimental

* changes:
  lint_hunks: show style violations in the index
  intersect_diffs: split out diff classes
  ftfy: update to match current astyle rule

Merge "Some build fixes" into experimental

Merge "Changed to use reference mv as nearest mv" into experimental

Changed to use reference mv as nearest mv

The reference motion vector selected by surrounding pixels that has
the best matching score is used as nearest motion vector.

The change has shown consistent gain on all test sets, compression
gains range from .2% to .6%. The variation is largely dependent on
various other experiments on or off.

Change-Id: I5552e1c2f6fc57c3e8818a5ee41ffda89af05e75

Some build fixes

Fixes two typos that breaks the build introduced in recent check-ins.

Change-Id: I3f15f3c088c48a63fede8941c9a4ba05dd0403c2

Code clean up.

References to MACROBLOCKD that use "x" changed to "xd"
to comply with convention elsewhere that x = MACROBLOCK
and xd = MACROBLOCKD.

Simplify some repeat references using local variables.

Change-Id: I0ba2e79536add08140a6c8b19698fcf5077246bc

Fix typo, which adds skip testing for 16x16

Also add warnings for undefined macros in the C pre-processor

Change-Id: I1ec30e57c5a49fb72151a4cf140d7eeb0fb1d779

Shut up some compiler warnings on gcc

Change-Id: I8548aebd3c39797b253eef472bfe1c40f2f7ec59

Fix warning/bug introduced in 4d5b81a80faa8333ca3a7aed53684d2167fbebd2.

Change-Id: I082d2517022cbf2f472c143fe7772719d8295498

Cosmetics to rdopt.c

Change-Id: Icc276609e409e4e234d240e5c12e137600e178ed

Combine optimize_b and optimize_b_8x8

The 16x16 has not been done yet for speed reasons.

Change-Id: I066e369a065674d58986e937344c9303fed19450

extend the range of encoding time

The commit also corrects unit of encoding from microsecond to
milisecond.

Change-Id: I030108e90f89f33dfad2d092dc8991db81979715

fix build problem for newbestrefmv experiment

Change-Id: I7f531d55f076254c84402fed34af93fe3685fbdf

Fix some tabbing in rdopt.c

Change-Id: Ie7e7727512cc1333bd16e7688cd1d8764371dde3

lint_hunks: show style violations in the index

Shows the subset of style violations that intersect with lines modified
in the current index.

Change-Id: I0b51674fd43df118e8bbf55b684a1ca0bd0e1d40

Refactor to remove some arguments from vp8_rd_pick_inter_mode

Change-Id: I8e72279cc68f34d269705f06cdaf8f3d06eed635

Refactor RD to take same codepath for single and comp pred

Change-Id: Id38baf1b89648ef534e28be72f583137871f920c

Code cleanup.

Add local variable in several places to reference the MB mode
info structure. Currently this is usually accessed in the code as
x->e_mbd.mode_info_context->mbmi.* or in some places
xd->mode_info_context->mbmi.*

Resolved some uses of x-> for the MACROBLOCKD structure.

Rebased without dependency on motion reference experiment.

Change-Id: If6718276ee4f2ef131825d1524dfdb02a3793aed

intersect_diffs: split out diff classes

Seperate parsing functions so they can be reused for other diff
utilities

Change-Id: I1ea6ebf90ded128eec116cc1f326a28bdda2fb77

ftfy: update to match current astyle rule

Change-Id: I89076d93968a5817d6d0330ec7fd6a6c73fe397f

Refactor vp8_build_inter16x16_predictor functions

Change-Id: I4fceefe76b14bd38a358dc4356708f7981bab339

More refactoring of diamond search.

This should make merging inter code paths easier.

Change-Id: I5cb81f25d56fa4790b4e9cfa4bc32b9062c2cfdf

Refactor SPLITMV in RD to a special case.

SPLITMV shares very little code with the other inter modes.

Change-Id: I0beee95de1fbedeea1f71650951ffc7db3a118eb

Begin refactoring to help merge parts of rd inter.

Also refactor some RD code, remove some comments, and cosmetic changes.

Change-Id: I43806ae573ab5a5036602ac4425d750bbfa1e812