Merge "all_builds.py: support for sharding builds" into experimental

Merge "remove rotation experiment" into experimental

Merge "SSE2 version of vectorized 8-tap filtering." into experimental

Merge "Fix mismatch caused by a rebase failure." into experimental

Fix mismatch caused by a rebase failure.

Change-Id: Ifff660de60fb12d745092eafc17f6a49f6e1fb53

SSE2 version of vectorized 8-tap filtering.

About 20% overall encoder speedup (vs. about 30% for sse4 version).

Change-Id: Ibf608a6a1bc94b14ec47e8046d3206b275b5a8bd

Fix compiler warnings

Change-Id: I887cdcf90b87736f2a3805420aa41eed93324bee

Fix warning.

Change-Id: I99311811820169d62fda3febac4bafacfc7a538b

all_builds.py: support for sharding builds

Allow sharding of the builds with the --shard= and --shards= options.

Change-Id: I9d5552ad2edc0b1210e96f0e94ce7dfd645c45f8

Merge changes I96cd08c9,If8eeb8ff into experimental

* changes:
  hybridtransform8x8: fix compilation
  comp_intra_pred: fix compilation

remove rotation experiment

This is being reimplemented more generically in terms of affine
transforms.

Change-Id: I9300bfde5f8b93c708c64f59427087720f8ed782

hybridtransform8x8: fix compilation

corrected ifdefs to include CONFIG_HYBRIDTRANSFORM8X8 for missing
definitions

Change-Id: I96cd08c98d74b5ba10866f3fa30252073ce92fa5

Fix some compiler warnings.

Change-Id: Iccb56e3b966d1519ba49dfe4e1396479c6b54a6f

comp_intra_pred: fix compilation

Added missing parameters to calls to:
  vp8_build_intra_predictors_internal
  vp8_build_intra_predictors_mbuv_internal

Change-Id: If8eeb8ff23eff4572397b404fe61be5d0c950bbe

Merge "Fix typo." into experimental

Fix typo.

Change-Id: I95217ce52675ad00637fc8f60d4d0dd054efd512

Merge "Superblock coding." into experimental

Superblock coding.

This commit adds a pick_sb_mode() function which selects the best 32x32
superblock coding mode. Then it selects the best per-MB modes, compares
the two and encodes that in the bitstream.

The bitstream coding is rather simplistic right now. At the SB level,
we code a bit to indicate whether this block uses SB-coding (32x32
prediction) or MB-coding (anything else), and then we follow with the
actual modes. This could and should be modified in the future, but is
omitted from this commit because it will likely involve reorganizing
much more code rather than just adding SB coding, so it's better to let
that be judged on its own merits.

Gains on derf: about even, YT/HD: +0.75%, STD/HD: +1.5%.

Change-Id: Iae313a7cbd8f75b3c66d04a68b991cb096eaaba6

Fix warnings.

Change-Id: I01dd96da18fe22450bb372b10ba90eab52e29bdf

Merge "A few more optimizations, about 1% overall speedup." into experimental

A few more optimizations, about 1% overall speedup.

Unroll horizontal pass, no more intermediate buffer, faster special transpose.

Change-Id: I05df75be4e5f01420066cdf3c61a2edf35bedb64

Fixed decoder mismatch issue

Resolved the decoder mismatch issue due to quantization parameter
threshold for hybrid transform coding. The macroblock dequantizer
initialization is moved to be performed before coefficient
detokenization, since the (de)tokenization is now dependent on the
macroblock level quantization parameter.

Change-Id: I443da4992ebb70ae4114750b2f1363c0c628580e

Merge "Set a default mv entropy if no tokens are coded." into experimental

Set a default mv entropy if no tokens are coded.

This doesn't affect the result, since there are no MVs coded using this
entropy. It does, however, silence valgrind warnings about uninitialized
variables.

Change-Id: I6e21ba92df6ce5381bf58b8c349ef4373294a0b6

Fix valgrind error which causes non-deterministic results.

Error was introduced in bf474e170fefbed60cf20fa3d2e9e229776469f0

Change-Id: I55bf114a1938c3a8869d8ff49cbe076eb9e83ea0

Fix stack overrun in calculating segmentation map coding method.

This caused spurious crashes on encodes, frustratingly often only on
high-definition material.

Change-Id: Ia8c1dfc420d598ca92108bd9cc2df7450e8d10a2

Merge "First partial snapshot of vectorized 8-tap filtering." into experimental

First partial snapshot of vectorized 8-tap filtering.

About 3.5x faster, 30% overall encoder speedup. Rest of optimizations
will come soon (see TODO section in filter_sse4.c).

Change-Id: If18108048bfd5345fc942e8574e4c7f58e0e86e0

Fix build with TX_16X16

Change-Id: I1ccb2546e29803d0e9d69282409d549a28201967

Code clean up.

Further cases of inconsistent naming convention.

Change-Id: Id3411ecec6f01a4c889268a00f0c9fd5a92ea143

Fix warnings.

Change-Id: I4b911e4173da30c164bde7ea50bc80a70fbbb745

Fix build.

Change-Id: I27729a8631cffd54dfbae3ec0f07df7c883f7510

Shut up warnings added by -Wundef

Change-Id: I9c7ef4a75c37aa0e10df75e165e3066614c955ef

Merge changes I0b51674f,I1ea6ebf9,I89076d93 into experimental

* changes:
  lint_hunks: show style violations in the index
  intersect_diffs: split out diff classes
  ftfy: update to match current astyle rule

Merge "Some build fixes" into experimental

Merge "Changed to use reference mv as nearest mv" into experimental

Changed to use reference mv as nearest mv

The reference motion vector selected by surrounding pixels that has
the best matching score is used as nearest motion vector.

The change has shown consistent gain on all test sets, compression
gains range from .2% to .6%. The variation is largely dependent on
various other experiments on or off.

Change-Id: I5552e1c2f6fc57c3e8818a5ee41ffda89af05e75

Some build fixes

Fixes two typos that breaks the build introduced in recent check-ins.

Change-Id: I3f15f3c088c48a63fede8941c9a4ba05dd0403c2

Code clean up.

References to MACROBLOCKD that use "x" changed to "xd"
to comply with convention elsewhere that x = MACROBLOCK
and xd = MACROBLOCKD.

Simplify some repeat references using local variables.

Change-Id: I0ba2e79536add08140a6c8b19698fcf5077246bc

Fix typo, which adds skip testing for 16x16

Also add warnings for undefined macros in the C pre-processor

Change-Id: I1ec30e57c5a49fb72151a4cf140d7eeb0fb1d779

Shut up some compiler warnings on gcc

Change-Id: I8548aebd3c39797b253eef472bfe1c40f2f7ec59

Fix warning/bug introduced in 4d5b81a80faa8333ca3a7aed53684d2167fbebd2.

Change-Id: I082d2517022cbf2f472c143fe7772719d8295498

Cosmetics to rdopt.c

Change-Id: Icc276609e409e4e234d240e5c12e137600e178ed

Combine optimize_b and optimize_b_8x8

The 16x16 has not been done yet for speed reasons.

Change-Id: I066e369a065674d58986e937344c9303fed19450

extend the range of encoding time

The commit also corrects unit of encoding from microsecond to
milisecond.

Change-Id: I030108e90f89f33dfad2d092dc8991db81979715

fix build problem for newbestrefmv experiment

Change-Id: I7f531d55f076254c84402fed34af93fe3685fbdf

Fix some tabbing in rdopt.c

Change-Id: Ie7e7727512cc1333bd16e7688cd1d8764371dde3

lint_hunks: show style violations in the index

Shows the subset of style violations that intersect with lines modified
in the current index.

Change-Id: I0b51674fd43df118e8bbf55b684a1ca0bd0e1d40

Refactor to remove some arguments from vp8_rd_pick_inter_mode

Change-Id: I8e72279cc68f34d269705f06cdaf8f3d06eed635

Refactor RD to take same codepath for single and comp pred

Change-Id: Id38baf1b89648ef534e28be72f583137871f920c

Code cleanup.

Add local variable in several places to reference the MB mode
info structure. Currently this is usually accessed in the code as
x->e_mbd.mode_info_context->mbmi.* or in some places
xd->mode_info_context->mbmi.*

Resolved some uses of x-> for the MACROBLOCKD structure.

Rebased without dependency on motion reference experiment.

Change-Id: If6718276ee4f2ef131825d1524dfdb02a3793aed

intersect_diffs: split out diff classes

Seperate parsing functions so they can be reused for other diff
utilities

Change-Id: I1ea6ebf90ded128eec116cc1f326a28bdda2fb77

ftfy: update to match current astyle rule

Change-Id: I89076d93968a5817d6d0330ec7fd6a6c73fe397f

Refactor vp8_build_inter16x16_predictor functions

Change-Id: I4fceefe76b14bd38a358dc4356708f7981bab339

More refactoring of diamond search.

This should make merging inter code paths easier.

Change-Id: I5cb81f25d56fa4790b4e9cfa4bc32b9062c2cfdf

Refactor SPLITMV in RD to a special case.

SPLITMV shares very little code with the other inter modes.

Change-Id: I0beee95de1fbedeea1f71650951ffc7db3a118eb

Begin refactoring to help merge parts of rd inter.

Also refactor some RD code, remove some comments, and cosmetic changes.

Change-Id: I43806ae573ab5a5036602ac4425d750bbfa1e812

Merge "Merging in the sixteenth subpel uv experiment" into experimental

Merge "Import tools/ from master branch" into experimental

Newline got lost in submission of "Partial import of "New RTCD implementation" from master branch."

Change-Id: I3841eca46e29a108a79fe47af0cfa97f0bc80a2a

Merging in the sixteenth subpel uv experiment

Merges this experiment in to make it easier to run tests on
filter precision, vectorized implementation etc.

Also removes an experimental filter.

Change-Id: I1e8706bb6d4fc469815123939e9c6e0b5ae945cd

Merge "Partial import of "New RTCD implementation" from master branch." into experimental

Partial import of "New RTCD implementation" from master branch.

Latest version of all scripts/makefile but rtcd_defs.sh is empty, all
existing functions are still selected using the old/current way.

Change-Id: Ib92946a48a31d6c8d1d7359eca524bc1d3e66174

Merge "a tiny fix for MSVC build" into experimental

Merge "Refactor setting up MVs and buffers in rdopt.c" into experimental

a tiny fix for MSVC build

Change-Id: Ib23b0711a4690e1edff3131ce48527b6805877fb

Merge "Cleanup and commenting of the sub-pixel interpolation functions. Mostly as a preparation for the upcoming vectorized implementation." into experimental

Cleanup and commenting of the sub-pixel interpolation functions. Mostly
as a preparation for the upcoming vectorized implementation.

Change-Id: I0d1629943cee68fcb0ea8b6dd8aef265d050cc7a

Import tools/ from master branch

Change-Id: I476f43ea513e7c140f4e4f14df73dd3131cb2692

Refactor setting up MVs and buffers in rdopt.c

Change-Id: I94f08f2cfb37d11d71050dca3200f1d391269a6a

Some refactoring of mcomp functions.

Change-Id: Ic7a7cb1199b085e98ede0e634619b3077c348d57

Change the RD cost functions to take into account the seg_eob.

Change-Id: I2f96e5b205f70fdb559f01637c4b5730246c38a8

clamp_mv_min_max -> vp8_clamp_mv_min_max

It's now used in more places

Change-Id: I63f8e1d827404e0b4f203bdb1df361e565d0779d

More refactoring and cosmetics to rdopt.c

Change-Id: I7803d719ead238189e75c52701c3bb6c1552f4b5

Reorganiziation of the RD loop to make more sense.

Change-Id: Ia1e3b0ff9b70747b3725391de59f230edab767d7

Minor cosmetic changes to rdopt.c.

Change-Id: Ib7b972486ccbbcb82fa4c05a5f6d7f8aaec32155

Combine vp8_block_error_c and vp8_submb_error_c.

Change-Id: I58792bac6c7e5a524a6dcdb5241ef18bcc0c3a45

A bit of temporary relief on encoder slowness

The commit replaces run-time initialization of cosine constants with
static constant values, which provides ~30% relief on slow speed. The
real solution, however will be to implement integer versions of those
functions that current use float/double.

Change-Id: Ie3ff1793509653d78dd1aeaf88cc6737da1bc55f

a new way of determining reference motion vector

Using surrounding reconstructed pixels from left and above to select
best matching mv to use as reference motion vector for mv encoding.

Test results:
       AVGPSNR  GLBPSNR VPXSSIM
Derf:  1.107%   1.062%  0.992%
Std-hd:1.209%   1.176%  1.029%

Change-Id: I8f10e09ee6538c05df2fb9f069abcaf1edb3fca6

Refactoring hybrid transform coding

The forward and inverse hybrid transforms are now performed using
single function modules, where the dimension is sent as argument.

Added an inline function clip8b to clip the reconstruction pixels
into range of 0-255.

Change-Id: Id7d870b3e1aefc092721c80c0af6f641eb5f3747

Remove code to set transform size.

It's reset in calling functions.

Change-Id: Ia5df086de615aac6feb3c911fe298626a002b850

Combine cost_coeffs functions.

Change-Id: I3421d07fdcf2148d75c8dbfc8c44bc2d96a3a8f6

Merge token_costs into a single table.

Change-Id: Id1ea2d543f12d4589df7038d5fb7bac1fee4da11

More refactoring of RD cost to make later changes easier.

Change-Id: Ia6a290a6a53fdb88c971bea2de47ac73dcb7a364

Minor refactoring of RD cost functions.

Change-Id: I876955b1d577321b5cd3f71e3fb2c4083ad5111b

Add x86_64-darwin11-gcc target.

This allows building on MountainLion as the 10.6 SDK has been
removed from the latest Xcode version (4.4 4F250). Also fix
all warnings for that build.

Change-Id: Ib70bca4a25295f13595f0d10ea9f0229631de5a4

Merge "enable interleaved decoding of mode and mv" into experimental

Merge "fix msvc build" into experimental

Merging in high_precision_mv experiment

Merged in the high_precision_mv experiment to make it easier
to work on new mv encoding strategies. Also removed
coef_update_probs3().

Change-Id: I82d3b0bb642419fe05dba82528bc9ba010e90924

enable interleaved decoding of mode and mv

Previouly, the decoding of mode and motion vector are done a per frame
basis followed by residue decoding and reconstuction. The commit added
the option to allow decoder to interleave the decoding of mode and mvs
with the residue decoding on a per MB basis.

Change-Id: Ia5316f4a7af9ba7f155c92b5a6fc97201b653571

Replacing the 8x8 DCT with 8x8 ADST/DCT for I8x8

Fixed the code review comments.

Under the htrans8x8 experiment the 8X8 DCT in the
I8X8 mode is replaced with a combination of 8X8 ADST and
DCT.

Overall coding gains with the htrans8x8 experiment are:
derf:   0.486
std-hd: 1.040
hd:     1.063
yt:     0.506

Note that part of the gain comes from bigger transforms
(8x8 instead of 4x4) and part comes from replacing the DCT
wth the ADST.

Change-Id: I92ca6bbfce11b4165d612b81d9adfad4d010c775

fix msvc build

Change-Id: I377d50cb347f50341ab6f5f456a6a64438bcb667

Merge "16x16 DCT blocks." into experimental

Merge "Merging and bug-fix in enhanced_interp experiment" into experimental

16x16 DCT blocks.

Set on all 16x16 intra/inter modes

Features:
- Butterfly fDCT/iDCT
- Loop filter does not filter internal edges with 16x16
- Optimize coefficient function
- Update coefficient probability function
- RD
- Entropy stats
- 16x16 is a config option

Have not tested with experiments.

hd:     2.60%
std-hd: 2.43%
yt:     1.32%
derf:   0.60%

Change-Id: I96fb090517c30c5da84bad4fae602c3ec0c58b1c

Merge "A few more conversions from 32-bit to 64-bit RD calculations." into experimental

Define INT64_MAX for msvc to build

Change-Id: I6cb88d87b7549ded1de6ff9ef65ff958ad448999

A few more conversions from 32-bit to 64-bit RD calculations.

Change-Id: Ida01bb8f4b35fde24b0f096329d326833f1fdc7e

Make RDCOST() results 64-bit.

This prevents various integer overflows that several of us have been
seeing in the past few days.

Change-Id: If0020613a608e13d311b7838796c7ad53cb97255

Use 8x8 DCT transform for I8X8 prediction mode

Apply 2D-DCT transform of dimension 8x8 to encode prediction
residuals of I8X8 mode.
Brought back block type 3 probability context model for 8x8 tokens,
which is used for the coefficients of Y blocks in I8x8 modes. The
coefficient costs estimate of I8X8 mode in rate-distortion is also
changed appropriately.
Performance results:
derf:   0.246
yt:     0.114
std-hd: 0.730
hd:     0.670

Change-Id: If1d970eeb4e1827c9f0d2c5b27d33089b347ea27