experiment with CONTEXT conversion

This commit changed the ENTROPY_CONTEXT conversion between MBs that
have different transform sizes.

In additioin, this commit also did a number of cleanup/bug fix:
1. removed duplicate function vp9_fix_contexts() and changed to use
vp8_reset_mb_token_contexts() for both encoder and decoder
2. fixed a bug in stuff_mb_16x16 where wrong context was used for
the UV.
3. changed reset all context to 0 if a MB is skipped to simplify the
logic.

Change-Id: I7bc57a5fb6dbf1f85eac1543daaeb3a61633275c

Clean up 4x4 coefficient decoding code.

Don't use vp9_decode_coefs_4x4() for 2nd order DC or luma blocks. The
code introduces some overhead which is unnecessary for these cases.
Also, remove variable declarations that are only used once, remove
magic offsets into the coefficient buffer (use xd->block[i].qcoeff
instead of xd->qcoeff + magic_offset), and fix a few Google Style
Guide violations.

Change-Id: I0ae653fd80ca7f1e4bccd87ecef95ddfff8f28b4

Introduce vp9_coeff_probs/counts/stats/accum types.

Use these, instead of the 4/5-dimensional arrays, to hold statistics,
counts, accumulations and probabilities for coefficient tokens. This
commit also re-allows ENTROPY_STATS to compile.

Change-Id: If441ffac936f52a3af91d8f2922ea8a0ceabdaa5

32x32 transform for superblocks.

This adds Debargha's DCT/DWT hybrid and a regular 32x32 DCT, and adds
code all over the place to wrap that in the bitstream/encoder/decoder/RD.

Some implementation notes (these probably need careful review):
- token range is extended by 1 bit, since the value range out of this
  transform is [-16384,16383].
- the coefficients coming out of the FDCT are manually scaled back by
  1 bit, or else they won't fit in int16_t (they are 17 bits). Because
  of this, the RD error scoring does not right-shift the MSE score by
  two (unlike for 4x4/8x8/16x16).
- to compensate for this loss in precision, the quantizer is halved
  also. This is currently a little hacky.
- FDCT and IDCT is double-only right now. Needs a fixed-point impl.
- There are no default probabilities for the 32x32 transform yet; I'm
  simply using the 16x16 luma ones. A future commit will add newly
  generated probabilities for all transforms.
- No ADST version. I don't think we'll add one for this level; if an
  ADST is desired, transform-size selection can scale back to 16x16
  or lower, and use an ADST at that level.

Additional notes specific to Debargha's DWT/DCT hybrid:
- coefficient scale is different for the top/left 16x16 (DCT-over-DWT)
  block than for the rest (DWT pixel differences) of the block. Therefore,
  RD error scoring isn't easily scalable between coefficient and pixel
  domain. Thus, unfortunately, we need to compute the RD distortion in
  the pixel domain until we figure out how to scale these appropriately.

Change-Id: I00386f20f35d7fabb19aba94c8162f8aee64ef2b

Move vp8_scale_frame to vpx namespace

Change-Id: I92d613e89c8f1174eca0789116120bfa20c25c28

Remove last duck_ functions

Change-Id: I5fbcd2006d05bfe841f3c7af9c1aeb2cb83b3149

Use 'vpx_scale' consistently

Change-Id: I178352813d2b8702d081caf405de9dbad9af2cc3

Merge "Change to MV reference search." into experimental

Merge remote-tracking branch 'origin/vp9-preview' into experimental

Begin to refactor vpx_scale usage in VP9

Only declare the functions in vpx_scale RTCD and include the relevant
header.

Remove unused files and functions in vpx_scale to avoid wasting time
renaming. vpx_scale/win32/scaleopt.c contains functions which have not
been called in a long time but are potentially optimized.

The 'vp8' functions have not been renamed yet. That is for after the
cleanup.

Change-Id: I2c325a101d60fa9d27e7dfcd5b52a864b4a1e09c

Remove ARM optimizations from VP9

Change-Id: I9f0ae635fb9a95c4aa1529c177ccb07e2b76970b

Update ARM for vpx_scale changes

Refactor asm_offsets for vpx_scale.

Change-Id: I2db0eeb28c8e757bd033c6614a1e5319a1a204a5

Merge remote-tracking branch 'origin/vp9-preview' into experimental

vp9_bilinear_filters_mmx: add missing extern specifiers

Change-Id: Ibabf18947f90cb4f45052763ebf44cfb8209bd8b

Change to MV reference search.

This patch reduces the cpu cost of the MV ref
search by only allowing insert for candidates
that would be in the current top 4.

This could alter the outcome and slightly favors
near candidates which are tested first but also
limits the worst case loop count to 4 and means in
many cases it will drop out and not happen.

Change-Id: Idd795a825f9fd681f30f4fcd550c34c38939e113

Merge "Begin to refactor vpx_scale usage in VP9" into experimental

Enable unit tests to build with MSVC

Change-Id: Ie80597221bee494679ae2ba50cca22dea2609cba

Fix the build with MSVC

1. remove the dependency on non existing "vp9_temporal_filter_x86.h"
2. prefix filenames with vp9_ in obj_int_extract.bat to reflect the
change of the actual filenames.

Change-Id: Ib1b4d96ac41788f76917764a6722d8461c857302

Merge "vp9: Fix assert check." into vp9-preview

merged optimiz_b_16x16() into optmize_b()

The commit changed the trellis quantization function optimize_b() to
work for MBs using all transform sizes, and eliminated the function
for MB using 16x16 transform only, optimize_b_16x16.

Change-Id: I3fa650587ab5198ed16315b38754783a72b33ba2

Merge "Remove ARM optimizations from VP9" into experimental

Merge "Update ARM for vpx_scale changes" into experimental

Begin to refactor vpx_scale usage in VP9

Only declare the functions in vpx_scale RTCD and include the relevant
header.

Remove unused files and functions in vpx_scale to avoid wasting time
renaming. vpx_scale/win32/scaleopt.c contains functions which have not
been called in a long time but are potentially optimized.

The 'vp8' functions have not been renamed yet. That is for after the
cleanup.

Change-Id: I2c325a101d60fa9d27e7dfcd5b52a864b4a1e09c

Remove ARM optimizations from VP9

Change-Id: I9f0ae635fb9a95c4aa1529c177ccb07e2b76970b

Update ARM for vpx_scale changes

Refactor asm_offsets for vpx_scale.

Change-Id: I2db0eeb28c8e757bd033c6614a1e5319a1a204a5

Merge "fixes --disable-vp9-encoder" into vp9-preview

fixes --disable-vp9-encoder

Change-Id: I467bf0fdf3b35326bcce58d5459e6d2dbfd6c5e5

vp9: Fix assert check.

Change-Id: If0cc1ab60dff6abd67dae7c7b3dc83a1afd7fe65

vp9: Remove superfluous command.

- vpx_calloc is called on arf_not_zz above.
- Note The removed vpx_memset call had an issue with sizeof.

Change-Id: I86fd7a167d0a042e581e613e2a6c0b5e63073fc6

Merge "Rename vpx_scale/rtcd.c to vpx_scale/vpx_scale_rtcd.c" into experimental

Supports inter-intra prediction with superblocks

Adds support for compound inter-intra prediction with superblocks.
Also, fixes a bug that disabled intra modes for superblocks.

Change-Id: I4d711317e1bc19df8c2f32dc645429f7fff31036

Rename vpx_scale/rtcd.c to vpx_scale/vpx_scale_rtcd.c

Change-Id: I4765ca3dab880a3673c15fb56b2d912ec2ea194e

Adds switchable filters with superblocks

Allows switchbale filters to be used without mismatch when the
superblock experiment is on.

Also removes a spurious clamping code in decodemv.c which causes
rare encode/decode mismatches.

Change-Id: I809d9ee0b2859552b613500b539a615515b863ae

warnings in various experiments

Change-Id: Ib5106d4772450f8026f823dd743f162ab833b1d6

google style guide include guards

Change-Id: I2c252f3ddcc99e96c1f5d3dab8bcb25a2a3637ea

Merge "Further improve macroblock loop filters" into experimental

Merge "Minor refactoring of superblock decoding" into experimental

Minor refactoring of superblock decoding

Refactoring for improved readability - no bitstream or
performance change.

Change-Id: I4488ed4715f8dbe38c66431106478669041b8b33

a vp8 warning to boot.

Change-Id: I32ed051c8b4d3e5afa4e13bb4e3b2ca5e922ff64

intrinsic warnings begone

Change-Id: I6a224c590b6a2c5b91f9084ffb8083d18223a206

last remaining warning

Change-Id: I1f49d96cdb5e342041c9a72ef31df361a1b609eb

fix implicit warnings idct etc

Change-Id: I54a122cc8c0b6ed2dbc3c6ecfcd44736cd40b687

Additional warning message cleanup.

Change-Id: I429a97ac57db3de0bf67ce3f3fe0c6b409f77a9e

Merge changes Iaa67bcf1,Ibea3bc80 into experimental

* changes:
  more warning cleanup
  unused variables & warnings

Merge "more unused variables." into experimental

Merge "unused variable" into experimental

Merge "unused var removed" into experimental

Merge "minor fix to eob check for setting CONTEXT" into experimental

minor fix to eob check for setting CONTEXT

Previously, the "!=" check is logically incorrect when eob is at 0 and
effective coefficient starting position is 1. This commit should have
no effect on bitstream.

Change-Id: I6ce3a847c7e72bfbe4f7c74f88e3310c6b9b6d30

more warning cleanup

Change-Id: Iaa67bcf1e866dfe255c4e458d4e51e9c708ffcf4

unused variables & warnings

Change-Id: Ibea3bc80eb26a975faaa60268bbc93237f82bc57

more unused variables.

Change-Id: Ibe11e9275949b26a77fa9c8ac2e7c356ae533d5d

unused variable

Change-Id: I1302a6eaa840d419e8bb9ad0673e42ef139d3fee

unused var removed

Change-Id: I9d0efdff0c79ea4bdd660098106b64776bdd4483

signed mismatch mvrefcount

Change-Id: Ie34820c1b6eaba9cf9316415a46f48af79c41646

warning error missing void

Change-Id: I914bcc669297d3414261486bf1bfb716c2ecc804

ihtllm moves to rtcd

clears up some warnings

Change-Id: I9899637497c6ad7519f098e055ab98580ae6d688

fix vp9_vp8 files renamed

Change-Id: I20c426e91ee49666db42e20eb074095ab6b8ec5d

more rtcd cleanup

Change-Id: Ieefd76e164ca4aa87597da0412977614ddfbacb7

Merge "Fixing 8x8/4x4 ADST for intra modes with tx select" into experimental

Fixing 8x8/4x4 ADST for intra modes with tx select

This patch allows use of 8x8 and 4x4 ADST correctly for Intra
16x16 modes and Intra 8x8 modes when the block size selected
is smaller than the prediction mode. Also includes some cleanups
and refactoring.

Rebase.

Change-Id: Ie3257bdf07bdb9c6e9476915e3a80183c8fa005a

Merge "remove the vp9_default_mode_contexts_a" into experimental

remove the vp9_default_mode_contexts_a

Given the way mode_context is updated, the benefit of an additional
default is not signficant.

Change-Id: I67489453e8781340b18e26a1cc2f04e9221004a2

fixed includes to be fully specified

Change-Id: Ia1cce221f8511561b9cbd8edb7726fbc286ff243

Merge "remove postproc invokes" into experimental

Merge "Clamp decoded feature data" into experimental

Merge "Revert "make: flatten object file directories"" into experimental

remove postproc invokes

and some miscellaneous invoke left overs

Change-Id: I63191b1bfd3bea4ce30cceaeb686ec850570fc43

Localize Y2 entropy coding context

This commit makes sure Y2 entropy coding context is always updated on
every macroblock even there is no Y2 block.

Change-Id: Ie307cfc46526efe55613be39f9f178d2531b56ba

Further improve macroblock loop filters

This change included:
1. Aligned reads in vp9_mbloop_filter_vertical_edge function.
Since we actually read 16 bytes, we can align the reads to read
starting at (s - 8) instead of (s - 5).
2. Combined u, v loop filters.
3. Added 8x16 transpose.

This gave 2% decoder performance gain (tulip clip).

Change-Id: Ib14c2f1645c4a3436df17fe2f24789506bf0bb58

removed redundant mode_context data structures

This commit removed a couple of redundant data structures in frame
coding contextsm, mode_context and mode_context_a, and changed to
use vp9_mode_contexts only. The switch of the context for different
frame type now relies on the switch of frame coding context between
lfc and lfc_a. This commit also removed a number of memcpy among
these redundant data structure.

Change-Id: I42e8174bd60f466b0860afc44c1263896471b0f3

Clamp decoded feature data

Not all segment feature data elements are full-range powers of two, so
there are values that can be encoded that are invalid. Add a new function
to clamp values to the maximum allowed.

Change-Id: Ie47cb80ef2d54292e6b8db9f699c57214a915bc4

Revert "make: flatten object file directories"

This reverts commit b72373de79800e801ce730d24cb115daf78ae660.

Change-Id: Ic1601160e11df1a018ef12da25967cfb5eebd5ba

Add vp9_ prefix to all vp9 files

Support for gyp which doesn't support multiple objects in the same
static library having the same basename.

Change-Id: Ib947eefbaf68f8b177a796d23f875ccdfa6bc9dc

Merge "Improve sad3x16 SSE2 function" into experimental

Merge "Modified  mv prediction." into experimental

Modified  mv prediction.

Modified the  mv_pred() fuunction that chooses a centre
point from which to start step searches to use the top
candidate vectors chosen previously.

Some gains (mainly on HD and tested with SB off).
Std_hd 0.874%, YT-hd 0.174%, YT 0.05%, Derf 0.036%

Change-Id: Ie232284f561838b8ecee0e28dcbb07a9cd46cf56

Improve sad3x16 SSE2 function

Vp9_sad3x16_sse2() is heavily called in decoder, in which the
unaligned reads consume lots of cpu cycles. When CONFIG_SUBPELREFMV
is off, the unaligned offset is 1. In this situation,
we can adjust the src_ptr to be 4-byte aligned, and then do the
aligned reads. This reduced the reading time significantly. Tests
on 1080p clip showed over 2% decoder performance gain with
CONFIG_SUBPELREFM off.

Change-Id: I953afe3ac5406107933ef49d0b695eafba9a6507

remove the dependency on idct.h

Change-Id: Idcf827d8ae6429ee5b673c3398f838dbeacb4e74

Merge "removed the idct rtcd idct calls" into experimental

Move switch(tx_size) around txsize to detokenize.c.

Add a new function vp9_decode_mb_tokens() that handles the switch
between different per-tx-size detokenize functions. Make actual
implementations (vp9_decode_mb_tokens_NxN()) static.

Change-Id: I9e0c4ef410bfa90128a02b472c079a955776816d

Fix crash in pick_inter_mode_sb().

It didn't handle rd_thresh == INT_MAX, which means the reference is
unavailable.

Change-Id: Ie6fa8b2577437411db81a8c24e8dcdfd856a0e8d

removed the idct rtcd idct calls

More cleanup to do after this,  but this is a good chunk of removing rtcd.

Change-Id: I551db75e341a0a85c3ad650df1e9a60dc305681a

Restructure vp9_decode_mb_tokens_8x8() a bit.

Don't declare variables if they only ever have a single value and are
used only as argument to another function call; instead, just hardcode
the value in the function call directly. Split out UV and Y coefficient
loops for clarity. Use xd->block[].qcoeff instead of xd->qcoeff + magic
to remove use of magic offset variables.

Change-Id: I5b17eda1bb666c69c2b7ea957d5525cd78192e33

Restructure vp9_decode_mb_tokens_16x16() a bit.

Don't declare variables if they only ever have a single value and are
used only as argument to another function call; instead, just hardcode
the value in the function call directly. Also remove unneeded brackets
around a code block, and remove the magic offsets 64 and 256 for chroma
values in the coefficient memory block.

Change-Id: I14fc14120a81ea1d6fb862674e8bf8cf6ba3d114

Make get_eob() function static.

Change-Id: Idde3ab97960eda7022367c1f91a873a479bc9d7b

Rename "block_type" function argument to "txfm_size".

Also fix the type (TX_SIZE instead of int).

Change-Id: Ib9b3f33835e58a6e758ed5f37bb64543e62b6a86

Merge "remove subpixel invoke functions" into experimental

Fix enc/dec mismatch with b_context_pred experiment enabled.

Change-Id: I1272ae3f0fdfb7ed8eb364ef0c6dd1818d3179d7

remove subpixel invoke functions

Removed the rtcd subpixel invoke functions.

Change-Id: I8b7618bd5813333fac66b2817bdf807616e0fb33

fixed const problem

NEEDED FOR BUILD

Change-Id: I56a3e68f15dff480b34de048e30231ba821b1ee2

Merge "clean out some of the rtcd code." into experimental

Merge "Pack invisible frames without lengths" into experimental

Merge "make: fix dependency generation for flat build tree" into experimental

Fix ref_stride in sad function

Used ref_stride.

Change-Id: I31f0a3bb935520f54d11a1d87315627f162ae845

make: fix dependency generation for flat build tree

Update the fmt_deps function to use a new sed expression to convert the
object file name generated by the compiler into the path-transformed
name of the .o and .d files.

Prior to this patch, changing a header file would not trigger an
incremental build.

Change-Id: I07f498a1d134577b89a72e3f1143c737b31a0636

clean out some of the rtcd code.

This removes functions that are no longer needed and cleans up some warnings.

Change-Id: I292a4c3694e9c1d68ce99cea390905b198434719

Merge "Assign above/left context in decode_coefs() instead of in caller." into experimental

Merge "Remove unused argument from decode_coefs() function prototype." into experimental

Merge "Remove coef_bands_x[] array and related machinery in decode_coefs()." into experimental