Merge "Changed MAX_PSNR to 100" into experimental

Changed MAX_PSNR to 100

The MAX_PSNR was used to assign a "psnr" number when the mse is close
to zero. The direct assignment is used to prevent divide by zero in
computation. Changing it from 60 to 100 to be consistent against what
is being done in VP9

Change-Id: I4854ffc4961e59d372ec8005a0d52ca46e3c4c1a

Merge "correct logic in cnvcontext experiment for tx32x32" into experimental

Merge "Give 4x4 scan and coef_band tables a _4x4 suffix." into experimental

Merge "Remove redundant "Prob" type (it's a duplicate of vp9_prob)." into experimental

correct logic in cnvcontext experiment for tx32x32

Change-Id: I004ded11983b7fda85793912ebc5c6f266dc5eb5

Fix uninitialized warning

Fixed uninitialized warning for txfm_size.

Change-Id: I42b7e802c3e84825d49f34e632361502641b7cbf

Fix a warning

Fixed the warning: the size of array ‘intermediate_buffer’ can’t
be evaluated [-Wvla].

Change-Id: Ibcffd6969bd71cee0c10f7cf18960e58cd0bd915

Give 4x4 scan and coef_band tables a _4x4 suffix.

This matches the names of tables for all other transform sizes.

Change-Id: Ia7681b7f8d34c97c27b0eb0e34d490cd0f8d02c6

Remove redundant "Prob" type (it's a duplicate of vp9_prob).

Change-Id: I9548891d7b8ff672a31579bcdce74e4cea529883

Remove vp9_type_aliases.h

Prefer the standard fixed-size integer typedefs.

Change-Id: Iad75582350669e49a8da3b7facb9c259e9514a5b

fixed an encoder/decoder mismatch

The mismatch was caused by an improper merge of cleanup code around
tokenize_b() and stuff_b() with TX32X32 experiment.

Change-Id: I225ae62f015983751f017386548d9c988c30664c

fixed build issue with round()

not defined in msvc

Change-Id: I8fe8462a0c2f636d8b43c0243832ca67578f3665

Build fixes with teh super blcoks and 32x32 expts

Change-Id: I3c751f8d57ac7d3b754476dc6ce144d162534e6d

Merge "Further improvements on the hybrid dwt/dct expt" into experimental

Further improvements on the hybrid dwt/dct expt

Modifies the scanning pattern and uses a floating point 16x16
dct implementation for now to handle scaling better.
Also experiments are in progress with 2/6 and 9/7 wavelets.

Results have improved to within ~0.25% of 32x32 dct for std-hd
and about 0.03% for derf. This difference can probably be bridged by
re-optimizing the entropy stats for these transforms. Currently
the stats used are common between 32x32 dct and dwt/dct.

Experiments are in progress with various scan pattern - wavelet
combinations.

Ideally the subbands should be tokenized separately, and an
experiment will be condcuted next on that.

Change-Id: Ia9cbfc2d63cb7a47e562b2cd9341caf962bcc110

Merge "New default coefficient/band probabilities." into experimental

New default coefficient/band probabilities.

Gives 0.5-0.6% improvement on derf and stdhd, and 1.1% on hd. The
old tables basically derive from times that we had only 4x4 or
only 4x4 and 8x8 DCTs.

Note that some values are filled with 128, because e.g. ADST ever
only occurs as Y-with-DC, as does 32x32; 16x16 ever only occurs
as Y-with-DC or as UV (as complement of 32x32 Y); and 8x8 Y2 ever
only has 4 coefficients max. If preferred, I can add values of
other tables in their place (e.g. use 4x4 2nd order high-frequency
probabilities for 8x8 2nd order), so that they make at least some
sense if we ever implement a larger 2nd order transform for the
8x8 DCT (etc.), please let me know

Change-Id: I917db356f2aff8865f528eb873c56ef43aa5ce22

Merge "Consistently use get_prob(), clip_prob() and newly added clip_pixel()." into experimental

Consistently use get_prob(), clip_prob() and newly added clip_pixel().

Add a function clip_pixel() to clip a pixel value to the [0,255] range
of allowed values, and use this where-ever appropriate (e.g. prediction,
reconstruction). Likewise, consistently use the recently added function
clip_prob(), which calculates a binary probability in the [1,255] range.
If possible, try to use get_prob() or its sister get_binary_prob() to
calculate binary probabilities, for consistency.

Since in some places, this means that binary probability calculations
are changed (we use {255,256}*count0/(total) in a range of places,
and all of these are now changed to use 256*count0+(total>>1)/total),
this changes the encoding result, so this patch warrants some extensive
testing.

Change-Id: Ibeeff8d886496839b8e0c0ace9ccc552351f7628

Merge "clean up tokenize_b() and stuff_b()" into experimental

clean up tokenize_b() and stuff_b()

Change-Id: I0c1be01aae933243311ad321b6c456adaec1a0f5

Merge "experiment with CONTEXT conversion" into experimental

Merge "A bug fix related to switchable filters" into experimental

A bug fix related to switchable filters

The switchable count update was mistakenly inside a macro.

Change-Id: Iec04c52ad57034b88312dbaf05eee1f47ce265b3

Further changes to mv reference code.

Some further changes and refactoring of mv
reference code and selection of center point for
searches. Mainly relates to not passing so many
different local copies of things around.

Some place holder comments.

Change-Id: I309f10ffe9a9cde7663e7eae19eb594371c8d055

Merge remote-tracking branch 'origin/vp9-preview' into experimental

experiment with CONTEXT conversion

This commit changed the ENTROPY_CONTEXT conversion between MBs that
have different transform sizes.

In additioin, this commit also did a number of cleanup/bug fix:
1. removed duplicate function vp9_fix_contexts() and changed to use
vp8_reset_mb_token_contexts() for both encoder and decoder
2. fixed a bug in stuff_mb_16x16 where wrong context was used for
the UV.
3. changed reset all context to 0 if a MB is skipped to simplify the
logic.

Change-Id: I7bc57a5fb6dbf1f85eac1543daaeb3a61633275c

libvpx_test: ensure rtcd init functions are called

In addition to allowing tests to use the RTCD-enabled functions (perhaps transitively)
without having run a full encode/decode test yet, this fixes a linking issue with
Apple's G++ whereby the Common symbols (the function pointers themselves) wouldn't
be resolved. Fixing this linking issue is the primary impetus for this patch, as none
of the tests exercise the RTCD functionality except through the main API.

Change-Id: I12aed91ca37a707e5309aa6cb9c38a649c06bc6a

Merge "Fix implicit cast." into vp9-preview

Merge "Fix meaninglesss if." into vp9-preview

Clean up 4x4 coefficient decoding code.

Don't use vp9_decode_coefs_4x4() for 2nd order DC or luma blocks. The
code introduces some overhead which is unnecessary for these cases.
Also, remove variable declarations that are only used once, remove
magic offsets into the coefficient buffer (use xd->block[i].qcoeff
instead of xd->qcoeff + magic_offset), and fix a few Google Style
Guide violations.

Change-Id: I0ae653fd80ca7f1e4bccd87ecef95ddfff8f28b4

Introduce vp9_coeff_probs/counts/stats/accum types.

Use these, instead of the 4/5-dimensional arrays, to hold statistics,
counts, accumulations and probabilities for coefficient tokens. This
commit also re-allows ENTROPY_STATS to compile.

Change-Id: If441ffac936f52a3af91d8f2922ea8a0ceabdaa5

Fix meaninglesss if.

Change-Id: I0cb06d77805246fe39d39ad3bc5df3c3f52c7050

Remove unused symbols from vp9 asm offsets C files.

Change-Id: I366e6d175da3012f1c8607fd7fad99fbbb616091

Fix implicit cast.

Change-Id: I1eb7433061a6c529471026e0ebdc6467942062eb

32x32 transform for superblocks.

This adds Debargha's DCT/DWT hybrid and a regular 32x32 DCT, and adds
code all over the place to wrap that in the bitstream/encoder/decoder/RD.

Some implementation notes (these probably need careful review):
- token range is extended by 1 bit, since the value range out of this
  transform is [-16384,16383].
- the coefficients coming out of the FDCT are manually scaled back by
  1 bit, or else they won't fit in int16_t (they are 17 bits). Because
  of this, the RD error scoring does not right-shift the MSE score by
  two (unlike for 4x4/8x8/16x16).
- to compensate for this loss in precision, the quantizer is halved
  also. This is currently a little hacky.
- FDCT and IDCT is double-only right now. Needs a fixed-point impl.
- There are no default probabilities for the 32x32 transform yet; I'm
  simply using the 16x16 luma ones. A future commit will add newly
  generated probabilities for all transforms.
- No ADST version. I don't think we'll add one for this level; if an
  ADST is desired, transform-size selection can scale back to 16x16
  or lower, and use an ADST at that level.

Additional notes specific to Debargha's DWT/DCT hybrid:
- coefficient scale is different for the top/left 16x16 (DCT-over-DWT)
  block than for the rest (DWT pixel differences) of the block. Therefore,
  RD error scoring isn't easily scalable between coefficient and pixel
  domain. Thus, unfortunately, we need to compute the RD distortion in
  the pixel domain until we figure out how to scale these appropriately.

Change-Id: I00386f20f35d7fabb19aba94c8162f8aee64ef2b

libvpx_test: ensure rtcd init functions are called

In addition to allowing tests to use the RTCD-enabled functions (perhaps transitively)
without having run a full encode/decode test yet, this fixes a linking issue with
Apple's G++ whereby the Common symbols (the function pointers themselves) wouldn't
be resolved. Fixing this linking issue is the primary impetus for this patch, as none
of the tests exercise the RTCD functionality except through the main API.

Change-Id: I12aed91ca37a707e5309aa6cb9c38a649c06bc6a

Move vp8_scale_frame to vpx namespace

Change-Id: I92d613e89c8f1174eca0789116120bfa20c25c28

Remove last duck_ functions

Change-Id: I5fbcd2006d05bfe841f3c7af9c1aeb2cb83b3149

Use 'vpx_scale' consistently

Change-Id: I178352813d2b8702d081caf405de9dbad9af2cc3

Merge "Change to MV reference search." into experimental

Merge remote-tracking branch 'origin/vp9-preview' into experimental

Begin to refactor vpx_scale usage in VP9

Only declare the functions in vpx_scale RTCD and include the relevant
header.

Remove unused files and functions in vpx_scale to avoid wasting time
renaming. vpx_scale/win32/scaleopt.c contains functions which have not
been called in a long time but are potentially optimized.

The 'vp8' functions have not been renamed yet. That is for after the
cleanup.

Change-Id: I2c325a101d60fa9d27e7dfcd5b52a864b4a1e09c

Remove ARM optimizations from VP9

Change-Id: I9f0ae635fb9a95c4aa1529c177ccb07e2b76970b

Update ARM for vpx_scale changes

Refactor asm_offsets for vpx_scale.

Change-Id: I2db0eeb28c8e757bd033c6614a1e5319a1a204a5

Merge remote-tracking branch 'origin/vp9-preview' into experimental

vp9_bilinear_filters_mmx: add missing extern specifiers

Change-Id: Ibabf18947f90cb4f45052763ebf44cfb8209bd8b

Change to MV reference search.

This patch reduces the cpu cost of the MV ref
search by only allowing insert for candidates
that would be in the current top 4.

This could alter the outcome and slightly favors
near candidates which are tested first but also
limits the worst case loop count to 4 and means in
many cases it will drop out and not happen.

Change-Id: Idd795a825f9fd681f30f4fcd550c34c38939e113

Merge "Begin to refactor vpx_scale usage in VP9" into experimental

Enable unit tests to build with MSVC

Change-Id: Ie80597221bee494679ae2ba50cca22dea2609cba

Fix the build with MSVC

1. remove the dependency on non existing "vp9_temporal_filter_x86.h"
2. prefix filenames with vp9_ in obj_int_extract.bat to reflect the
change of the actual filenames.

Change-Id: Ib1b4d96ac41788f76917764a6722d8461c857302

Merge "vp9: Fix assert check." into vp9-preview

merged optimiz_b_16x16() into optmize_b()

The commit changed the trellis quantization function optimize_b() to
work for MBs using all transform sizes, and eliminated the function
for MB using 16x16 transform only, optimize_b_16x16.

Change-Id: I3fa650587ab5198ed16315b38754783a72b33ba2

Merge "Remove ARM optimizations from VP9" into experimental

Merge "Update ARM for vpx_scale changes" into experimental

Begin to refactor vpx_scale usage in VP9

Only declare the functions in vpx_scale RTCD and include the relevant
header.

Remove unused files and functions in vpx_scale to avoid wasting time
renaming. vpx_scale/win32/scaleopt.c contains functions which have not
been called in a long time but are potentially optimized.

The 'vp8' functions have not been renamed yet. That is for after the
cleanup.

Change-Id: I2c325a101d60fa9d27e7dfcd5b52a864b4a1e09c

Remove ARM optimizations from VP9

Change-Id: I9f0ae635fb9a95c4aa1529c177ccb07e2b76970b

Update ARM for vpx_scale changes

Refactor asm_offsets for vpx_scale.

Change-Id: I2db0eeb28c8e757bd033c6614a1e5319a1a204a5

Merge "fixes --disable-vp9-encoder" into vp9-preview

fixes --disable-vp9-encoder

Change-Id: I467bf0fdf3b35326bcce58d5459e6d2dbfd6c5e5

vp9: Fix assert check.

Change-Id: If0cc1ab60dff6abd67dae7c7b3dc83a1afd7fe65

vp9: Remove superfluous command.

- vpx_calloc is called on arf_not_zz above.
- Note The removed vpx_memset call had an issue with sizeof.

Change-Id: I86fd7a167d0a042e581e613e2a6c0b5e63073fc6

Merge "Rename vpx_scale/rtcd.c to vpx_scale/vpx_scale_rtcd.c" into experimental

Supports inter-intra prediction with superblocks

Adds support for compound inter-intra prediction with superblocks.
Also, fixes a bug that disabled intra modes for superblocks.

Change-Id: I4d711317e1bc19df8c2f32dc645429f7fff31036

Rename vpx_scale/rtcd.c to vpx_scale/vpx_scale_rtcd.c

Change-Id: I4765ca3dab880a3673c15fb56b2d912ec2ea194e

Adds switchable filters with superblocks

Allows switchbale filters to be used without mismatch when the
superblock experiment is on.

Also removes a spurious clamping code in decodemv.c which causes
rare encode/decode mismatches.

Change-Id: I809d9ee0b2859552b613500b539a615515b863ae

warnings in various experiments

Change-Id: Ib5106d4772450f8026f823dd743f162ab833b1d6

google style guide include guards

Change-Id: I2c252f3ddcc99e96c1f5d3dab8bcb25a2a3637ea

Merge "Further improve macroblock loop filters" into experimental

Merge "Minor refactoring of superblock decoding" into experimental

Minor refactoring of superblock decoding

Refactoring for improved readability - no bitstream or
performance change.

Change-Id: I4488ed4715f8dbe38c66431106478669041b8b33

a vp8 warning to boot.

Change-Id: I32ed051c8b4d3e5afa4e13bb4e3b2ca5e922ff64

intrinsic warnings begone

Change-Id: I6a224c590b6a2c5b91f9084ffb8083d18223a206

last remaining warning

Change-Id: I1f49d96cdb5e342041c9a72ef31df361a1b609eb

fix implicit warnings idct etc

Change-Id: I54a122cc8c0b6ed2dbc3c6ecfcd44736cd40b687

Additional warning message cleanup.

Change-Id: I429a97ac57db3de0bf67ce3f3fe0c6b409f77a9e

Merge changes Iaa67bcf1,Ibea3bc80 into experimental

* changes:
  more warning cleanup
  unused variables & warnings

Merge "more unused variables." into experimental

Merge "unused variable" into experimental

Merge "unused var removed" into experimental

Merge "minor fix to eob check for setting CONTEXT" into experimental

minor fix to eob check for setting CONTEXT

Previously, the "!=" check is logically incorrect when eob is at 0 and
effective coefficient starting position is 1. This commit should have
no effect on bitstream.

Change-Id: I6ce3a847c7e72bfbe4f7c74f88e3310c6b9b6d30

more warning cleanup

Change-Id: Iaa67bcf1e866dfe255c4e458d4e51e9c708ffcf4

unused variables & warnings

Change-Id: Ibea3bc80eb26a975faaa60268bbc93237f82bc57

more unused variables.

Change-Id: Ibe11e9275949b26a77fa9c8ac2e7c356ae533d5d

unused variable

Change-Id: I1302a6eaa840d419e8bb9ad0673e42ef139d3fee

unused var removed

Change-Id: I9d0efdff0c79ea4bdd660098106b64776bdd4483

signed mismatch mvrefcount

Change-Id: Ie34820c1b6eaba9cf9316415a46f48af79c41646

warning error missing void

Change-Id: I914bcc669297d3414261486bf1bfb716c2ecc804

ihtllm moves to rtcd

clears up some warnings

Change-Id: I9899637497c6ad7519f098e055ab98580ae6d688

fix vp9_vp8 files renamed

Change-Id: I20c426e91ee49666db42e20eb074095ab6b8ec5d

more rtcd cleanup

Change-Id: Ieefd76e164ca4aa87597da0412977614ddfbacb7

Merge "Fixing 8x8/4x4 ADST for intra modes with tx select" into experimental

Fixing 8x8/4x4 ADST for intra modes with tx select

This patch allows use of 8x8 and 4x4 ADST correctly for Intra
16x16 modes and Intra 8x8 modes when the block size selected
is smaller than the prediction mode. Also includes some cleanups
and refactoring.

Rebase.

Change-Id: Ie3257bdf07bdb9c6e9476915e3a80183c8fa005a

Merge "remove the vp9_default_mode_contexts_a" into experimental

remove the vp9_default_mode_contexts_a

Given the way mode_context is updated, the benefit of an additional
default is not signficant.

Change-Id: I67489453e8781340b18e26a1cc2f04e9221004a2

fixed includes to be fully specified

Change-Id: Ia1cce221f8511561b9cbd8edb7726fbc286ff243

Merge "remove postproc invokes" into experimental

Merge "Clamp decoded feature data" into experimental