more rtcd cleanup

Change-Id: Ieefd76e164ca4aa87597da0412977614ddfbacb7

Merge "Fixing 8x8/4x4 ADST for intra modes with tx select" into experimental

Fixing 8x8/4x4 ADST for intra modes with tx select

This patch allows use of 8x8 and 4x4 ADST correctly for Intra
16x16 modes and Intra 8x8 modes when the block size selected
is smaller than the prediction mode. Also includes some cleanups
and refactoring.

Rebase.

Change-Id: Ie3257bdf07bdb9c6e9476915e3a80183c8fa005a

Merge "remove the vp9_default_mode_contexts_a" into experimental

remove the vp9_default_mode_contexts_a

Given the way mode_context is updated, the benefit of an additional
default is not signficant.

Change-Id: I67489453e8781340b18e26a1cc2f04e9221004a2

fixed includes to be fully specified

Change-Id: Ia1cce221f8511561b9cbd8edb7726fbc286ff243

Merge "remove postproc invokes" into experimental

Merge "Clamp decoded feature data" into experimental

Merge "Revert "make: flatten object file directories"" into experimental

remove postproc invokes

and some miscellaneous invoke left overs

Change-Id: I63191b1bfd3bea4ce30cceaeb686ec850570fc43

Localize Y2 entropy coding context

This commit makes sure Y2 entropy coding context is always updated on
every macroblock even there is no Y2 block.

Change-Id: Ie307cfc46526efe55613be39f9f178d2531b56ba

removed redundant mode_context data structures

This commit removed a couple of redundant data structures in frame
coding contextsm, mode_context and mode_context_a, and changed to
use vp9_mode_contexts only. The switch of the context for different
frame type now relies on the switch of frame coding context between
lfc and lfc_a. This commit also removed a number of memcpy among
these redundant data structure.

Change-Id: I42e8174bd60f466b0860afc44c1263896471b0f3

Clamp decoded feature data

Not all segment feature data elements are full-range powers of two, so
there are values that can be encoded that are invalid. Add a new function
to clamp values to the maximum allowed.

Change-Id: Ie47cb80ef2d54292e6b8db9f699c57214a915bc4

Revert "make: flatten object file directories"

This reverts commit b72373de79800e801ce730d24cb115daf78ae660.

Change-Id: Ic1601160e11df1a018ef12da25967cfb5eebd5ba

Add vp9_ prefix to all vp9 files

Support for gyp which doesn't support multiple objects in the same
static library having the same basename.

Change-Id: Ib947eefbaf68f8b177a796d23f875ccdfa6bc9dc

Merge "Improve sad3x16 SSE2 function" into experimental

Merge "Modified  mv prediction." into experimental

Modified  mv prediction.

Modified the  mv_pred() fuunction that chooses a centre
point from which to start step searches to use the top
candidate vectors chosen previously.

Some gains (mainly on HD and tested with SB off).
Std_hd 0.874%, YT-hd 0.174%, YT 0.05%, Derf 0.036%

Change-Id: Ie232284f561838b8ecee0e28dcbb07a9cd46cf56

Improve sad3x16 SSE2 function

Vp9_sad3x16_sse2() is heavily called in decoder, in which the
unaligned reads consume lots of cpu cycles. When CONFIG_SUBPELREFMV
is off, the unaligned offset is 1. In this situation,
we can adjust the src_ptr to be 4-byte aligned, and then do the
aligned reads. This reduced the reading time significantly. Tests
on 1080p clip showed over 2% decoder performance gain with
CONFIG_SUBPELREFM off.

Change-Id: I953afe3ac5406107933ef49d0b695eafba9a6507

remove the dependency on idct.h

Change-Id: Idcf827d8ae6429ee5b673c3398f838dbeacb4e74

Merge "removed the idct rtcd idct calls" into experimental

Move switch(tx_size) around txsize to detokenize.c.

Add a new function vp9_decode_mb_tokens() that handles the switch
between different per-tx-size detokenize functions. Make actual
implementations (vp9_decode_mb_tokens_NxN()) static.

Change-Id: I9e0c4ef410bfa90128a02b472c079a955776816d

Fix crash in pick_inter_mode_sb().

It didn't handle rd_thresh == INT_MAX, which means the reference is
unavailable.

Change-Id: Ie6fa8b2577437411db81a8c24e8dcdfd856a0e8d

removed the idct rtcd idct calls

More cleanup to do after this,  but this is a good chunk of removing rtcd.

Change-Id: I551db75e341a0a85c3ad650df1e9a60dc305681a

Restructure vp9_decode_mb_tokens_8x8() a bit.

Don't declare variables if they only ever have a single value and are
used only as argument to another function call; instead, just hardcode
the value in the function call directly. Split out UV and Y coefficient
loops for clarity. Use xd->block[].qcoeff instead of xd->qcoeff + magic
to remove use of magic offset variables.

Change-Id: I5b17eda1bb666c69c2b7ea957d5525cd78192e33

Restructure vp9_decode_mb_tokens_16x16() a bit.

Don't declare variables if they only ever have a single value and are
used only as argument to another function call; instead, just hardcode
the value in the function call directly. Also remove unneeded brackets
around a code block, and remove the magic offsets 64 and 256 for chroma
values in the coefficient memory block.

Change-Id: I14fc14120a81ea1d6fb862674e8bf8cf6ba3d114

Make get_eob() function static.

Change-Id: Idde3ab97960eda7022367c1f91a873a479bc9d7b

Rename "block_type" function argument to "txfm_size".

Also fix the type (TX_SIZE instead of int).

Change-Id: Ib9b3f33835e58a6e758ed5f37bb64543e62b6a86

Merge "remove subpixel invoke functions" into experimental

Fix enc/dec mismatch with b_context_pred experiment enabled.

Change-Id: I1272ae3f0fdfb7ed8eb364ef0c6dd1818d3179d7

remove subpixel invoke functions

Removed the rtcd subpixel invoke functions.

Change-Id: I8b7618bd5813333fac66b2817bdf807616e0fb33

fixed const problem

NEEDED FOR BUILD

Change-Id: I56a3e68f15dff480b34de048e30231ba821b1ee2

Merge "clean out some of the rtcd code." into experimental

Merge "Pack invisible frames without lengths" into experimental

Merge "make: fix dependency generation for flat build tree" into experimental

Fix ref_stride in sad function

Used ref_stride.

Change-Id: I31f0a3bb935520f54d11a1d87315627f162ae845

make: fix dependency generation for flat build tree

Update the fmt_deps function to use a new sed expression to convert the
object file name generated by the compiler into the path-transformed
name of the .o and .d files.

Prior to this patch, changing a header file would not trigger an
incremental build.

Change-Id: I07f498a1d134577b89a72e3f1143c737b31a0636

clean out some of the rtcd code.

This removes functions that are no longer needed and cleans up some warnings.

Change-Id: I292a4c3694e9c1d68ce99cea390905b198434719

Merge "Assign above/left context in decode_coefs() instead of in caller." into experimental

Merge "Remove unused argument from decode_coefs() function prototype." into experimental

Merge "Remove coef_bands_x[] array and related machinery in decode_coefs()." into experimental

Merge "Inline count_tokens() in decode_coefs()." into experimental

Merge "Merge various count_token() functions into a single one." into experimental

Assign above/left context in decode_coefs() instead of in caller.

this prevents duplicating the same line of code in each caller of
decode_coefs().

Change-Id: Id7996ad394828bf77ef3d5e03002f577c9f79609

Remove unused argument from decode_coefs() function prototype.

Change-Id: I8d2539ba1046012c948520ac23a1f1978be921c5

Remove coef_bands_x[] array and related machinery in decode_coefs().

Change-Id: I0a36d1efb3bb81a54005b10316550ec67100559e

Inline count_tokens() in decode_coefs().

This prevents the relatively expensive token-from-coefficient lookup
function get_token(), plus a duplicate loop..

Change-Id: Ibecd407b2a91d3593d439ec4646e43fa26d2ff91

Merge various count_token() functions into a single one.

Change-Id: I1970f43e2cb5f7d9744c7249099eed226f16f162

Merge "removal of temporal invoke" into experimental

Remove unused function count_tokens() in detokenize.c.

Change-Id: I178f250b1a4d41d5a9c1619091f5ae51cebffb10

removal of temporal invoke

Change-Id: I18ca713b02a5241bdb20dddcde0216467b55b596

Remove special-case inline detokenization in b_pred reconstruction.

Just like for all other block modes, b_pred tokens can be read together
before starting macroblock reconstruction. This removes special cases
for b_pred in decode_macroblock() and allows to make decode_coefs_4x4()
static in detokenize.c.

While at it, remove the redundant handling and checking of plane_type
and block_index (i) in decode_coefs_4x4(). Since the function is static,
and is called only from decode_mb_tokens_4x4(), we don't need to worry
that the arguments ever go out of sync.

Change-Id: I2d415da0b51b89d0490a6b9e24cc86363c2090f7

Merge "Add const before the dequant(dq)" into experimental

Merge "Optimize 8x8 dequant and idct" into experimental

Add const before the dequant(dq)

Modified code to use const before dq.

Change-Id: I6fa59c2ed9743ded33ad08df70e15c2fe1ae7b99

Merge "remove yasm.rules" into experimental

remove yasm.rules

As we changed the scripts to compile asm files using customized command
for each file.

Change-Id: I975713f3d0cce2238de3ee3fe44e3227385f0c64

Support 32x32 intra modes in non-keyframe superblocks.

Change-Id: Icf8ad313c543462e523bff89690e5daa8d49bcc0

Further experimentation with the mode context

Experiments with a larger set of contexts and some
clean up to replace magic numbers regarding the
number of contexts.

The starting values and rate of backwards adaption
are still suspect and based on a small set of tests.
Added forwards adjustment of probabilities.

The net result of adding the new context and forward
update is small compared to the old context from the
legacy find_near function.  (down a little on derf but
up by a similar amount for HD)

HOWEVER.... with the new context and forward update
the impact of disabling the reverse update (which may be
necessary in some use cases to facilitate parallel decoding)
is hugely reduced.

For the old context without forward update, the impact of
turning off reverse update (Experiment was with SB off) was
Derf - 0.9, Yt -1.89, ythd -2.75 and sthd -8.35. The impact was
mainly at low data rates.

With the new context and forward update enabled the impact
for all the test sets was no more than 0.5-1% (again most at
the low end).

Change-Id: Ic751b414c8ce7f7f3ebc6f19a741d774d2b4b556

Merge "Don't write recon.yuv by default" into experimental

Merge "Compound inter-intra experiment" into experimental

Merge "changed mv candidate search for superblocks" into experimental

changed mv candidate search for superblocks

added additional motion vectors at close neighborhood of a superblock
to the list of candiate motion vectors, and removed a couple that are
further away.

The change helped std-hd set about .8% (all metrics) and smaller gain
for derf set.

Change-Id: Iaa69b98614db43420ed3fd4738d0ca5587b90045

Compound inter-intra experiment

A patch on compound inter-intra prediction.

In compound inter-intra prediction, a new predictor for
16x16 inter coded MBs are obtained by combining a single
inter predictor with a 16x16 intra predictor, in a manner
that the weight varies with distance from the top/left
boundary. The current search strategy is to combine the best
inter mode with the best intra mode obtained independently.

Results so far:

derf +0.31%
yt +0.32%
std-hd +0.35%
hd +0.42%

It is conceivable that the results would improve somewhat
with a more thorough search strategy where all intra modes
are searched given the best mv, or even a joint search for
the best mv and the best intra mode.

Change-Id: I7951f1ed0d6eb31ca32ac24d120f1585bcd8d79b

Merge "subpelrefmv for superblocks" into experimental

Pack invisible frames without lengths

Modify the decoder to return the ending position of the bool decoder and
use that as the starting position for the next frame.

The constant-space algorithm for parsing the appended frame lengths is
O(n^2), which is a potential DoS concern if n is unbounded. Revisit
the appended lengths for use as partition lengths when multipartition
support is added.

In addition, this allows decoding of raw streams outside of a container
without additional framing information, though it's insufficient to
be able to remux said stream into a container.

Change-Id: I71e801a9c3e37abe559a56a597635b0cbae1934b

webm: add support for V_VP9

Tags VP9 tracks with the V_VP9 video type when writing to .webm files,
and supports decoding both from vpxdec without specifying --codec.

Change-Id: I0ef61dee06f4db2a74032b142a4b4976c51faf6e

subpelrefmv for superblocks

duplicate code clean-up and variable name corrections

Change-Id: Ibc4703228e652ec425125de5e7bc038fa46595c5

changed asm obj output filenames in MSVC build

this commit changed the asm file compiling in MSVC to use individually
customized build command line with object filename specified for each
input file. This allows object filenames prefixed with path name, and
avoid name collision in link time

Change-Id: I996098643dcadc393af57035a04bef3877f45424

support building vp8 and vp9 into a single lib

Change-Id: Ib8f8a66c9fd31e508cdc9caa662192f38433aa3d

make: flatten object file directories

Rather than building an object file directory heirarchy matching the
source tree's layout, rename the object files so that the object
file name contains the path in the source file tree. The intent here
is to allow two files in different parts of the source tree to have
the same name and still not collide when put into an ar archive.

Change-Id: Id627737dc95ffc65b738501215f34a995148c5a2

detokenize: use SEG_LVL_EOB feature consistently

Update decode_coefs() to break when c >= eob, since it's possible that
c starts the loop from 1 and eob is 0. The loop won't terminate in that
case.

Add new get_eob() function to consistently clamp the eob based on the
segment level EOB and the block size. It's possible to code a segment
level EOB that's greater than the block size, and that leads to an
out of bounds access.

Change-Id: I859563b30414615cf1b30dcc2aef8a1de358c42d

Merge changes I63348ae3,I658ea409 into experimental

* changes:
  Segment mode coding bug.
  Silenced a few warnings.

Merge "fix costing bug in pick_uv_sb_mode." into experimental

Merge "Merge a few mostly-duplicate code fragments in SB/MB encoding." into experimental

Merge "Prevent overflow in variance32x32." into experimental

fix costing bug in pick_uv_sb_mode.

Change-Id: Ia24e0fddcca9125f8e41e95dbb22444dc51767c7

Merge a few mostly-duplicate code fragments in SB/MB encoding.

Change-Id: I8e12fbab7ec4732b6400ae3a6964749d818c90c9

Prevent overflow in variance32x32.

Change-Id: I478878c78ef8a770186622d987d318176827ef5f

Merge "SEG_LVL_MODE: don't code ref_frame if it's implicit" into experimental

Merge "Don't use hybrid transform (ADST) for superblocks." into experimental

Don't use hybrid transform (ADST) for superblocks.

This is in line with other cases where we disable ADST if prediction
size and transform size don't match. Before this patch, the RD loop
will use ADST for superblocks, but frame encoding/decoding won't.

Change-Id: I700368c632eb72b5e089c22ef25649d99d7697d0

Segment mode coding bug.

There are now more than 16 possible modes so 5
bits required for segment mode feature.

Note that it is likely that the mode feature and how it is
coded will change but for now the 4 bits was a bug.

Change-Id: I63348ae3a9cc31566a656c2dc78f09f5e1a9dcc9

Silenced a few warnings.

Silenced a few VS compiler warnings.

Change-Id: I658ea409c36c05cd11042675e2e42ccde0ef2420

Don't write recon.yuv by default

CONFIG_DEBUG was turning on some code to dump the reconstructed frame
to a buffer from within the decoder. Move this code to a more specific
debugging define.

Change-Id: I3ca9ea634bdbd186f2470bd644d3695ee0ab3037

SEG_LVL_MODE: don't code ref_frame if it's implicit

If the SEG_LVL_MODE is an intra mode, then the reference frame must be
INTRA_FRAME.

Change-Id: I2cdeeac3780c077c74b39ce89a528bc280674231

fix a few typos

Change-Id: I7b6f27826052eb706fc6080d4e3a940dff7d3a58

Merge "Use full 32-pixel edge for superblock bestrefmv motion vector ordering." into experimental

Merge "Fix edge MV handling in SBs." into experimental

A fix in MV_REF experiment

This fix ensures that the forward prob update is not turned off for
motion vectors.

Change-Id: I0b63c9401155926763c6294df6cca68b32bac340

Optimize 8x8 dequant and idct

Similar to 16x16 dequant and idct, based on the value of eobs, the
8x8 dequant and idct calculation was simplified to improve decorder
performance.

Combined vp9_dequant_idct_add_8x8 and vp9_dequant_dc_idct_add_8x8
to eliminate duplicate code.

Change-Id: Ia58e50ab27f7012b7379c495837c9c0b5ba9cf7f

Use full 32-pixel edge for superblock bestrefmv motion vector ordering.

Change-Id: I417e39867c020a17d85370972446a8ce2bbe9a6d

Fix edge MV handling in SBs.

Change-Id: Ia1eddb108ec463835e9de8769572d698e21bca49

Merge "New inter mode context" into experimental

Merge "Fix frame number on which the mismatch is reported in vpxenc." into experimental

New inter mode context

This change is a fix / extension of the newbestrefmv
experiment. As such it is presented without IFDEF.

The change creates a new context for coding inter modes
in vp9_find_mv_refs(). This replaces the context that
was previously calculated in vp9_find_near_mvs().
The new context is unoptimized and not necessarily
any better at this stage (results pending), but eliminates
the need for a legacy call to vp9_find_near_mvs().
Based on numbers from Scott, this could help decode
speed by several %.

In a later patch I will add support for forward update of
context (assuming this helps) and refine the context as
necessary.

Change-Id: I1cd991b82c8df86cc02237a34185e6d67510698a

Merge "Fix data type for eobs[] array in SB 4x4 IDCT code." into experimental

Merge "Remove 'thismb' data pointer when superblock experiment is on." into experimental

Restrict ref mv search range.

Experiment to test speed trade off of reducing the
extent of the ref mv search.

Reducing the maximum number of tested candidates to 9 had
minimal net effect on quality in any of the tests sets.

Reduction to 7 has a small negative impact (worst was STD-HD
at about -0.2%).

This change is in response to the apparently high number of
decode cycles reported in regard to mv-ref selection.

Change-Id: I0e92e92e324337689358495a1ec9ccdeb23dc774

Fix frame number on which the mismatch is reported in vpxenc.

Change-Id: I962be949845f881df551d101708e6ba9d8a3d6a2