fix valgrind warning

scales for second reference frame vars are unitialized if the
second ref frame is one of of those disallowed by refframeflags

Change-Id: I4ce42de391178c1699dcaede18c5f12c84993c61

Merge "Moving txfm_size bits before prediction mode bits." into experimental

Merge "Removed setup_pre_planes() call in read_mb_modes_mv()" into experimental

Merge "Remove loop dering experiment." into experimental

Revert "Adding API to read/write uncompressed frame header bits." because of bitstream mismatches.

This reverts commit df037b615fcc0196386977faae060fdfd9a887a8

Change-Id: I1a529f2590df7bc912f5035d22311268933e3dd6

Merge "a few clean-ups" into experimental

Merge "Decrease scope of frame_mv argument to handle_inter_mode()." into experimental

Decrease scope of frame_mv argument to handle_inter_mode().

Change-Id: I81c637c61ecc33cb66beb59a2a33166d66b9a0a2

a few clean-ups

1. remove prediction mode conversion
2. unified bmode, same for key and non-key frame
3. set I4X4_PRED count for pdf to 0, as I4X4_PRED is no longer
coded ever. It is determined by ref_frame and block partition

Change-Id: If5b282957c24339b241acdb9f2afef85658fe47d

Reduce WHT complexity.

Saves 1 add, 3 shifts (and a shift bias) per 1-D transform.

Change-Id: I1104bb1679fe342b2f9677df8a9cdc0cb9699e7d

Merge "Reduce bmi buffer length from 16 to 4" into experimental

Reduce bmi buffer length from 16 to 4

This commit removes the use of bmi_ in the first-pass encoding by
forcing encode_intra4x4block_ to use DC_PRED, followed by DCT_DCT
only, as John suggested. This makes the need for bmi buffer only
up to 4 entries, instead of 16.

Change-Id: I3410007dfae789ee46a09ae20c39d3ce3c7954aa

Remove unused mode_index argument from handle_inter_mode().

Change-Id: I07b8c15f33e6e7c63dd0033c18c4ac5c0303cf32

Fix coding statistics compilation.

Change-Id: I21e7c4ef6bc80f4b9281fc94c88fb710b1595c23

Moving txfm_size bits before prediction mode bits.

Hardware implementation needs to load coeff probs based on the
transform size. For selectable transform size, moving these bits
earlier in the bitstream adds some delay giving time to preload
the probs and speeds up the decoding process.

Change-Id: I3bfc1f662ae6f219c9286fe9ae6310c7d8a63ea7

Remove splitmv.

Also do per-partition motion vector referencing in <sb8x8 partitions,
and adjust mvref finding for sub8x8 partitions.

Change-Id: Id3ed1ed4d2a8910d11d327db6cc63b8eb79f941f

Remove loop dering experiment.

Change-Id: I1a979bf74c286b157c31bab6bdcba0494acb4918

Merge "Adding API to read/write uncompressed frame header bits." into experimental

Fix transform size coding mismatch

This commit fixes a transform size enc/dec mismatch issue in the
key frame coding.

Change-Id: I0c4f40464a367b33dd91ace84506650b1aec2873

Removed setup_pre_planes() call in read_mb_modes_mv()

This code does not seem to be necessary anymore.

For the 1080p clip used, the decoder performance improved by
~2%.

Change-Id: I66bb0496d4998b0d6c6637c746b642b77bdbef88

Fix two bugs

1) Added an initialization of rd_tx_select_threshs[].
2) Made updating transform size counts to be consistent

Change-Id: Iaa9d6c6be825b0364c9d61a9802873d01356815c

update txfm size counting

Change-Id: I3a26baf8b2f945fea4f1aea156e60fa79f620f86

Fix bug in 4x4 band definition.

Also some unused data structures/references removed.

Change-Id: I295809e887173543e794250cb60ddaf1475ffd24

Removed code not in use

As intra coded blocks are always decoded using decode_sb_intra(), this
commmit removed the code no longer in use.

Change-Id: I09f14fa9cdc875656e8fbe245f72c8fd83b9e31e

Change txfm_type decision

The changing in intra coding to base on transform block, i.e. pred->
txfm->quant->dequant-itxfm->recon, made all blocks within a prediction
unit behave consistently, there is no longer a need to handle blocks
differently based on the position within a predicitn block. So this
commit simplifies the decision of transform type to be based on
prediction mode only.

Change-Id: If96cb72386f2e9186126ace88afa35ef085b6c96

Fix a bug in intra4x4 level rd loop

This commit fixed a uninitialized value use in the intra 4x4/8x4/4x8
rate-distortion loop.

Change-Id: I5c25b3536b59e4f5fbb23cf85baf93b2ccec7d72

Remove type from vmvn

datatype is optional for the instruction but clang refuses it.
http://infocenter.arm.com/help/index.jsp?topic=/com.arm.doc.dui0489c/CIHIJIHC.html

It is still required when using an immediate.
http://infocenter.arm.com/help/index.jsp?topic=/com.arm.doc.dui0489c/CIHGGEEB.html

Change-Id: I0fae956c8c0fa3f97578ce80abea247f7fc88705

Make comp_inter_inter support 4x4 partition coding

This commit refactors the iterative motion search for compound
inter-inter mode, to make it support all partition types including
4x4/4x8/8x4 block sizes.

Change-Id: I5f1212b0f307377291763e45c6bdc9693b5f04c8

Merge Scatter Scan experiment.

Removal from under configure flag.
A bit  renaming

Change-Id: I2213229dfe852001dfec16b149f47c52ce88f3aa

Merge 4x4 block level partition into codebase

Move 4x4/4x8/8x4 partition coding out of experimental list.

This commit fixed the unit test failure issues. It also resolved
the merge conflicts between 4x4 block level partition and iterative
motion search for comp_inter_inter.

Change-Id: I898671f0631f5ddc4f5cc68d4c62ead7de9c5a58

Merge "Optimize variance functions" into experimental

Merge "Using 128 entry look up table for coef models" into experimental

Optimize variance functions

Added SSE2 version of variance functions for super blocks.

Change-Id: Ibeaae8771ca21c99d41dd74067574a51e97b412d

Merge "Make the intra rd search support 8x4/4x8" into experimental

Using 128 entry look up table for coef models

Reverts to using 128 bit LUT for the coef models rather than 48
to ease hardware implementation.

Also incorporates some cleanups including removing various
hooks to support different lookup tables based on block_type and
ref_type.

Change-Id: I54100c120cca07a2ebd3a7776bc4630fa6a153f6

Merge "changes intra coding to be based on txfm block" into experimental

Merge "Generalized intra 4x4 encoding for all sizes" into experimental

Merge "Merge CONFIG_COMP_INTER_JOINT_SEARCH." into experimental

Merge "Removed unused idct functions" into experimental

changes intra coding to be based on txfm block

This commit changed the encoding and decoding of intra blocks to be
based on transform block. In each prediction block, the intra coding
iterates thorough each transform block based on raster scan order.

This commit also fixed a bug in D135 prediction code.

TODO next:
The RD mode/txfm_size selection should take this into account when
computing RD values.

Change-Id: I6d1be2faa4c4948a52e830b6a9a84a6b2b6850f6

Generalized intra 4x4 encoding for all sizes

Change-Id: I1b86744fa247233c8df031b3f4b87b212c8dd094

Merge CONFIG_COMP_INTER_JOINT_SEARCH.

Merge this experiment so that it is under a speed feature
flag not a configuration flag.

Change-Id: I536f7f125a4ff5149bb3a64f791e835c324535fd

Make the intra rd search support 8x4/4x8

This commit allows the rate-distortion optimization of intra coding
capable of supporting 8x4 and 4x8 partition settings.

It enables the entropy coding of intra modes in key frame using a
unified contextual probability model conditioned on its above/left
prediction modes.

Coding performance:
derf 0.464%

Change-Id: Ieed055084e11fcb64d5d5faeb0e706d30268ba18

Merge "Initial version of alpha channel support" into experimental

Merge "Deprecate 4x4 intra modes from bit-stream" into experimental

Adding API to read/write uncompressed frame header bits.

The API is not final yet and can be changed. Actual layout of
uncompressed frame part will be finalized later. Right now moving
clr_type, error_resilient_mode, refresh_frame_context,
frame_parallel_decoding_mode from first compressed partition to
uncompressed frame part.

Change-Id: I3afc5d4ea92c5a114f4c3d88f96858cccc15b76e

Removed unused idct functions

No longer used.

Change-Id: Id28c9247cebba183c6fa786dff96824ae100132c

Merging the model coef prob experiment

Merges the experiment.

Change-Id: I4eb19af6de6df6aa3a96a2e82f231d47ed9b3ae9

Merge "Refinements on modelcoef expt to reduce storage" into experimental

Removed diff from macroblockd_plane

No longer used.

Change-Id: I171c5fa33a7600ad45b9466af23a46ccbdfe0480

Removed vp9_recon functions

No longer used.

Change-Id: Ica5166f7117f4693dffdf7633dcfc1b263103d0d

Merge "WIP: 4x4 idct/recon merge" into experimental

Merge "Moving exp. coding functions from vp9_boolhuff.c to vp9_bitstream.c." into experimental

Merge "Removing clamp_type from the bitstream." into experimental

Merge "Adding get_ref_frame_idx function." into experimental

Refinements on modelcoef expt to reduce storage

Uses more aggrerssive interpolation to reduce storage for the
model tables by almost more than half. Only 48 lists of probs are
stored (as opposed to 128 before), corresponding to ONE_NODE
probabilities of:
1,
3, 7, 11, ..., 115, 119,
127, 135, ..., 247, 255.

Besides, only 1 table is used as opposed to 2 before. So the overall
memory needed for the tables is just 48 * 8 = 384 bytes.

The table currently used is based on a new Pareto distribution with
heavier tail than a generalized Gaussian - which improves results on
derf by about 0.1% over a single table Generaized Gaussian.

Results overall on derfraw300 is -0.14%.

Change-Id: I19bd03559cbf5894a9f8594b8023dcc3e546f6bd

Unnecessary passing of prev_mi

Passing prev_mi is not needed.

Change-Id: I6453bb47514ddafd555864d190ecf6d1a6bdc136

Moving exp. coding functions from vp9_boolhuff.c to vp9_bitstream.c.

Change-Id: Ib07d1e707a87cec98ea3a1779fccca078d8c4310

Adding get_ref_frame_idx function.

Change-Id: I4f1a4eca6794cda78d00512196caacd5567e2dcc

Updating the model coef experiment

Cleans up the experiment. Actually uses reduced counts for backward
updates, and reduced number of probabilities in the context.

No change in bitstream when the experiment is on.

Between expt on and off:
derfraw300 is down only -0.062% (which is better than when expts
were run previously).

Change-Id: I55285a049a0c22810bdb42914212ab5a4f8521b5

Deprecate 4x4 intra modes from bit-stream

Replace B_DC_PRED like syntax element writing/reading with sb_ymode
set (e.g., DC_PRED, etc).

Change-Id: I293006a6b3bcd130c08ea9f053e7a79c6819c6f8

WIP: 4x4 idct/recon merge

This patch eliminates the intermediate diff buffer usage by
combining the short idct and the add residual into one function.
The encoder can use the same code as well.

Change-Id: I296604bf73579c45105de0dd1adbcc91bcc53c22

Merge "Enable bit-stream support to 8x4 and 4x8 partition" into experimental

Give VP9 a different sync code from VP8

The new code is 0x49, 0x83, 0x42

There is nothing particularly special about this code bitstream wise.
Its derivation is the word "sync" coded using 4x6bit alphabetic indices.

Change-Id: Ie2430a854af32ddc5a5c25a6c1c90cf6497ba647

Enable bit-stream support to 8x4 and 4x8 partition

The recursive partition type search is enabled down to 4x4, 4x8 and
8x4, followed by the corresponding rate-distortion optimization for
the per-partition encoding mode decisions.

The bit-stream writing/reading synchronized in supporting the
rectangular partition of 8x8 block.

This provides above 1% coding performance gains on derf.

To do next:
1. re-design the rate-distortion loop for inter prediction below 8x8.
2. re-design the rate-distortion loop for intra prediction below 4x4.
3. make the loop-filter aware of rectangular partition of 8x8 block.
4. clean the unused probability models.
5. update default probability values.

Change-Id: Idd41a315b16879db08f045a322241f46f1d53f20

Make nmv_count update 4x8/8x4 aware

This commit modifies the vp9_update_nmv_count_ to support rectangular
partition of 8x8 block.

Change-Id: I3e742f80f18f95b031c1c785d756d9365503c24c

Removing clamp_type from the bitstream.

Change-Id: Ica75bdd4905c4a04b7f92795d0b8ce6836a99ef4

Fix parameters in 4x8 variance calc

Correct the stride parameter of 4x8 in vp9_sub_pixel_variance4x8_
and vp9_sub_pixel_avg_variance4x8.

Change-Id: I2ca74d4043817503b21737563994270e3b0619ff

Merge "holds utility debugging functions" into experimental

Merge "Refactor encode_sb_ for 4x8/8x4 partition" into experimental

Merge "Replace default counts with default probs." into experimental

Merge "New inter mode context." into experimental

Replace default counts with default probs.

Replace vp9_kf_default_bmode_counts structure with
direct default probabilities. The probability structure is
smaller and it removes the need to specify in the bitstream
how to convert the counts to probabilities.

Note that I have concerns still about the size and value of
the large intra mode context. This may cause problems for
HW but it also means we rely heavily on reverse update as
forwards update of a structure this size is problematic. I
intend to review this more generally in the next few days to
see if we can come up with a competitive solution that does
not rely on such a large context.

Change-Id: I0a36071079d5d26a57ab0e9fbf91af4199aa7984

holds utility debugging functions

This one prints out a visual version of the partitioning for human
eyes to follow...

Change-Id: Iba434589a2f55eb069484686d99a382db93b9548

Remove MODE_STATS flag and code

Change-Id: I6c70a8a8a4633399842ac74792003ae5f7859ffa

Initial version of alpha channel support

This is a mostly-working implementation of an extra channel in the
bitstream. Configure with --enable-alpha to test. Notable TODOs:

 - Add extra channel to all mismatch tests, PSNR, SSIM, etc
 - Configurable subsampling
 - Variable number of planes (currently always uses all 4)
 - Loop filtering
 - Per-plane lossless quantizer
 - ARNR support

This implementation just uses the same contents as the Y channel
for the A channel, due to lack of content and general pain in
playing back 4 channel content. A later patch will use the actual
alpha channel passed in from outside the codec.

Change-Id: Ibf81f023b1c570bd84b3064e9b4b8ae52e087592

Refactor encode_sb_ for 4x8/8x4 partition

Deprecate set_block_index. Replace it with get_sb_index_ for
consistency with partition search and bit-stream writing/reading.

Use b_width/height_log2 instead of mi_width/height_log2, to support
4x4 resolution partition types.

Change-Id: Ic1e71981e163c669f7ea6b3c12b831c284c4a494

Merge "Use b_width_log2_ in partition type parse" into experimental

Merge "Remove vp9_extend_mb_row()" into experimental

Merge "WIP: 8x8 idct/recon merge" into experimental

Merge "Combining integer and fractional parts of mvs for entropy coding." into experimental

Use b_width_log2_ in partition type parse

Replace mi_width/height_log2 with b_width/height_log2 in partition
type parsing at bit-stream writing stage. This allows parsing
resolution at 4x4 block level and makes the 4x4/4x8/8x4 partition
coding consistent with other superblock types.

Change-Id: I7db3617ea042e0db2dc898999b0c323bff91a22f

Removed Q threshold in the usage of ADST

Test on cif set showed small but consistent compression gain for
almost all encodings with overall impact of .08%. The gains average
aournd .12% combined with D63 adst change.

Test encoding on std-hd set is ongoing..

Change-Id: If4d94799cf0486fb9c770b193e5c386d13d99d59

Merge "Removing lossless flag from the bitstream." into experimental

Remove vp9_extend_mb_row()

This code is no longer needed for correct intra prediction.

Change-Id: I822d1a8b0ad0a00e7c4c6e7b2931790c39d1267d

WIP: 8x8 idct/recon merge

This patch eliminates the intermediate diff buffer usage by
combining the short idct and the add residual into one function.
The encoder can use the same code as well.

Change-Id: Iacfd57324fbe2b7beca5d7f3dcae25c976e67f45

Add building blocks for 4x8/8x4 rd search

These building blocks enable rate-distortion optimization search
over block sizes of 8x4 and 4x8. Need to convert them into mmx/sse
forms.

Change-Id: I570ea2d22d14ceec3fe3575128d7dfa172a577de

Merge "Fix the transform type selection in 4x4 partition" into experimental

New inter mode context.

This patch creates a new inter mode contest that avoids
a dependence on the reconstructed motion vectors from
neighboring blocks. This was a change requested by
a hardware vendor to improve decode performance.

As part of this change I have also made some modifications
to stats output code (under a flag) to allow accumulation of
inter mode context flags over multiple clips

Some further changes will be required to accommodate the
deprecation of the split mv mode over the next few days.

Performance as stands is around -0.25% on derf and
std-hd but up on the YT and YT-HD sets. With further tuning
or some adjustment to the context criteria it should be
possible to make this change broadly neutral.

Change-Id: Ia15cb4470969b9e87332a59c546ae0bd40676f6c

Merge "Further Implicit Segmentation Changes" into experimental

Add vp9_extend_frame_borders

Adds a subsampling aware border extension function. This may be reworked
soon to support more than 3 planes.

Change-Id: I76b81901ad10bb1e678dd4f0d22740ca6c76c43b

Merge "Fix vp9_build_intra_predictors_sbuv_s for non-4:2:0" into experimental

Removing lossless flag from the bitstream.

Change-Id: If6aee510cbc4910f2f24fcd92dddc65fdf8edeea

Fix vp9_build_intra_predictors_sbuv_s for non-4:2:0

Remove an assumption about chroma size, and the number of planes.

Change-Id: I286a7fac296ec334c6a8ad847f663f3adbb9f43e

Merge "Fix first-pass encoding test" into experimental

Merge "Moving the same code to new function vp9_setup_scale_factors." into experimental

Merge "Adding alpha plane to YV12_BUFFER_CONFIG structure." into experimental

Moving the same code to new function vp9_setup_scale_factors.

Change-Id: I2408ad22717784a40e23701ccb9d978265440e4f

Adding alpha plane to YV12_BUFFER_CONFIG structure.

Change-Id: I8b2687138df636b2b78c8cc5156e3882b0009de0

Fix the transform type selection in 4x4 partition

This commit allows proper transform type (DCT/ADST) selection in
the settings of partition 4x4 level.

Change-Id: Iec6f922a46480d777e7ca9142a99e8c131f0077b