platform/upstream/libvpx.git
12 years agoFix for RD thresholds if both I8X8 and DUALPRED are enabled.
Ronald S. Bultje [Tue, 6 Dec 2011 23:13:11 +0000 (15:13 -0800)]
Fix for RD thresholds if both I8X8 and DUALPRED are enabled.

Change-Id: I5f9fc894e6a332d9be6d7336c7c5fe11e65b8498

12 years agoDual 16x16 inter prediction.
Ronald S. Bultje [Tue, 6 Dec 2011 19:53:02 +0000 (11:53 -0800)]
Dual 16x16 inter prediction.

This patch introduces the concept of dual inter16x16 prediction. A
16x16 inter-predicted macroblock can use 2 references instead of 1,
where both references use the same mvmode (new, near/est, zero). In the
case of newmv, this means that two MVs are coded instead of one. The
frame can be encoded in 3 ways: all MBs single-prediction, all MBs dual
prediction, or per-MB single/dual prediction selection ("hybrid"), in
which case a single bit is coded per-MB to indicate whether the MB uses
single or dual inter prediction.

In the future, we can (maybe?) get further gains by mixing this with
Adrian's 32x32 work, per-segment dual prediction settings, or adding
support for dual splitmv/8x8mv inter prediction.

Gain (on derf-set, CQ mode) is ~2.8% (SSIM) or ~3.6% (glb PSNR). Most
gain is at medium/high bitrates, but there's minor gains at low bitrates
also. Output was confirmed to match between encoder and decoder.

Note for optimization people: this patch introduces a 2nd version of
16x16/8x8 sixtap/bilin functions, which does an avg instead of a
store. They may want to look and make sure this is implemented to
their satisfaction so we can optimize it best in the future.

Change-ID: I59dc84b07cbb3ccf073ac0f756d03d294cb19281

12 years agoSome further QIndex issues with extended Q
Paul Wilkins [Tue, 6 Dec 2011 14:48:52 +0000 (14:48 +0000)]
Some further QIndex issues with extended Q

Resolved or factored out some further issues with Q index.
Put in a 3rd order polynomial instead of less accurate power function
as the best fit on gf and kf boost adjustment.
Added avg_q value to use instead of ni_av_qi.
Compute segment delta Q values based on avg_q.
Fixed bug in adjust_maxq_qrange().

The extended range Q on the derf set, using standard data rates
(which do not extend high enough to get big benefits) still show
a shortfall of between 0.5 and 1% though so there would appear to
be further issues that need to be tracked down.

Change-Id: Icfd49b9f401906ba487ef1bef7d397048295d959

12 years agoremoved leftover code from a couple merge problems.
Yaowu Xu [Mon, 5 Dec 2011 19:22:35 +0000 (11:22 -0800)]
removed leftover code from a couple merge problems.

Change-Id: I17d9c1246d69e102297ec1c3efb359691b3da313

12 years agochanged configure script to enable new experimental options
Yaowu Xu [Fri, 2 Dec 2011 23:32:46 +0000 (15:32 -0800)]
changed configure script to enable new experimental options

Added two experimental options to the configure script:
1. newnear:
   new scheme of doing mv encoding that include a motion vector from
   last frame in nearest and near mv search
2. mulcontext:
   tracks entropy context separately for regular frames and alt ref
   frames.

Change-Id: If6e0d5d593351707b497a26eb6a763e080f77e6f

12 years agoadded separate entropy context for alt_ref
Yaowu Xu [Thu, 1 Dec 2011 00:36:46 +0000 (16:36 -0800)]
added separate entropy context for alt_ref

This commit added code to keep track of separate entropy contexts for
normal frames and alt ref frames. The underly assumption was that the
two type of frames have different entropy characteristics given they
typically have quite different quantization levels. By keeping entropy
contexts separate, it helps the entropy context distribution to be more
closely adapted to each frame type.

Tests on derf set showed a good and very consistent gain on all clips
on all metrics, avg psnr: 0.89%, overall psnr: 0.84% and ssim 0.93%.

http://www.corp.google.com/~yaowu/no_crawl/mulcontext.html

Change-Id: I15bc9697f6ff7829042911fe0c62930585d7e65d

12 years agoenabled 8x8 intra prediction modes on inter frames
Yaowu Xu [Thu, 1 Dec 2011 00:25:00 +0000 (16:25 -0800)]
enabled 8x8 intra prediction modes on inter frames

This commit enabled the usage of 8x8 intra prediction modes on inter
frames. There are a few TODO items related to this: 1)baseline entropy
need be calibrated; 2)cost of UV need to be done more properly rather
than using decision only relying on Y; 3)Threshold for allowing picking
8x8 intra prediction should be lowered to lower than the B_PRED.

Even with all the TODOs, tests showed consistent gain on derf set ~0.1%
(PSNR:0.08% and SSIM:0.14%). It is assumed that 8x8 intra prediction
will help more on large resolution clips, especially with above TODOs
addressed.

Change-Id: I398ada49dfc32575cfab962a569c2885111ae3ba

12 years agoFurther work on extended Q range.
Paul Wilkins [Fri, 2 Dec 2011 14:57:21 +0000 (14:57 +0000)]
Further work on extended Q range.

Fixed some further QIndex related issues and replaced some tables
(eg zbin and rounding)

Also Added function (currently disabled by default) to populate the
main AC and DC quantizer tables. Using the original AC range the
resulting computed DC values give behavior broadly comparable
on the DERF set. That is not to say that the equations will hold good
over a more extended range. The purpose of this code is to make it
easier to experiment with further alterations to the Q range and distribution
of Q values plus the relative weights given to AC and DC.

The function find_fp_qindex() ensures that changes to the Q tables
are reflected in the value passed in to the first pass code.

Slight experimental adjustment to static segment Q offset.

Change-Id: I36186267d55dfc2a3d565d0cff7218ef300d1cd5

12 years agoCR/LF issue.
Paul Wilkins [Fri, 2 Dec 2011 15:06:15 +0000 (15:06 +0000)]
CR/LF issue.

Change-Id: I95fab6f51967008acf1bc9e98fdb7bb56974807f

12 years agoadded transform type to MB_MODE_INFO
Yaowu Xu [Fri, 18 Nov 2011 02:31:00 +0000 (18:31 -0800)]
added transform type to MB_MODE_INFO

this commit is to add an variable in the macroblock level mode
info structure to track the transform size used in each MB, so
the information can be used later in the loop filter to change
how loop filter works on MBs with different transform sizes.

Change-Id: Id0eeaba6cc854c6d1be00ed8d237b3d9e250e447

12 years agoMinQ equations.
Paul Wilkins [Mon, 28 Nov 2011 11:48:07 +0000 (11:48 +0000)]
MinQ equations.

Slight tweaks to the new minq equations to bring results more into line with
original lookup tables.

Change-Id: I969fc87d95912df549b6775e83ee2345e84d4da0

12 years agoExtended Q Range:
Paul Wilkins [Fri, 25 Nov 2011 16:31:56 +0000 (16:31 +0000)]
Extended Q Range:

Addressed a couple of other QIndex dependencies.

Change-Id: I15b224bffd0210d3c7065cb6905156f2ca8e9ea9

12 years agoFurther work on extended Q range.
Paul Wilkins [Thu, 24 Nov 2011 18:25:03 +0000 (18:25 +0000)]
Further work on extended Q range.

Fixed bug in firspass.c call to vp8_initialize_rd_consts()

This was passing in vp8_dc_quant(cm->base_qindex, cm->y1dc_delta_q)
 instead of (cm->base_qindex + cm->y1dc_delta_q).

It just so happens that for the value 26 used for cm->base_qindex in the
unextended Q case,  the two give similar results. However, when using
the extended Q range the two are very different.

Also added more stats output and partly disabled another broken feature.

Change-Id: Iddf6cf5ea8467c44b7c133f38e629f6ba6f2581e

12 years agombgraph: fix invalid memory access if motion vectors are too big.
Ronald S. Bultje [Mon, 28 Nov 2011 20:39:38 +0000 (12:39 -0800)]
mbgraph: fix invalid memory access if motion vectors are too big.

12 years agochanged find_near_mvs search to include a mb from last frame
Yaowu Xu [Wed, 16 Nov 2011 00:16:30 +0000 (16:16 -0800)]
changed find_near_mvs search to include a mb from last frame

This is an experiment to include a mv contribution from last frame to
nearest and near mv definition. Initial test showed some small though
consistent gain.

latest patch slightly better result ~.13%-~.18%.

TODO: the entropy used to encode the mode choice, i.e. the mv counts
based conditional distribution of modes should be re-collected to
reflect this change, it is expected that there is some further gain
from that.

Change-Id: Ief1e284a36d8aa56b49ae5b360c91419ec494fa4

12 years agoTwo pass rate control code changes.
Paul Wilkins [Wed, 23 Nov 2011 17:18:31 +0000 (17:18 +0000)]
Two pass rate control code changes.

This comitt brings accross changes from the public branch
commit number Icf74d13af77437c08602571dc7a97e747cce5066.

The main puurpose of this comit relates to CQ mode but it
also includes some refactoring of the two pass code which
I hope will make tuning the experimental branch for the new
quantizer range a little less painfull.

Change-Id: I278e989436a928fc1fe7761068960048f9d7a376

12 years agoFurther resolution of QIndex LUTS;
Paul Wilkins [Wed, 23 Nov 2011 11:32:20 +0000 (11:32 +0000)]
Further resolution of QIndex LUTS;

This commit resolves further QIndex look up tables to facilitate
experimentation with the quantizer range.

In some cases  rather than remove the look up tables completely
I have created functions that are called once  to populate them
using a formulaic approach base on the actual quantizer.

The use of these functions based on best fit of data from the original
tables does affect the results on some clips but across the derf test
set the effect was broadly neutral.

Change-Id: I8baa61c97ce87dc09a6340d56fdeb681b9345793

12 years agoRemove redundant code (lf_or_gf and frame_lf_or_gf)
Adrian Grange [Fri, 18 Nov 2011 21:02:59 +0000 (13:02 -0800)]
Remove redundant code (lf_or_gf and frame_lf_or_gf)

Removed unused variables lf_or_gf and frame_lf_or_gf.

Change-Id: I88692cd7d53e532d303c4525ee4667c1ecea3026

12 years agoRemoval of Qindex LUTS.
Paul Wilkins [Mon, 21 Nov 2011 15:45:10 +0000 (15:45 +0000)]
Removal of Qindex LUTS.

One of the problems arising when tweaking or adjusting the quantizer
tables is that there are a lot of look up tables that depend on the QINDEX.
Any adjustment to the link between QINDEX and real quantizer therefore tends
to break aspects of for example the rate control.

In this check in I have replaced several of the look up tables with functions that
approximate the same results as the old Q luts but use a formulaic approach
based on real Q values rather than QIndex. This should hopefully make it easier
to experiment with changes to the Q tables without always having to go through
and hand optimize a set of look up tables. Once things stabilize we may choose
to re-instate luts for the sake of performance.

Patch 2:
    Addressed Ronald's comments.
    vp8_init_me_luts() Added so luts only initialized once.

Change-Id: Ic80db2212d2fd01e08e8cb5c7dca1fda1102be57

12 years agoExtended Q range Experiment.
Paul Wilkins [Mon, 21 Nov 2011 14:18:11 +0000 (14:18 +0000)]
Extended Q range Experiment.

Corrected dc lookup table to maintain ac/dc balance
close to what it was previously.

Firstpass not being passed the adjusted Q index for
the extended range.

Change-Id: Ic0200dabda445fea03bf81067999cb2670e99b77

12 years agoCosmetic clean up.
Paul Wilkins [Mon, 21 Nov 2011 11:07:28 +0000 (11:07 +0000)]
Cosmetic clean up.

Clean up of vp8_kfread_modes().
Remove unnecessary indentation and enforce line length.

Change-Id: I0864d1aff55368126db01bb23efa815786b5245d

12 years agoDecoder segmentation bug.
Paul Wilkins [Mon, 21 Nov 2011 11:02:08 +0000 (11:02 +0000)]
Decoder segmentation bug.

Fix decoder segmentation bug for temporal coding where the segment map
was first initialized on a key frame.

in vp8_kfread_modes() after reading the segment id it must be written to
the  pbi->segmentation_map[] for use in temporal coding on subsequent frames.

Change-Id: I1489305efc376564e734a216f69c2844646ee3d3

12 years agoCONFIG_T8X8 experiment.:
Paul Wilkins [Fri, 18 Nov 2011 19:44:57 +0000 (19:44 +0000)]
CONFIG_T8X8 experiment.:

Block the selection of 4x4 modes in key frames if 8x8 is selected.

Change-Id: Ie5729ec22a999d9a1996f020bd4b941e29514992

12 years agoClip buffer level to the maximum buffer size in CBR
Adrian Grange [Thu, 17 Nov 2011 23:57:37 +0000 (15:57 -0800)]
Clip buffer level to the maximum buffer size in CBR

The buffer level was able to increase indefinitely rather than
being clipped to the maximum buffer size specified by the user.

This change checks the buffrer level and prevents it from
going beyond the upper limit of the buffer.

Change-Id: Ifff55f79d3c018e4d3d77e554b11ada543cc1654

12 years agoMerge "fixed the scaling in 8x8 trellis quant" into experimental
Yaowu Xu [Thu, 17 Nov 2011 14:55:43 +0000 (14:55 +0000)]
Merge "fixed the scaling in 8x8 trellis quant" into experimental

12 years agofixed the scaling in 8x8 trellis quant
Yaowu Xu [Fri, 11 Nov 2011 05:14:45 +0000 (21:14 -0800)]
fixed the scaling in 8x8 trellis quant

This commit has a few minor fixes to the 8x8 trellis quant, so to
make it work regardless if extend_qrange is enabled or not. It also
borrowed adaptive RDMULT constants from 4x4 trellis that was missed
in the 8x8 trellis quant.

Change-Id: I60d7769071f102c699b5084597e62bca87a1f759

12 years agoHeader inclusion for Unix build
Paul Wilkins [Wed, 16 Nov 2011 10:34:47 +0000 (10:34 +0000)]
Header inclusion for Unix build

Explicit inclusion of limits.h to satisfy unix build for definition of INT_MAX.
Some commented out code removed.

Change-Id: I5b5980dfaa9b4d2d12bfd729cfd35bd982106908

12 years agoMerge CONFIGURE_SEGMENTATION experiment.
Paul Wilkins [Tue, 15 Nov 2011 16:15:23 +0000 (16:15 +0000)]
Merge CONFIGURE_SEGMENTATION experiment.

Removal of CONFIGURE_SEGMENTATION ifdefs.

Removal of legacy support code fo the old coding mechanism.

Use local reference "xd" for MACROBLOCKD structure in
encode_frame_to_data_rate()

Moved call to choose_segmap_coding_method() out of encode
loop as the cost of segmentation is not properly accounted
in the loop anyway. If this is desirable in the future it
can be moved back. The use of this function to do all the
analysis and set the probabilities also removes the need
to track segment useage in threading code.

Change-Id: I85bc8fd63440e7176c73d26cb742698f9b70cade

12 years agoFurther clean up of Segmentation experiment code
Paul Wilkins [Tue, 15 Nov 2011 15:22:26 +0000 (15:22 +0000)]
Further clean up of Segmentation experiment code

Changed name and sense of segment_flag to "seg_id_predicted"
Added some additional comments and retested.

I also did some experimentation with a spatial prediction option
using a similar strategy to the temporal mode implemented.
This helps in some cases where temporal prediction is bad but
I suspect there is more overlap here with work on a larger scale
block structure and spatial correlation will likely be better
handled through that mechanism.

Next check in will remove #ifdefs and legacy mode code.

Change-Id: I3b382b65ed2a57bd7775ac0f3a01a9508a209cbc

12 years agoFurther work on Segmentation Experiment:
Paul Wilkins [Tue, 15 Nov 2011 11:13:33 +0000 (11:13 +0000)]
Further work on Segmentation Experiment:

This check in includes quite a lot of clean up and refactoring.

Most of the analysis and set up for the different coding options for the
segment map (currently simple distribution based coding or temporaly
predicted coding), has been moved to one location (the function
choose_segmap_coding_method() in segmenation.c). This code was previously
scattered around in various locations making integration with other
experiments and modification / debug more difficult.

Currently the functionality is as it was with the exception that the
prediction probabilities are now only transmitted when the temporal
prediction mode is selected.

There is still quite a bit more clean up work that will be possible
when the #ifdef is removed. Also at that time I may rename and alter
the sense of macroblock based variable "segment_flag" which indicates
(1 that the segmnet id is not predicted vs 0 that it is predicted).

I also intend to experiment with a spatial prediction mode that can be
used when coding a key frame segment map or in cases where temporal
prediction does not work well but there is spatial correlation.

In a later check in when the ifdefs have gone I may also move the call
to choose_segmap_coding_method() to just before where the bitsream is
packed (currently it is in vp8_encode_frame()) to further reduce the
possibility of clashes with other experiments and prevent it being called
on each itteration of the recode loop.

Change-Id: I3d4aba2a2826ec21f367678d5b07c1d1c36db168

12 years agoSegmentation experiment:
Paul Wilkins [Fri, 11 Nov 2011 18:08:06 +0000 (18:08 +0000)]
Segmentation experiment:

Added last_segmentation_map[] structure
to keep track of what we had before when
doing temporal prediction. With this change
the existing code does once again appear to
be giving a decodable bitstream for both
temporal and standard prediction modes.
However, it is still somewhat messy and
confused and there is no option to take
advantage of spatial prediction so it could
do with further work.

Some housekeeping / clean out.

Change-Id: I368258243f82127b81d8dffa7ada615208513b47

12 years agoSEGMENTATION experiment:
Paul Wilkins [Fri, 11 Nov 2011 10:10:06 +0000 (10:10 +0000)]
SEGMENTATION experiment:

Some initial cleanup to aid testing and debug.

Pull code to choose temporal or spatial encoding
out of encodeframe.c into a dedicated function
in segmentation.c.

For now disable broken temporal mode.

Move the coding of "temporal_update" flag and
only transmit if segment map update is indicated.

Rename the functions read_mb_features() and
write_mb_features() to read_mb_segid() and
read_mb_segid() as they only read and write
the macroblock segment id not any of the
features.

Change-Id: Ib75118520b1144c24d35fdfc6ce46106803cabcf

12 years agochanged function name for clarity
Yaowu Xu [Thu, 10 Nov 2011 20:54:22 +0000 (12:54 -0800)]
changed function name for clarity

The dequantizer functions for 2nd order haar block had confusing 8x8
in their names. this commit fixed their name to avoid confusion.

Change-Id: I6ae4e7888330865f831436313637d4395b1fc273

12 years agoMerge "fixed the decoder when using 8x8 transform" into experimental
Yaowu Xu [Fri, 11 Nov 2011 15:38:42 +0000 (15:38 +0000)]
Merge "fixed the decoder when using 8x8 transform" into experimental

12 years agoMake 8x8 and extend_qrange to work together
Yaowu Xu [Thu, 10 Nov 2011 20:54:22 +0000 (12:54 -0800)]
Make 8x8 and extend_qrange to work together

This commit added scaling factors to 8x8 transform, quant, dequant and
inverse transform pipeline to make 8x8 transform to work when configed
with enable-extend_qrange. This commit also disabled the trellis-quant
when extend_qrange is configured.

Change-Id: Icfb3192e4746f70a4bb35ad18b7b47705b657e52

12 years agofixed the decoder when using 8x8 transform
Yaowu Xu [Fri, 11 Nov 2011 01:15:06 +0000 (17:15 -0800)]
fixed the decoder when using 8x8 transform

updated the decode_macroblock logic to reflect that 8x8 transform is
not used for "SPLITMV". Also fixed an issue where 2nd order haar block
has wrong dequant/idct process.

Change-Id: I1e373f6535c009dfec503b6362c8a5cfc196e1da

12 years agoMerge "scaled the threshold for 2nd order coefficient reset" into experimental
Yaowu Xu [Thu, 10 Nov 2011 16:34:36 +0000 (16:34 +0000)]
Merge "scaled the threshold for 2nd order coefficient reset" into experimental

12 years agoscaled the threshold for 2nd order coefficient reset
Yaowu Xu [Thu, 10 Nov 2011 15:40:44 +0000 (07:40 -0800)]
scaled the threshold for 2nd order coefficient reset

extend_qrange introduces a different scaling factor, this commit takes
the scaling difference into account for reset 2nd order coefficients.

Change-Id: Ie58bca9f52698fa759e3f88da2aa4d82630fa91a

12 years agoMerge "T8x8 experiment merge." into experimental
Paul Wilkins [Thu, 10 Nov 2011 09:37:26 +0000 (09:37 +0000)]
Merge "T8x8 experiment merge." into experimental

12 years agoMerge "fixed an encoder bug" into experimental
Yaowu Xu [Thu, 10 Nov 2011 00:43:12 +0000 (00:43 +0000)]
Merge "fixed an encoder bug" into experimental

12 years agofixed an encoder bug
Yaowu Xu [Thu, 10 Nov 2011 00:03:23 +0000 (16:03 -0800)]
fixed an encoder bug

the bug caused the encoder to produce invalid bitstream when configured
with enable_extend_qrange.

Change-Id: I1e81c48b13359d0043cbbd480e679380a2da117c

12 years agoT8x8 experiment merge.
Paul Wilkins [Wed, 9 Nov 2011 14:05:28 +0000 (14:05 +0000)]
T8x8 experiment merge.

For ease of testing and merging experiments I have
removed in line code in encode_frame() that assigns
MBs to be t8x8 or t4x4 coded segments and have
moved the decision point and segment setup to
the init_seg_features0 test function.

Keeping everything in one place helps make sure
for now that experiments using segmentation are
not fighting each other.

Also made sure mode selection code can't choose 4x4
modes if t8x8 is selected.

Patch2: In init_seg_features() add checks
for SEG_LVL_TRANSFORM active.

Change-Id: Ia1767edd99b78510011d4251539f9bc325842e3a

12 years agoMerging and testing of SEGMENTATION experiment.
Paul Wilkins [Tue, 8 Nov 2011 15:40:32 +0000 (15:40 +0000)]
Merging and testing of SEGMENTATION experiment.

Removed code in #if CONFIG_SEGMENTATION that
enables segmentation and creates a test segmentation
map, to avoid conflicts with the other segmentation test
code,

Change-Id: I7a21a44ed188b814cd80b30dd628c62474eba730

12 years agoSegmentation feature logic fix.
Paul Wilkins [Thu, 3 Nov 2011 17:45:27 +0000 (17:45 +0000)]
Segmentation feature logic fix.

Bug fix to logic in vp8_pick_inter_mode() and
vp8_rd_pick_inter_mode().

The block on the use of segment features
for the cm->refresh_alt_ref_frame case
was just for testing and is not correct.

The special case code for alt ref can
be re-enabled as an else clause.

Change-Id: Ic9b57cdb5f04ea7737032b8fb953d84d7717b3ce

12 years agomake debug match release build on win32 with 8x8 transform enabled
Yaowu Xu [Wed, 9 Nov 2011 04:05:17 +0000 (20:05 -0800)]
make debug match release build on win32 with 8x8 transform enabled

The 8x8 forward transform makes use of floating operations, therefore
requires emms call to reset mmx registers to correct state. Without
the resets, the 8x8 forward transform results are indefinite on win32
platform.

Change-Id: Ib5b71c3213e10b8a04fe776adf885f3714e7deb1

12 years agoAttempt to fix an issue related to 8x8 transform and segfeature
Yaowu Xu [Sat, 5 Nov 2011 02:08:51 +0000 (19:08 -0700)]
Attempt to fix an issue related to 8x8 transform and segfeature

logically this commit should NOT change anything, but seems to help
revert the 3DB loss on bowing in the following commit:

https://on2-git.corp.google.com/g/#change,6193

This is still debugging in progress. Need further investigation to
understand the root cause of the issue.

Change-Id: I0b49d1ef3a311dfff58c6acd3eaebdb3bda6257c

12 years agoSegment signaling of TX size
Paul Wilkins [Fri, 4 Nov 2011 18:29:51 +0000 (18:29 +0000)]
Segment signaling of TX size

Initial attempt at using new segment feature signaling
to indicate 4x4 or 8x8 transform.

needs --enable-experimental --enable-t8x8

Note this is work in progress.

Change-Id: Ib160d46a5d810307bfcbc79853ce1a65b5b870b7

12 years agoMerge "Added context reset when 2nd order coefficients are cleared" into experimental
Yaowu Xu [Fri, 4 Nov 2011 16:25:15 +0000 (16:25 +0000)]
Merge "Added context reset when 2nd order coefficients are cleared" into experimental

12 years agoSegment Features with 8x8DCT.
Paul Wilkins [Fri, 4 Nov 2011 10:59:54 +0000 (10:59 +0000)]
Segment Features with 8x8DCT.

Temporary check in to turn off other segment features
tests when #if CONFIG_T8X8 is set as the assignment of
MBs to differnt segments in each case  will conflict.

The 8x8 code will be modified to use the new segment
feature method properly in a later check in.

Increase bits allowed for EOB end stop marker to 6 ready
for 8x8.

Change-Id: I4835bc8d3bf98e1775c3d247d778639c90b01f7f

12 years agoSegment Feature Data Access
Paul Wilkins [Thu, 3 Nov 2011 16:58:26 +0000 (16:58 +0000)]
Segment Feature Data Access

No change to functionality or output.

Updates to the segment feature data structure now all done
through functions such as set_segdata() and get_segdata()
in seg_common.c.

The reason for this is to make changing the structures (if needed)
and debug easier.

In addition it provides a single location for subsequent addition
of range and validity checks. For  example valid combination of
mode and reference frame.

Change-Id: I2e866505562db4e4cb6f17a472b25b4465f01add

13 years agomake uv intra mode coding adaptive to Y mode
Yaowu Xu [Thu, 4 Aug 2011 23:30:27 +0000 (16:30 -0700)]
make uv intra mode coding adaptive to Y mode

This commit tries to do UV intra mode coding adaptive to Y intra mode.
Entropy context is defined as conditional PDF of uv intra mode given
the Y mode. All constants are normalized with 256 to be fit in 8 bits.

This provides further coding efficiency beyond the quantizer adaptive
y intra mode coding. Consistent gains were observed on all clips and
all bit rates for HD all key encoding tests.

To test, configure with
--enable-experimental --enable-uvintra

Change-Id: I2d78d73f143127f063e19bd0bac3b68c418d756a

13 years agoAdded context reset when 2nd order coefficients are cleared
Yaowu Xu [Thu, 3 Nov 2011 23:05:29 +0000 (16:05 -0700)]
Added context reset when 2nd order coefficients are cleared

As discovered in path 10 of Change Ia12acd2f, reset 2nd order coeffs
without reset of above and left coding context may have introduced
problem that causes encoder/decoder mismatching. This commit added
update to coding context when the 2nd coefficients are cleared.

In addition, this commit also introduced early breakout in the checks
to speed up when coefficients are too significant to be cleared.

Change-Id: I85322a432b11e8af85001525d1e9dc218f9a0bd6

13 years agoSegment Features. Removal of #ifdefs
Paul Wilkins [Thu, 3 Nov 2011 12:50:09 +0000 (12:50 +0000)]
Segment Features. Removal of #ifdefs

Removal of configure #ifdefs so that segment features
always available. Removal of code supporting old
segment feature method.

Still a good deal of tidying up to do.

Change-Id: I397855f086f8c09ab1fae0a5f65d9e06d2e3e39f

13 years agoMerge "Segmentation: Reference frames" into experimental
Paul Wilkins [Thu, 3 Nov 2011 12:58:43 +0000 (12:58 +0000)]
Merge "Segmentation: Reference frames" into experimental

13 years agoMerge "Change to prevent encoding of effect-less 2nd order coefficients" into experim...
Paul Wilkins [Wed, 2 Nov 2011 14:48:17 +0000 (14:48 +0000)]
Merge "Change to prevent encoding of effect-less 2nd order coefficients" into experimental

13 years agoSegmentation: Reference frames
Paul Wilkins [Wed, 2 Nov 2011 13:30:10 +0000 (13:30 +0000)]
Segmentation: Reference frames

Modify reference frame segmentation so that ONE or MORE
reference frames may be marked as a available for a given
segment.

Fixed bugs relating to segment coding of INTRA and some
INTER modes at the segment level.

Modified Q boost for static areas based on ambient average Q.

Strong results now on clips with significant static areas.
(some data points in derf set as high as 9% and some static &
slide show type content in YT set > 20%)

Change-Id: Ia79f912efa84b977f35a23683ae3643251e24f0c

13 years agoDeleted repeated code block
Adrian Grange [Tue, 1 Nov 2011 15:41:43 +0000 (08:41 -0700)]
Deleted repeated code block

The block of code skipped testing the current mode if the
reference frame is AltRef, the mv is not (0,0) and
ARNR filtering is disabled.

This block of code has already been tested above if the
macro CONFIG_SEGFEATURES is set to 0.

Change-Id: I3f5710bb8270caad06c9a0eee59fa0daf1f70776

13 years agoFixed this_mode used before set in vp8_pick_inter_mode
Adrian Grange [Mon, 31 Oct 2011 19:42:00 +0000 (12:42 -0700)]
Fixed this_mode used before set in vp8_pick_inter_mode

The variable this_mode was being used before it had been
initialized.

Moved the line that sets-up this_mode toward the top of the
enclosing loop, prior to its first use. The bug would result in
tests in the loop lagging the mode that was expected to be
tested.

Change-Id: If4e51600449ce6b4285f112da17a44c24b4a19fb

13 years agoSegmentation Entropy and tweaks.
Paul Wilkins [Fri, 28 Oct 2011 14:27:23 +0000 (15:27 +0100)]
Segmentation Entropy and tweaks.

Some correction for entropy impact of segment signaled (EOB and ref frame)

Other slight tweaks.

Derf VBR average gain now over 1% (best over 7%)
One YT test clip has gains of circa 30% (VBR)

There is still an issue with noisy clips where making the background static
and coded with 0,0 can have a negative effect, especially at low Q.
This is probably because of the loss of smoothing by fractional pixel filters.

Change-Id: I7a225613c98067b96f8fc7a7e36f95d465b2b834

13 years agoResolve build problem
Paul Wilkins [Thu, 27 Oct 2011 11:35:36 +0000 (12:35 +0100)]
Resolve build problem

Resolved experimental branch build problem when seg_features not configured.

Change-Id: Ia0f9b460a26dc3eac9844ee595a7b196e9faf6a5

13 years agoChange to prevent encoding of effect-less 2nd order coefficients
Yaowu Xu [Tue, 25 Oct 2011 17:25:02 +0000 (10:25 -0700)]
Change to prevent encoding of effect-less 2nd order coefficients

similar logic to http://gerrit.chromium.org/gerrit/#change,10359

Change-Id: Ia12acd2f2b3b92ef2a601da43c2497034ef62174

13 years agoMerge "added a last stage rounding for 8x8 inverse dct" into experimental
Yaowu Xu [Tue, 25 Oct 2011 16:08:51 +0000 (16:08 +0000)]
Merge "added a last stage rounding for 8x8 inverse dct" into experimental

13 years agoadded a last stage rounding for 8x8 inverse dct
Yaowu Xu [Fri, 14 Oct 2011 16:58:35 +0000 (09:58 -0700)]
added a last stage rounding for 8x8 inverse dct

Prior to the added rounding, tests on randomly generated data showed
that forward-inverse transform round trip errors are about 3.02/block
for input range [-10,10] and 2.68/block for input range [-256, 255].
The added rounding reduced the errors to 0.031/block for input range
[-10,10] and 0.037/block for input range [-256, 255].

Maximum round trip error on for any pixel position is 1.

The average errors are calculated based on 100,000 blocks of randomly
with the specified ranges.

Paul mentioned in discussion that the change was not clear on why we
need change the rounding, so Patch 2 intends to make the rationale
obvious in code, it merged the two separate shifts into one, and the
two separate rounding factors into one. Patch 1 and 2 have same
numerical test results.

Change-Id: Ic5e2f5463de17253084d8b2398c4a210194b20de

13 years agoSegmentation Features;
Paul Wilkins [Fri, 7 Oct 2011 15:58:28 +0000 (16:58 +0100)]
Segmentation Features;

Only encode sign bit for feature data that can have a sign.

Tweaks to the test segmentation rules so that it now actually gives
a net benefit on the derf set of about 0.4% though much higher
on some clips at the low end.

Change-Id: I8e61f1aebf41c9037db7e67e2f8975aa18a0c986

13 years agoFurther segment feature extensions.
Paul Wilkins [Wed, 5 Oct 2011 10:26:00 +0000 (11:26 +0100)]
Further segment feature extensions.

This quite large check in includes the following:

Merge in some code from Ronald (mbgraph.c) that scans a Gf/arf group.
This is used as a basis for a simple segmentation for the normal frames
in a gf/arf group. This code also uses satd functions from Yaowu.

Adds functionality for coding the latest possible position of an EOB for
blocks in the segment. (Currently 0-15 only, hence just for 4x4 dct).
Where the EOB position is 0 this acts like "skip" and the normal coding
of skip at the per mb level is disabled.

Added functions (seg_common.c) for setting and reading segment feature
elements. These may want to be optimized away at some point but while the
mecahnism is in a state of flux they provide a single location for making
changes and keep things a bit cleaner.

This is still proof of concept code. Currently the tested feature set:-

Quantizer,
Loop Filter level,
Reference frame,
Prediction Mode,
EOB end stop.

TBD:-

Add functions for setting and reading the feature data with range
and validity checking.

Handling of signed and unsigned feature data. At the moment all is assumed
to be signed and a sign bit is coded but many cannot be negative.

Correct handling of EOB feature with intra coded blocks.

Testing/trapping of legal/illegal ref frame and mode combinations.

Transform size switch plus merge and test with 8c8 DCT work

Merge and test with Sumans Segmenation coding optimizations

Change-Id: Iee12e83661c7abbd1e0ce6810915eb4ec35e2d8e

13 years agofixed the wrong rounding in inverse haar transform
Yaowu Xu [Wed, 12 Oct 2011 17:49:49 +0000 (10:49 -0700)]
fixed the wrong rounding in inverse haar transform

Given the current forward haar transform:
 f0 = I0 + I1 + I2 + I3
 f1 = I0 + I1 - I2 - I3
 f2 = I0 - I1 + I2 - I3
 f3 = I0 - I1 - I2 + I3
the output of the inverse haar prior rounding:
 i0 = f0 + f1 + f2 + f3 = I0 * 4;
 i1 = f0 + f1 - f2 - f3 = I1 * 4;
 i2 = f0 - f1 + f2 - f3 = I2 * 4;
 i3 = f0 - f1 - f2 + f3 = I3 * 4;
As all the numbers are 4 multiples, simply >>2 always produces prefect
results in term of forward-inverse transform round trip error.

Change-Id: Id6658b00ea819ee61cfeef8c5985d4cd3e77f44e

13 years agofixed a decoder bug
Yaowu Xu [Sat, 8 Oct 2011 22:48:53 +0000 (15:48 -0700)]
fixed a decoder bug

When 8x8 transform is enabled, the decoder does an extra reconstruct
on MBs that are coded using 8x8. This commit fixed the logic around
the decoding of mb encoded with 8x8 transform.

Change-Id: I6926557c9ef00eecb375f62946f7e140c660bf6f

13 years agoSegment coding of mode and reference frame.
Paul Wilkins [Fri, 30 Sep 2011 15:45:16 +0000 (16:45 +0100)]
Segment coding of mode and reference frame.

Proof of concept test code that encodes mode and reference
frame data at the segment level.

Decode-able bit stream but some issues not yet resolved.
As it this helps a little on a couple of clips but hurts on most as
the basis for segmentation is unsound.

To build and test, configure with
--enable-experimental --enable-segfeatures

Change-Id: I22a60774f69273523fb152db8c31f4b10b07c7f4

13 years agoExperimental: segfeature added.
Paul Wilkins [Fri, 30 Sep 2011 15:08:37 +0000 (16:08 +0100)]
Experimental: segfeature added.

New setting added to configure script

13 years agoMerge remote branch 'internal/upstream-experimental' into HEAD
John Koleszar [Thu, 22 Sep 2011 04:05:08 +0000 (00:05 -0400)]
Merge remote branch 'internal/upstream-experimental' into HEAD

13 years agoMerge remote branch 'internal/upstream' into HEAD
John Koleszar [Wed, 21 Sep 2011 04:05:04 +0000 (00:05 -0400)]
Merge remote branch 'internal/upstream' into HEAD

13 years agoMerge remote branch 'origin/master' into experimental
John Koleszar [Wed, 21 Sep 2011 04:05:04 +0000 (00:05 -0400)]
Merge remote branch 'origin/master' into experimental

Change-Id: I4e515276d197e1dfb1f3e75edfa9823d08c9b366

13 years agoMerge remote branch 'internal/upstream-experimental' into HEAD
John Koleszar [Wed, 21 Sep 2011 04:05:04 +0000 (00:05 -0400)]
Merge remote branch 'internal/upstream-experimental' into HEAD

13 years agoReduce grep match when generating offset files.
Fritz Koenig [Tue, 20 Sep 2011 22:36:44 +0000 (15:36 -0700)]
Reduce grep match when generating offset files.

Search for the word EQU so that extraneous
symbols are not matched.

Change-Id: Ice6c9ca886211e2ca8a2f5174bdd4103db5c4989

13 years agoMove neon only arm functions under arm/neon.
Fritz Koenig [Tue, 20 Sep 2011 17:51:06 +0000 (10:51 -0700)]
Move neon only arm functions under arm/neon.

These files don't contain generic arm code, so should
only be compiled by neon.

Change-Id: Ie712823aa04d4235e7cfe7a3b725e73ee4c3e564

13 years agoMerge "NEON FDCT updated to match current C code"
Johann [Tue, 20 Sep 2011 16:51:05 +0000 (09:51 -0700)]
Merge "NEON FDCT updated to match current C code"

13 years agoMerge "NEON walsh transform updated to match C"
Johann [Tue, 20 Sep 2011 16:50:42 +0000 (09:50 -0700)]
Merge "NEON walsh transform updated to match C"

13 years agoMerge "Updated ARMv6 forward transforms to match C"
Johann [Tue, 20 Sep 2011 16:50:36 +0000 (09:50 -0700)]
Merge "Updated ARMv6 forward transforms to match C"

13 years agoMerge "Fixed armv5te multiplications"
Johann [Tue, 20 Sep 2011 16:50:19 +0000 (09:50 -0700)]
Merge "Fixed armv5te multiplications"

13 years agoNEON FDCT updated to match current C code
Tero Rintaluoma [Mon, 19 Sep 2011 07:10:49 +0000 (10:10 +0300)]
NEON FDCT updated to match current C code

- Removed fast_fdct4x4_neon and fast_fdct8x4_neon
- Uses now short_fdct4x4 and short_fdct8x4
- Gives ~1-2% speed-up on Cortex-A8/A9

Change-Id: Ib62f2cb2080ae719f8fa1d518a3a5e71278a41ec

13 years agoFixed armv5te multiplications
Tero Rintaluoma [Mon, 19 Sep 2011 07:59:52 +0000 (10:59 +0300)]
Fixed armv5te multiplications

Rd and Rm registers should be different in 'mul'. This register
combination results in unpredictable behaviour. GCC will give
a warning and RVCT an error in this case.

Restriction applies only to armv5 targets and not for armv6 and above.

Change-Id: I378d17c51e1f16a6820814fbed43e115aaabb03e

13 years agoMerge remote branch 'origin/master' into experimental
John Koleszar [Tue, 20 Sep 2011 04:05:04 +0000 (00:05 -0400)]
Merge remote branch 'origin/master' into experimental

Change-Id: I717768a6b248bd4ae3a96f711287758ba78a384a

13 years agoMerge remote branch 'internal/upstream' into HEAD
John Koleszar [Tue, 20 Sep 2011 04:05:04 +0000 (00:05 -0400)]
Merge remote branch 'internal/upstream' into HEAD

13 years agoFix necessary for input partitions iface to match the RTP profile
Stefan Holmer [Tue, 6 Sep 2011 12:34:36 +0000 (14:34 +0200)]
Fix necessary for input partitions iface to match the RTP profile

These changes fixes a glitch between the RTP profile and the input
partitions interface. Since there's no way for the user to know the
actual number of partitions, the decoder have to read the
multi_token_paritition bits also when input partitions mode is
enabled.

Included are also a couple of fixes for issues with independent
partitions and uninitialized memory reads.

Change-Id: I6f93b15287d291169ed681898ed3fbcc5dc81837

13 years agoUpdated ARMv6 forward transforms to match C
Tero Rintaluoma [Mon, 19 Sep 2011 07:24:02 +0000 (10:24 +0300)]
Updated ARMv6 forward transforms to match C

- Updated walsh transform to match C
  (based on Change Id24f3392)
- Changed fast_fdct4x4 and 8x4 to short_fdct4x4 and 8x4
  correspondingly

Change-Id: I704e862f40e315b0a79997633c7bd9c347166a8e

13 years agoNEON walsh transform updated to match C
Tero Rintaluoma [Mon, 19 Sep 2011 07:15:33 +0000 (10:15 +0300)]
NEON walsh transform updated to match C

Modified original patch If2f07220885c4c3a0cae0dace34ea0e36124f001
according to comments. Scheduled code a little bit to prevent some
interlocks.

Change-Id: I338f02b881098782f82af63d97f042b85e63e902

13 years agoMerge remote branch 'internal/upstream-experimental' into HEAD
John Koleszar [Sun, 18 Sep 2011 04:05:06 +0000 (00:05 -0400)]
Merge remote branch 'internal/upstream-experimental' into HEAD

13 years agoMerge remote branch 'origin/master' into experimental
John Koleszar [Sat, 17 Sep 2011 04:05:04 +0000 (00:05 -0400)]
Merge remote branch 'origin/master' into experimental

Change-Id: I83fd03ca0970314c81e834857cbd911dffa9a9de

13 years agoMerge remote branch 'internal/upstream' into HEAD
John Koleszar [Sat, 17 Sep 2011 04:05:04 +0000 (00:05 -0400)]
Merge remote branch 'internal/upstream' into HEAD

13 years agoMerge remote branch 'internal/upstream-experimental' into HEAD
John Koleszar [Sat, 17 Sep 2011 04:05:04 +0000 (00:05 -0400)]
Merge remote branch 'internal/upstream-experimental' into HEAD

13 years agoenable selecting&transmitting to for intra mode entropy
Yaowu Xu [Wed, 31 Aug 2011 19:01:58 +0000 (12:01 -0700)]
enable selecting&transmitting to for intra mode entropy

This commit added a 3 bit index to the bitstream, the index is used to
look into the intra mode coding entropy context table. The commit uses
the mode stats to calculate the cost of transmitting modes using 8
possible entropy distributions, and selects the distribution that
provides the lowest cost to do the actual mode coding.

Initial test show this provides additional .2%~.3% gain over quantizer
adaptive intra mode coding. So the adaptive intra mode coding provides
a total of .5%(psnr) to .6% gain(ssim) combined for all-key-encoding

To build and test, configure with
--enable-experimental --enable-qimode

Change-Id: I7c41cd8bfb352bc1fe7c5da1848a58faea5ed74a

13 years agoadd quantizer adaptive intra mb mode encoding
Yaowu Xu [Thu, 4 Aug 2011 23:30:27 +0000 (16:30 -0700)]
add quantizer adaptive intra mb mode encoding

make intra mode coding entropy distribution adaptive to baseQindex, an
encoding test on hd clips with all key frame shows universal gain on
all clips in both .2%(psnr) and (ssim).3%.

To build and test, configure with
--enable-experimental --enable-qimode

Change-Id: Iaa69241b984d4fdd8baa6d77ee78c0140f5ac00a

13 years agoadd 8x8 intra prediction modes
Yaowu Xu [Thu, 4 Aug 2011 23:30:27 +0000 (16:30 -0700)]
add 8x8 intra prediction modes

Patch 1 to Patch 3 is an initial implementation of 8x8 intra prediction
modes, here are with the following assumptions:
a. 8x8 has 4 prediction modes DC, H, V and TM
b. UV 4x4 block use the same mode as corresponding 8x8 area
c. i8x8 modes are enabled for key frame only for now
Patch 4:
d. removed debug code from previous patches
Patch 5:
e. added stats code to collect entropy stats and further cleaned up
Patch 6:
f. changed mode stats code to collect finer stats of modes
Patch 7:
g. normalized i8x8 modes distribution to total at 256 (8bits).
Patch 8:
h. fixed a bug in decoder and removed debug printf output.
Patch 9:
i. more cleanups to address paul's comment
Patch 10:
j. messy rebase/merges to bring the commit up to date.

Tests on HD clips encoded with all key frame showing consistent gain
on all clips and all metrics:~0.5%(psnr) and 0.6%(ssim):
http://www.corp.google.com/~yaowu/no_crawl/i8x8hd_allkey_fixedq.html

To build and test, configure with:
--enable-experimental --enable-i8x8

Change-Id: I9813fe07ae48cab5fdb5d904bca022514ad01e7f

13 years agoMerge "Fixes the boundary checks for extrapolated and interpolated MVs."
John Koleszar [Fri, 16 Sep 2011 15:09:44 +0000 (08:09 -0700)]
Merge "Fixes the boundary checks for extrapolated and interpolated MVs."

13 years agoMerge remote branch 'internal/upstream' into HEAD
John Koleszar [Fri, 16 Sep 2011 13:22:29 +0000 (09:22 -0400)]
Merge remote branch 'internal/upstream' into HEAD

Conflicts:
vp8/decoder/decodframe.c
vp8/encoder/encodeframe.c
vp8/encoder/encodemb.c

Change-Id: I6e0d1669e4409a2dfd73ba2c7038d730842d3953

13 years agoMerge remote branch 'internal/upstream-experimental' into HEAD
John Koleszar [Fri, 16 Sep 2011 12:54:15 +0000 (08:54 -0400)]
Merge remote branch 'internal/upstream-experimental' into HEAD

13 years agoMerge remote branch 'origin/master' into experimental
John Koleszar [Fri, 16 Sep 2011 12:53:05 +0000 (08:53 -0400)]
Merge remote branch 'origin/master' into experimental

Change-Id: I20df6781013786cbf56ded31e1c726de6c34bc42

13 years agoFixes the boundary checks for extrapolated and interpolated MVs.
Stefan Holmer [Tue, 23 Aug 2011 09:01:14 +0000 (11:01 +0200)]
Fixes the boundary checks for extrapolated and interpolated MVs.

Change-Id: I5b47d39d1604f2650d2f2d1ca2a3f40843c8e1ea

13 years agoSegment Feature Signaling
Paul Wilkins [Wed, 14 Sep 2011 17:20:25 +0000 (18:20 +0100)]
Segment Feature Signaling

Plumbing for tuning new segment features on and off.

Change-Id: If86cd6f103296b73030e8af7cf85c5b9bbffdbaf

13 years agoMerge "Fix odd-sized image support in decoder examples"
John Koleszar [Wed, 14 Sep 2011 15:39:04 +0000 (08:39 -0700)]
Merge "Fix odd-sized image support in decoder examples"