Add improvements made in good-quality mode to real-time mode

Several improvements we made in good-quality mode can be added
into real-time mode to speed up encoding in speed 1, 2, and 3
with small quality loss. Tests using tulip clip showed:

--rt --cpu-used=-1
(before change)
PSNR: 38.028
time: 1m33.195s
(after change)
PSNR: 38.014
time: 1m20.851s

--rt --cpu-used=-2
(before change)
PSNR: 37.773
time: 0m57.650s
(after change)
PSNR: 37.759
time: 0m54.594s

--rt --cpu-used=-3
(before change)
PSNR: 37.392
time: 0m42.865s
(after change)
PSNR: 37.375
time: 0m41.949s

Change-Id: I76ab2a38d72bc5efc91f6fe20d332c472f6510c9

Merge "Reduce motion vector search on alt-ref frame."

Merge "Remove rotting NDS_NITRO code."

Merge "update x86 asm for loopfilter"

Merge "Update armv6 loopfilter to new interface"

Merge "Update armv7 loopfilter to new interface"

Merge "New loop filter interface"

Remove rotting NDS_NITRO code.

Code has not been used and is no longer relevant.

Change-Id: I38590513da7c7a436804ff8a1a3805d9697f575d

Update armv6 loopfilter to new interface

Change-Id: I5fe581d797571a7a9432fbd17fc557591d0c1afa

Update armv7 loopfilter to new interface

Change-Id: I65105a9c63832669237e6a6a7fcb4ea3ea683346

Reduce motion vector search on alt-ref frame.

Clamp mv search to accomodate subpixel filtering
of UV mv.

Change-Id: Iab3ed405993ef6bf779ad7cf60863153068fb7d1

Minor change in pick_inter_mode()

Scott suggested to move vp8_mv_pred() under "case NEWMV" to save
extra checks.

Change-Id: I09e69892f34a08dd425a4d81cfcc83674e344a20

Merge "Adjust full-pixel clamping and motion vector limit calculation"

Adjust full-pixel clamping and motion vector limit calculation

Do mvp clamping in full-pixel precision instead of 1/8-pixel
precision to avoid error caused by right shifting operation.
Also, further fixed the motion vector limit calculation in change:
b7480454706a6b15bf091e659cd6227ab373c1a6

Change-Id: Ied88a4f7ddfb0476eb9f7afc6ceeddbf209fffd7

update x86 asm for loopfilter

Change-Id: I1ed739522db7c00c189851c7095c1b64ef6412ce

Merge "clean up warnings when building arm with rtcd"

New loop filter interface

Separate simple filter with reduced no. of parameters.
MB filter level picking based on precalculated table. Level table updated for
each frame. Inside and edge limits precalculated and updated just when
sharpness changes. HEV threshhold is constant.
ARM targets use scalars and others vectors.

Change works only with --target=generic-gnu
All other targets have to be updated!

Change-Id: I6b73aca6b525075b20129a371699b2561bd4d51c

Merge "Set VPX_FRAME_IS_DROPPABLE"

Set VPX_FRAME_IS_DROPPABLE

Allow the encoder to inform the application that the encoded frame will not
be used as a reference.

Change-Id: I90e41962325ef73d44da03327deb340d6f7f4860

Merge "Properly use GET_GOT/RESTORE_GOT when using GLOBAL()."

Properly use GET_GOT/RESTORE_GOT when using GLOBAL().

This should fix binaries using PIC on x86-32. Also should
fix issue 343.

Change-Id: I591de3ad68c8a8bb16054bd8f987a75b4e2bad02

Merge "Copy macroblock data to a buffer before encoding it"

Merge "Bug fix in motion vector limit calculation"

Bug fix in motion vector limit calculation

Motion vector limits are calculated using right shifts, which
could give wrong results for negative numbers. James Berry's
test on one clip showed encoder produced some artifacts. This
change fixed that.

Change-Id: I035fc02280b10455b7f6eb388f7c2e33b796b018

Merge "remove incorrect initialization"

Merge "guard against space/time distortion"

guard against space/time distortion

and divide by 0 errors

Change-Id: I8af5ca3d0913cb6f278fff754f8772bcb62e674a

Merge "Change to arf boost calculation."

Change to arf boost calculation.

In this commit I have added an experimental function
that tests prediction quality either side of a central position
to calculate a suggested boost number for an ARF frame.

The function is passed an offset from the current position and
a number of frames to search forwards and backwards.
It returns a forward, backward and compound boost number.

The new code can be deactivated using #define NEW_BOOST 0

In its current default state the code searches forwards and backwards
from the proposed  position of the next alt ref.

The the old code used a boost number calculated by scanning forward
from the previous GF up to the proposed alt ref frame position.

I have also added some code to try and prevent placement of a gf/arf
where there is a brief flash.

Change-Id: I98af789a5181148659f10dd5dd2ff2d4250cd51c

remove incorrect initialization

Values were set, then reset. Only set them once.

Change-Id: Iaf43c8467129f2f261f04fa9188b603aa46216b5

clean up warnings when building arm with rtcd

Change-Id: I3683cb87e9cb7c36fc22c1d70f0799c7c46a21df

vpxenc: prevent wraparound in the --rate-hist ringbuffer

For clips that are near 60fps and have a lot of alt refs, it's possible
that the ring buffer holding the previous frames sizes/pts could wrap
around, leading to a division by zero.

In addition to checking for this condition in the ring buffer loop,
the buffer size is made dependent on the actual frame rate in use,
rather than defaulting to 60, which should improve accuracy at frame
rates >= ~60.

Change-Id: If5a04d6e847316dc5f7504f25c01164cf9332be8

Merge "Use MAX_ENTROPY_TOKENS and ENTROPY_NODES more consistently"

Merge "Avoid text relocations in ARM vp8 decoder"

Merge "utilize preload in ARMv6 MC/LPF/Copy routines"

Merge "respect alignment in arm asm files"

Use MAX_ENTROPY_TOKENS and ENTROPY_NODES more consistently

There were many instances in the code of vp8_coef_tokens and
vp8_coef_tokens-1, which was a preprocessor macro despite the naming
convention. Replace these with MAX_ENTROPY_TOKENS and ENTROPY_NODES,
respectively.

Change-Id: I72c4f6c7634c94e1fa066cd511471e5592c748da

Merge "Simplify decode_macroblock."

Merge "use relative include path"

vpxenc: free resources

Free buffers allocated for y4m input and webm cue list.

Change-Id: I02051baae3b45f692cf5c7f520ea9a2d80c7b470

use relative include path

Files are already in vpx/

Change-Id: I67dcbb5d5b6cb55e91b4e4927ab842a1e2c9e284

Simplify decode_macroblock.

Change-Id: Ieb2f3827ae7896ae594203b702b3e8fa8fb63d37

New ways of passing encoded data between encoder and decoder.

With this commit frames can be received partition-by-partition
from the encoder and passed partition-by-partition to the
decoder.

At the encoder-side this makes it easier to split encoded
frames at partition boundaries, useful when packetizing
frames. When VPX_CODEC_USE_OUTPUT_PARTITION is enabled,
several VPX_CODEC_CX_FRAME_PKT packets will be returned
from vpx_codec_get_cx_data(), containing one partition
each. The partition_id (starting at 0) specifies the decoding
order of the partitions. All partitions but the last has
the VPX_FRAME_IS_FRAGMENT flag set.

At the decoder this opens up the possibility of decoding partition
N even though partition N-1 was lost (given that independent
partitioning has been enabled in the encoder) if more info
about the missing parts of the stream is available through
external signaling.

Each partition is passed to the decoder through the
vpx_codec_decode() function, with the data pointer pointing
to the start of the partition, and with data_sz equal to the
size of the partition. Missing partitions can be signaled to
the decoder by setting data != NULL and data_sz = 0. When
all partitions have been given to the decoder "end of data"
should be signaled by calling vpx_codec_decode() with
data = NULL and data_sz = 0.

The first partition is the first partition according to the
VP8 bitstream + the uncompressed data chunk + DCT address
offsets if multiple residual partitions are used.

Change-Id: I5bc0682b9e4112e0db77904755c694c3c7ac6e74

Proposing an extension to the encoder and decoder interfaces.

Adding capabilities with which the encoder can output frames
partition by partition, and the decoder can get input data
partition by partition.

Change-Id: Ieae0801480b8de8cd43c3c57dd3bab2e4c346fe0

Adding support for independent partitions

Adding support in the encoder for generating
independent residual partitions by forcing
equal probabilities over the prev coef entropy
contexts.

Change-Id: I402f5c353255f3ca20eae2620af739f6a498cd21

Avoid text relocations in ARM vp8 decoder

The current code stores pointers to coefficient tables and loads them to
access the tables contents. As these pointers are stored in the code
sections, it means we end up with text relocations. eu-findtextrel will
thus complain about code not compiled with -fpic/-fPIC.

Since the pointers are stored in the code sections, we can actually cheat
and let the assembler generate relative addressing when accessing the
coefficient tables, and just load their location with adr.

Change-Id: Ib74ae2d3f2bab80b29991355f2dbe6955f38f6ae

Fix after removal of B_MODE_INFO

Change Ieb746989: Removed B_MODE_INFO missed this.

Change-Id: I32202555581cc2a5d45e729c6650ada4d2df55d3

Merge "configuration, support disabling any subset of ARM arch"

respect alignment in arm asm files

Conversion script was discarding alignment. Also, set default alignment
to 4 bytes.

Change-Id: I1e9cbbb8c142bdf93df4e9aaccf967ed43dff906
https://bugs.launchpad.net/ubuntu/+source/firefox/+bug/789198

Adding support for error concealment in multi-threaded decoding

Also includes a couple of error concealment bug fixes:
- the segment_id wasn't properly initialized when missing
- when interpolating and no neighbors are found, set to zero
- clear the qcoef buffer when concealing an MB

Change-Id: Id79c876b41d78b559a2241e9cd0fd2cae6198f49

Fixed initialization of frame buffer ref counters

Only the first frame buffer ref counter was being initialized
because the index was fixed at 0 rather than using i.

Change-Id: Ib842298be4a5e3607f9e21c2cd4bfbee4054ffc4

Copy macroblock data to a buffer before encoding it

I got this idea from Pascal (Thanks). Before encoding a macroblock,
copy it to a 16x16 buffer, and then read source data from there
instead. This will help keep the source data in cache, and help
with the performance.

Change-Id: Id05f4cb601299150511d59dcba0ae62c49b5b757

Revert "Reduce overshoot in 1 pass rate control"

This reverts commit 212f6183739d448ad5fa2ccf1b4edd30829b2806.

Further testing shows that the overshoot accumulation/damping is too
aggressive on some clips. Allowing the accumulated overshoot to
decay and limiting to damping to golden frames shows some promise.
But some clips show significant overshoot in the buffer window, so
I think this still needs work.

Change-Id: Ic02a9ca34f55229f9cc04786f4fab54cdc1a3ef5

Merge "Fix parallel install"

Merge changes I2807b5a1,I59b020c2

* changes:
  vpxenc: add rate histogram display
  vpxenc: add quantizer histogram display

vpxenc: add rate histogram display

Add the --rate-hist=n option, which displays a histogram with n
buckets for the rate over the --buf-sz window.

Change-Id: I2807b5a1525c7972e9ba40839b37e92b23ceffaf

vpxenc: add quantizer histogram display

Add the --q-hist=n option, which displays a histogram with n buckets for
the quantizer selected on each frame.

Change-Id: I59b020c26b0acae0b938685081d9932bd98df5c9

get/set reference buffer dimension check added

vp8_yv12_copy_frame_ptr() expects same size
buffers which was not previously gaurenteed.
Using an improperly allocated buffer would
cause a crash before.

Change-Id: I904982313ce9352474f80de842013dcd89f48685

Fix parallel install

Require the destination to be present before trying to create the symlink.
See: http://bugs.gentoo.org/show_bug.cgi?id=323805

Change-Id: I14ed4a9792dedc289885a9a43bc5a86cb792206d

Merge "adjusting the calculation of errorperbit"

Merge "Improved vp8dx_decode_bool"

Merge "Remove unnecessary bounds checking in motion search"

configuration, support disabling any subset of ARM arch

Useful for leaving out any version specific asm files.

Change-Id: I233514410eb9d7ca88d2d2c839673122c507fa99

adjusting the calculation of errorperbit

RDMULT/RDDIV defines a bit worth of distortion in term of sum squared
difference. This has also been used as errorperbit in subpixel motion
search, where the distortions computed as variance of the difference.
The variance of differences is different from sum squared differences
by amount of DC squared. Typically, for inter predicted MBs, this
difference averages around 10% between the two distortion, so this patch
introduces a 110% constant in deriving errorperbit from RDMULT/RDDIV.

Test on CIF set shows small but positive gain on overall PSNR (.03%)
and SSIM (.07%), overall impact on average PSNR is 0.

Change-Id: I95425f922d037b4d96083064a10c7cdd4948ee62

Improved vp8dx_decode_bool

Relocated the vp8dx_bool_decoder_fill() call, allowing
the compiler to produce better assembly code.  Tests
showed a 1 - 2 % performance boost (x86 using gcc)
for the 720p clip used.

Change-Id: Ic5a4eefed8777e6eefa007d4f12dfc7e64482732

utilize preload in ARMv6 MC/LPF/Copy routines

About 9~10% decoding perf improvement on non-Neon ARM cpus

Change-Id: I7dc2a026764e84e9c2faf282b4ae113090326837

Remove unnecessary bounds checking in motion search

The starting points are always within the limits, and bounds
checking on these points is not needed. For speed < 5, the
encoded result changes a little because different treatment
is taken while starting point equals the bounds.

Change-Id: I09a402d310f51e305a3519f1601b1d17b05c6152

Merge "Use SSE as BPRED distortion metric consistently"

Assign boost to GF bit allocation if past frame had no ARF.

Modify the second-pass code to provide a full golden-frame (GF) bit
allocation boost if the past GF group (GFG) had no alt-ref frame (ARF),
even if the current GFG does contain and ARF.

This mostly has no effect on clips, since switching ARFs on/off between
GFGs is not very common. Has a positive effect on e.g. cheer (+0.45 SSIM
at 600kbps) and football (+0.25 SSIM at 600kbps), particularly at high
bitrates. Has a negative effect (-0.04 SSIM at 300kbps) at pamphlet,
which appears only marginally related to this patch, and crew (-0.1 SSIM
at 700kbps).

Change-Id: I2e32899638b59f857e26efeac18a82e0c0b77089

Merge "Disable specialcase for last frames if the sequence contains ARFs."

Merge "gen_msvs_proj: write boolean for Debug attribute"

gen_msvs_proj: write boolean for Debug attribute

Replace =1 with =true for yasm tool element. This aids in upgrading
e.g., vs9 project files to vs10.
build/x86-msvs/yasm.xml generated during conversion will require the
Separator attribute to be removed for the build to complete
successfully.

Change-Id: If75c4f9a925529740048882003e9d766c5ac4f0c

Merge "Remove redundant check for KEY_FRAME in multithreaded decoder"

Use SSE as BPRED distortion metric consistently

The BPRED mode selection uses SSE as a distortion metric, but the early
breakout threshold being used was a variance value.

Change-Id: I42d4602fb9b548bf681a36445701fada5e73aff1

Merge "fix --disable-runtime-cpu-detect on x86"

Disable specialcase for last frames if the sequence contains ARFs.

firstpass.c contains some rate adjustment code that assures that the
last few frames in a sequence abide by rate limits. If the second-to-
last group of frames contains an alt-ref frame (ARF), the last golden
frame (GF) is zero bytes, and we will thus spend a ridiculously high
number of bits on regular P-frames trying to hit the target rate. This
does slightly enhance the quality of these last few frames, but has
no perceptual value (other than hitting the target rate).

Disabling this code means we consistently (slightly) undershoot the
target rate and consequently do worse on the last few frames of a
clip, which is particularly noticeable for small clips. The quality-
per-bitrate is generally better, ~0.2% better overall on derf-set,
especially on clips such as garden, tennis, foreman at low bitrates.
Has a negative effect on hallmonitor at high bitrates.

Change-Id: I1d63452fef5fee4a0ad2fb2e9af4c9f2e0d86d23

Guard vpx_config.h against multiple inclusions

Change-Id: Iabe2be73af2b92c53687755b31b77448fba385d2

Remove redundant check for KEY_FRAME in multithreaded decoder

For Intra blocks is enough to check ref_frame == INTRA_FRAME.

Change-Id: I3e2d3064c7642658a9e14011a4627de58878e366

Merge "Populate bmi for B_PRED only"

fix --disable-runtime-cpu-detect on x86

Change-Id: Ib8e429152c9a8b6032be22b5faac802aa8224caa

Merge "Fix RT only build"

Fix RT only build

Moved encode_intra function from firstpass.c to encodeintra.c to
prevent linking problem in real-time only build. Also changed name
of the function to vp8_encode_intra because it is not a static.

Change-Id: Ibf3c6c1de3152567347e5fbef47d1d39564620a5

Update -linux-rvct targets

- Updated -linux-rvct targets to support RVDS 4.0 and later.
- Changed optimization flag to -Otime because -O3 ruined performance
  for RVCT linux targets.
- Added support for --enable-small for RVCT
- RVCT created library should be able to link with GCC
- Supports building shared linux libraries

Change-Id: Ic62589950d86c3420fd4d908b8efb870806d1233

fix corrupt frame leak

If setup_token_decoder reported an internal error the memory allocated
there would not be freed in the resulting call to _remove_decompressor.

Change-Id: Ib459de222d76b1910d6f449cdcd01663447dbdf6

Populate bmi for B_PRED only

Small decode performance gain (~1%) on keyframes.  No
noticeable gains on encode.  Also changed pick_intra4x4mby_modes()
to read the above and left block modes for keyframes only.

Change-Id: I1f4885252f5b3e9caf04d4e01e643960f910aba5

Calc ref_frame_cost once per frame

instead of every macro block.

Change-Id: I2604e94c6b89e3a8457777e21c8c38406d55b165

Fix make clean for asm offset files

Automatically created assembly offset files added to CLEAN-OBJS list
for proper cleanup. This will fix following build error:
1) Build for the workstation
./conigure
make
make clean
2) Build for ARM platform
./configure --target=armv7-linux-gcc
make ==> this will fail because it uses old asm_*_offset.asm files

Change-Id: Id5275c470390ca81b8db086a15ad75af39b80703

Merge "bug fix mode_info_context not initialized for error-resilient"

remove one set of 16x16 variance funcations

call to this set of functions are replaced by var16x16.

Change-Id: I5ff1effc6c1358ea06cda1517b88ec28ef551b0d

bug fix mode_info_context not initialized for error-resilient

uninitialized xd->mode_info_context would crash
vpxenc for --error-resilient=1.

Change-Id: I31849e40281e3d65ab63257cfec5e93398997f0b

Update keyframe activity in non-RD mode

Activity update is no longer dependent on being in RD mode, so update
it unconditionally.

Change-Id: Ib617a6fc210dfc045455e3e4467d7ee5e3d1fa0e

use GCC inline magic

Better fix for #326. ICC happens to support the inline magic

Change-Id: Ic367eea608c88d89475cb7b05d73500d2a1bc42b

Merge "Revert "Use shared object files for ELF""

Revert "Use shared object files for ELF"

Broke RVCT. New magic coming for ICC. Stay tuned!

This reverts commit c73eb2ffff674e4e9fa7d5209d531aeec6ac5edd

Merge "vp8_pick_inter_mode: remove best_bmodes"

Merge "vp8_pick_intra_mode: correct returned rate"

Merge "Move RD intra block mode selection to rdopt.c"

vp8_pick_inter_mode: remove best_bmodes

Since BPRED will be tested at most once, and SPLITMV is not enabled,
there's nothing to clobber the subblock modes, so there's no need to
save and restore them.

Change-Id: I7c3615b69190c10bd068a44df5488d6e8b85a364

Merge "Removed unused function parameters"

vp8_pick_intra_mode: correct returned rate

The returned rate was always the 4x4 rate, instead of the rate
matching the selected mode.

Change-Id: I51da31f80884f5e37f3bcc77d1047d31e612ded4