vp9_ratectrl: change ARF overlays rate correction factor

ARF overlays now use the same rate correction factor as regular inter
frames, further testing would be needed to see if it makes sense to use
a completely separate rate correction factor for ARF overlays.

$ vpxenc --cpu-used=5  --fps=50/1 --target-bitrate=2000
         parkjoy.y4m -o out.webm
=> Before: 3356 kb/s
=> After: 2271 kb/s

Change-Id: I73e4defa615ba7a8a2bdb845864f4b1721cbbffe

Replace imprecise 32 bits calculations by 64 bits calculations

Change-Id: If1b0a2d6603ce24f5dd99855e8dfe459e7a2835a

vp9_firstpass: Get rid of magic number in bits per MB calculation

Change-Id: Ib3886cb7cafc211581f4f9e7f76782d9d1984434

Merge "Refactoring decode_one() function."

Merge "Code clean up."

Merge "Adding FAST_COEFF_UPDATE enum."

Merge "Re-enable datarate tests for speeds 5 and 6."

Refactoring decode_one() function.

Change-Id: Ic3ee3b1fb04691e8c7d16020b56e034ab8888525

Re-enable datarate tests for speeds 5 and 6.

Changed a parameter to make speed 5 pass, and
valgring issue for speed 6 fixed: https://code.google.com/p/webm/issues/detail?id=740

Change-Id: I5b804b08069e29df3f08b9ec37f5b80151b4c910

Adding FAST_COEFF_UPDATE enum.

Change-Id: I75ad328c6d719df81cc24f3ae21c152af4ebdacc

Remove an unused typedef

Change-Id: Ie0eb9ac4529db00a322511e5241a59b501c289b7

Merge "Removed space in ETA printout"

Merge "Reinstating the DISABLE_RC_LONG_TERM_MEM macro"

Merge "gen_msvs_*proj.sh: add 'cpp' as a source extension"

Removed space in ETA printout

This is to fix issue#709

Change-Id: I537f1fb74252fef8a58e68b0960a36a9aada856e

Merge "Removing interp_kernel from MACROBLOCKD."

Merge "Add codec control function for enabling frame_periodic_boost."

Merge "Fix complexity Aq mode."

Code clean up.

No need to check pbi->common.frame_to_show again.

Change-Id: I572ea4afd0d8b6000c0bb7575b7023d75cad5a4e

Merge "Replacing magic constants with expressions."

Add codec control function for enabling frame_periodic_boost.

Change-Id: I6371ef7301c6bc3138552bd349e9bd154dee3e08

Merge "Adjust key frame quantization index for rtc coding"

Removing interp_kernel from MACROBLOCKD.

Now interp_kernel is obtained when it is really required (based on
mbmi->interp_filter value).

Change-Id: I4c7a93c179d1045eba16e7526c293d02c9b8b47e

Merge "Fix build for resize_util"

Fix build for resize_util

Fix that handles undefined CONFIG_SHARED

Change-Id: I585bd03078f9061d010880a294bf0ac423f0981a

Merge "Add shell scripts for verifying basic vpx{dec,enc} features."

Merge "Remove full scale duplicates of bsize."

Add shell scripts for verifying basic vpx{dec,enc} features.

Tests the basics (first confirms feature is available in vpx_config.h):
- VP8 decode (in IVF file).
- VP9 decode (in WebM file).
- VP8 encode (to IVF and WebM).
- VP9 encode (to IVF and WebM).
- VP9 lossless encode (to IVF, currently disabled due to failure).
- Pipe input (to vpxdec and vpxenc).

Test data path and path to vpx{dec,enc} have been parameterized. In
addition:
- Supports disabling tests (test names prefixed with DISABLED_ are not
  run by default).
- Supports filtering tests.

vpxdec.sh: Tests vpxdec.
vpxenc.sh: Tests vpxenc.
tools_common.sh: Common test functions.

Change-Id: I0612c88b8dd6049a05bbbc79a317a0cca61733a5

gen_msvs_*proj.sh: add 'cpp' as a source extension

Change-Id: I21cdaeea33a56dd4c0e38c36d01f338b1ab04c74

Merge "tools_common.h: (msvs) avoid redefining off_t"

Remove full scale duplicates of bsize.

Change-Id: I28e45870a0e3b0de3b9e40fb044789ae1209c0f7

Merge "Removing XMA legacy from VP9 code."

Reinstating the DISABLE_RC_LONG_TERM_MEM macro

Reinstates this macro and truns it on in order to avoid issues
due to some frames at the end starving in harder videos.
A more acceptable solution is in the works.

Change-Id: I3c46148e86fa6114e3fed245246fb3686a9e6700

Merge "Making frame_branch_ct a local array."

Fix complexity Aq mode.

This was broken by change
Icc4b66f3935fad5ec4516a4d57e843d12c365e64

Change-Id: I49e3fc525664eb7a433f55f76b8f8628fe251eab

Merge "Fixing typo in cal_nmvjointsadcost()."

Adjust key frame quantization index for rtc coding

This commit slightly increases the bit allocation for key frame. This
improves speed -5 coding performance by 2.77% with aq-mode=0 and by
2.78% with aq-mode=3.

Change-Id: Iaa3e777f80b9706306606af06e89852bac146659

tools_common.h: (msvs) avoid redefining off_t

in some configurations MSVS will define _off_t / off_t in wchar.h; the
former is used locally while the latter is for compatibility. this
change overrides off_t as in the past and sets _OFF_T_DEFINED to prevent
a clash in types.

Change-Id: I9b0e6db586a0a2729b545d93edfc56570d2fcf97

Making frame_branch_ct a local array.

Change-Id: Id79ed3b87fd6055e96738af53eb964addd0b918b

Removing XMA legacy from VP9 code.

Change-Id: I5e9dfc50b6312848df8c3b8276f6b4d0c7ff9cf9

Merge "Cleaning up vp9_pattern_search() function."

Merge "Set min_block_size for aq_mode=3 to 8x8."

Set min_block_size for aq_mode=3 to 8x8.

For real-time mode under cbr, this increases the gain (5-10%)
for speed 5 (none/little change for 6), on vc-clips.

Change-Id: I9b38beeb3c820de22c43a0ba53a9456168dd24ba

Merge "Rate ctrl changes to track target bitrates closer"

Merge "Cleaning up vp9_get_mvpred_{av_,}var() functions."

Merge "Make frame level quantization change a parameter"

Merge "Adjust rate allocation in non-RD coding mode"

Merge "Revert "Changing webmenc to use libwebm""

Merge "Add speed feature for recode tolerance."

Rate ctrl changes to track target bitrates closer

Turns off the DISABLE_RC_LONG_TERM_MEM macro and makes other changes
in the way the bits are updated, to make 2-pass rate control track
target bitrates closer.

Change-Id: I5f3be4b11c2908e6a9a9a1dd4fcf4e65531c44d8

Merge "Cleaning up vp9_mvref_common.c."

Merge "Cleaning up vp9_cx_iface.c file."

Merge "Grouping members in MB_MODE_INFO struct."

Merge "Adding return value to set_offsets() function."

Merge "Clearing all encoder counts with single vp9_zero() call."

Merge "Adding local pointer variables referencing REATE_CONTROL struct."

Merge "Remove the q division by 3 for first frame."

Make frame level quantization change a parameter

Parameterize the frame level quantization index used in non-RD
coding flow with cbr.

Change-Id: I79cfbd9c32c0d0fc33ad720d2180432e910baf7a

Adjust rate allocation in non-RD coding mode

This commit reduces the frequency of frames using finer quantizer
in non-RD coding flow, and slightly tune up the quantizer resolution
when used. It provides 1.7% compression gains in speed -5 at no speed
difference.

Change-Id: I430249a51260a841a0402666e5ec1566e4f7d5a6

Revert "Changing webmenc to use libwebm"

Temporary revert.
Problems with conflicting definitions of type off_t
in MSVC builds that need resolving.

c:\Program Files (x86)\
  Microsoft Visual Studio 9.0\VC\include\wchar.h(479) :
  "error C2371: 'off_t' : redefinition; different basic types
c:\on2experimental\libvpx\tools_common.h(26) :
   see declaration of 'off_t'"

This reverts commit 92a4c591122fa406a1d7aed834a5283a86d9758a.

Change-Id: I535e40a18842a92e3e6e0b29e5fba66313010803

Add speed feature for recode tolerance.

The new tolerance is a little higher than before (especially
for kf/gf/arf) so this change gives an encode speed up
for some clips up for speeds 0-2.

Change-Id: I63f7d6c9cc11c7f58742f41e250dcd3eab1741eb

Merge "Speed setting correction to max q estimate."

Adding local pointer variables referencing REATE_CONTROL struct.

Change-Id: I1d8c312a599db505a023e5cd0cc4ba2b8f696a2e

Clearing all encoder counts with single vp9_zero() call.

Change-Id: I4341d16ef83acd1cc9e55f7c5eff4af921bf57d4

Adding return value to set_offsets() function.

Change-Id: I88e018442c527cf21eac791f0768e805dda244f1

Remove the q division by 3 for first frame.

This code/setting was actually not used (since speed features were not set on first frame,
until a recent change) and should be removed.

In CBR mode, the q value for the first frame can be controlled by setting
the target size via the parameters rc_buf_initial_sz (and max_intra_size_pct).

Change-Id: I65afc64972b36c449bd5a8c25800e65da5389066

Renaming two members in MACROBLOCKD struct.

Renames:
  mi_8x8 -> mi
  mode_info_stride -> mi_stride

Change-Id: I66f3e5fd1e7b7f46f108af5bb711c5fd9493c1be

Replacing magic constants with expressions.

Change-Id: I434682bbd4cb2089cd213d77ed5a5e06256dc45d

Merge "Moving encoder quantization parameters into separate struct."

Cleaning up vp9_cx_iface.c file.

Change-Id: I4de07d3ef81ebba759a983207d9ca768a65220a6

Merge "Common configuration for MACROBLOCKD struct."

Merge "Make last frame source available in current frame encoding"

Make last frame source available in current frame encoding

While encoding a frame, its last frame source can be used to give
acurate motion information. This patch prevents last frame to be
overwritten so that it is available during current frame encoding.

The last source is scaled when it is necessary. cpi->Last_Source
points to the last source frame.

Change-Id: I0e1ef5e9e1d2badf9d0c7a1a44a7ed5b24c09425

Merge "Changing webmenc to use libwebm"

Merge "Propagate active map state."

Common configuration for MACROBLOCKD struct.

Change-Id: Ie2ea9dd8bd338cc9fe12ca9033df64f7644c68b3

Merge "Apply finer quantizer to partition search frames in non-RD flow"

Speed setting correction to max q estimate.

Use a crude correction factor to correct for
lower compression efficiency at higher encode
speeds when estimating the max Q for the
clip.

Change-Id: I5ae377647f4adf5e91d700a8791fb3b8f70efc73

Propagate active map state.

This fixes active map for non-rd realtime speeds.

Change-Id: I1bf416de3f7ef2e5dd2eabde052cce3c0683a52c

Small script to scrape json for waterfall

Change-Id: I879fcd3203c84fa83125e06662009d308bc2dbb6

Apply finer quantizer to partition search frames in non-RD flow

This commit optimizes the bit allocation for the non-RD coding flow.
It applies slightly better quantizer to the frames, where all blocks
run a non-RD partition search. Such frames typically have better
rate-distortion trade off, thus improving the reconstruction quality
for next few frames reference at reasonably low increment in rate
cost.

The coding performance for rtc set at speed -5 with error-resilient
tuned on and rate control set as cbr is improved by 19.58%. It improved
the coding speed by about 10% for a portion of local test clips.

Change-Id: I9d56696cd4359dc8136ca10aff10fff05aaa2686

Merge "[BITSTREAM]Fix the scaling calculation"

Merge "Adjust rt speed steps."

Grouping members in MB_MODE_INFO struct.

Change-Id: Ia6d7e7a08810e0c3401da4d10266828d560e6851

Merge "[svc] Fix SvcTest.SecondPassEncode failure"

Moving encoder quantization parameters into separate struct.

Change-Id: I2a169535489aeda3943fb5a46ab53e7a12abaa36

[BITSTREAM]Fix the scaling calculation

For very large size video image, the scaling calculation may need use
value beyond the range of int. This commit upgrade the value to 64bit
to make sure the calculation do not wrap around INT_MAX.

The change corrected the decoder behavior.

The bug affects only very large resolution video because the scaling
calculation was sufficient for image size smaller than 2^13.

This resolves issue:
https://code.google.com/p/webm/issues/detail?id=750

Change-Id: I2d2ed303ca6482f31f819f3c07d6d3e98ef3adc5

Adjust rt speed steps.

This commit adjusted the speed steps in rt mode to make the steps
more evenly spaced on speed and quality, specifically:
1. Merged 3 and 4 into one single step 3 and removed confilicting
features.
2. Move 8, 7, 6, 5 to be 7, 6, 5, 4 repsectively.

Change-Id: I38d56d61531f3561d772aef953c411c8fb38c063

Merge "[svc] Finalize first version of 2nd pass rc"

Merge "[svc] Initialization of 2nd pass rc for svc two pass rc"

[svc] Fix SvcTest.SecondPassEncode failure

Root cause is the different default register length between x86
and x64 platform. Change spatial_layer_id to long long.

Change-Id: If1a5972365c7a59f7e76cb4fd714610f3d48a8ff

[svc] Finalize first version of 2nd pass rc

Change-Id: I366850015004644c4fc7feabe27a782fdd8d8718

Merge "Moving dqcoeff array to MACROBLOCKD in decoder."

Moving dqcoeff array to MACROBLOCKD in decoder.

Change-Id: I3e20c0cdb9d2437bddf21afb255855f2dead8e02

Adding vp9_speed_features.{h, c}.

Change-Id: I7d9874da8ff78a2d7e0cf11073af9c30538bc9a6

Merge "[svc] Fix issue for setting layers through ffmpeg"

Changing webmenc to use libwebm

Changing webmenc to use libwebm for WebM file muxing.

Change-Id: I42eb688953865003214c05bdf2076ee00db28970

Merge "Further speed trade off adjustments."

Merge "Experimental change to speed 1 settings."

Merge "Automatically count test vectors and make the tables const."