Enable reference frame masking for rt mode

Reference frame masking helped good quality mode to gain about 5% in
encoding speed, this commit enable it for rt mode to gain the speed
improvement.

In addition, this commit move the speed feature setup to a separate
function.

Change-Id: I015e8f78bbb21dd43ae183b9b9355bea2ccda9c5

No arf right before real scene cut.

To reduce pulsing we now allow an arf just before forced key frames
and at the end of a clip or section (which may be stitched to
another clip or section). However, this does not make sense for
key frames arising from real scene cuts.

Change from original patch reflects other recent changes in regard
to alignment of gf/arf and kf groups.

Change-Id: I074a91d1207e9b3e28085af982f6718aa599775f

Further rate control tweaks and fixes.

Further fixes regarding min and max rate.
Bug fixes re kf group bits and last kf group.

Change-Id: Iaafd719d30a489e135a3c55851ce8c632091a436

Merge "cosmetics: vp9_reconinter.h: make some variables const"

Merge "datarate_test: fix some type conversions"

Merge "Apply neon flags to intrinsic files"

Merge "Cleaning up vp9_rc_postencode_update() function."

Merge "Cleaning up vp9_dx_iface.c."

Merge "Declare setup_buffer_inter in vp9_rdopt.h"

Merge "Enable skipping reference frame check in rd loop"

Merge "Removing mi_height_log2_lookup table."

explain speed features

Added comments to explain what the various speed features do, and removed
1 that was clearly unused.

Change-Id: Icd37a536072ddafedbfaefcecbe48979f6d10faf

Declare setup_buffer_inter in vp9_rdopt.h

This funtion initializes buffer pointers and first stage motion vector
prediction. It will be needed by both regular rate-distortion
optimization loop and the non-RD mode decision. Hence move its
declaration in vp9_rdopt.h

Change-Id: I64e8b6316c9d05f20756a62721533a2e4d158235

Removing mi_height_log2_lookup table.

Change-Id: I1f0ae2edc3a96b33c0494d165ae756a8feba6184

Apply neon flags to intrinsic files

Filter out files ending in _neon.c and append .neon so the Android build
system knows to apply -mfpu=neon

Change-Id: Ib67277e5920bfcaeda7c4aa16cd1001b11d59305

Merge "Don't use gf_update by default for 1-pass CBR."

Cleaning up vp9_dx_iface.c.

Change-Id: I6a0dfb95c55ee6cadc7b1675782c7830e5c7caaf

Merge "Fix Issue #679:  vp9 C loop filter produces valgrind warning."

Cleaning up vp9_rc_postencode_update() function.

Change-Id: I02e44c10660fdb9201a802ad19ceb64756feeebe

Don't use gf_update by default for 1-pass CBR.

Change-Id: I5df6abceb0a2a69706feadeb820b593cae88f573

Merge "Adding {get, set}_rate_correction_factor() functions."

Fix Issue #679:  vp9 C loop filter produces valgrind warning.

Fix the valgrind error due to access uninitialized
memory in loopfilter.

Change-Id: I52fccf5ede845ee1f4c13d3bd909b8f220c0bdff

Merge "Keep buffer clipped to maximum in change_config."

Revert "SSSE3 convolution optimization"

This reverts commit 511d218c60b9b6c1ab9383db746815e907af0359.

In current form intrinsics break borg build.

Change-Id: Ied37936af841250ecff449802e69a3d3761c91b9

Enable skipping reference frame check in rd loop

This commit allows encoder to compare the SAD cost associated with
the best motion vector predictor, per frame. If one reference frame
has this cost more than 4 times of the best SAD cost given by other
reference frames, skip NEARESTMV, NEARMV, ZEROMV mode check of this
reference frame.

This setting is turned on in speed 2 and above. Compression quality
change in speed 2:
derf  -0.014%
yt    -0.097%
hd    -0.023%
stdhd  0.046%

It reduces the speed 2 runtime of test sequences:
pedestrian_area_1080p 4000 kbps 310763 ms -> 303595 ms
bluesky_1080p 6000 kbps         259852 ms -> 251920 ms

Change-Id: I7f59cf79503d51836d61d56d50dc5bdf0e502e22

Merge "Optimze inv 16x16 DCT with 10 non-zero coeffs - P2"

Merge "Optimze inv 16x16 DCT with 10 non-zero coeffs - P1"

Merge "Cleanups on refresh flags"

Cleanups on refresh flags

Cleanups on frame refresh flags and external overrides.

Change-Id: Ia6a56fe1bde906b1dc3fcbf4ef1c7b207cd2df2d

Merge "Use the correct member for initialization"

Merge "Simplify set_rt_speed_feature()"

Keep buffer clipped to maximum in change_config.

Under a configuration change, where the bitrate suddenly decreases,
the buffer level may be larger than maximum allowed (for that first frame to be encoded after change_config).
This change keeps it clipped to its maximum level.

Change-Id: I4d0b5b3d1fd8148600dd39e02bd630c9464baba5

Merge "Renaming 'Sharpness' to 'sharpness'."

Simplify set_rt_speed_feature()

1. Made speed choices to be progressive
2. Adjusted rt speed settings to achieve better speed/quality

Overall, rt-5 gained 2.5% in compression/quality, encoding time of 720p
niklas clip goes from 137,052ms to 121,874ms

Change-Id: Ia6e7e1e15225395a868a2f1059c3db8e266e1600

Optimze inv 16x16 DCT with 10 non-zero coeffs - P2

This commit further optimizes SSE2 operations in the second 1-D
inverse 16x16 DCT, with (<10) non-zero coefficients. The average
runtime of this module goes down from 779 cycles -> 725 cycles.

Change-Id: Iac31b123640d9b1e8f906e770702936b71f0ba7f

Merge "SSSE3 convolution optimization"

SSSE3 convolution optimization

Optimizing all SSSE3 assembly for convolution:
1. vp9_filter_block1d4_h8_sse2
2. vp9_filter_block1d8_h8_sse2
3. vp9_filter_block1d16_h8_sse2
4. vp9_filter_block1d4_v8_sse2
5. vp9_filter_block1d8_v8_sse2
6. vp9_filter_block1d16_v8_sse2
my optimization include:
-processing 2x8 elements in one 128 bit register instead of processing
8 elements in one 128 bit register.
-removing unecessary loads.
This optimization gives between 2.4% user level gain for 480p input
and 1.6% user level gain for 720p.
This Optimization done only for 64bit.

Change-Id: Icb586dc0c938b56699864fcee6c52fd43b36b969

Merge "Removing examples code generation and making them static."

Merge "Using VP9_COMMON instead of VP9_COMP."

Merge "VP8 for ARMv8 by using NEON intrinsics 01"

VP8 for ARMv8 by using NEON intrinsics 01

Add bilinearpredict_neon_intrinsics.c
- vp8_bilinear_predict4x4_neon
- vp8_bilinear_predict8x4_neon
- vp8_bilinear_predict8x8_neon
- vp8_bilinear_predict16x16_neon

Change-Id: I33dfa502881219841b442dda32b73220e51b716b
Signed-off-by: James Yu <james.yu@linaro.org>

Merge "Fix rate allocation bug."

Use the correct member for initialization

On Windows this fails with:
error C2440: 'initializing': cannot convert from int_mv to uint32_t

Change-Id: I51630efd0e83a0ce620c91aa7859dd6fc1572e99

Using VP9_COMMON instead of VP9_COMP.

Change-Id: If7d3958653104f3e170853e931f8489de3ecf3cc

Merge "Removing direct references to {lst_fb, gld_fb, alt_fb}_idx fields."

Merge "Install test sources for MSVS"

Merge "Cleanups around cpi->common."

Adding {get, set}_rate_correction_factor() functions.

Change-Id: Ib3212832953a3445fc5f021af0e1de7886f09b4f

Merge "Renaming 'Mode' to 'mode'."

Install test sources for MSVS

Move the code outside the conditions. The test sources themselves are
also required for Visual Studio.

Change-Id: Id5e93ebc7369e1807eba0b9dc4f7d0f18033d794

Optimze inv 16x16 DCT with 10 non-zero coeffs - P1

This commit is the first patch optimizing SSE2 implementation of inverse
16x16 DCT with <10 non-zero coefficients. It focused on the first 1-D (row)
transformation. It exploits the fact that only top-left 4x4 block contains
non-zero coefficients, in a 2-D inverse 16x16 DCT with <10 coeffients.

The average runtime of idct16x16_10 unit is reduced from
883 cycles -> 779 cycles (12% faster).

For pedestrian_area_1080p 300 frames at 4000 kbps, the speed 2 runtime goes
down from 310651 ms  -> 305910 ms. The decoding speed goes up from
80.37 fps -> 80.87 fps.

Change-Id: Ic6f3ac5a637a76c07ba73ddaafe318a699fea645

Removing direct references to {lst_fb, gld_fb, alt_fb}_idx fields.

Change-Id: Ib1d9628d2b538b6dc27b0db1fa7f40f70ff2072f

Cleanups around cpi->common.

Change-Id: I0c42a729038d0f4cb7bc07f587d066fcb1dfe9d9

Merge "Add a C fallback for get_msb() and change inline to INLINE."

Merge "Add initial intra frame neon optimization. 1~2% gain."

Renaming 'Mode' to 'mode'.

Change-Id: I6cdd670d66288dbd66228f38bba6b30502d25362

Renaming 'Sharpness' to 'sharpness'.

Change-Id: I54513dc3b3321e0c0bb6b15ea5c34085ed80b4a4

Merge "Using struct twopass_rc* instead of VP9_COMP*."

Add a C fallback for get_msb() and change inline to INLINE.

For systems without __builtin_clz() or _BitScanReverse(), taken from libwep

Change-Id: Iead257efc1772c466c79e1dc0356ed571d38d43e

Add initial intra frame neon optimization. 1~2% gain.

More intra optimizations will be added.

Change-Id: I33ae8d93f6002bf7b64cc2669602d9e6bfa5a6e8

Merge "AVX2 Variance Optimization"

Merge "Include gen_msvs_vcxproj.sh"

Merge "Replace RD modeling with a fixed point approximation."

AVX2 Variance Optimization

Optimizing the variance functions: vp9_variance16x16, vp9_variance32x32,
vp9_variance64x64, vp9_variance32x16, vp9_variance64x32,
vp9_mse16x16 by migrating to AVX2
some of the functions were optimized by processing 32 elements instead of 16.
some of the functions were optimized by processing 2 loop strides of 16
elements in a single 256 bit register
This optimization gives between 2.4% - 2.7% user level performance gain
and 42% function level gain.

Change-Id: I265ae08a2b0196057a224a86450153ef3aebd85d

Replace RD modeling with a fixed point approximation.

Change-Id: I44eb44eb3f36c05d916ef140ef42cc84f72f99ec

Merge "Fix an issue in motion vector prediction stage"

Include gen_msvs_vcxproj.sh

Change-Id: I28e9cf9347acd7279df3b841863a248479633265

Merge "Further rate control cleanups"

Merge "Remove yasm.rules dependency"

Fix rate allocation bug.

Fix miss alignment of the frames contributing to the
error score and bit allocation for gf/arf groups.

Initial results slightly +.

Change-Id: Ie508bdcfdac52e592d48e1f13e01b3551b523deb

Removing examples code generation and making them static.

All documentation will be provided as comments in the source files.

Change-Id: Ie609852747733c181191f864204c787a6b23ef3a

Further rate control cleanups

Some cleanups on frames_to_key, frames_since_key.
Also removes the unused fixed_q parameters in vp9.

Change-Id: If8743a32c71de30a8d17136477b53d607a7acda8

Fix an issue in motion vector prediction stage

The previous implementation stops motion vector prediction test when
the zero motion vector appears for the second time. This commit fixes
it by simply skipping the second time check on zero mv and continuing
on to next mv candidate.

It slightly improves stdhd in speed 2 by 0.06% on average. Most static
sequences are not affected. A few hard ones, like jet, ped, and riverbed
were improved by 0.1 - 0.2%.

Change-Id: Ia8d4e2ffb7136669e8ad1fb24ea6e8fdd6b9a3c1

Remove deprecated variable from rt_speed_feature

This resolves a merge error.

Change-Id: Ifb83acc0a08e80c82f7624f9c86f79d3a86cc871

Merge "Adding new_mv local variable."

Merge "Adding get_ref_frame_buffer() function."

Merge "Removing unused mvp_fill manipulation code."

Merge "Remove avoid_frame_with_high_error from RD loop"

Merge "Reusing ROUND_POWER_OF_TWO macro."

Merge "Clean up:  unused function and variables"

Removing unused mvp_fill manipulation code.

The code can be removed because mvp_full will be overridden after that.

Change-Id: I89559b1b6914c86bcd02b7359d37241948ac11d3

Merge "Replacing &cpi->common with cm."

Adding new_mv local variable.

Change-Id: I9631b35810c232c134f39dc0edadb1b3860a45ae

Reusing ROUND_POWER_OF_TWO macro.

Change-Id: I064ba32d5358bfbf080a4300fc1793b345080006

Replacing &cpi->common with cm.

Change-Id: Ic5bf5682ccdb8d2fbad6bba0d7db19a4f47b62a1

Merge "Fix encoding Raw yv12 and i420 from a pipe."

Merge "Code cleanup: remove unneeded lines."

Fix encoding Raw yv12 and i420 from a pipe.

rewind() does not work on pipes.

https://code.google.com/p/webm/issues/detail?id=678

Change-Id: I057f1e25c3f5662012d6e33ff4c97c88f50df357

Merge "Added placeholder for real time mode"

Code cleanup: remove unneeded lines.

Change-Id: I44a89b822a436299b9dd4ff26ad2e35767c29c58

Merge "Write correct resolution to the IVF file header (b/11270652)"

Remove yasm.rules dependency

The file was removed by 9152f4851dd6cf5800b5db82a03ce39a08095ecf after
the solution files were changed.

Change-Id: I868c56fd609f45fb3e21afd085b9e6c268aac038

Merge "Combining ref_frame and second_ref_frame into ref_frames[2]."

Merge "Moving reset_segment_features() to encoder/vp9_segmentation.h."

Adding get_ref_frame_buffer() function.

Encapsulating direct references to lst_fb_idx, gld_fb_idx, alt_fb_idx.

Change-Id: I7e65ba3f131286e433e6651970c5647311fa4687

Merge "Adding RefBuffer struct."

Write correct resolution to the IVF file header (b/11270652)

also:
 o remove dead code, create_dummy_frame
 o Fix a bug in command line handling that caused a segfault if wrong
   number of arguments were given.

Change-Id: I78f026aee4e363967b750e6cde0982659c558a1f

Remove avoid_frame_with_high_error from RD loop

The feature undergoes prior assumption that the recursive partition
size search from 4x4 to 64x64, hence utilizing information from small
blocks to determine early termination in large block rate-distortion
optimization search. The current codebase is now going from top down.
The previous function might go with not properly initialized values,
hence removed.

Tested on pedestrian_area_1080p at 4000 kbps running under speed 2.
No visible difference in runtime observed.

Change-Id: I553df415c6191413762db7ae34e8790c71d8118e

Using struct twopass_rc* instead of VP9_COMP*.

Change-Id: Id9ff7772aa3a3fb5d6cf94aff7dc9489bd964340

Combining ref_frame and second_ref_frame into ref_frames[2].

Change-Id: I007d66a1cb1b44751dcceafbaa64649ed9a34562