Add full_pixel_exhaustive_new

Add full_pixel_exhaustive_new() and exhuastive_mesh_search_new().
The two functions are variants from full_pixel_exhaustive() and
exhuastive_mesh_search().

In the new versions, we use mv inconsistency in place of
mv entropy cost.

Change-Id: Icec98e6fae24f2771806a3e78276734624ec0303

Add sse cost in vp9_full_pixel_diamond_new

Change-Id: I63614e652686557652985bde882889eea9ecbcad

Use motion field for mv inconsistency in mv search

Change-Id: I25ea05f4bfe3c6f420e967c33763909c979a0d1b

Increase memory size in non-greedy-mv

The smallest block size of motion field is 4x4, but the mi_unit
size is 8x8, therefore the number of units of motion field is
"mi_rows * mi_cols * 4".

Change-Id: I95292904d757705d39b78af5d0cf2d25f376c642

Build pyramid motion field

Change-Id: I43fd61f7946a8a96d444dab5e94a9b01483ffab7

vp9: psnr diff thres for single vs multi threading.

Change the threshold from 0.1 to 0.2.

BUG=webm:1588

Change-Id: I1ca20b360bcae66d09dc898c3266c9f5ac346561

Adaptively choose block sizes in temporal filtering

Use variable block sizes in temporal filtering. Based on prediction
errors of 32x32 or 16x16 blocks, choose the block size adaptively.
This improves the coding performance, especially for HD resolutions.

Speed 1 borg test result:
        avg_psnr:  ovr_psnr:    ssim:
lowres:  -0.090     -0.075      -0.112
midres:  -0.120     -0.107      -0.168
hdres:   -0.506     -0.512      -0.547

Change-Id: I8f774e29ecb2e0dd372b32b60c32d8fa30c013a8

Merge "fwd_dct32x32 avx2: resolve missing declarations"

Merge "Revert "Add Tile-SB-Row based Multi-threading in Decoder""

test-data: add missing test data entries

invalid-bug-1443-v2.ivf{,.res}
invalid-vp80-00-comprehensive-s17661_r01-05_b6-.v2.ivf{,.res}

missed in:
6dbf738a4 vp8: kill all threads on corrupted frame.

Change-Id: I6481f4ad7544ecc069d0e0442888e97e9638fdd3

Revert "Add Tile-SB-Row based Multi-threading in Decoder"

This reverts commit 02b3ef7faee5be5ee519856fbb3523d3ab49f6e7.

Reason for revert: fails to build under visual studio

Original change's description:
> Add Tile-SB-Row based Multi-threading in Decoder
>
> Add the multi-thread function that decodes a video row by row instead
> of a tile at a time. Create a job queue for queueing all parse and recon jobs.
> Each SB row of a tile is a job.
>
> Performance Improvement:
>
> Platform        Resolution      3 Threads       4 Threads
> ARM             720p            36.81%          18.37%
>                 1080p           32.27%          14.76%
>
> ARM Improvement measured on Nexus 6 Snapdragon 805 Quad-core  @ 2.65 GHz
>
> Change-Id: I3d4dd7a932fc2904c90d9546b2de99c809afd29e

BUG=webm:1587

Change-Id: Ia4c8f5128922a205cd9fd83aaef8a2e73764d4a7

Merge "Bound the total allocated memory of frame buffer"

Merge "fwd_dct32x32 sse2: resolve missing declarations"

Bound the total allocated memory of frame buffer

This CL allows to limit memory consumption of the frame buffer pool. As
the result if compiled with VPX_MAX_ALLOCABLE_MEMORY set codec will fail
if frame resolution requires more memory
This is backported CL aae2183cb58b60d01b8e4e15269ee9f48dd72908 from
aomedia

Tested:
configure --extra-cflags="-DVPX_MAX_ALLOCABLE_MEMORY=536870912"
make
./test_libvpx

BUG=webm:1579

Change-Id: Ic62213b600a7562917d5a339a344ad8db4b6f481

Merge "vp9_decodeframe.c: resolve missing declarations"

Merge "vp9_highbd_block_error_sse2: resolve missing declarations"

Merge "convolve avx2: resolve missing declarations"

Merge "Improve accuracy of benchmarking"

fwd_dct32x32 avx2: resolve missing declarations

BUG=webm:1584

Change-Id: Iaba854952534a95e710a985acfcab46e093872c2

fwd_dct32x32 sse2: resolve missing declarations

BUG=webm:1584

Change-Id: Ia2d9fcbccbad0c2142a3759e610670b86af0fef4

vp9_highbd_block_error_sse2: resolve missing declarations

BUG=webm:1584

Change-Id: I43d051c538bf4a6f6210eefa398dc0901ab8d157

vp9_decodeframe.c: resolve missing declarations

BUG=webm:1584

Change-Id: Ie0d26b745ab1f5907a6a2dc10fbc5083f3fb0b8d

convolve avx2: resolve missing declarations

BUG=webm:1584

Change-Id: I5990c0100af83d13f7a4800147473bc997f5e5d1

Merge "subpixel_8t sse2: resolve missing declarations"

Merge "vpx{dec,enc}: resolve missing declarations"

Merge changes I48b9a9cd,I92504ed4

* changes:
  subpixel_8t ssse3: resolve missing declarations
  subpixel_8t avx2: resolve missing declarations

Improve accuracy of benchmarking

For small code regions, readtsc can give inaccurate results because it does
not account for out-of-order execution. Add x86_tsc_start and x86_tsc_end
that account for this, according to the white paper at

https://www.intel.com/content/dam/www/public/us/en/documents/white-papers/ia-32-ia-64-benchmark-code-execution-paper.pdf

Using x86_tsc_start/end will also add in several more instructions; I imagine
this is negligible.

Change-Id: I54a1c8fa7977c34bf91b422369c96f036c93a08a

subpixel_8t ssse3: resolve missing declarations

BUG=webm:1584

Change-Id: I48b9a9cdcfe52536f685c41fb2d3c0f3e9192d34

Merge "Refactor temporal filtering"

subpixel_8t sse2: resolve missing declarations

vpx_asm_stubs.c only references these sse2 functions. Combine the files
similar to the way the ssse3/avx2 files are set up.

Mark the intrinsics as static because they are only used within the
macros here. It is unfortunate that the assembly functions can not be
marked static as well.

BUG=webm:1584

Change-Id: I342687a1046ae6ca46ae58644a7c170440de1dfb

Merge "vp8: kill all threads on corrupted frame."

subpixel_8t avx2: resolve missing declarations

BUG=webm:1584

Change-Id: I92504ed4a2e54129c981b7380249962afb7966df

vpx{dec,enc}: resolve missing declarations

BUG=webm:1584

Change-Id: I81e53e579e6fd22b7b21f432256abbe91bf77b15

Merge "highbd quantize: resolve missing declarations"

Merge "fdct_quant: resolve missing declarations"

Merge "highbd variance: resolve missing declarations"

vp8: kill all threads on corrupted frame.

If decoder keeps going, threads will be brought up.

BUG=902650,webm:1577

Change-Id: I7765ba134aeed76ec0f58bd05e3a35383e6861c3

Merge "Add Tile-SB-Row based Multi-threading in Decoder"

Merge "vpx/{vp8,vpx_encoder}.h: fix some typos"

Merge "vp9: limit lpf workers to min(threads,tiles,sb_rows)"

Merge "vpx_integer.h: remove VPX_EMULATE_INTTYPES"

Merge "svc examples: resolve missing declarations"

fdct_quant: resolve missing declarations

Store outputs using store_tran_low()

BUG=webm:1584

Change-Id: I213abe047e14625c5ef80df7fa6fdc2a31e40fb6

vpx_integer.h: remove VPX_EMULATE_INTTYPES

platforms supported by the library all offer stdint.h

BUG=webm:1573

Change-Id: I2ad95dfbcfc2d1890c1b7e503340fda8a9849635

svc examples: resolve missing declarations

BUG=webm:1584

Change-Id: Icb7ba5bb5a6d460c4d0419b76ee54af461ca4a52

highbd quantize: resolve missing declarations

BUG=webm:1584

Change-Id: Ia3f152bf2a37f8a1ea4178eeb1a6a262ea034a8d

Merge "tiny_ssim.c: resolve missing declarations"

highbd variance: resolve missing declarations

The optimizations were accidentally disabled during the move from vp9

commit  c3bdffb0a508ad08d5dfa613c029f368d4293d4c
author  Johann <johannkoenig@google.com>        Fri May 15 18:52:03 2015
Move variance functions to vpx_dsp

subpel functions will be moved in another patch.

BUG=webm:1584

Change-Id: Ia7899ee0cfad13a0e1516b89756552064846e81c

Refactor temporal filtering

Refactored temporal filtering, so that it was not hard-coded to
16x16 block size.

Change-Id: I06d0787660ff6eee6a8f02a846ad0e26c6825f54

Merge "vp9/encoder: resolve missing declarations"

tiny_ssim.c: resolve missing declarations

-Wmissing-declarations exposed several unused functions.

BUG=webm:1584

Change-Id: I88dfeb8ffa31253a0fb7674f6fe5fcd496179f96

vp9/encoder: resolve missing declarations

Mark local functions as 'static.' Found with -Wmissing-declarations

BUG=webm:1584

Change-Id: Icbdb0ceca3dbf3005ca29bfda05d533d241577d0

Merge "Remove a special case"

vp9: limit lpf workers to min(threads,tiles,sb_rows)

this implementation does not scale well beyond that. this restores the
performance in v1.7.0.

BUG=webm:1574

Change-Id: I8f3464cfe871988fa06ebefe9954811fd002584e

Merge "Unify AQ mode rdmult update interface"

Merge "Add control interface to PSNR_AQ mode"

Merge "vpxenc : fix misleading documentation about sharpness."

Remove a special case

The special case was put in to prevent a lossless test failure, the
issue has been dealt with by a recent fix of skip condition in
lossless mode.

Change-Id: Ia25d2bf6beead2208841b4f012171dffac15f411

Merge "Refactor aq mode segment_id assignment"

vpxenc : fix misleading documentation about sharpness.

Change-Id: I792c178736a9fc02a84aa83f351e12b7227259b0

Merge "vpx/*.h: rm some deprecated defines/enum vals/typedefs"

Merge "vpx/vp8cx.h: fix some typos"

Merge "vpx_integer.h: drop VS2010 workaround"

vpx_integer.h: drop VS2010 workaround

visual studio 2015 is the current minimum

BUG=webm:1573

Change-Id: I22139925c0a322b1da214c38d8f74fadbc34d2de

vpx/{vp8,vpx_encoder}.h: fix some typos

BUG=webm:1573

Change-Id: I5cbb29c89955aa1548ea2a2b3da5763bd38dd978

Merge "Correct condition for skip"

Unify AQ mode rdmult update interface

Handle the rdmult update for all AQ modes in a single function
call.

Change-Id: Ia0dfce637cf70d646bd3cd0abe3064e9491b81b8

Add control interface to PSNR_AQ mode

Change-Id: I760c69189fb8d8d85b5daffc86064c66913c0220

vpx/vp8cx.h: fix some typos

BUG=webm:1573

Change-Id: I46faa216a4a8278a363a8111237342f73e8467eb

vpx/*.h: rm some deprecated defines/enum vals/typedefs

most predate 1.4.0 the DBG enums were deprecated in 1.6.1. VPX_KF_FIXED
is left as it's still fairly widely used

BUG=webm:1573

Change-Id: Iacaad28a6fe7251f042a2b45507b00fc5b7a0eac

Correct condition for skip

Do not skip without check when lossless is requested.

Change-Id: Iceda428e7bf5ab19202b1dcb598e389fcaf6978d

Merge "Rework set_offsets() for rd search"

Merge "Improve rd_variance_adjustment() for low variance blocks."

Refactor aq mode segment_id assignment

Factor out the segment_id assignment for various AQ modes.

Change-Id: I34a86524048621cd369baf4bafbdfac621994563

No need to shift in SSIM calculations

We only need to shift in the encoder when the input bit depth
does not equal to the encoder internal bit depth.

Change-Id: If9af62382ac6824f33dc7dcdd3d3ff7802b92e9a

Merge "Disallow the comparison between videos with different bit depth"

Rework set_offsets() for rd search

Factor out the segment_id setup from mi array alignment.

Change-Id: I345ad7ea7b6c9edb6f86224e1941f2c954d68ff3

vp9-svc: Adjust step_param for screen-content

Use same step_param for all spatial layers for now.
Some improvement in quality on scrolling for spatial
enhancement layer.

Change-Id: Ic9eed8ba5dd44493e9f5e81f6115df2a25825d16

Merge "Localize x->encode_breakout setup to non-rd mode search"

Merge "Add frame header control to turn on PSNR_AQ mode"

Merge "Add PSNR_AQ mode"

Add Tile-SB-Row based Multi-threading in Decoder

Add the multi-thread function that decodes a video row by row instead
of a tile at a time. Create a job queue for queueing all parse and recon jobs.
Each SB row of a tile is a job.

Performance Improvement:

Platform        Resolution      3 Threads       4 Threads
ARM             720p            36.81%          18.37%
                1080p           32.27%          14.76%

ARM Improvement measured on Nexus 6 Snapdragon 805 Quad-core  @ 2.65 GHz

Change-Id: I3d4dd7a932fc2904c90d9546b2de99c809afd29e

Merge "Relocate tpl buffer allocation"

Relocate tpl buffer allocation

Move it to deeper stages where all the encoder configurations have
been set. This avoids the encoding failure when the buffer is
allocated before the encoder is fully configured.

Change-Id: I6723966fd2c7c36fbab9a92d1f3bd59c83ed95f0

vp9-svc: Fix condition in real-time speed setting

Remove the "spatial_layer_id == 0" condition in
the speed features for setting the motion search
for screen content.

Change-Id: Ib47aea3af5f3b2e04226694b4126b2ae2f458f13

Localize x->encode_breakout setup to non-rd mode search

The breakout speed feature is currently only used by the non-rd
mode search path. Localize it to simplify set_offset() logic.

Change-Id: I27e7519c987a7caac2e4bd6be0ede1b9c8320e55

Add frame header control to turn on PSNR_AQ mode

Change-Id: I46f695b15153c8c508f525a5673db24326371977

Add PSNR_AQ mode

Placeholder to support adaptive quantizer for PSNR and SSIM coding
quality improvement.

Change-Id: Id967c9914bb1d72a6f480ef1ba9d6650914dd658

Disallow the comparison between videos with different bit depth

Change-Id: I1fd8e991f2440925e989d8e7ab33fdf5f6b1d36b

vp9-svc: Adjust search step param for spatial layers

For non-base spatial layer in screen-content mode:
use nstep but with larger step_param value than sl0,
to avoid increase in encode_time.
Some improvement on scrolling slides content.

Change-Id: Ica918ac01664431d1fabb3c674d857cf6ad87414

Merge "vp9-svc: Define rc scene change flag per superframe"

Merge "doxygen: fix --disable-examples"

Merge "Remove -Wextra suppression."

vp9-svc: Define rc scene change flag per superframe

Define the rc->high_num_blocks_with_motion, set in the
scene change analysis, to be defined per superframe.
This is used for increasing motion search area on
some (super)frames, e.g., for scrolling.

Also some code cleanup in rt_speed_feature_.

No change in behavior.

Change-Id: I1a5c04b9cd4aef1723ce42f82e981a2ca15c8b9d

Remove -Wextra suppression.

BUG=webm:1246

Change-Id: Iae78e266faa9c4989500fc919b24f2f584ac0550

Merge "Add build_motion_field()"

Merge "vp8: Fix potential use-after-free in mfqe."

Merge "Remove unused code in tiny_ssim"

vp8: Fix potential use-after-free in mfqe.

Similar issue to 842265.

The pointer in vp8 postproc refers to show_frame_mi which is only
updated on show frame. However, when there is a no-show frame which also
changes the size (thus new frame buffers allocated), show_frame_mi is
not updated with new frame buffer memory.

Change the pointer in postproc to mi which is always updated.

BUG=913246

Change-Id: I5159ba7134a06db472c29a1d84b8d39bb60c7254

Remove unused code in tiny_ssim

Change-Id: Ife6eb3f8651daa209eeeb8eff85158f00d418647