ResizeCspTest: request PSNR packets

without VPX_CODEC_USE_PSNR they're only generated by default with
--enable-internal-stats

Change-Id: I9a5a8874a3aa4bde39ae09a4101ed5616c83c9a1

Use variance metric for integral projection vector match

This commit replaces the SAD with variance as metric for the
integral projection vector match. It improves the search accuracy
in the presence of slight light change. The average speed -6
compression performance for rtc set is improved by 1.7%. No speed
changes are observed for the test clips.

Change-Id: I71c1d27e42de2aa429fb3564e6549bba1c7d6d4d

Merge "Fix source frame border extension"

Fix source frame border extension

This commit fixes an issue in source frame border extension. It
causes certain frame resolution such as 640x480 to have a portion
of the right/bottom extension filled by zeros, which misleads
motion search and degrades transform coding performance when large
block size is used.

This fix improves the speed 2 compression performance of a few
yt sequence, typically ranging from 1% - 2%, up to 5% at median
to low bit-rate.

Change-Id: Id6b09a5695d9e7651c6dfbc2c6a72288b08af7fb

Merge "Fix calc_highbd_psnr"

Merge "Make SVC compatible with external resize."

Fix calc_highbd_psnr

Should use the crop dimensions of the frame rather
than the extended size.

Change-Id: I49ed041a46ff0753d43e074020857b7ff2f95e17

Merge "Fix arithmetic overflow warnings."

Merge "use LC_ALL=C to sort libvpx_*srcs.txt"

Merge "Refactor integral projection based motion estimation"

Merge "Fix high bit-depth loop-filter sse2 compiling issue - part 4"

Merge "Fix high bit-depth loop-filter sse2 compiling issue - part 3"

Merge "Fix high bit-depth loop-filter sse2 compiling issue - part 2"

Merge "Fix high bit-depth loop-filter sse2 compiling issue - part 1"

test-data.mk: fix perf test data dependency

both the encode and decode perf tests require niklas_1280_720_30.yuv
broken since:
28eebf3 Merge "tests: add a shorter 720p test clip"
7839d03 tests: add a shorter 720p test clip

Change-Id: I51ebbf7261832e25d8f2c1da5c7df5c2e47f748e

use LC_ALL=C to sort libvpx_*srcs.txt

Change-Id: I387da141ebade4fc4d2f3c0a2b6aa5aaea091c0c

tools_common.sh: use $$ in VPX_TEST_OUTPUT_DIR

a bit simpler than invoking awk for rand()

Change-Id: I36ac474708f7bf0157ae59b882c2a9f69b0aaf41

Merge "tools_common.sh: add directory name to error output"

Fix arithmetic overflow warnings.

Change-Id: Ib85b5bc135aa0907a76b8c74faafe577e27d014f

Fix high bit-depth loop-filter sse2 compiling issue - part 3

Change-Id: Idb14b9a285f8098126f967c5e2750221d6a58f69

Merge "Fix the encoder to support profile change"

Merge "Correct parameter order in a function call"

Merge "tests: add a shorter 720p test clip"

Refactor integral projection based motion estimation

Support variable block size integral projection based motion
estimation.

Change-Id: Iee6d65e44df4480aa13fb7b84b9c91914b89caa1

tools_common.sh: add directory name to error output

+ add a helper function to reduce the duplication

this is a bit clearer when the environment variable is set, but the
directory is missing

Change-Id: I08f9b56122b5741bb40a5f795f7f82f5b49f1047

Fix high bit-depth loop-filter sse2 compiling issue - part 2

Change-Id: I6728b69bb3dff1daa64ff7142f691e80a089f1c4

Fix the encoder to support profile change

Change-Id: Iefb928ad1174e274409facfb44f80265ff0f7683

Correct parameter order in a function call

Change-Id: Ibd87db1c4371edcbe193d39df2fdc07d3842c21a

Merge "Account for rate error in GF group Q calculation."

tests: add a shorter 720p test clip

niklas_1280_720_30.y4m 60 frames @ 30fps
only a small number of frames are being used; this reduces the test data
download size in non-perf-test cases by >500M.
retain niklas_1280_720_30.yuv for encode+decode perf tests

Change-Id: I56b3433104acd462f952a9554280de5a3ec0b6d2

Make SVC compatible with external resize.

Fixes https://code.google.com/p/webm/issues/detail?id=943

Change-Id: I6177bf6ab6b31a22d2652732f579b8aed3f28887

Merge "Motion compensated reference refinement"

Merge "Re-distribute hierarchical vector match pattern"

Motion compensated reference refinement

This commit applies one-step refinement search to the resulting
motion vector of the integral projectiion based motion estimation,
per 64x64 block. It improves the coding performance of speed -6.

pedestrian 1080p 500 kbps
51735 b/f, 36.794 dB, 16044 ms ->
51382 b/f, 36.793 dB, 16282 ms

cloud 1080p 500 kbps
24081 b/f, 37.988 dB, 14016 ms ->
23597 b/f, 38.076 dB, 12774 ms

vidyo1 720p 1000 kbps
16552 b/f, 40.514 dB, 8279 ms ->
16553 b/f, 40.543 dB, 8510 ms

The rtc set compression performance is improved by 0.5%.

Change-Id: I3d09bea2caf58b2a4f3b38aa26fffafcbe9a2c17

Merge "Fix a trivial memory leak"

Merge "Fix ssse3 quantize_fp functions while skip=1"

Fix high bit-depth loop-filter sse2 compiling issue - part 1

The intrinsic statement _mm_subs_epi16() should take immediate.
Feeding variable as its input argument will cause compile failure
in older version gcc.

Change-Id: I6a71efcc8d3b16b84715e0a9bcfa818494eea3f4

Merge "Fix fwd transform sse2 build issue on older gcc version"

Fix fwd transform sse2 build issue on older gcc version

Change-Id: I3e0e53d129552babf29e6c5d047483733983973c

Merge "vp9_loopfilter: quiet integer constant size warnings"

Fix a trivial memory leak

Change-Id: I1108d720bb3b30586b128dd01ce608e1e62b1756

Fix high bit-depth loop-filter sse2 compiling issue - part 4

Change-Id: I39f56f60425836f2e1ec07da71edd4810a4c78bb

Re-distribute hierarchical vector match pattern

This commit modifies the hierarchical vector match patter. It
avoids repeated SAD computation at same points. The function
vp9_vector_sad_sse2 is called 12 times per 64x64 block, instead
of 15 times as before. The effective coverage remains the same.

Change-Id: I91ad9d27d40db8963c907d02af84e10702136994

vp9_loopfilter: quiet integer constant size warnings

mark uint64_t constants with 'ULL'

Change-Id: I7648e161b4004fba35e1fa7ab79e34cc19e39716

Fix ssse3 quantize_fp functions while skip=1

In ssse3 functions, DEFINE_ARGS macro hard codes qcoeff and dqcoeff
to r3 and r4. If skip is 1, qcoeff and dqcoeff need to be loaded
from the stack, which doesn't work because of the above definitions.
Currently, skip=1 case is not used in the encoder. This patch fixed
the issue, so it can be turned on later.

Change-Id: I998d696b1a7a85dca2b3bcee790b21c21e039147

fix the propagation of color space info in decoder

This addresses the issue #960

Change-Id: Iddf45b4bd4f53cb0ddfd879e800a071cd843b915

Account for rate error in GF group Q calculation.

When GF group adaptive maxQ is enabled this patch accounts
somewhat for accumulated error in the rate control.

This improves accuracy quite a bit on many clips especially
when there is  overshoot.

Examples when the overshoot and undershoot command line
parameters are set to 100:

Hall @ 1200 overshoot is reduced from 67-24%.
Akiyo @ 400 undershoot is reduced from 28%-15%.

Setting a lower value for undershoot or overshoot still
reduces the error further.

Impact on metrics is mixed with some gains in average psnr
but generally a little lower (e.g. 0.5%) on overall and ssim.

The GF group adaptation is still off by default in this patch.
Compared to with the head, enabling this mode now gives
big average psnr gains on the YT sets (e.g. YT_HD >11.2%),
a drop in overall PSNR (YT-HD 3.9%) and a smaller drop or
neutral for SSIM.

Change-Id: If4b32cd0740d3fb941317b374f9c2951954eee90

Merge "Remove redundant test"

Merge "Remove a few unneccessary multiplications in denoiser."

Remove a few unneccessary multiplications in denoiser.

Change-Id: I3edbb7cc67203fbbf32c6fd4a08015ca9d9ed53e

Move dequant table from VP9_COMMON to VP9_COMP as decoder
does not need it any more.

This reduces VP9_COMMON size from 25776 bytes to 17584 bytes(~31%).

Change-Id: Ic5daea732ccefb6d512b048af7983f0efe08589b

Merge "Adjustments to cyclic refresh (aq-mode=3)."

Merge "Add high bit depth support to rtc sub8x8 block coding"

Adjustments to cyclic refresh (aq-mode=3).

Target higher delta-qp for big blocks with zero motion,
and for segment#1: avoid 64x64 partition size and force 8x8 tx size.

Metrics on RTC set mostly positive: SSIM up by ~4%, PSRN by ~1.5%.
Doesn't seem to be any change in speed.

Change-Id: I1f68fa3c4f62dab3b90cc58041f05ebb048ae5ac

Add high bit depth support to rtc sub8x8 block coding

This commit adds proper buffer handle to support high bit depth
in rtc sub8x8 block coding.

Change-Id: Ibaf8a2160194121aec9ca68b8094817fed9ccaea

Merge "Optimize the dequantization process on decoder side."

Merge "Fix control string in firstpass stats fprintf"

Optimize the dequantization process on decoder side.

Change-Id: I00621ff7165bbe86a18794b4a816976c9effaf78

Merge "Improve skip_txfm thresholds in the non-rd mode selection"

Fix control string in firstpass stats fprintf

20 items in the control string but only 19 arguments.

Change-Id: I51dab9aa1c58c653b52395005a9cb41f09feb484

Merge "Integral projection based motion estimation"

Improve skip_txfm thresholds in the non-rd mode selection

Modified the thresholds of deciding whether or not to skip
the transforms in model_rd_for_sb_y(). Used zbin[] instead
of dequant[] to be more precise. Also, modified the checking
coditions.

Rtc set borg test results (at speed 6) showed:
average PSNR gain: 0.138%, overall PSNR gain: 0.158%,
and SSIM gain: 0.177%.

The data rate test was modified slightly as suggested by
Marco.

Change-Id: Ieaf633ab77f4838cb3c45cf69065b29d55f8ae6c

Integral projection based motion estimation

This commit introduces a new block match motion estimation
using integral projection measurement. The 2-D block and the nearby
region is projected onto the horizontal and vertical 1-D vectors,
respectively. It then runs vector match, instead of block match,
over the two separate 1-D vectors to locate the motion compensated
reference block.

This process is run per 64x64 block to align the reference before
choosing partitioning in speed 6. The overall CPU cycle cost due
to this additional 64x64 block match (SSE2 version) takes around 2%
at low bit-rate rtc speed 6. When strong motion activities exist in
the video sequence, it substantially improves the partition
selection accuracy, thereby achieving better compression performance
and lower CPU cycles.

The experiments were tested in RTC speed -6 setting:
cloud 1080p 500 kbps
17006 b/f, 37.086 dB, 5386 ms ->
16669 b/f, 37.970 dB, 5085 ms (>0.9dB gain and 6% faster)

pedestrian_area 1080p 500 kbps
53537 b/f, 36.771 dB, 18706 ms ->
51897 b/f, 36.792 dB, 18585 ms (4% bit-rate savings)

blue_sky 1080p 500 kbps
70214 b/f, 33.600 dB, 13979 ms ->
53885 b/f, 33.645 dB, 10878 ms (30% bit-rate savings, 25% faster)

jimred 400 kbps
13380 b/f, 36.014 dB, 5723 ms ->
13377 b/f, 36.087 dB, 5831 ms  (2% bit-rate savings, 2% slower)

Change-Id: Iffdb6ea5b16b77016bfa3dd3904d284168ae649c

Fix a check condition in nonrd_pick_partition

Change-Id: Ic92fb4b16948f745c218351b24fdafecf9abce3a

Merge "Fix the frame parallel invalid file test failure on ARM."

Merge "test_vector_test: fix build with --disable-(vp8|vp9)"

Fix the frame parallel invalid file test failure on ARM.

There is a corner case that when a frame is corrupted, the following
inter frame decode worker will miss the previous failure. To solve
this problem, a need_resync flag needs to be added to master thread
to keep control of that.

Change-Id: Iea9309b2562e7b59a83dd6b720607410286c90a6

loop_filter_rows_mt: remove dependency on 'last_height'

using this to control reallocation would miss a change if the function
were not called for every frame.
fixes potential memory corruption by the subsequent memset

Change-Id: I4c6bb6ab68803104fc824c7e27cc2f9b2cf53e33

test_vector_test: fix build with --disable-(vp8|vp9)

use VP[89]_INSTANTIATE_TEST_CASE case when possible to disable the tests if
the codec is unavailable.
broken since:
be6aead Try again to merge branch 'frame-parallel' into master branch.

Change-Id: I8d81c5ba3b951f82be94bfaed6be194e4289baec

Merge "Fix an encoder/decode mismatch bug"

Fix an encoder/decode mismatch bug

This commit prevent the encoder to update last_frame_type when a frame
is dropped in the encoder. Prior to this fix, if there is a dropped
frame immediatedly after a key frame, decoder would have the value of
last_frame_type as key frame, different from encoder as the dropped
frame in encoder would have updated the value to an inter frame. This
leads to different probability update in encoder and decoder, thereby
encoder/decoder mismatch.

This fixes issue #941

Change-Id: I27115224b138bec43ae3916c016574f5740822b0

Merge "Replace some operations with shift in encoder_breakout."

Merge "Improve readability: move return statements"

Remove redundant test

Change-Id: I11e4fd8dcd44b0475f3bff0545a035feb223ce55

Replace some operations with shift in encoder_breakout.

Replaced a divide by 9 with 8, so some very small difference,
but otherwise no change in behavior.

Change-Id: I1079ae3c41e0789ff0bc6fa9940a238b6bca0f5b

Merge "Add VP9 decoder control to get frame size"

Improve readability: move return statements

Change-Id: I18428d0a93084f78ec136d9019f10466326c67e5

Add VP9 decoder control to get frame size

Adds a control function that allows the caller to get
the size of the current frame.

Change-Id: Iddfdedc0f3aa9aa46119f87d294681c82f275c9f

Merge "vpx_temporal_svc_encoder: Adjust default qp-max setting for vp9."

Merge "Fix ioc issue in block_rd_txfm"

Fix ioc issue in block_rd_txfm

Force 64-bit precision in the intermediate steps.

Change-Id: I666113d9adcef8975da201d5aa1a13b783d09594

vpx_temporal_svc_encoder: Adjust default qp-max setting for vp9.

Change-Id: Iada495f05193a1f645a5405ad792931f4d9113ab

Merge "Add missing initializer to VP8 codec interface"

Merge "Remove unnecessary border extension when frame size change."

Merge "Add skin detection."

Add missing initializer to VP8 codec interface

Change-Id: Ia164ba03fb732e9c9e520e4aa2d75b7eadff6165

Merge "Update partition rate cost in rtc speed 5"

Merge "Add mode cost to sub8x8 block mode decision in rtc coding"

Merge "Add cast to convert double to int"

Add skin detection.

Simple skin detection, from vp8; works reasonable on most of the
RTC clips, but could miss sometimes.

Added debug flag to write out skin map over source input.

Change-Id: I2caea7592f1c459047aac46627eeb24a94946464

Merge "Make vp9_print_modes_and_motion_vectors() work"

Merge "vp9_thread: prefer pthread.h if available"

Merge "vp9_highbd_tm_predictor_16x16: fix win64"

Add cast to convert double to int

Change-Id: I7f63c2940256a5dadf9a29a853809290dd9e98ed

Add mode cost to sub8x8 block mode decision in rtc coding

This commit allows the encoder to properly account for the mode
cost in sub8x8 non-RD mode decision.

Change-Id: I2951960d20e37ed08e372ee0c7044935b2b9b899

Merge "Account for inter prediction filter rate cost in rtc mode selection"

Merge "Add ref frame rate cost to non-RD mode decision"

Update partition rate cost in rtc speed 5

The block partition rate cost should be updated when recursive
partition search is needed.

Change-Id: I7bc5ad1fc2cbd3577dee7f7e8da111a2742bdeb9

Account for inter prediction filter rate cost in rtc mode selection

Add the rate cost on inter prediction filter type to the overall
rate-distortion cost in vp9_pick_mode_inter.

Change-Id: I72c34017adf5220cadb3962694ee5404469fc673

Add ref frame rate cost to non-RD mode decision

This commit adds a heuristic rate cost of reference frame to the
non-RD mode decision. It improves the compression performance of
speed -6 by 0.31% and speed -5 by 0.69%.

Change-Id: If7f3b45519d49b2cb640bcb7316a254efc8be446