Merge "VP9 denoising enabled by noise_sensitivity param"

Merge "Replaced loops with vpx_memcpy()"

VP9 denoising enabled by noise_sensitivity param

As in VP8.

Currently, this parameter is set with the VP8E_SET_NOISE_SENSITIVITY flag.
The flag was not renamed so that we don't break the interface for webrtc. This
should probably be changed at some point in the future.

Change-Id: Ic73fcb0dde9d1d019e9d042050b617333ac65472

Replaced loops with vpx_memcpy()

Change-Id: Icbe05657f0e92c3838e6a5a975f4f82d21328a2e

Merge "Added a speed feature controlling a motion search parameter"

Merge "Adapt strength of AQ2."

Added a speed feature controlling a motion search parameter

This commit added a speed feature to control the step_param used in
full pixel motion search. The intention is to reduced the search
steps for high speed real time coding.

Change-Id: I21d2f0105c2b647783a6688615da7fcf2b6d670b

Merge "Store/read 16x16 block statistics obtained from the first pass"

Adapt strength of AQ2.

Adapt the use of segmentation in AQ mode 2 based on
the ambient kf/arf/gf Q.

Disable segmentation where the rate per SB is very
low and overheads are likely to outweigh the benefits.

This patch reduces the -ve average metrics impact
of AQ mode 2 while allowing stronger 3 segment AQ
in some cases. Average improvement ~0.5-1.0%.

Change-Id: I5892dfcc7507c5cc6444531cc7fe17554cf8d0c7

Adds support for reading and writing 10/12-bit y4m

The y4m extension used is the same as the one used in ffmpeg/x264.
The patch is adapted from the highbitdepth branch.

Also adds unit tests for y4m header parsing and md5 check
of the raw frame data, as well as y4m writing.

Change-Id: Ie2794daf6dbafd2f128464f9b9da520fc54c0dd6

Merge "VP9 denoiser used s/int/enum where appropriate"

Merge "Denoised output is now grayscale"

Merge "vp8/bitstream.h: quiet warnings in EDSP builds"

Merge changes I875ac5a7,I2b13369d,I9ceb47a9

* changes:
  update vp9_thread.[hc]
  vp9_thread_test: remove unnecessary c_str()'s
  vp9_thread_test: factorize decode loop

Merge "Re-design quantization process"

Re-design quantization process

This commit re-designs the quantization process for transform
coefficient blocks of size 4x4 to 16x16. It improves compression
performance for speed 7 by 3.85%. The SSSE3 version for the
new quantization process is included.

The average runtime of the 8x8 block quantization is reduced
from 285 cycles -> 255 cycles, i.e., over 10% faster.

Change-Id: I61278aa02efc70599b962d3314671db5b0446a50

Merge "Add a test that tests invalid partitions for profile 1"

Merge "validate uv block size when reading partition"

Store/read 16x16 block statistics obtained from the first pass

Add a conditional compile flag for this feature. Also add a
switch to enable the encoder to use these statistics in the
second pass. Currently, the switch is turned off.

Change-Id: Ia1c858c35ec90e36f19f5cffe156b97ddaa04922

Merge "Elevate NEWMV mode checking threshold in real time"

Add a test that tests invalid partitions for profile 1

Change-Id: I3d95fbe9a8098256582b5386881d5b7bbdb317ed

Merge "vp9_thread_test: add 'Thread' to test names"

Elevate NEWMV mode checking threshold in real time

The current threshold is knid of low, and in many cases NEWMV
mode is checked but not picked as the best mode. This patch
added a speed feature to increase NEWMV threshold, so that
less partition mode checking goes to check NEWMV. This feature
is enabled for speed 6 and 7.

Rtc set borg tests showed:
1. Speed 6, overall psnr: -0.088%, ssim: -1.339%;
   Average speedup on rtc set is 11.1%.
2. Speed 7, overall psnr: -0.505%, ssim: -2.320%
   Average speedup on rtc set is 12.9%.

Change-Id: I953b849eeb6e0d5a1f13eacba30c14204472c5be

VP9 denoiser used s/int/enum where appropriate

Change-Id: Id52a7869fd1f31bb060de170e3295da7435adb9e

Denoised output is now grayscale

Grayscale is conditionally compiled.

Change-Id: I482ab237560d0bae8d397fd9999e78d38104f2a1

Add a new yuv444 testvector.

This refelects the profile 1 bitstream change in 6c54dbc.

Change-Id: I39625d88f236a79b7f2955d79c5a451e3753da16

Merge "Fix visual studio build issue"

validate uv block size when reading partition

Change-Id: I74fc5f1a7bab3128cdd49441b83ec3a25aee65ca

Fix visual studio build issue

Fixed the signed/unsigned mismatch.

Change-Id: Id83d603b8f1745b71f4cf695a0751e55518b1316

update vp9_thread.[hc]

pull the latest from WebP, which adds a worker interface abstraction
allowing an application to override init/reset/sync/launch/execute/end

this has the side effect of removing a harmless, but annoying, TSan
warning.

Original source:
 http://git.chromium.org/webm/libwebp.git
  100644 blob 08ad4e1fecba302bf1247645e84a7d2779956bc3 src/utils/thread.c
  100644 blob 7bd451b124ae3b81596abfbcc823e3cb129d3a38 src/utils/thread.h

Local modifications:
 - s/WebP/VP9/g
 - camelcase functions -> lower with _'s
 - associate '*' with the variable, not the type

Change-Id: I875ac5a74ed873cbcb19a3a100b5e0ca6fcd9aed

vp9_thread_test: remove unnecessary c_str()'s

EXPECT_EQ() works with strings

Change-Id: I2b13369d2aa7ff305ee516e6cb73bd099f8dead9

vp9_thread_test: factorize decode loop

+ add a SCOPED_TRACE with the current filename

Change-Id: I9ceb47a9154bc0d9f9878a83b707e8ed935790f9

vp9_thread_test: add 'Thread' to test names

s/VP9DecodeMTTest/VP9DecodeMultiThreadedTest/

this enables simpler test filtering

Change-Id: I010a451cf32fa5a95db6734cc22f331f0a0d515a

vp8/bitstream.h: quiet warnings in EDSP builds

fixes:
vp8\encoder\bitstream.h: same type qualifier used more than once

Change-Id: I62b99342131fdaedb1f7cc8d2dcd13ab34637cd7

Merge "libs.mk: don't include x86inc.asm in codec src list"

Merge "Revert "Fix a bug in VP9Worker which leads to unit test hang.""

Merge "BITSTREAM: Handle transform size and motion vectors more logically for non-420."

Revert "Fix a bug in VP9Worker which leads to unit test hang."

The caller should reset the state instead of letting worker
to reset.

This reverts commit 34b2ce15f95ee0944ebe6d569e7a9179a7e4cc5b.

Change-Id: Idb546ea6386cffc44e98dee772900d21ab79710f

Merge "Encode_breakout code refactoring"

Merge "change to not force interp_type as SWITCHABLE"

change to not force interp_type as SWITCHABLE

Encoder still uses SWITCHABLE as default via DEFAULT_INTERP_FILTER,
but does not override the default if it is not SWITCHABLE.

Change-Id: I3c0f6653bd228381a623a026c66599b0a87d01d5

Merge "Remove unused set_mode_info function"

Merge "Fix a bug in VP9Worker which leads to unit test hang."

Encode_breakout code refactoring

Moved the encode_breakout_test out of vp9_pick_inter_mode().

Change-Id: I6966d0293ae5210a5a28b0e8debacb24d1c0d2d4

Remove unused set_mode_info function

When the frame is intra coded only, the encoder takes the RD
coding flow. Hence the function set_mode_info is not practically
in use. This commit removes it and the associated conditional
branches.

Change-Id: I1e42659ceb55b771ba712d1cdecacb446aa6460d

Fix a bug in VP9Worker which leads to unit test hang.

This fixes the hang in VP9/InvalidFileTest.ReturnCode/3
due to worker->had_error has not been reset after getting
error.

Change-Id: Ia3608225094758a2bd88f6ae4dd9dfd93bbaad27

Enable encode breakout in real time

For real time speed 7, once encode breakout is on(i.e. encoding
setting --static-thresh=1), a proper encode breakout threshold
is set to speed up the encoder.

Set --static-thresh=1, RTC set borg test showed a slight overall
psnr loss of 0.162%, but ssim gain of 0.287%. The average speedup
on RTC set is 6%, and for some clips, the speedup can be 10+%.

Change-Id: Id522d9ce779ff7c699936d13d0c47083de4afb85

Decide the partitioning threshold from the variance histogram

Before encoding a frame, calculate and store each 16x16 block's
variance of source difference between last and current frame.
Find partitioning threshold T for the frame from its variance
histogram, and then use T to make partition decisions.

Comparing with fixed 16x16 partitioning, rtc set test showed an
overall psnr gain of 3.242%, and ssim gain of 3.751%. The best
psnr gain is 8.653%.

The overall encoding speed didn't change much. It got faster for
some clips(for example, 12% speedup for vidyo1), and a little
slower for others.

Also, a minor modification was made in datarate unit test.

Change-Id: Ie290743aa3814e83607b93831b667a2a49d0932c

Merge "initialize bit buffer structure to avoid warning error"

Merge "vp8 denoiser fix: free memory of denoiser->denoiser_state."

Merge "Implemented motion compensation for VP9 denoiser"

Merge "silence unused parm warning for worker thread in loop filter"

Merge "remove unused parms from rd_pick_inter_mode_sb_seg_skip"

initialize bit buffer structure to avoid warning error

Change-Id: I38bb2801ad3f059d5e2eb6513eec92397c67abcd

vp8 denoiser fix: free memory of denoiser->denoiser_state.

Change-Id: I86451ddfa90d871e46e5b4c97794dbef65293c6c

silence unused parm warning for worker thread in loop filter

Change-Id: Id51468f99f8970b8795ce2d254344f4b8d7817d0

remove unused parms from rd_pick_inter_mode_sb_seg_skip

Change-Id: I7f989d197444d166133ad91eb23ac1033109f58d

Merge "vp9: disable postproc buffer alloc when unnecessary"

Merge "Add a test using VP9E_SET_LOSSLESS"

libs.mk: don't include x86inc.asm in codec src list

this file is an include and doesn't need to be built on its own.
fixes:
ranlib: file: libvpx_g.a(x86inc.asm.o) has no symbols

Change-Id: I89504e37ff0a4488489af7b9b7e09fb32acc4853

Add a test using VP9E_SET_LOSSLESS

Change-Id: Ia9ac079d65fbd0a134e8d69c1f4ce171fe94bf64

configure: defer x32 check until post toolchain setup

x32 would never be detected unless an explicit CC= was used
fixes:
...: -E: command not found

Change-Id: I465fd7b0979f782053bdda240ad68edbca5658e5

vp9: disable postproc buffer alloc when unnecessary

the buffer is only used in encoding and only when
CONFIG_INTERNAL_STATS or CONFIG_VP9_POSTPROC is enabled.
a future change should decouple this from the frame buffer allocation
and make it conditional based on runtime flags when the above config
options are enabled.
reduces decode heap usage by at least 12%

Change-Id: Id0b97620d4936afefa538d3aadf32106743d9caf

Merge "Revert "Revert "Revert 3 patches from Hangyu to get Chrome to build:"""

Revert "Revert "Revert 3 patches from Hangyu to get Chrome to build:""

This reverts commit b336356198b8ada50fbb59f04f11cefceaf5ff95.

This causes a hang in:
VP9/InvalidFileTest.ReturnCode/3

the change to test/user_priv_test.cc remains with a minor update

Change-Id: I4a8a272ca37ea329b0f413f0b1cd827a238bd9fd

Merge "Allow encoder to set lpf level to 0"

Merge "Added a new speed 7 in rt mode"

Merge "Add a CPU speed test with screen content."

Merge "iosbuild.sh Add arm64 support to VPX.framework."

Merge "configure.sh: Tweak default of use_x86inc for 64-bit, non-pic, and Darwin."

Merge "fix: Only do spatial SVC when there are > 1 layers"

Merge "VP9 denoiser: implemented update_frame_stats()"

Allow encoder to set lpf level to 0

As a way to speed-up rtc encoding at speed 7.

Change-Id: Ie36a010392cf7b741dc130df21a4e733622a75b7

Added a new speed 7 in rt mode

To experiment with different speed/quality compromises.

Change-Id: Ia9d4b85243554d620498a327da37c356e752b07f

Merge "[spatial svc] Remove encoding modes since we only need one mode at this time."

Merge "[spatial svc]Remove key frame quantizer settings since key frame is decided by rate control"

Merge "Verify that the ouput of q0 is lossless in cpu speed test."

Merge "Better validation of invalid files"

Add a CPU speed test with screen content.

Encoding screen content exercises various fast skip paths that are
missed by natural video content.

Change-Id: Ie359884ef9be89cbe5dda6d82f1f79360604a090

Verify that the ouput of q0 is lossless in cpu speed test.

Change-Id: Ib94ee638eb486f1368f2e3098d25c1d3d28fc265

Merge "vp8: bugfix in postproc vp8_de_noise."

Merge "Add realtime coverage to cpu speed test"

Merge "Use UV prediction when deciding to skip in for lossless."

Better validation of invalid files

This patch checks that a decoder never tries to reference frame that's
outside the range of 2x to 1/16th the size of this frame.  Any attempt
to do so causes a failure.

Change-Id: I5c98fa7bb95ac4f29146f29dd92b62fe96164e4c

vp8: bugfix in postproc vp8_de_noise.

Set the proper number of mb_rows/cols.
Also remove warnings (unused variable) when configured with temporal-denoising disabled.

Change-Id: I8abd2372394ee55295feb87a66efd294ea6989d0

Implemented motion compensation for VP9 denoiser

Change-Id: Iee21eb0ecc5a1fe2c56fb3df0cee0ead6d139ed1

fix: Only do spatial SVC when there are > 1 layers

Bug introduced in I930dced169c9d53f8044d2754a04332138347409. If
svc.number_temporal_layers == 1 and svc.number_spatial_layers == 1, the system
attempt to do spatial SVC. It no longer does that.

Change-Id: Ie6b130a72b1eea40c547c9a64447e40695f811c5

VP9 denoiser: implemented update_frame_stats()

Also added reset_frame_stats()

Change-Id: I8e6ca00dbd5fa85cd39485d81c9343c0ff207d6c

Merge "Multi-arf: Change ref buffer for primary arf."

denoising_sse2.c visual studio warnings/errors fix

Fixed reported vs warnings/errors.

Change-Id: Ia4c44d64a69dbd9e1738c6ebb48be29582b7e1d3

Multi-arf: Change ref buffer for primary arf.

For the primary arf in a group, if multiple arfs
are enabled and we were using arfs in the previous
group, then allow the second arf from the previous
group to be used as an additional reference.

Change-Id: Iaf41706a52f54ef21548026851cd77100d6aebda

Add realtime coverage to cpu speed test

Change-Id: I33e8d1788ce29ffc695f7e9b84167ef446b1b56c

Adaptive txfm size selection depending on residual sse/variance

This commit enables an adaptive transform size selection method
for speed -6. It uses largest transform size when the sse is more
than 4 times of variance, i.e., most energy is compacted in the
DC coefficient. Otherwise, use the default TX_8X8. It improves
the compression efficiency for rtc set of speed -6 by 0.8%, no
speed change observed.

Change-Id: Ie6ed1e728ff7bf88ebe940a60811361cdd19969c

Merge "Skip the partition search for the frame with no motion"

Use UV prediction when deciding to skip in for lossless.

Change-Id: Ic149749157d762039446d14472d40d9211c6451a

Merge "vp8: Add temporal denoising for UV-channel."

Merge "Add arm64-darwin-gcc target."

Skip the partition search for the frame with no motion

This patch allows the encoder to skip the partition search for the
frame if it is an inter frame and only zero motion vectors have
been detected in the first pass. The partition size is directly
assigned according to the difference variance.

Borg tests show overall little performance changes in term of PSNR
(derf -0.027%, yt 0.152%, hd 0.078%, stdhd 0%). The worst case of
PSNR loss is -0.514% from yt. The best PSNR gain is 4.293% from yt.
The second pass encoding speedup for slideshow clips is 15%-40%.

Change-Id: I881f347d286553ee5594a9ea09ba1a61ac684045

vp8: Add temporal denoising for UV-channel.

C version and sse2 version, and off by default.
For the test clip used, the sse2 performance improved by ~5.6%

Change-Id: Ic2d815968849db51b9d62085d7a490d0e01574f6

Add arm64-darwin-gcc target.

Change-Id: I251cca45db54d2947868e2b9c35cb54f86b10706