Combined non-rd motion searchs into a single function

This commit combined the full pel and sub pel motion search into a
single function to avoid code duplication. The commit does not change
encoder outputs.

Change-Id: Ibe18342c4f64073bef20f9cf6c6ca0a20d01bf0d

Merge "Use the VP9 version of extend_borders"

Merge "Adds support for reading and writing 10/12-bit y4m"

Merge "Tune SSSE3 implementation of fast path quantization"

Merge "Remove an empty line"

Tune SSSE3 implementation of fast path quantization

This commit further simplifies the SSSE3 implementation of the fast
path quantization process.

Change-Id: I5be3286ec0f1bd81d1cf5be3168fece6384fb9ca

Remove an empty line

Change-Id: Id6eedc502c86433df1456dd994aee6bc9a1359a2

Cleanup motion search speed features.

* Replace max_step_search_steps with constant MAX_MVSEARCH_STEPS
* Fold (reduce_first_step_size + speed > 5) into reduce_first_step_size
  replacing uses of reduce_first_step_size that don't add the speed
  check with zero.

Change-Id: Iae46395dbf3eaca138bf4d18b838a9e364b5a198

Merge "Allow lossless skipping in RD mode decision."

Merge "Neon version of vp8_denoiser_filter_uv()"

Adds support for reading and writing 10/12-bit y4m

The y4m extension used is the same as the one used in ffmpeg/x264.
The patch is adapted from the highbitdepth branch.

Also adds unit tests for y4m header parsing and md5 check
of the raw frame data, as well as y4m writing.

[build fix for Mac/VS by not using tuples with strings]

Change-Id: I40897ee37d289e4b6cea6fedc67047d692b8cb46

Merge "Reverting "Adds support for reading and writing 10/12-bit y4m" for now because of Mac Build Failure."

Merge "Multi-arf: Add code to turn it on and off."

Reverting "Adds support for reading and writing 10/12-bit y4m" for now because of Mac Build Failure.

This reverts commit 82dc1332af4b16d3e4ad3c4358498820637b7add

Change-Id: I824bf42bf47c7df6985c79e451d6af913030d374

Merge "Cleanup vp9_rd."

Merge "Split vp9_rdopt into vp9_rdopt and vp9_rd."

Merge "vpxdec: add --keep-going option"

Merge "Cleaning up and simplifying read_frame_stats()."

Cleanup vp9_rd.

Change-Id: I39a37335ba5b3a969d328afb1f425ddb2cf7ddda

Split vp9_rdopt into vp9_rdopt and vp9_rd.

vp9_rdopt is for making rd optimal mode decisions. vp9_rd is for all
other rd related routines. Anything used outside of making an rd optimal
decision belongs in rd.

Change-Id: I772a3073f7588bdf139f551fb9810b6864d8e64b

Cleaning up and simplifying read_frame_stats().

Change-Id: I262ecac02d376de83097bb40f744f5584e987603

Merge "Fix rd threshold overflow issue"

Merge "VP9 denoiser implemented FILTER_BLOCK case"

Merge "VP9 denoising enabled by noise_sensitivity param"

Fix rd threshold overflow issue

Moved the threshold adjustment before reference flag checking,
which could set the threshold to INT_MAX for disabled reference
frame, and cause overflow if the adjustment is done after that.

Change-Id: I85e94f8726d5e3ae93f65965aa978721dddc9957

Merge "Replaced loops with vpx_memcpy()"

VP9 denoiser implemented FILTER_BLOCK case

Renamed updating_running_avg() to filter(). Extended function with the rest of
the filter procedure. Made all of the empirically-determined constants used in
VP8 into functions so they can be tweaked more easily.

Change-Id: I41730c8c92370c76885950a43742347477ca4e7e

VP9 denoising enabled by noise_sensitivity param

As in VP8.

Currently, this parameter is set with the VP8E_SET_NOISE_SENSITIVITY flag.
The flag was not renamed so that we don't break the interface for webrtc. This
should probably be changed at some point in the future.

Change-Id: Ic73fcb0dde9d1d019e9d042050b617333ac65472

Replaced loops with vpx_memcpy()

Change-Id: Icbe05657f0e92c3838e6a5a975f4f82d21328a2e

Merge "Added a speed feature controlling a motion search parameter"

Multi-arf: Add code to turn it on and off.

Add test code to turn multi-arf on and off depending
on group length and zero motion.

Changes to active max group length for mult-arf.

Fund second arf only from normal frame bits.

Change-Id: I920287fac1c886428c15a39f731a25d07c2b796c

Merge "Adapt strength of AQ2."

Added a speed feature controlling a motion search parameter

This commit added a speed feature to control the step_param used in
full pixel motion search. The intention is to reduced the search
steps for high speed real time coding.

Change-Id: I21d2f0105c2b647783a6688615da7fcf2b6d670b

Merge "Store/read 16x16 block statistics obtained from the first pass"

Adapt strength of AQ2.

Adapt the use of segmentation in AQ mode 2 based on
the ambient kf/arf/gf Q.

Disable segmentation where the rate per SB is very
low and overheads are likely to outweigh the benefits.

This patch reduces the -ve average metrics impact
of AQ mode 2 while allowing stronger 3 segment AQ
in some cases. Average improvement ~0.5-1.0%.

Change-Id: I5892dfcc7507c5cc6444531cc7fe17554cf8d0c7

Adds support for reading and writing 10/12-bit y4m

The y4m extension used is the same as the one used in ffmpeg/x264.
The patch is adapted from the highbitdepth branch.

Also adds unit tests for y4m header parsing and md5 check
of the raw frame data, as well as y4m writing.

Change-Id: Ie2794daf6dbafd2f128464f9b9da520fc54c0dd6

Merge "VP9 denoiser used s/int/enum where appropriate"

Merge "Denoised output is now grayscale"

Merge "vp8/bitstream.h: quiet warnings in EDSP builds"

Merge changes I875ac5a7,I2b13369d,I9ceb47a9

* changes:
  update vp9_thread.[hc]
  vp9_thread_test: remove unnecessary c_str()'s
  vp9_thread_test: factorize decode loop

vpxdec: add --keep-going option

for debugging purposes.
continues decoding after receiving a decode error. will still exit with
an error after the current loop, ignoring remaining --loops

Change-Id: I011a71b866ff493a3f3bbb59e9bff998d19daee3

Merge "Re-design quantization process"

Re-design quantization process

This commit re-designs the quantization process for transform
coefficient blocks of size 4x4 to 16x16. It improves compression
performance for speed 7 by 3.85%. The SSSE3 version for the
new quantization process is included.

The average runtime of the 8x8 block quantization is reduced
from 285 cycles -> 255 cycles, i.e., over 10% faster.

Change-Id: I61278aa02efc70599b962d3314671db5b0446a50

Allow lossless skipping in RD mode decision.

Change-Id: I2fc4ecfc2dd3ff1dd241a68c9ed4c280291b41f2

Merge "Add a test that tests invalid partitions for profile 1"

Merge "validate uv block size when reading partition"

Store/read 16x16 block statistics obtained from the first pass

Add a conditional compile flag for this feature. Also add a
switch to enable the encoder to use these statistics in the
second pass. Currently, the switch is turned off.

Change-Id: Ia1c858c35ec90e36f19f5cffe156b97ddaa04922

Merge "Elevate NEWMV mode checking threshold in real time"

Add a test that tests invalid partitions for profile 1

Change-Id: I3d95fbe9a8098256582b5386881d5b7bbdb317ed

Merge "vp9_thread_test: add 'Thread' to test names"

Elevate NEWMV mode checking threshold in real time

The current threshold is knid of low, and in many cases NEWMV
mode is checked but not picked as the best mode. This patch
added a speed feature to increase NEWMV threshold, so that
less partition mode checking goes to check NEWMV. This feature
is enabled for speed 6 and 7.

Rtc set borg tests showed:
1. Speed 6, overall psnr: -0.088%, ssim: -1.339%;
   Average speedup on rtc set is 11.1%.
2. Speed 7, overall psnr: -0.505%, ssim: -2.320%
   Average speedup on rtc set is 12.9%.

Change-Id: I953b849eeb6e0d5a1f13eacba30c14204472c5be

VP9 denoiser used s/int/enum where appropriate

Change-Id: Id52a7869fd1f31bb060de170e3295da7435adb9e

Denoised output is now grayscale

Grayscale is conditionally compiled.

Change-Id: I482ab237560d0bae8d397fd9999e78d38104f2a1

Add a new yuv444 testvector.

This refelects the profile 1 bitstream change in 6c54dbc.

Change-Id: I39625d88f236a79b7f2955d79c5a451e3753da16

Merge "Fix visual studio build issue"

validate uv block size when reading partition

Change-Id: I74fc5f1a7bab3128cdd49441b83ec3a25aee65ca

Fix visual studio build issue

Fixed the signed/unsigned mismatch.

Change-Id: Id83d603b8f1745b71f4cf695a0751e55518b1316

update vp9_thread.[hc]

pull the latest from WebP, which adds a worker interface abstraction
allowing an application to override init/reset/sync/launch/execute/end

this has the side effect of removing a harmless, but annoying, TSan
warning.

Original source:
 http://git.chromium.org/webm/libwebp.git
  100644 blob 08ad4e1fecba302bf1247645e84a7d2779956bc3 src/utils/thread.c
  100644 blob 7bd451b124ae3b81596abfbcc823e3cb129d3a38 src/utils/thread.h

Local modifications:
 - s/WebP/VP9/g
 - camelcase functions -> lower with _'s
 - associate '*' with the variable, not the type

Change-Id: I875ac5a74ed873cbcb19a3a100b5e0ca6fcd9aed

vp9_thread_test: remove unnecessary c_str()'s

EXPECT_EQ() works with strings

Change-Id: I2b13369d2aa7ff305ee516e6cb73bd099f8dead9

vp9_thread_test: factorize decode loop

+ add a SCOPED_TRACE with the current filename

Change-Id: I9ceb47a9154bc0d9f9878a83b707e8ed935790f9

vp9_thread_test: add 'Thread' to test names

s/VP9DecodeMTTest/VP9DecodeMultiThreadedTest/

this enables simpler test filtering

Change-Id: I010a451cf32fa5a95db6734cc22f331f0a0d515a

vp8/bitstream.h: quiet warnings in EDSP builds

fixes:
vp8\encoder\bitstream.h: same type qualifier used more than once

Change-Id: I62b99342131fdaedb1f7cc8d2dcd13ab34637cd7

Merge "libs.mk: don't include x86inc.asm in codec src list"

Merge "Revert "Fix a bug in VP9Worker which leads to unit test hang.""

Merge "BITSTREAM: Handle transform size and motion vectors more logically for non-420."

Revert "Fix a bug in VP9Worker which leads to unit test hang."

The caller should reset the state instead of letting worker
to reset.

This reverts commit 34b2ce15f95ee0944ebe6d569e7a9179a7e4cc5b.

Change-Id: Idb546ea6386cffc44e98dee772900d21ab79710f

Merge "Encode_breakout code refactoring"

Merge "change to not force interp_type as SWITCHABLE"

change to not force interp_type as SWITCHABLE

Encoder still uses SWITCHABLE as default via DEFAULT_INTERP_FILTER,
but does not override the default if it is not SWITCHABLE.

Change-Id: I3c0f6653bd228381a623a026c66599b0a87d01d5

Merge "Remove unused set_mode_info function"

Merge "Fix a bug in VP9Worker which leads to unit test hang."

Encode_breakout code refactoring

Moved the encode_breakout_test out of vp9_pick_inter_mode().

Change-Id: I6966d0293ae5210a5a28b0e8debacb24d1c0d2d4

Remove unused set_mode_info function

When the frame is intra coded only, the encoder takes the RD
coding flow. Hence the function set_mode_info is not practically
in use. This commit removes it and the associated conditional
branches.

Change-Id: I1e42659ceb55b771ba712d1cdecacb446aa6460d

Fix a bug in VP9Worker which leads to unit test hang.

This fixes the hang in VP9/InvalidFileTest.ReturnCode/3
due to worker->had_error has not been reset after getting
error.

Change-Id: Ia3608225094758a2bd88f6ae4dd9dfd93bbaad27

Enable encode breakout in real time

For real time speed 7, once encode breakout is on(i.e. encoding
setting --static-thresh=1), a proper encode breakout threshold
is set to speed up the encoder.

Set --static-thresh=1, RTC set borg test showed a slight overall
psnr loss of 0.162%, but ssim gain of 0.287%. The average speedup
on RTC set is 6%, and for some clips, the speedup can be 10+%.

Change-Id: Id522d9ce779ff7c699936d13d0c47083de4afb85

Decide the partitioning threshold from the variance histogram

Before encoding a frame, calculate and store each 16x16 block's
variance of source difference between last and current frame.
Find partitioning threshold T for the frame from its variance
histogram, and then use T to make partition decisions.

Comparing with fixed 16x16 partitioning, rtc set test showed an
overall psnr gain of 3.242%, and ssim gain of 3.751%. The best
psnr gain is 8.653%.

The overall encoding speed didn't change much. It got faster for
some clips(for example, 12% speedup for vidyo1), and a little
slower for others.

Also, a minor modification was made in datarate unit test.

Change-Id: Ie290743aa3814e83607b93831b667a2a49d0932c

Merge "initialize bit buffer structure to avoid warning error"

Merge "vp8 denoiser fix: free memory of denoiser->denoiser_state."

Merge "Implemented motion compensation for VP9 denoiser"

Merge "silence unused parm warning for worker thread in loop filter"

Merge "remove unused parms from rd_pick_inter_mode_sb_seg_skip"

initialize bit buffer structure to avoid warning error

Change-Id: I38bb2801ad3f059d5e2eb6513eec92397c67abcd

vp8 denoiser fix: free memory of denoiser->denoiser_state.

Change-Id: I86451ddfa90d871e46e5b4c97794dbef65293c6c

silence unused parm warning for worker thread in loop filter

Change-Id: Id51468f99f8970b8795ce2d254344f4b8d7817d0

remove unused parms from rd_pick_inter_mode_sb_seg_skip

Change-Id: I7f989d197444d166133ad91eb23ac1033109f58d

Merge "vp9: disable postproc buffer alloc when unnecessary"

Merge "Add a test using VP9E_SET_LOSSLESS"

libs.mk: don't include x86inc.asm in codec src list

this file is an include and doesn't need to be built on its own.
fixes:
ranlib: file: libvpx_g.a(x86inc.asm.o) has no symbols

Change-Id: I89504e37ff0a4488489af7b9b7e09fb32acc4853

Add a test using VP9E_SET_LOSSLESS

Change-Id: Ia9ac079d65fbd0a134e8d69c1f4ce171fe94bf64

configure: defer x32 check until post toolchain setup

x32 would never be detected unless an explicit CC= was used
fixes:
...: -E: command not found

Change-Id: I465fd7b0979f782053bdda240ad68edbca5658e5

vp9: disable postproc buffer alloc when unnecessary

the buffer is only used in encoding and only when
CONFIG_INTERNAL_STATS or CONFIG_VP9_POSTPROC is enabled.
a future change should decouple this from the frame buffer allocation
and make it conditional based on runtime flags when the above config
options are enabled.
reduces decode heap usage by at least 12%

Change-Id: Id0b97620d4936afefa538d3aadf32106743d9caf

Merge "Revert "Revert "Revert 3 patches from Hangyu to get Chrome to build:"""

Revert "Revert "Revert 3 patches from Hangyu to get Chrome to build:""

This reverts commit b336356198b8ada50fbb59f04f11cefceaf5ff95.

This causes a hang in:
VP9/InvalidFileTest.ReturnCode/3

the change to test/user_priv_test.cc remains with a minor update

Change-Id: I4a8a272ca37ea329b0f413f0b1cd827a238bd9fd

Merge "Allow encoder to set lpf level to 0"

Merge "Added a new speed 7 in rt mode"

Merge "Add a CPU speed test with screen content."

Merge "iosbuild.sh Add arm64 support to VPX.framework."

Merge "configure.sh: Tweak default of use_x86inc for 64-bit, non-pic, and Darwin."

Merge "fix: Only do spatial SVC when there are > 1 layers"

Merge "VP9 denoiser: implemented update_frame_stats()"