vp9: Fix to quality regression issue for 1 pass.

BUG=https://bugs.chromium.org/p/webm/issues/detail?id=1217

Issue introduced in https://chromium-review.googlesource.com/#/c/339162/.
The factor on avg_frame_qindex[INTER_FRAME] in that CL, used for q-basis to
set active_best, can cause the QP to decrease too slowly or get stuck
in some cases when max-q=63.

Removing that factor fixes the regression in issue#1217.

Change-Id: I97fe28dca3c2bc2d852b1775f39c62164e032d4f

Merge changes I412c24aa,I28a8bbf0

* changes:
  mcomp: Remove an obsolete undef.
  mcomp: Remove an obsolete comment.

Merge "Added a measure of rc drift."

Merge "Fixed 8K two pass encoder crash."

Added a measure of rc drift.

Added actual and absolute rate miss values to the opsnr.stt
stats output line.

Changes to the borg graphing may be needed before merge.

Change-Id: I1e9d548ce445d29002f0c59ebfd3957a6f15e702

Fixed 8K two pass encoder crash.

Bug found by Yunqing relating to the correction for size at 8K and
above in get_twopass_worst_quality().

The basis for the correction was changed to the linear size relative to
1080P as a baseline and the adjustment has been clamped to prevent
problems at extreme images sizes.

For 1080P the results on our test sets were neutral but the low res and
mid res sets saw a small gain (0.1%-0.2% average).

I would also expect some gains on 4k and larger content where the
previous correction was overly aggressive.

Change-Id: I30b026b5f4535e9601e3178d738066459d19c8fb

mcomp: Remove an obsolete undef.

The macro was removed in 6724676.

Change-Id: I412c24aac49bd1ff60a331a30933e0d8ae3f2dd5

mcomp: Remove an obsolete comment.

This was copied over from VP8. VP9 doesn't seem to do this buffer copy.

Change-Id: I28a8bbf0503a7f99b2cb60620ab3674adde863bb

Merge "Add VP9 encoder API for level specification."

Add VP9 encoder API for level specification.

Add control API VP9E_SET_TARGET_LEVEL that allows the encoder to
control the output bitstream level and/or keep level related
statistics.

Usage:
               255         do not care about level (default)
               0           keep level related stats only
               10          target for level 1
               11          target for level 1.1
               .
               .
               .
               62          target for level 6.2

Usage for vpxenc:

--target-level=0/255/10/11...

Change-Id: I31d1aeca19358b893e7577b4e63748c8e614034a

Merge "vpx_dsp: Rename postproc.c add_noise."

Merge "Fix comment for target_bandwidth in VP9 and VP10"

vpx_dsp: Rename postproc.c add_noise.

Change-Id: I4906d1b79a2951e659995202b9fa97e2ea5cfba0

Merge "Revert "Skip inttypes.h on Darwin""

Fix comment for target_bandwidth in VP9 and VP10

Unlike in VP8, it is in units of bits per second in VP9 and VP10.

Change-Id: Iee1936cc58cdfaff205624c2fe87cecdf7eda123

Revert "Skip inttypes.h on Darwin"

This reverts commit 1bec0c5a7e885ec792f6bb658eb3f34ad8f37b15.

Breaks desktop Mac builds.

Change-Id: I5b79dc29ad544357192ed16a47279716243e51dd

Merge "pickmode: Fix a pair of unsigned overflows."

Merge "VPX: refactor vpx_idct16x16_1_add_sse2()"

Merge "vp9: 1 pass vbr: Reduce base qp for active_best_quality for inter-frames."

Merge "convolve_test: Fix IOC runtime errors."

Merge "Alignment is required for sad_array8"

convolve_test: Fix IOC runtime errors.

Add a cast.

BUG=https://bugs.chromium.org/p/webm/issues/detail?id=1216

Change-Id: I40627de387bc9cfba37860e7a0a4f2d4524f3431

Merge "libvpx: vpx_add_plane_noise make c match assembly"

Merge "Remove sixtap/bilinear 4x4 neon implementations"

Alignment is required for sad_array8

For at least some of the implementations of sdx8f, such as
vpx_sad4x4x8_sse4_1, aligned moves are used to move the results into the
array.

Change-Id: I83df5a8e657b44e906d0d8b0bc154f1e5660f7f9

Merge changes Id13b97f4,I1d342725

* changes:
  The subfunctions are only defined for sse2
  Unlike non-hbd variance, opt2 is never used

Merge "Use canonical avg_pred functions"

pickmode: Fix a pair of unsigned overflows.

block_variance: This operates on 8x8s and would be safe with a int32 *
int32 to uint32 multiply, but this is potentially unsafe for 12-bit
input. Unfortunately the code already segfaults on 12-bit input:
https://bugs.chromium.org/p/webm/issues/detail?id=1223

calculate_variance: This operates on up to a 32x32 of 8x8s and can
overflow even with 8-bit input (log2((256*32*32)**2) == 36).

BUG=https://bugs.chromium.org/p/webm/issues/detail?id=1220

Change-Id: I1ca4ff6092db9a7580da371ee9a21f403fdadc40

vp9: 1 pass vbr: Reduce base qp for active_best_quality for inter-frames.

Reduce factor for setting base-qp for active_best_quality (for inter-frames).
Small increase in metrics on yt live set.

Change-Id: I9cf0ac797783aeddbfaf1ff510696c9035d7c5ee

VPX: refactor vpx_idct16x16_1_add_sse2()

Change-Id: I431ea0d9abe764d110a1ba32a8cb15e2fdac8805

Merge "Skip inttypes.h on Darwin"

libvpx: vpx_add_plane_noise make c match assembly

This change makes the c match the assembly and removes the todo's
associated with getting this to work.

Change-Id: Ie32e9ebb584a9d60399662d8bcb71b74fbd19d1e

Use canonical avg_pred functions

Change-Id: Ibe0cc388226622561d2b4a00e5bdc1016a3c4a94

The subfunctions are only defined for sse2

See highbd_subpel_variance_impl_sse2.asm

Change-Id: Id13b97f4f6d189ed71cdc6d52b3c4ea63dc1da05

Unlike non-hbd variance, opt2 is never used

Change-Id: I1d342725df332c4efc6006d9e3dcb7372c41f448

Remove sixtap/bilinear 4x4 neon implementations

These implementations rely on casting the pointers to load the data.
Clang implemented optimizations which automatically add alignment hints
to such loads. The 4x4 filters do not guarantee the necessary alignment
so the resulting assembly is broken.
https://llvm.org/bugs/show_bug.cgi?id=24421

BUG=webm:817
BUG=webm:892

Change-Id: I608885299f1f86ff83653b65e0e40d0ae87fb3fe

Merge "Break exports for spatial_svc out to fix shared builds without it"

Merge "Fix for version.sh when libvpx is checked out as git submodule"

Merge "md5_utils,MD5Transform: don't check for unsigned overflow"

Merge changes from topic 'missing-proto'

* changes:
  vp9_frame_scale_ssse3.c: make 2 functions static
  vp9_pickmode.c: make function static
  vp9_noise_estimate.c: make function static
  vp9_aq_360.c: add missing include
  vp9_idct_intrin_sse2: add missing vp9_rtcd.h include
  vpx_dsp/*.[hc]: add missing vpx_dsp_rtcd.h include

Merge "vp9: Modify logic for gf setting based on up-coming key frame."

vp9: Reduce qp threshold for limiting cyclic refresh on steady blocks.

Makes the delta-qp stop little earlier on areas that have been refreshed enough.
This helps to reduce some pulsing artifact on noisy flat areas observed in some
noisy vc-clips.

Threshold changes only take effect for sources where noise level is estimated to
be >= medium level.

Only affects 1 pass CBR, non-screen content case.

Change-Id: Iacf557f6aa8abbcd6782c02ff2e6c14891960850

vp9: Modify logic for gf setting based on up-coming key frame.

For 1 pass vbr mode:
Refactor to move the logic for gf setting based on up-coming
key frames to a separate function, so same logic can be used for
scene-cuts/changes.

Change-Id: Ic4ede308e08ba869bb62e4566e19ea31222c5229

md5_utils,MD5Transform: don't check for unsigned overflow

this transform is well-defined and relies on unsigned rollover

Change-Id: Ia39f3a65a7a07ac871bf857d2684c9839862c2aa

Merge changes I05b3028a,I1ad41c09

* changes:
  vpx_dsp_common.h: remove circular include
  vpx_dsp_common.h: fix include guard

vp9_frame_scale_ssse3.c: make 2 functions static

downsample_2_to_1_ssse3/upsample_1_to_2_ssse3() are local to this module

Change-Id: I78a9de8e1eca475ba1bf137102580c531aa3f7dd

vp9_pickmode.c: make function static

set_intra_cost_penalty() is local to this module

Change-Id: Ie277bfc5e8a26f05a04fd261bdb888388ad0e2a1

vp9_noise_estimate.c: make function static

enable_noise_estimation() is local to this module

Change-Id: Id736c419387ca1959695dd327ce164bec029b597

vp9_aq_360.c: add missing include

Change-Id: Ia8ac9b7023211b1da2294b0934cf076fb1cdc65f

vp9_idct_intrin_sse2: add missing vp9_rtcd.h include

Change-Id: I39a67ffea7b0a55b45cdf935986439537b65601f

vpx_dsp/*.[hc]: add missing vpx_dsp_rtcd.h include

Change-Id: I103be7eee36492f8619144ce8325bc916d4975c7

Merge "vp9-noise estimation. Decrease frame period for estimating noise."

Merge "Change to use proper type in vp{9,10}_token_state"

vpx_dsp_common.h: remove circular include

Change-Id: I05b3028a38bbc062c388eeb95e99a3fee583ae6b

vpx_dsp_common.h: fix include guard

Change-Id: I1ad41c096ec86870f9aecab6fdbc3af03e972afc

Merge "yv12extend: make memcpy_short_addr static"

vp9-noise estimation. Decrease frame period for estimating noise.

Makes the noise estimation react little faster.
Little/no change in metrics.

Change only affects 1 pass cbr.

Change-Id: I13f0daa90ecbf9d49eb1cf2e48febd9d92292940

Skip inttypes.h on Darwin

When building a dynamic framework with Swift compatibility, can't
include any headers that aren't in another module or you get an
error like this from Xcode on the including project:

  Include of non-modular header inside framework

For some reason the system inttypes.h is not in a module, unlike
other standard C library headers... but it doesn't seem to be
actually needed on Darwin, so removing it doesn't appear to
be a problem.

Change-Id: I11d264483c54feefd9d2edf573afaef34ddcd0f2

Break exports for spatial_svc out to fix shared builds without it

Change-Id: I208c84cce216464b82eaa51945ce17a8e6625673

Fix for version.sh when libvpx is checked out as git submodule

When using git submodules, .git may be a file instead of a directory.
The -d test was failing in that case; switched to -e.

BUG=https://bugs.chromium.org/p/webm/issues/detail?id=1215

Change-Id: Iedf0e92bfeb003b28a415945dc729e6ce58c4fe4

Change to use proper type in vp{9,10}_token_state

"qc" in vp{9,10}_token_state is used to save quantized coefficients, this
commit changes the type from short to tran_low_t to properly reflect
the value range for highbitdepth build.

This fixes an out-of-range bug when optimize_b is used in highbitdepth
build.

Change-Id: Ibf330879e6ac6ae8f099e085caa9d3d9a889fde8

variance aq: Fix a variance calculation overflow bug.

This is an actual overflow where the result of the calculation is
materially changed, not just a negative value that is stored in an
unsigned.

Caught with fsanitize=integer on the VP9/AqSegmentTest.TestNoMisMatchAQ2/1 test.

Change-Id: I514b0ef4ae7ad50e3e08c0079aa204d59fa679aa

Merge "iosbuild.sh: Verify fat library targets."

Merge "libvpx: add a unit test for plane_add_noise."

libvpx: add a unit test for plane_add_noise.

In so doing this fixes a couple of bugs:

vpx_plane_add_noise.c needed to subtract a clamp instead of add.
And the assembly (mmx sse) had assumptions that parameters were
continuous in memory which was not true.

Change-Id: I76f2c43cf54bfc838eb2edf8a443eaaa7565d7b5

yv12extend: make memcpy_short_addr static

Change-Id: I58612bd04fad6144722569d3db2899ba0fb947a6

Merge "x86.h,x86_simd_caps: add an explicit cast w/strtol"

Merge "Fix unsigned overflows in temporal filter."

Fix unsigned overflows in temporal filter.

Change-Id: Iebdc8304d30c78f03f99f6dc665003ff41c8b1cd

Merge "Move vpx_add_plane from codec to vpx_dsp and dedup."

Merge "configure.sh: Remove armv6-darwin target."

Merge "Use signed variables in the lookahead."

Merge "vp9: Refactor vp9_denoiser_NxM_sse2."

iosbuild.sh: Verify fat library targets.

- Make sure VPX.framework/VPX actually contains requested
  targets before reporting success.
- Removes a TODO.

Change-Id: I2344d6e2bb502bf533ce0e4c6f159118e4fe3bdf

configure.sh: Remove armv6-darwin target.

- iOS SDKs no longer ship with armv6 support.
- Our minimum iOS version means all target devices have neon.
- Remove armv6 darwin LD workaround.
  - This removes a TODO.

Change-Id: I2fcb5b82c96213364275475be021c7dd8459d5c0

vp9: Refactor vp9_denoiser_NxM_sse2.

Denoiser is ~1.5% faster in speed 6~8.

Change-Id: I7b350f3c50cce6773d9c4eded4c0c1b722d0a5fc

Move vpx_add_plane from codec to vpx_dsp and dedup.

Change-Id: I12218d8331c0558c0587a66321e3ca46da7e5cc7

Merge "configure.sh: prefer 'which' over 'hash'"

vp9: Refactor choose_partitioning.

Move skin superblock force split out of this function as well
as some minor code refactors. Checked bitexact for different speed
settings and different resolutions.

Change-Id: I6078cbe88dd9ce6c0b69470a8a0a8f8d2274161b

configure.sh: prefer 'which' over 'hash'

hash may trigger a bashism warning; which is already depended on by this
script

Change-Id: Ibe0e7d1132d72f03aaf5b7d4c6180b59e92aceff

Merge "vp9_ethread_test: replace FramePktHook w/DecompressedFrameHook"

Merge "msvs_common.sh: make fix_file_list generic"

vp9: Move the initialization of some rc variables to rc_init.

And initialize a variable (avg_source_sad) that was not initialized to 0.

Change-Id: I63223e20fffe2a2ea38f03da62dad16af0618ea4

vp9_ethread_test: replace FramePktHook w/DecompressedFrameHook

this avoids the decoder test which was only correct for vp9, vp10 was
missed in the earlier change

Change-Id: Ib789c906d440c0e4169052cf64c74d5e4b196caa

Merge "Avoid an unsigned overflow in invert_quant"

Merge "vp9: Don't force block size to 8x8 in denoiser."

Merge "Port convolve test refactor to master."

Merge "bitreader: remove an unsigned overflow."

x86.h,x86_simd_caps: add an explicit cast w/strtol

+ use strtoul as mask is unsigned

quiets a -Wshorten-64-to-32 warning

Change-Id: Ia1c24679302100a252da7a45d3bb871f591f1888

vp9: Don't force block size to 8x8 in denoiser.

First, we only set use_4x4_partition for key frame where we don't
denoise; second, envision we have small partitions, we should pass the
actual block size to denoiser and make an early termination if needed.

Change-Id: I331f42046d792b17360723d17ff817d601394658

msvs_common.sh: make fix_file_list generic

take an array name as the first parameter and operate on the reference;
removes a TODO

Change-Id: I9d63a31d7a7625123f0d64f212b4e702813cc01b

Port convolve test refactor to master.

Brings f03e238f to master.

Change-Id: I7f7754e7d1288b103a4510303d10afc68a7d8ca8

Tweak casts on vpx_sub_pixel_variance to avoid implicit overflow.

Change-Id: I481eb271b082fa3497b0283f37d9b4d1f6de270c

Use signed variables in the lookahead.

Wrap around behavior is enforced manually and we use the values in
arithmetic involving negative integers.

Change-Id: I199706b6f3af91f4fb6fe2ef302fbbc6d0cf5785

bitreader: remove an unsigned overflow.

bits_left is in the range [0, 64 (= BD_VALUE_SIZE)] , so the narrowing
conversion should be safe.

Change-Id: I943fcd359eaad76249ee1e1fb03a2ac16945d2fd

Be explicit about overflow in vpx_variance16x16_sse2.

The product always fits in uint32_t, but the operands don't.

An optimizing compiler should generate the wraparound code.
(Verified with clang).

Change-Id: I25eb64df99152992bc898b8ccbb01d55c8d16e3c

Remove casts on < 16x16 variance.

These blocks will never overflow since max sum is +/-255*w*h.

Change-Id: Ia2c630339fd9cfb411b56b6040ff402095f12a2e

Avoid an unsigned overflow in invert_quant

Change-Id: I16a570b2af66b6580d1cd6f8345a25f079009bf4

Merge "Declare the operator== overload for M128A in the global namespace."

Declare the operator== overload for M128A in the global namespace.

ADL will look this up from the callsite namespace iff it is declared
before the callsite or from the parent namespace of the class type (the
global namespace).

This patch has been tested on MSVS 2015 and clang-3.8.

Change-Id: I00ba74712c9b617b9d81761abed1e14d8f25d8e3