Use distortion and rate of best_rd as the params

Also added rd calculation for negative rates and distortions.
This CL is a preparation for implementing hierarchical SSIM rdmult scaling.

Little impact on quality and speed:
            avg_psnr  ovr_psnr   ssim
(mid_res)    -0.015    -0.009   -0.018

perf stat -e instructions:u ./vpxenc park_joy_480p.y4m --limit=50
with this cl: 317,700,108,619
before:       317,669,279,763

Change-Id: I01588758b7be2aab32236440ec0e57d7af56e920

Use distortion and rate recursively in rd_pick_partition()

This CL is a preparation for implementing hierarchical SSIM rdmult scaling,
There is very little impact on metrics and speed:
       avg_psnr ovr_psnr  ssim
midres   -0.04   0.005    0.012

perf stat -e instructions:u ./vpxenc park_joy_480p.y4m --limit=50
with this cl: 317,669,279,763
before:       317,717,562,045

Change-Id: I6f17864e7b17aad06a04ae4f470f75e975549db9

vp8: Disallow copy flag behavior under forced refresh

Don't allow the setting of copy_buffer_to_arf when the
application/user sets the refresh/update flags. Add new flag
(ext_refresh_frame_flags_pending) to indicate user sets the flags.

Change-Id: I482098c0f2552b04885132a728629ab3e207f08b

vp9-rtc: Increase qp thresh for overshoot detection

For video mode (non-screen) in CBR real-time mode:
increase the qp thresh to trigger setting to active_worst
on scene changes. Avoid big overshoots in content with
scene changes.

Change-Id: I74721b07b0d7b742cbef468ece70cca7da0f89eb

Merge "Revert "disable row mt test""

Revert "disable row mt test"

This reverts commit 6d6cc17dc852a216395611bf651e57c19c95b9c4.

Reason for revert:
This has not been reproduced on hardware. There is a strange
libc bug which may account for the behavior on arm because
the environment qemu is using is somewhat old. See discussion
on the webm bug.

To work around the failures in the nightly test the jenkins
job has been switched to use the hardfloat compiler and qemu
environment. Even though this is the same version, it has
not shown the hanging behavior.

Original change's description:
> disable row mt test
>
> deadlock is being investigated in attached bug.
>
> BUG=webm:1626
>
> Change-Id: Ia6d7020b8b1d274433aa89f36c9ed5b9facc5808

Bug: webm:1626
Change-Id: I104a82696a4c90bfbadfd39407c073adce73af0d

Merge "Increase the active best quality in CQ"

Reland "vp9: Enable ml based partition for speed>=8 low res."

Disable in high bitdepth build.

This reverts commit 152358da777d45613b386be3a116719b8b16bd6d.

Change-Id: I9996d0963915ed4db0fde80c6290d91b3ce63719

Merge "Fix update of mb_smooth_pct and mb_av_energy"

Merge "Revert "vp9: Enable ml based partition for speed>=8 low res.""

Merge "disable row mt test"

Merge "Cast buffer offset to int64_t"

Revert "vp9: Enable ml based partition for speed>=8 low res."

This reverts commit eed8d47769ddc78c277f8a45b12af4b65096b59a.

BUG=chromium:946409

Change-Id: Iaf9929de841445f63e93792d1fee06d9a1035ef4

Merge "Assign perceptual AQ mode as 5"

Assign perceptual AQ mode as 5

Change-Id: I8f301fab3bedcd71588c57ccd6e49dcb7042e220

Cast buffer offset to int64_t

To prevent integer overflow with extreme frame sizes.

Change-Id: Ib77f1c11f0264257d9e6c162f474d637592e7b09

Reland "vp9-rtc: tx_size selection for intra mode in nonrd"

Reland this change since tsan failure is fixed.

Change-Id: I20e3d3d23e34befabb43a36d491d27dfc2a908b6

Fix tsan failure in webrtc test.

plane block size is used when computing model rd for uv.
However, it iterates thru sub-blocks based on tx size on uv planes
and plane block size could be bigger than that, which leads to reading
beyond tile boundary when the block is on it.

BUG=b/131414589

Change-Id: I362091484b1325b89d2175039323b235a06ebffc

disable row mt test

deadlock is being investigated in attached bug.

BUG=webm:1626

Change-Id: Ia6d7020b8b1d274433aa89f36c9ed5b9facc5808

Merge "Fix key frame detection"

Fix key frame detection

This solves the regression issue seen in certain animation clips.

BUG=b/132108583

Change-Id: Ib28413c95160a5f15fbcf9ea6a322fd4f69a57ce

Merge "android: clarify RTCD usage"

Merge "Avoid two GF only groups just before a kf"

Merge "Cap arf boost in perceptual quality mode"

Merge "Increase min arf boost from 240 to 250"

Merge "vp8: Remove duplicated code in datarate tests."

vp8: Remove duplicated code in datarate tests.

Duplicated code between *Large and other tests.

Change-Id: I0cea7472c3520175339bc921dfd8a090b5d5484d

Add mismatch_debug tool

Change-Id: I045b4cf625d428109688303ced5433d824df2790

Merge "Revert "vp9-rtc: tx_size selection for intra mode in nonrd""

Cap arf boost in perceptual quality mode

When the perceptual AQ mode is enabled, cap the ARF boost to 2.5x
of the regular frame. This allows more consistent frame quality
across consecutive frames and sufficient bit rate allocation at
frame level for AQ mode.

Change-Id: I10f5e2860a3e4b412efe25cca635405bae293ebf

Increase min arf boost from 240 to 250

This imposes nearly zero change in low/mid/hd res test sets.

Change-Id: I121716b96263f2a382d35e7ff05ed8b72e5e6bc7

Merge "android: do not attempt standalone builds"

Merge "Exclude VP9 assemblies from VP8 builds"

android: clarify RTCD usage

Note that when using --disable-runtime-cpu-detect the developer
must keep in mind what devices the library will be run on.

BUG=webm:1623

Change-Id: I0359e226bb678f8e5145bb30cd1cefc7e30c6c79

Revert "vp9-rtc: tx_size selection for intra mode in nonrd"

This reverts commit cdd40d1cd042d8c139b3426f311b8b5722d696bb.

Cause tsan failure in webrtc tests.

BUG=b/131414589

Change-Id: I04f98153bc1f9d013d3d1eb8d06df312fe12f8b4

android: do not attempt standalone builds

arm builds require too many tweaks to keep up with changes
to the ndk. Recommend ndk-build instead.

Update documentation and drop --sdk-path references. If
--enable-external-build is used instead we do not need the compiler
path.

BUG=webm:1622

Change-Id: Id024345afd7af988321f8f97ebab19c425cb0493

Fix update of mb_smooth_pct and mb_av_energy

Values of mb_smooth_pct and mb_av_energy have been updated
correctly in vp9_rc_get_second_pass_params for higher layer
ARF frames.

Change-Id: Ic176e393eb8cc5f418235fee9accee84e9809607

Exclude VP9 assemblies from VP8 builds

Add a macro to to exclude VP9 specific assembly files from build if VP9
is not configured. This would otherwise cause a linking error for VP8
only builds.

BUG=webm:1625

Change-Id: I6d892b7c2837a2574538d18b776fd2b6d706da96

Merge "vp8: clamp uv mv after calculation."

Avoid two GF only groups just before a kf

Trap the case where we end up with two short GF only groups just
before a key frame. For example, if the KF is 22 frames away
we are better doing one ARF group of size 16 followed by a GF
only group of 6 than two GF only groups of size 11 (when
min_gf_interval is 12).

Change-Id: Ie598a8a21c6e104cbe381b4792e77fd92d047725

vp8: clamp uv mv after calculation.

BUG=oss-fuzz:14478

Change-Id: Ia978a1e7829bf486681385cd715ed0b50fe3b072

Merge "vp8: quiet conversion warnings when packing bits"

Merge "Fix the use of uninitialized value in qsort"

Merge "make vpx_debug_util.c inclusion conditional"

vp8: quiet conversion warnings when packing bits

Mask the values to show that we only want to store 1 byte. Switch
to lowercase ff since it's more prevalent in the file.

BUG=webm:1615

Change-Id: Ia8ede79cb3a4a39c868198ae207d606e30cfb1cb

Rework the wiener variance buffer

Support the potential frame scaling use case. The operation flow
now allows the codec to allocate the memory buffer only when
perceptual AQ mode is enabled.

Change-Id: I7529e63131276dbe3a29f910d3a227f20dbc94a2

Deprecate stack_rank_buffer usage

This large buffer is no longer needed.

Change-Id: I9f2b3b28663d299649208f6172bba136103342ad

Refactor perceptual aq control

Move the activation control to vpxenc interface using aq-mode.

Change-Id: Iae406d4f7e74bdc7bfd3b149f0811093454f879e

Merge "Add PERCEPTUAL_AQ tag"

make vpx_debug_util.c inclusion conditional

on CONFIG_BITSTREAM_DEBUG. this avoids an object file containing no
symbols which may cause warnings on some platforms.

Change-Id: I02af97d6970de949466c29f50d272733d97ee8d2

Merge "vp8cx.h,vpxenc: add note about alt ref ranges"

Fix the use of uninitialized value in qsort

Search within the effective transform coefficient window.

Change-Id: If432eaab5ffca1cdfe57ee23052bf5dc60a2f893

cast ambiguous _mm_set1_epiNN() constants

clang 7 integer sanitizer warns on unsigned->signed conversions when
the highest bit is 1.

BUG=webm:1615

Change-Id: I6381efaff9233254b40cb78f7bcf87090e0ad353

Merge "vp8: quiet conversion warning when packing sizes"

Merge "Refine active best quality of layered ARF frames"

Merge "Call set_error_per_bit in SSIM rdmult update"

vp8: quiet conversion warning when packing sizes

The values are or'd together and then stored 8 bits at a time:
9.1. Uncompressed Data Chunk
* 16 bits: (2 bits Horizontal Scale << 14) | Width (14 bits)
* 16 bits: (2 bits Vertical Scale << 14) | Height (14 bits)

BUG=webm:1615

Change-Id: Id2eb3deaccec299a0619990d3a6f1eb4f71e50e2

Merge "vp8 quantize: silence conversion warning"

Merge "vp8 quantize: use native abs/sign implementations"

vp8cx.h,vpxenc: add note about alt ref ranges

BUG=webm:1597

Change-Id: I56345ec621a06dfe1eae7f205874f34bfb40e6e5

Merge "Add bistream_debug tool"

vp8 quantize: silence conversion warning

clang 7 integer sanitizer warns about storing any int16_t value
where the high bit is 1. Treated as an int, such number would
be positive. Treated as an int16_t, it is negative.

BUG=webm:1615

Change-Id: Idf655cd92d26b7c1180910159be3f64164577eca

vp8 quantize: use native abs/sign implementations

~4% improvement with a very rudimentary speed test

Change-Id: Iad8868327e3276dbead783a79849295b0e4b135c

Add PERCEPTUAL_AQ tag

Refactor the percetual AQ mode control.

Change-Id: I9c00c32139ec98fd6aebc1d5086e042730f3616f

Merge "Refactor the SSIM based rdmult update function"

Call set_error_per_bit in SSIM rdmult update

This CL improves objective metrics: (midres)
avg_psnr ovr_psnr ssim    ms_ssim
-0.149   -0.038   -0.108  -0.129

Change-Id: I21f3e478f81ead5a3bcce6041f32fbceb53828f3

Refactor the SSIM based rdmult update function

Change-Id: I335103689659d9a2b291c4da54f07cdd9c2b1a6d

Merge "Fix in key frame detection"

Add bistream_debug tool

Change-Id: I339899cff65c7ef563f9411f2d7af9a32a08a705

vp9-rtc: Adjust thresh for 4x4 tx selection

For screen content nonrd_pickmode: reduce
threshold to select 4x4 tx_size, under certain
conditions.

Change-Id: If68c30172272868033f0e3011e53c76b4e7c48b6

vp9-rtc: Fix int conversion error in nonrd_pickmode.

Change-Id: I1be775d8c11f530ff26121f1ffaf1dae100b2510

vp9-rtc: Pass source variance and mode to select tx

For nonrd-pickmode: pass the source variance and the
mode (intra/inter) to select tx_size, for better tuning.

Neutral change for video mode, speed 7.
Some quality improvement for screen content.

Change-Id: I53336f23fa4f14076aa1cdf8036e9af73c43060a

Merge "vp9-rtc: tx_size selection for intra mode in nonrd"

Merge changes I1af88144,I9eaf9563,I58c1bc0f,I8d173add

* changes:
  Remove mv_dist and mv_cost from TplDepStats
  Remove inter_cost_arr and recon_error_arr
  Remove RE_COMPUTE_MV_INCONSISTENCY
  Remove unused mv_[dist/cost]_sum

Merge "Revert "Add VPX_TUNE_SSIM and VPX_TUNE_PSNR enums""

Revert "Add VPX_TUNE_SSIM and VPX_TUNE_PSNR enums"

This reverts commit 1d8d8f562bf382e47071bb38d13b7ded366820af.

Reason for revert: change the api names will break existing code.

Original change's description:
> Add VPX_TUNE_SSIM and VPX_TUNE_PSNR enums
>
> Change-Id: I3df5af2c60b774e6d395062077542c52db868236

TBR=jingning@google.com,builds@webmproject.org,sdeng@google.com

Change-Id: Ic94c19739f595f4544e8b68892ab9d9c1bbccd79
No-Presubmit: true
No-Tree-Checks: true
No-Try: true

vp9-rtc: tx_size selection for intra mode in nonrd

In nonrd_pickmode for intra modes: add tx_size selection
based on Y prediction signal for the bsize.

The tx selection is done in model_rd, same as inter-modes.

Existing code for intra mode was first setting a tx_size based
only on the bsize, and then in some cases in block_yrd
(during the loop over bsize in units of tx_size) the tx_size
may be set again if model_rd is called in block_yrd.

This CL separates out the tx_size setting (based on Y channel
prediction via model_rd), and then block_yrd is called once
for whole bsize. This allows for better tuning of the tx
selection for intra modes in future change.

Adjust threshold in svc datarate test.

Negligible/neutral change in psnr/ssim metrics
for speed 7 and 8, 1 layer and SVC mode.

Change-Id: I33bc8447afdc3785482e13aac5c3636e13c59644

Merge "Add VPX_TUNE_SSIM and VPX_TUNE_PSNR enums"

Merge changes I6e837e6f,Ibec70e66

* changes:
  remove WIDE_REFERENCE definition
  remove ARCHITECTURE definition

Add VPX_TUNE_SSIM and VPX_TUNE_PSNR enums

Change-Id: I3df5af2c60b774e6d395062077542c52db868236

remove WIDE_REFERENCE definition

The last usage was removed in 2011:
https://chromium.googlesource.com/webm/libvpx/+/cbf923b12cec2fe7ceea0b94091d64953e56b1fe%5E%21/#F33

Change-Id: I6e837e6f1e55eeea6bbeb3159ce6ddf861bcbd72

remove ARCHITECTURE definition

In the distant past this was used to distinguish between
armv5/6/7 targets when building the assembly files. The
project has not supported armv5/6 for a long time.

BUG=webm:1623

Change-Id: Ibec70e6624b651df0fa6f882ab6f201dc73e92e2

Add vpx_clear_system_state() in SSIM based rdmult adjustments

Change-Id: I2a0cdec3bfce864e975aaa408cfdcb855db8680f

[vp9] Fix handling of skip in row_mt=1

For row_mt=1, when mi->skip is set to 1 after parse based on
eobtotal for that partition, dqcoeff and eob need to be restored
as recon_partition doesn't increment these pointers for skip cases

Change-Id: I79711b0c175937aa6da3bba3b3bc053f91a8ce35

Merge "test_vector_test: Add row-mt and lpf-opt tests for vp9 decoder"

Merge "Refine interval for key frame boost calculation"

Merge "Fix issues with bits allocated and consumed"

Remove mv_dist and mv_cost from TplDepStats

Change-Id: I1af8814449a187e900df9c930dc174f0832b0212

Remove inter_cost_arr and recon_error_arr

Change-Id: I9eaf9563f2ee92fcfbe38d0f5e36c82632af468f

Remove RE_COMPUTE_MV_INCONSISTENCY

Change-Id: I58c1bc0f285271ccff163791d35c8c0c6cc8460b

Remove unused mv_[dist/cost]_sum

Change-Id: I8d173add2d1fc599a7915a3c9668870f18a0c59f

test_vector_test: Add row-mt and lpf-opt tests for vp9 decoder

BUG=webm:1619

Change-Id: I4e835a6375523da04a2c4febb2fb441a5f2d56c5

Merge "[CFI] Remove function pointer cast of row_decode_worker_hook"

Merge "vp9: Use model rd for large blocks in filter search."

[CFI] Remove function pointer cast of row_decode_worker_hook

This fixes CFI error flagged for this function when row-mt=1

Change-Id: Ic5b427a6b621228280ebe829d00b540b18e2c087

Merge "Fix PSNRHVS computation"

vp9: Use model rd for large blocks in filter search.

Neutral on speed and quality.

Change-Id: Ia1d3929124bb57e31bbab516a994734d2fd51891

Merge "vp9-rtc: Use correct plane for UV in estimate_intra"

vp9-rtc: Use correct plane for UV in estimate_intra

For nonrd-pickmode: some PSNR increase observed on
screen content/scroll clips.

Change-Id: Idf1bce9dd434e33d7c35dbeb59e02e2e58ea1aaa

vp9-rtc: Move setting for use_model_rd_large

Move the setting to just before the inter-mode loop,
as for screen content the value may change due
to reset of segment.

No change in behavior except for screen-content.

Change-Id: I256795b581ceda352e57b88eba2e86aa18b0fdc4