Enable tpl model only for ARFs

Currently only enable the temporal model for ARFs.

Change-Id: I6e7fd7bba54c3e0cf56147f049fc3ead85542d04

Properly set the is_valid flag in tpl_frame

Use this flag to indicate the temporal dependency model for the
given frame is properly set up.

Use the pointer address to decide if the tpl_stats_ptr array needs
to be released.

Change-Id: I541fe098f51981010011ae0af2535d8a5762d254

Merge "vp9_encoder: only alloc tpl stats if enabled"

Merge "vp9: Initialize source variance in nonrd-pickmode."

Merge "vpxdec,raw_read_frame: fix eof return"

vp9: Initialize source variance in nonrd-pickmode.

It is already initialized at superblock level, but since
it is computed per coding block, based on some speed features,
better to initialize it in pick_inter.

No change in behavior, as currently the speed features
that enable use of source_variance in pick_inter are fixed
at the frame-level.

Change-Id: Ic787ac2f389ba1bced98716096e7b5cffba856a7

vp9_encoder: only alloc tpl stats if enabled

defer the allocation to post speed feature setup

Change-Id: I20713a2b1856fd5479c883d50772a2b54bcbb3bc

vpxdec,raw_read_frame: fix eof return

fixes an endless loop caused by successful read return on eof.

since:
00a35aab7 vpx[dec|enc]: Extract IVF support from the apps.

BUG=webm:1539

Change-Id: I64dbb94189ea6a745d53a4bacc033f5f58eafb37

Merge "[VSX] Add support to Power9-only vec_absd"

vp9-svc: Intra-only frame for spatial layers.

Use case is for layered (SVC) coding to allow higher
resolution layers to continue decoding with temporal references,
while base spatial layer is intra-only frame.

Made encoder changes to real-time path for encoding intra-only
frame. The intra-only frame will be followed by the overlay/copy
frame (with both packed in the same superframe).

Use existing control to enable intra_only frame.
Intra only is only applied to base spatial layer, and only
allowed under fixed/non-flexible SVC mode, and only for
1 < number_spatial_layers < 4.

Added svc datarate unittest for inserting intra_only frame
as sync frame. Added svc end to end tests to check mismatch.

Change-Id: I2f4f0106b2c4f51ce77aa2c1c6823ba83ff2f7a0
Signed-off-by: Marco Paniconi <marpan@google.com>

[VSX] Add support to Power9-only vec_absd

~5% gain for SAD.

Change-Id: Ief7d7691f837474f5b6b582129628276fdcce319

Merge "Add hierarchical structure based ref frame update"

vp9-svc: add more command line options to test app.

This adds the following command line options to
vp9_spatial_svc_encoder test app:
--drop-frame=<arg>        Temporal resampling threshold (buf %)
--tune-content=<arg>      Tune content type default, screen, film
--inter-layer-pred=<arg>  0 - 3: On, Off, Key-frames, Constrained

Change-Id: I653d1924fb6e525edb2d1e84739be0b88e773e1c

Merge "vp9-svc: fix strings concatenation in test app."

Merge "Add enable-tpl-model guard"

Add hierarchical structure based ref frame update

Change-Id: I23559110bae8fa2328fe9bdb6672c7b1da84e17f

vp9: Adjust segment weight for cyclic refresh.

For screen-content: use the previous actual number of seg
blocks for the segment weight, used in the rate control
for setting frame-level Q.

Small overall increase in psnr on several screen-content clips.

Change-Id: Id414fb7f1b0ba578d464437d7f9c1783a0cad310

Add enable-tpl-model guard

Skip operations that exercise the tpl model values if the model
is turned off.

Change-Id: I9ab3b56950f6b5a40ae4670a570885aaaadf8382

Merge "Exploit the spatial variance in temporal dependency model"

vp9: Fix to screen content artifact for real-time.

Reset segment to base (segment#0) on spatially flat
stationary blocks (source_variance = 0). Also increase
dc_skip threshold for these blocks.

Reduces artifacts on flat areas in screen content mode.

Change-Id: I7ee0c80d37536db7896fa74a83f75799f1dcf73d

Merge "vp9: copy source on sync frame in denoiser."

Merge "vp9: Reset params for cyclic refresh on slide change"

Merge "vp9: Reduce quality artifact for real-time scene-content."

vp9: Reset params for cyclic refresh on slide change

Reset the last_coded_q_map and the sb->index in the cyclic_refresh
on a re-encode for slide change, so the refresh can start again
right after slide change.

Change-Id: I10cbc8354de8f7c2863b4212e6793b58a048b330

Merge "Add partition breakout models for 720p resolution"

vp9: copy source on sync frame in denoiser.

Refresh all denoiser buffers on sync frame.

Add sync frame test with denoiser enabled.
Change-Id: I562a5ef5614b92a97565e6181a79eda51d9aeb99

vp9: Reduce quality artifact for real-time scene-content.

Add scene detection flag to choose_partitioning to force split
of 64x64 block partition. This reduces artifacts on slide changes.

Bug:b/110978869

Change-Id: I9cc79a7c03f3aa2edeb28656b09a2177b72d59a8

Add partition breakout models for 720p resolution

Add partition search breakout models for 720p resolution,
currently enabled only for speed 0.

Compression performance change is neutral.
Tested encoding speed over 20 720p clips:

Speed gain(%) QP=55 QP=45 QP=35
  max      22.1 20.3 29.8
average         10.3  9.1 11.4

Change-Id: I07499728bbc5b80035fc66fad882ea556c8d07f2

Exploit the spatial variance in temporal dependency model

Adapt the Lagrangian multipler based on the spatial variance in
the temporal dependency model. The functionality is disabled by
default. To turn on, set enable_tpl_model to 1.

Change-Id: I1b50606d9e2c8eb9c790c49eacc12c00d3d7c211

Refactor to use unified multiplier for partition search

Change-Id: I26ced25ff2e20ec414d5ecaa7d26f4a69175896c

Merge "Enhanced partition experiment."

vp9-svc: fix strings concatenation in test app.

Change-Id: I292a1a5c19fd4f23b332e346d0ccac1a9c8455fc

Merge "Skip temporal dependency build when the speed feature is off"

Merge "Avoid operation on INT64_MAX value"

Merge "libyuv: disable AVX512 in clang"

vp9-svc: Adjust threshold for early exit on golden

Use the avg_frame_low_motion to reduce/turnoff this
early exit for higher motion content. Get some quality
back for higher motion clips and keep the same exit
thresh for low motion clips.

Change-Id: I95daf754dc0048b3e935d1a753f7f1101e6ffb77

Skip temporal dependency build when the speed feature is off

Change-Id: I888761193882cc92720e0efaea5229a04a6ed67f

libyuv: disable AVX512 in clang

ARGBToRGB24Row_AVX512VBMI fails to compile on Mac:
row_gcc.cc: instruction requires: AVX-512 VBMI ISA AVX-512 VL ISA

BUG=libyuv:789

Change-Id: Ibd584e8c82e3ce86ec5460b4243f84f5dbdf4c81

Avoid operation on INT64_MAX value

If the rate cost returns as INT_MAX, directly set the rdcost as
INT64_MAX.

Change-Id: I3ea1963aff10040dd9cef805beed9aebeedb93bc

Enhanced partition experiment.

This patch relates to motion artifacts as described in Issue 73484098

The aim of this patch is to promote the use of smaller partition
sizes in places where some of the sub blocks have very low
spatial complexity and some have much higher complexity.
The patch can have a small impact on encode speed, but much
less than alternative approaches such as lowering the rd thresholds
that limit the partition search when distortion is low.

The patch also applies a similar sub block strategy for AQ1.

Metrics results for our standard sets over typical YT rates.
(Overall PSNR, SSIM, PSNR HVS) % -ve better.

Low Res -0.274, -0.303, -0.330
Mid Res 0.001, - 0.128, -0.100
Hd Res -0.236, -0.371, -0.349
N 2K -0.663, -0.798, -0.708
N 4K -0.488, -0.588, -0.517

Change-Id: Ice1fc977c1d29fd5e401f9c7c8e8ff7a5f410717

Merge "vp9-svc: Fix to early golden exit nonrd-pickmode"

Merge "vp9-svc: Set avg_frame_low_motion for lower layers."

Merge "Support Power8/Power9 tuning"

vp9-svc: Set avg_frame_low_motion for lower layers.

The avg_frame_low_motion metric is only computed on the
top spatial layer, and since its part of the layer context
struct, it needs to written to all lower spatial layers for
consistency.

Small/minor change in metrics.
Change-Id: I92a001c37aeb332e613212288b13a2ed9745af88

vp9-svc: Fix to early golden exit nonrd-pickmode

For SVC: apply the sse_zeromv early exit also to
the case where golden is second temporal reference.
Set the thresh_svc_golden threshold for this case.

This is reduce the encode time for case where golden
is second temporal reference for SVC.
Change-Id: I8c0c87dd746579d3c4f5e983c7f9dd0a1e1476e0

Add Speed Tests to Trans32x32Test

Speed tests are disabled by default.

Change-Id: I49f8da3d3e1e4d9c72b17fc47c098284e7d84236

Support Power8/Power9 tuning

Change-Id: I50b32f37f77224ebf0470545152c83ae2ed3cfa3

Merge "[VSX] Drop the clang-4 workaround for vec_xxpermdi"

Merge "Add reference frame update flags for hierarchical"

Merge changes Ic2183e8b,If906ec9b

* changes:
  [VSX] Replace vec_pack and vec_perm with single vec_perm
  VSX Version of fdct32x32_rd

Merge "Turn on ML partition search breakout on speed 0"

[VSX] Replace vec_pack and vec_perm with single vec_perm

vpx_quantize_b:
VP9QuantizeTest Speed Test (POWER8 Model 2.1)
32x32 Old VSX time = 8.1 ms, new VSX time = 7.9 ms

vp9_quantize_fp:
VP9QuantizeTest Speed Test (POWER8 Model 2.1)
32x32 Old VSX time = 6.5 ms, new VSX time = 6.2 ms

Change-Id: Ic2183e8bd721bb69eaeb4865b542b656255a0870

VSX Version of fdct32x32_rd

Low bit depth version only. Passes the Trans32x32Test test suite.

Trans32x32Test Speed Test (POWER9 Model 2.2)
32x32 C time = 212.7 ms (±0.1 ms), VSX time = 82.3 ms (±0.0 ms) [2.6x]

Change-Id: If906ec9b56ce3818cae0cc462c7277284ab29859

Merge "third_party/libyuv: update to a37e7bfe"

Merge "BUG FIX: Initialize AverageTestBase members"

BUG FIX: Initialize AverageTestBase members

bit_depth_ was not initialized (used in FillRandom)
and caused valgrind errors.

BUG=webm:1542

Change-Id: I09a9acd54de0dfa4f9006304f45eb20883c9908c

Merge "vp9 svc: Add tests for sync on 2nd & 3rd spatial layers."

Merge "vp9 svc: Move CheckLayerRateTargeting into class."

Merge "vp9 svc: Fix uninitialized data members in frame sync tests."

vp9 svc: Move CheckLayerRateTargeting into class.

No need to pass arguments that are already members of the class.

Change-Id: I887d33d6037b561dee5dd8d49bb112d9120cd2a7

vp9 svc: Add tests for sync on 2nd & 3rd spatial layers.

Change-Id: I4d8b6d114d9a407f5bb879ab059a66425976f1df

vp9 svc: Fix uninitialized data members in frame sync tests.

BUG=webm:1542

Change-Id: If3e0b32a6832740b9af2f5c2d9418a6664297f57

Turn on ML partition search breakout on speed 0

Enable ML based partition search breakout on speed 0 when frame
resolution is less then 720p and bitdepth is 8.

Compression performance change is neutral.
Tested encoding speed over 20 480p sequences:

Speed gain(%) QP=30 QP=40 QP=50 QP=60
  max      14.4 18.6 17.8 24.4
average          4.6  9.0  8.0 13.2

Change-Id: Ia0d2947030ac774dc1533eb27ffc57f5b788a6ce

vp9: Add lower Q limt to cyclic refresh usage.

Disable the cyclic refresh for very low average Q.
This reduces encoded bitrate for static slides after the
the quality has ramped up well enough (low Q). And as the
cyclic refresh is not needed at low Q in most cases, this
has minimal/no effect on quality on RTC set.

Change-Id: Id6d449aa2351bb6886d72aafb2d406e967ed2789

Merge "Add vpx_highbd_avg_8x8, vpx_highbd_avg_4x4"

Merge "vp9: Fixes for lossless mode for real-time mode."

Merge "vp9-svc: Fix to frame dropping when layer is skipped."

Merge "Add a partition search breakout model"

vp9: Fixes for lossless mode for real-time mode.

Fixes to nonrd coding mode for lossless mode: keep
skip_txfm to 0 (no skip) and disable the encoder breakout.
This makes the encoding lossless when that mode is selected
for real-time (nonrd pickmode).

Also the disable the cyclic refresh for lossless mode.

Change-Id: I20a11ef6df08accec472d26fabebd14d51f4d337

vp9-svc: Fix to frame dropping when layer is skipped.

Fix condition in frame dropper for SVC to handle case
where spatial layer is skipped encoded (due to 0 bitrate).

Change-Id: I24185178774d73e8bb1c406acc0292422dfbe174

Add a partition search breakout model

for q-index between 100 and 150.

This only affects speed 1 and 2, resolution under 720p, q-index between
100 and 150, low bit-depth.

Compression performane change is neutral.
Encoding speed gain is up to 16% for speed 1;
                       up to  6% for speed 2.

Results from encoding city_4cif_30fps:
speed 1, QP=36
before:  37.964 dB, 45581b/f, 2.73 fps
after:   37.958 dB, 45510b/f, 3.16 fps

speed 1, QP=28
before:  39.297 dB, 82452b/f, 2.14 fps
after:   39.297 dB, 82310b/f, 2.25 fps

speed 2, QP=36
before:  37.903 dB, 45586b/f, 4.08 fps
after:   37.895 dB, 45492b/f, 4.34 fps

speed 2, QP=28
before:  39.224 dB, 82272b/f, 3.03 fps
after:   39.223 dB, 82152b/f, 3.17 fps

Change-Id: Ieaefedad902df80aa9699545fa06294601955803

Merge "VP9 SVC: Add tests for layer sync on base layer."

VP9 SVC: Add tests for layer sync on base layer.

Create tests for sync layer. The purpose of new tests is not to check
bitrate targeting, thus they're put in a new file.

Create a base class for svc tests, which is also inherited by svc datarate
tests, to reduce code redundancy.

Start decoding in the test from the frame of layer sync.

Change-Id: I7226d208279ad785873dffef51e0a8abef23b256

Add reference frame update flags for hierarchical

Previous CLs have implemented the construction of the hierarchical
structure at the encoder side. This CL is to define and configure the
according flags that will guide the reference frame update according to
the constructed hierarchical structure.

Change-Id: Iae55f2400f7c7beff41feff9308f87bfc70c7b21

Merge "Add extra altref option for hierarchical structure"

Add extra altref option for hierarchical structure

This CL is to hook up the implemented hierarchical structure
construction as well as its corresponding bitrate allocation
functionality with the defining of a GF group.

Currently the hierarchical structure is off by default. Hence this CL
has no impact on coding performance.

Change-Id: I9e1ddfd877559e99072c23970f7fe103b64ed9ee

Add vpx_highbd_avg_8x8, vpx_highbd_avg_4x4

BUG=webm:1537

Change-Id: I5f216f35436189b67d9f350991f41ed31431d4fe

Single out ref frame update functionality

This CL is for a preparation to introduce hierarchical structure based
reference frame update.

Change-Id: Id00a6b721c97d24fc7f5499483b31762b3839a3e

Merge changes I51e7ed32,I99a9535b,Id584d8f6

* changes:
  ppc: add vp9_iht16x16_256_add_vsx
  ppc: add vp9_iht8x8_64_add_vsx
  ppc: add vp9_iht4x4_16_add_vsx

Merge "Add capibility to configure decoder in encode tests."

Add capibility to configure decoder in encode tests.

This will allow us to test SVC features like Decode up to certain layers.

Change-Id: Icfb6f9d107108054cd0917197552e09ae48cbc52

Merge "Add a partition search breakout model"

Merge "Add bit allocation for hierarchical layer"

third_party/libyuv: update to a37e7bfe

Fix mingw builds for x86_32 by updating past:
https://chromium.googlesource.com/libyuv/libyuv/+/8fa02df3c0591754958a50

Pick up upstream fixes for clang 5 builds with --disable-optimizations.

Disable libyuv by default when building for msa. We have not been able
to update libyuv because of build issues with mips. This can be
revisited when we update the mips compiler used in Jenkins.

BUG=webm:1509,libyuv:793,webm:1514,webm:1518

Change-Id: Id0b9947cb5e0aa74f2f74746524ab6ff2d48796f

Refactor block partition level rate distortion cost computation

Compute the rate distortion cost directly at the coding block level.

Change-Id: Ib3f8e1ac6b6ec68db4f96c037f567b19da7fb114

Add bit allocation for hierarchical layer

This CL migrates the bit allocation scheme from libaom and combines the
scheme for hierarchical layer with the updated scheme in libvpx that
uses a modified scheme to calculate the target bitrate per frame.

Change-Id: I63593ed528abd4a6a1a8681abf6c9cf06c7a2ee0

Merge "libyuv: remove problematic functions"

Merge "Disable tpl model in high bd route"

libyuv: remove problematic functions

These fail to build with clang on 32 bit with
--disable-optimizations

Upstream libyuv has addressed these and we will get updated
versions on the next roll. At the moment, we don't use
libyuv for copying alpha data and so this is a quick fix.

BUG=webm:1514

Change-Id: I0040c3ae048f8d896c2082deeb2e32070a32c453

Disable tpl model in high bd route

Temporarily disable tpl dep model in the high bit-depth route to
prevent encoding failure.

Change-Id: Iebb3168a60b38dcc1273e25542530c4359dc679d

Add a partition search breakout model

for q-index between 150 and 200.

Previously the ML based breakout feature is only supported for q-index
larger than 200.

This only affects speed 1 and 2, resolution under 720p, q-index between
150 and 200, low bit-depth.

Compression performane change is neutral.
Encoding speed gain is up to 30% for speed 1;
                       up to 20% for speed 2.

Results from encoding city_4cif_30fps:
speed 1, QP=38
before:  37.689 dB, 41007b/f, 2.91 fps
after:   37.687 dB, 40998b/f, 3.46 fps

speed 1, QP=48
before:  35.959 dB, 22106b/f, 3.66 fps
after:   35.950 dB, 22118b/f, 4.83 fps

speed 2, QP=38
before:  37.630 dB, 40999b/f, 4.42 fps
after:   37.633 dB, 41063b/f, 4.63 fps

speed 2, QP=48
before:  35.905 dB, 22177b/f, 4.90 fps
after:   35.889 dB, 22145b/f, 5.92 fps

Change-Id: Ibd4a2f4d7093fb248ab94ddd388cbaa8de2c5ef7

vp9-svc: Add support for spatial layer sync frames.

Add encoder control to allow application to insert
spatial layer sync frame. The sync frame disables
temporal prediction for that spatial layer.

This is useful for RTC application to have receiver
start decoding a higher spatial layer, without inserting
a key frame on base spatial layer.

If the layer sync is requested on the base spatial layer
this then force a key frame, otherwise it only disables
the temporal reference for that spatial layer, allowing
temporal prediction to continue for the other layers.

Although the temporal prediction is disabled and reset
on a layer sync frame, the inter-layer prediction for the
sync frame is enabled on INTER frames. So the meaning of
INTER_LAYER_PRED_OFF_NONKEY is modified to mean disable
inter-layer prediction on non-key and non-sync frames.

Added unittest for inserting layer sync frames.

Bump up ABI version.
Change-Id: Id458acc400a77c853551f125c4e7b6d001991f03

Merge "Refactor partition mode cost calculation"

Merge "Add hierarchical structure in GF group"

Add hierarchical structure in GF group

Change-Id: I06fc4b0ad5a45c49e10a9601a2356fbc6e93d6da

Merge "Build temporal prediction dependency propagation"

Merge "vp9: Enable cyclic refresh for HBD in real-time."

Merge "Improve the partition search breakout speed feature"

vp9: Enable cyclic refresh for HBD in real-time.

Keep denoiser and skin detection disabled since some key functions don't
work with >8 bits source.

Add test for HBD with denoiser and cyclic refresh enabled to make sure
nothing crashes.

BUG=webm:1534

Change-Id: Id61fe1e38ed1768f273870a6bdd5f163aa769fe4

Build temporal prediction dependency propagation

This commit builds up the temporal prediction dependency propagation
within the group of pictures.

Change-Id: Id04cfc0323e6a5c4ac4a570d53e20d1229b3ee11