Merge "Improve the ML based partition pruning"

VSX version of vpx_post_proc_down_and_across_mb_row

Low bit depth version only. Passes the VpxPostProcDownAndAcrossMbRowTest

VpxMbPostProcAcrossIpTest Speed Test (POWER8 Model 2.1)
C time = 121.3 ms (±4.0 ms), VSX time = 9.4 ms (±0.3 ms) [12.9x]

Change-Id: I28300779e197ea3855cf30867d17a2805388b447

Improve the ML based partition pruning

Add a neural net model that uses the same features as the existing
linear model. Make the pruning decision based on both the linear
and the neural net model. It provides more accurate predictions,
and may improve compression and/or encoding speed.

This only affects speed 0.

Coding gain:
0.37% on midres
0.34% on hdres
0.50% on jvet8b720p

Encoding speed impact(average over locally tested 20 clips from midres
and hdres):
QP=20: down by 2.5%.
QP=30: down by 3.9%.
QP=40: donw by 4.5%.
QP=50:   up by 5.2%.

Change-Id: I402ec799745ad3b74abf0789fa5e124fe64e704d

Merge "vp9-svc: Fix to compute some metrics on top spatiail layer."

Merge "libs.mk: expose libvpx.{ver,syms} in all configs"

vp9-svc: Fix to compute some metrics on top spatiail layer.

The avg_frame_low_motion and consec_zeromv are frame-level
metrics that are updated on every frame. For SVC these should be
updated on top spatial layer (full resolution).

Small/negligible change in metrics.

Change-Id: Ibe14f05be3b82daa9dd60378097ff11a27f1b95e

vp9: Refactor code for q adjustment in CBR mode.

Move the adjustment code to separate function.
Change-Id: I876b246a5c26095f262bb9a19f03d1f17077225d

Merge "Revert 3 slide show coding changes"

Revert 3 slide show coding changes

This is a combination of the following 3 reverts. The changes cause
issues on certain hardware devices. We'll pull them for now to allow for
further investigation.

Revert "Experiment regarding playback problems on Bravia TVs."

This reverts commit 624f8105f5ae7e0bc82bdc7e10a4253295134a8b.

Revert "Improved slide show coding"

This reverts commit f4091bc30eef0fcacb5d5bd74ab7cfbc3c8aab5f.

Revert "Improved coding on slide show content."

This reverts commit 2fa333c2ae1b6fcc1864de12a7ad344a16e2ac0a.

BUG=b/77492144

Change-Id: Ifba937792d644a9286307262f050216408e8ecf4

tiny_ssim: fix for odd image sizes.

Change-Id: I7dd1e37c5de3efccc07fcdc877653d4873a88266

Merge "vp9-svc: Add frame dropper control to sample encoder."

vp9-svc: Add frame dropper control to sample encoder.

Disabled as default as enc_cfg.rc_dropframe_thresh is
set to 0 as default.

Change-Id: Ia888aa16b1a86a716ec33ea041e8b16b19bf93be

Merge "vp9: Adjust cyclic refresh and limit frame-level q."

libs.mk: expose libvpx.{ver,syms} in all configs

this allows the targets to be used explicitly in builds configured with
--enable-external-build

Change-Id: Id7db309a39a73cfd8f15f74430b17b317c0a847f

vp9: Adjust cyclic refresh and limit frame-level q.

For CBR mode with aq-mode=3: reduce delta-q for second
segment and limit how much the frame-level q can decreae
from one frame to the next.

Reduces bitrate spikes in slide/sreen content.

Change-Id: Id9ac4b7270f07e09690380755cfbef4aec5c26dc

VSX version of vpx_mbpost_proc_ip

Low bit depth version only. Passes the VpxMbPostProcAcrossIpTest.

VpxMbPostProcAcrossIpTest Speed Test (POWER8 Model 2.1)
C time = 188.5ms (±0.2ms), VSX time = 65.2ms (±0.1ms) [2.9x]

Change-Id: I1cf72365d94a9d7f1e9323925a87a30e3bd5cfe2

VSX version of vpx_mbpost_proc_down

Low bit depth version only. Passes the VpxMbPostProcDownTest.

VpxMbPostProcDownTest Speed Test (POWER8 Model 2.1)
Full calculations:
C time = 195.4 ms, VSX time = 33.7 ms (5.8x)

Change-Id: If1aca7c135de036a1ab7923c0d1e6733bfe27ef7

Bench Class For More Robust Speed Tests

To make speed testing more robust, the AbstractBench runs the
desired code multiple times and report the median run time with
mean absolute deviation around the median.

To use the AbstractBench, simply add it as a parent to your test
class, and implement the run() method (with the code you want to
benchmark).

Sample output for VP9QuantizeTest

  [    BENCH ]      Bypass calculations       4x4  165.8 ms ( ±1.0 ms )
  [    BENCH ]        Full calculations       4x4  165.8 ms ( ±0.9 ms )
  [    BENCH ]      Bypass calculations       8x8  129.7 ms ( ±0.9 ms )
  [    BENCH ]        Full calculations       8x8  130.3 ms ( ±1.4 ms )
  [    BENCH ]      Bypass calculations     16x16  110.3 ms ( ±1.4 ms )
  [    BENCH ]        Full calculations     16x16  110.1 ms ( ±0.9 ms )

Change-Id: I1dd649754cb8c4c621eee2728198ea6a555f38b3

vp9-realtime: Move frame dropper to after scene detection.

Move frame dropper to after scene detection and noise estimation.
Scene detection and noise estimation operate on source data and
update metrics along sequence, so they should be moved before
the frame dropper.

Also we don't want to drop on scene change, as the scene detection
and (possible) re-encode step will be missed.

Change-Id: I3d9e16d785bd5ace6707db2abce77ddc110bfef4

vp9-svc: Fix to allowed value of max_consec_drop.

For the max_consec_drop parameter in svc frame drop:
since passing value 0 in the control would completely
disable the dropper, only allow for values >= 1 to be set.

Change-Id: I6b74ec9cc08a638fa571d6246a021dab9c811d14

Merge "VP8: Fix use-after-free in postproc."

VP8: Fix use-after-free in postproc.

The pointer in vp8 postproc refers to show_frame_mi which is only
updated on show frame. However, when there is a no-show frame which also
changes the size (thus new frame buffers allocated), show_frame_mi is
not updated with new frame buffer memory.

Change the pointer in postproc to mi which is always updated.

Bug: 842265
Change-Id: I33874f2112b39f74562cba528432b5f239e6a7bd

Merge "VP9: Fix issues with high bitdepth in real-time."

VP9: Fix issues with high bitdepth in real-time.

Disable denoiser, skin detection and aq-mode for high bitdepth for now.

BUG=webm:1534

Change-Id: I361a4e20b2319041148af497bf7043bfd5c5f589

vp9-svc: Add max_consec_drop to SVC frame drop.

For any spatial, limits the amount of consecutive frame drop.

Change-Id: I692d90363f329f571f2b59e12cc680ad2e76065d

vp9: Rate control adjustments for screen content.

For screen content mode: changes to reduce occurence of
significant QP decrease (from one frame to next),
which can cause large frames (overshoot/delay).
-cap the buffer increase to optimal level for frame drop
mode where full superframe can drop
-reduce the max_adjustment_down due to buffer overflow
-reduce qp threshold to trigger re-encode on large frame

Change-Id: I3e30e4814192b5f728abff3f7359eb64f561b8f0

Merge "Experiment regarding playback problems on Bravia TVs."

vp9-svc: Add full superframe drop mode.

This will check for dropping full superframe if any
spatial layer is overshooting.

Change-Id: Ic656807028ebef5552301b6d10399fbe3a6c890c

Merge "vp9-svc: Small code cleanup in nonrd-pickmode."

vp9-svc: Small code cleanup in nonrd-pickmode.

Rename a flag to indicate it is for the inter_layer reference.

Change-Id: Ib198d3df95fb912259efde854613592c724b7c49

remove unused vpx_ports/config.h

references were earlier removed in:
1a7d25a48 Replace vpx_ports/config.h with vpx_config.h

Change-Id: I1824cd71e970f5c7550c3978e0c63ce36a9644e4

Add Solaris to supported platforms

Change-Id: Ib49e1d79ba4c1c5d5147ab437f744a31429a059c

Merge "configure,ios: add missing c++11 checks"

Merge "vp9-svc: Fix on disabling inter_layer prediction."

vp9-svc: Fix on disabling inter_layer prediction.

In vp9_svc_constrain_inter_layer_pred() we disable the
inter_layer prediction if anything but only the previous
spatial layer (from same supeframe) is used for inter_layer
prediction. This check and disabling was only allowed when
the control VP9E_SET_SVC_INTER_LAYER_PRED is set to
INTER_LAYER_PRED_ON_CONSTRAINED.

But the control VP9E_SET_SVC_INTER_LAYER_PRED is needed for setting:
INTER_LAYER_PRED_ON/INTER_LAYER_PRED_OFF/INTER_LAYER_PRED_OFF_NONKEY.
So there is a conflict with setting INTER_LAYER_PRED_ON_CONSTRAINED.

Fix for now is to always allow for this disabling check
(disable inter_layer reference if its not previous spatial layer) as
long as inter_layer prediction is used (i.e., not set to _OFF).

A separate fix if needed may be to invoke another control for setting
INTER_LAYER_PRED_ON_CONSTRAINED.

This was causing an issue with enabling spatial layers on the fly
(say spatial layer 2), where since INTER_LAYER_PRED_ON_CONSTRAINED was
not set (default), the inter_layer prediction was then using a reference
from 2 spatial layers below (spatial layer 0).

Change-Id: Ic6434000665f63aab27c509b5eb7b8fc965827bc

vp9-svc: Fix issue with reseting lst_fb_idx.

When encoding a given spatial layer and the same spatial layer
on previous superframe was dropped (or disabled due to 0 bitrate),
the lst_fb_idx for current layer is set to the buffer index that
was last updated on TL0 frame (for the same spatial layer).

This condition was to maintain proper temporal prediction pattern
under frame drops, and it should only apply to INTER frames.

But the condition was causing an assert to be triggered on spatial
layers whose base are key frames. Fix is to condition this reset of
lst_fb_idx on the "is_key_frame" flag. Also initialize the
fb_idx_upd_tl0 to -1 and only use it for a given spatial layer
if its been set.

These issues can happen when superframe drop happens just before
a key frame, or when stream starts with lower layers and dynamically
enabled higher spatial layers.

Added datarate unittest the inserts key frame after superframe drop,
and verified that this fix is needed for test to pass.
Also modified the existing DisableEnable spatial layer test to trigger
the issue of using fb_idx_upd_tl0 when it hasn't been set for a
spatial layer.

Change-Id: I059d1135736aca17e1326b9b4a2b16371eb4634e

configure,ios: add missing c++11 checks

+ bump ios minimum to 7.0; 6.0 does not have full c++11 support

Change-Id: If838b036e7327fda514cd2e8156eeda122cf6c73

Revert "Revert "update libwebm""

This reverts commit d32a55ffc40bba75ed8b770b282836a9d248d6a9.

Use the correct 'check_add_cxxflags' invocation.

Change-Id: I97d8062c9218b81a24268ec5998e847b1a0efeda

iosbuild.sh: portable sed usage

There is no convenient way to have both gnu and bsd
sed do in-place processing.

Change-Id: I95f2a378d5c1bd95debb446317cc18ad79835e49

Experiment regarding playback problems on Bravia TVs.

This patch experimentally reduces the maximum GF interval for
static content such as slide shows.

It does not fully revert the previous slide show patches as this
still allows the codec to code static sections only using GFs
groups rather than ARF groups or a mix of ARF and GF groups.
However, the maximum group length is reduced.

Change-Id: Ia968b608efb9a67d2402b12e979695d58ddc1ad7

vp9-svc: Skip find_predictors based on ref_frame_flags.

Has some effect for SVC on base spatial layers (which only
reference LAST) or on upper spatial layers when inter_layer
prediction is disabled.

Small speedup on Mac of ~1%, for 3 layer SVC with inter-layer
prediction disabled.

Change-Id: I05be5da8843e0d32e9d85f6eb951cf1894e781d8

vp0-svc: Small code cleanup in nonrd-pickmode.

Change-Id: I0bc9a555064f053a00c1ab9a4dd2557ccf5537d8

vp9-svc: Enable scene detection and re-encode for SVC.

Keep a lower rate threshold for video case.
Also lower the exiting threshold somewhat for screen-content mode.

Change-Id: I79649a36678d802fd4d4080754fd366e78904214

Merge "Use the updated best rd cost for transform block search"

Use the updated best rd cost for transform block search

The compression performance change is +/-0.01% for both speed 0/1.
Locally tested the encoding speed:

ped_1080p 150 frames speed 0
79544 b/f 41.339 dB 503072 ms ->
79566 b/f 41.338 dB 493009 ms.

speed 1
79789 b/f 41.152 dB 104583 ms ->
79770 b/f 41.153 dB 102607 ms

Change-Id: Ief200b613608643e5708cebe979982eb4a84831b

Merge "vp9: Some speed feature settings for speed 9."

Merge "Add vpx_varianceNxM_vsx and vpx_mseNxM_vsx"

vp9: Some speed feature settings for speed 9.

Disable 8x8 blocks for higher resolutions,
reduce mv_thresh for 1/2 subpel motion, and
disable golden reference at superblock level
based on source sad and motion content.

~6% loss in RTC metrics over current speed 9.
Speedup about ~10% for high motion clip on linux.

Change-Id: I7ff8f81ac93ee8a90d5a1f4837c955d000bd75e7

Add vpx_varianceNxM_vsx and vpx_mseNxM_vsx

Speedups:

64x64   5.9
64x32   6.2
32x64   5.8
32x32   6.2
32x16   5.1
16x32   3.3
16x16   2.6
16x8    2.6
8x16    2.4
8x8     2.3
8x4     2.1
4x8     1.6
4x4     1.6

Change-Id: Idfaab96c03d3d1f487301cf398da0dd47a34e887

Merge "Revert "update libwebm""

Revert "update libwebm"

This reverts commit 595edb9669e27927726523c3f463d0eb6ea73f30.

Incorrect check_add_cxxflags invocation prevented libwebm from
building. Correcting it causes build failures on jenkins and mac.

Original change's description:
> update libwebm
>
> Clears "auto_ptr deprecated" warnings when building with
> clang v6.0.0
>
> Requires C++11 support.
>
> Change-Id: I5ea2744e73deeaa4e7b2599bacf0b6c9cf355a54

TBR=jzern@google.com,johannkoenig@google.com,builds@webmproject.org

Change-Id: I7340d912a121de035997cbd8ad77a150ee38189a
No-Presubmit: true
No-Tree-Checks: true
No-Try: true

Merge "Make a config time flag"

Merge "vp9-realtime: Enable alt_ref at speed 5, for live."

Merge "VSX version of vpx_quantize_b_32x32_vsx"

Make a config time flag

This commit replace a hard coded macro with a macro defined by
a configure command.

Change-Id: Ib31354d61865314ed43e2c429c72b4ef2c8fa2a7

Merge "Fixes for consistent encoding across recodes of a frame"

Merge "update libwebm"

VSX version of vpx_quantize_b_32x32_vsx

Low bit depth version only. Passes the VP9QuantizeTest.

VP9QuantizeTest Speed Test (POWER8 Model 2.1)
Full calculations:
C time = 1456 ms, VSX time = 80 ms (18x)

Change-Id: I1b1d6d03b1aeff63640efbdeb222cab857ddd95e

Fixes for consistent encoding across recodes of a frame

Change-Id: I094bca857f0fc2c067a4d08d1b36370fe61c25aa

vp9-realtime: Enable alt_ref at speed 5, for live.

Enable alt_ref and compound prediction at speed 5.

For 1 pass VBR mode, when lag > 0.
Gain for Live set: ~3% gain on average, several
clips have gains ~5-15%.

Encoder fps decrease ~5-10%, on desktop with 4 threads.

For now enable it only for resolutions <= 1280x720.

Change-Id: I25e3d61a2244a3a01962624052c5adf4837965c7

Merge "vp9-svc: Add conditon to asserts on prediction pattern."

vp9-svc: Add conditon to asserts on prediction pattern.

Add condition that inter-layer prediction is on.

Change-Id: I84d8c73be4296e7b6b79abb7e5e5e6dbaa6e0600

VP9: Add speed 9 for subpel search.

Set subpel search stop to 2 when motion vector is non zero.

10% speedup on 1 and 2 threads on Samsung Galaxy S8+.

Change-Id: I7323bb913000229cf60a37495bf88bcc51d0ac96

update libwebm

Clears "auto_ptr deprecated" warnings when building with
clang v6.0.0

Requires C++11 support.

Change-Id: I5ea2744e73deeaa4e7b2599bacf0b6c9cf355a54

vp9-svc: Update layer_id of frame buffer idx last refreshed.

Remove some unused code and add parameter to keep track
of the layer_id of the frame buffer indices last refreshed.

This is useful for verifying constaints on spatial-temporal pattern,
for fixed/non-flexible mode.

Change-Id: I6957bb43157eb31df49dac1b8245facc043e4a49

Merge "Fix valgrind failure on uninitialized values."

Fix valgrind failure on uninitialized values.

Change-Id: I917d884c9fab9b15bb092de5675f92225f1cdebd

vp9-svc: Fix pattern update for skip enhancement layers.

Use the same logic as for dropped frames to be consistent.

Change-Id: I16fd317e70514fe8516d9eb350c275d1813e943e

Merge "vp9-svc: Fix when whole superframe is dropped."

vp9-svc: Fix when whole superframe is dropped.

When the whole superframe is dropped (due to rate control),
don't increment the temporal layer counter.

This is a temporary fix to prevent an issue where temporal
prediction pattern is possibly broken.

Updated svc_datarate tests to handle this case.

Change-Id: Icac44fdc9d0f08a957776c937584db4b2c7927c7

Merge "Faster VSX vpx_quantize_b"

vpx_subtract_block_neon: add explicit cast

quiets ptrdiff_t -> int conversion warning

Change-Id: If6b545a736fc19e48e290961736b1618df97db3e

Merge "Fix vpxdec fuzz failure."

Merge "vp9: Adjust some early exits in nonrd-pickmode."

Remove ppc64 (big endian) from configure

Remove big endian PowerPC 64 from configure, as this build is problematic and
not supported. PowerPC 64 will be limited to little endian (ppc64le).

BUG=webm:1525
BUG=webm:1508

Change-Id: Id6a86d5913192549e03ac8f77879ba7526b752c8

Merge "ppc: Add vpx_iwht4x4_16_add_vsx"

Merge "configure: check for arm_neon.h w/neon builds"

Merge "Update vpx_subtract_block_neon()"

Faster VSX vpx_quantize_b

Process 16 coefficients on the first iteration (a full 4x4) and 24 coefficients
on subsequent iteration.

VSX/VP9QuantizeTest.DISABLED_Speed
Before:
4x4   176 ms
8x8    91 ms
16x16  72 ms
After:
4x4   152 ms
8x8    82 ms
16x16  64 ms

Change-Id: I07cb130833504206ccdc5bc12ae5af369364999a

vp9: Adjust some early exits in nonrd-pickmode.

Condition some early exitis in nonrd-pickmode on the
motion vector, to make sure we always test (0, 0) for
inter-layer prediction.

Change-Id: Id0e790ecc75ccfb7031d3e8786ccdd13781d81fe

Update vpx_subtract_block_neon()

Change-Id: Ie2ac06c090c8f92268e9a799e96aa5192a1bdcd2

Merge "Update vpx_comp_avg_pred_neon()"

Merge "Remove extra line in warnings in ivfdec.c"

configure: check for arm_neon.h w/neon builds

fails at configure time rather than compile time unless using
--enable-external-build

Change-Id: I966ee1000e28fdcc3f4a29759789b056faee0010

Merge "Make upper limit of frame size in ivf reader consistent."

Fix vpxdec fuzz failure.

BUG=webm:1495

Change-Id: Ibaee35aa5e8e00847c61e707f2c9b4c0cff23673

Remove extra line in warnings in ivfdec.c

The warnings give an extra line which is confusing sometimes.

E.g.

Warning: Read invalid frame size (308164564) // This is for frame 5

Warning: Failed to decode frame 5: Invalid parameter
Warning: Read invalid frame size (1936229463) // This is for frame 6

Warning: Failed to decode frame 6: Invalid parameter
Warning: Read invalid frame size (2282536257)

Change-Id: I1753fa32079deca5c8b534c6ca9a527cc9e491e9

Make upper limit of frame size in ivf reader consistent.

Change the limit of frame size in ivf reader used by test to make it
consistent with ivf reader used in vpxdec.

Change-Id: I19ab05adf51eca65322e609efdf4d83ad66af847

Merge "VSX version of vpx_quantize_b_vsx"

vp9-svc: Fix inter-layer early exit threshold.

If the scale factors are 1 (no scaling), set the threshold
for skipping the inter-layer prediction to 0, so we will
more often test this mode.

Improves quality for upper layers for quality layers
in svc mode.

Change-Id: Iaf848d44f6cc153780db861b76517a4cf9672c45

Merge "Don't use transform domain distortion when eob is 0"

VSX version of vpx_quantize_b_vsx

Low bit depth version only. Passes the VP9QuantizeTest.

Change-Id: I6546f872864bd404a7e353348b0554aab1de5bf0

Merge "vp9-svc: Fix to SVC for frame dropping."

Merge "Improved slide show coding"

Update vpx_comp_avg_pred_neon()

Separate width 4 and 8 cases to reduce jumps in loop in clang.

Change-Id: I6ffc6f1555f2ad08b72a8dba35a78b9fd5f95a73

vp9-svc: Fix to SVC for frame dropping.

When the previous frame is dropped, for the current
spatial layer make sure the lst_fb_idx corresponds
to the buffer index last updated on the (last) encoded
TL0 frame(for same spatial layer).

This is needed to preserve the temporal prediction pattern
for fixed/non-flexible mode under frame dropping.

Change-Id: Ifc8e257beb025654a81580c4da0a181235724508

Update SadMxNx4 NEON functions

Change-Id: Ia313a6da00a05837fcd4de6ece31fa1c0016438c

Merge "configure: Disable pthread_h if linking failed"

Merge "Add vpx_sum_squares_2d_i16_neon()"

Improved slide show coding

This patch improves coding of slide shows with fade or other
complex transitions.

Previously, fades and other complex transitions between static "slides"
were sometimes being incorrectly marked such that they were coded
as a single static slide rather than two slides with a transition.

As the initial key frame for the first slide is not necessarily a good
predictor of the second slide and ARFs were turned off, this led to a
poor visual and metrics outcome in some such cases.

This patch allows for long GF groups in static sections before and after
a complex transition (instead of just with  simple slide transitions) with
one or more normal ARF groups during the transition. It also enforces a
single "normal" length GF group after the transition before any extended
group is allowed. The reason for this is that the ARF that spans the
transition my not have a very high quality and hence may not act as a
good GF for the long static section that follows.

Change-Id: Ica1f979e27d8a0625f3cebf7b7cf6d69edccaba9