Merge "Fix vpxdec fuzz failure."

Merge "vp9: Adjust some early exits in nonrd-pickmode."

Remove ppc64 (big endian) from configure

Remove big endian PowerPC 64 from configure, as this build is problematic and
not supported. PowerPC 64 will be limited to little endian (ppc64le).

BUG=webm:1525
BUG=webm:1508

Change-Id: Id6a86d5913192549e03ac8f77879ba7526b752c8

Merge "ppc: Add vpx_iwht4x4_16_add_vsx"

Merge "configure: check for arm_neon.h w/neon builds"

Merge "Update vpx_subtract_block_neon()"

vp9: Adjust some early exits in nonrd-pickmode.

Condition some early exitis in nonrd-pickmode on the
motion vector, to make sure we always test (0, 0) for
inter-layer prediction.

Change-Id: Id0e790ecc75ccfb7031d3e8786ccdd13781d81fe

Update vpx_subtract_block_neon()

Change-Id: Ie2ac06c090c8f92268e9a799e96aa5192a1bdcd2

Merge "Update vpx_comp_avg_pred_neon()"

Merge "Remove extra line in warnings in ivfdec.c"

configure: check for arm_neon.h w/neon builds

fails at configure time rather than compile time unless using
--enable-external-build

Change-Id: I966ee1000e28fdcc3f4a29759789b056faee0010

Merge "Make upper limit of frame size in ivf reader consistent."

Fix vpxdec fuzz failure.

BUG=webm:1495

Change-Id: Ibaee35aa5e8e00847c61e707f2c9b4c0cff23673

Remove extra line in warnings in ivfdec.c

The warnings give an extra line which is confusing sometimes.

E.g.

Warning: Read invalid frame size (308164564) // This is for frame 5

Warning: Failed to decode frame 5: Invalid parameter
Warning: Read invalid frame size (1936229463) // This is for frame 6

Warning: Failed to decode frame 6: Invalid parameter
Warning: Read invalid frame size (2282536257)

Change-Id: I1753fa32079deca5c8b534c6ca9a527cc9e491e9

Make upper limit of frame size in ivf reader consistent.

Change the limit of frame size in ivf reader used by test to make it
consistent with ivf reader used in vpxdec.

Change-Id: I19ab05adf51eca65322e609efdf4d83ad66af847

Merge "VSX version of vpx_quantize_b_vsx"

vp9-svc: Fix inter-layer early exit threshold.

If the scale factors are 1 (no scaling), set the threshold
for skipping the inter-layer prediction to 0, so we will
more often test this mode.

Improves quality for upper layers for quality layers
in svc mode.

Change-Id: Iaf848d44f6cc153780db861b76517a4cf9672c45

Merge "Don't use transform domain distortion when eob is 0"

VSX version of vpx_quantize_b_vsx

Low bit depth version only. Passes the VP9QuantizeTest.

Change-Id: I6546f872864bd404a7e353348b0554aab1de5bf0

Merge "vp9-svc: Fix to SVC for frame dropping."

Merge "Improved slide show coding"

Update vpx_comp_avg_pred_neon()

Separate width 4 and 8 cases to reduce jumps in loop in clang.

Change-Id: I6ffc6f1555f2ad08b72a8dba35a78b9fd5f95a73

vp9-svc: Fix to SVC for frame dropping.

When the previous frame is dropped, for the current
spatial layer make sure the lst_fb_idx corresponds
to the buffer index last updated on the (last) encoded
TL0 frame(for same spatial layer).

This is needed to preserve the temporal prediction pattern
for fixed/non-flexible mode under frame dropping.

Change-Id: Ifc8e257beb025654a81580c4da0a181235724508

Update SadMxNx4 NEON functions

Change-Id: Ia313a6da00a05837fcd4de6ece31fa1c0016438c

Merge "configure: Disable pthread_h if linking failed"

Merge "Add vpx_sum_squares_2d_i16_neon()"

Improved slide show coding

This patch improves coding of slide shows with fade or other
complex transitions.

Previously, fades and other complex transitions between static "slides"
were sometimes being incorrectly marked such that they were coded
as a single static slide rather than two slides with a transition.

As the initial key frame for the first slide is not necessarily a good
predictor of the second slide and ARFs were turned off, this led to a
poor visual and metrics outcome in some such cases.

This patch allows for long GF groups in static sections before and after
a complex transition (instead of just with  simple slide transitions) with
one or more normal ARF groups during the transition. It also enforces a
single "normal" length GF group after the transition before any extended
group is allowed. The reason for this is that the ARF that spans the
transition my not have a very high quality and hence may not act as a
good GF for the long static section that follows.

Change-Id: Ica1f979e27d8a0625f3cebf7b7cf6d69edccaba9

Update vpx_sum_squares_2d_i16_sse2()

Change-Id: I5a2ca2ed246277cf6b1ef2ffac34ce5c40aa0158

Add vpx_sum_squares_2d_i16_neon()

Perf shows CPU time of this function dropped from 0.81% to 0.15%.

Change-Id: I8a7649ca5c15af2fc65cfb848f5befa0cc5e64f2

Don't use transform domain distortion when eob is 0

When eob is 0, pixel domain distortion is more accurate and efficient.

This mainly affects speed >= 2. Speed 0 always use pixel domain
distortion; speed 1 use it most of the time.

Compression impact(negative means gain):
        speed 2   speed 3   speed 4
lowres   -0.04%   -0.06%    -0.06%
midres   -0.10%   -0.10%    -0.20%
hdres    -0.01%   -0.03%    -0.06%

Encoding speed is about neutral.

Change-Id: I77b957658deeaad57381fd13afc11bacdec8c08f

Merge "vp9-svc: Reset fb_idx for unused references."

configure: Disable pthread_h if linking failed

When doing both check_header and check_lib, the check_header call
will already enable pthread_h if the header was found. This was
overlooked when the pthread linking check was amended into a header
check and a separate linking check in 9b7d4cce635e.

This brings back the same result as the original check in 38dc27cc6.

Change-Id: I0efb38f5780f7c79e2eb2b14290d6094096ea222

vp9-svc: Add memset on the svc fb_idx.

The memset is added to better handle frame drops
with the GET_SVC_REF_FRAME_CONFIG contro

There is an issue with some tests in bypass mode,
so condition it on that for now.

Change-Id: I2635037143f14ff62a36be7c22b2b604a0c1efc2

vp9-svc: Reset fb_idx for unused references.

For fixed (non-flexible) SVC mode.
No change in behavior.

Needed for future change to make Intra-only frame work.

Change-Id: I91e18776e7ef27c9c6fcbc8d5f64764d9cc3d9a9

vp9-svc: On key frame update all reference slots for SVC.

Key frame updates the slots corresponding to the 3 references
last/golden/altref, but for SVC where more references buffers
may be in use, especialy for dynamically swithing up/down in layers,
make sure we should update all 8 slots on key frame.

Change-Id: Ifcca12608f420d5bae32b92794a3afe9b6369f77

Merge "Clean switch cases in vp9 encoder"

Merge "vp9: [loongson] optimize vpx_convolve8 with mmi"

Clean switch cases in vp9 encoder

To save a branch.

Change-Id: Ifa2be7583e95c6991784731c654bbd4cce31e993

Merge "Update variance_test.cc"

Update variance_test.cc

Change-Id: I1301781f0f2528a61ad2b5c2828404b2b3e3e8b9

vp9-svc: Remove the memset on the svc fb_idx.

This fixes failures on the datarate tests for
temporal layers with frame dropping.

The memset was only added to better handle frame drops
with the GET_SVC_REF_FRAME_CONFIG control from 43c58df3.
So ok to remove it for now.

Change-Id: I256d9ac4278b93fe6f39b94cce2e458a1a5eff69

Merge "VP9 SVC: Add new level to constrain inter-layer pred."

Merge "Respect MV limit in vp9_int_pro_motion_estimation()"

VP9 SVC: Add new level to constrain inter-layer pred.

Add another level (INTER_LAYER_PRED_ON_CONSTRAINED) to the
inter-layer prediction control. This new level enforces the
condition that a given spatial layer S can only do inter-layer
prediction from the previous spatial layer (S - 1) from the same
time/superframe.

BUG=webm:1526

Change-Id: I0a1ec95b2c220c7b13a9a425d5fb0a8814c23c70

vp9-svc: Remove unneeded call and init some parameters.

Remove the unneeded vp9_copy_flags_ref_update_idx(cpi),
and initialize the struct parameters needed for the
GET_SVC_REF_FRAME_CONFIG. This init is useful for the case
for spatial layer frame drops.

Change-Id: If89e8349f6246c33720ecbb758d41a932d21e496

Merge "Do one level less of transform search for large blocks"

Respect MV limit in vp9_int_pro_motion_estimation()

Change-Id: I08cb072a32e06c6452eca068b2f7ef7287f221e6

Do one level less of transform search for large blocks

If block size is larger than 32x32, search transform size for one level
less than the other blocks.

This mainly affects speed 0 and 1, as speed >= 2 uses largest transform
size(except for keyframes and alt-ref frames).

Compression(negative means gain):
        speed 0     speed 1
lowres  -0.007%       0.00%
midres   0.023%     -0.011%
hdres    0.002%     -0.016%

Encoder speed:
Tested on crowd_run_1080p 30 frames
Fixed QP = 30, speed 0: 582.5s -> 564.6s
               speed 1:  75.0s ->  73.3s

Change-Id: I46622efafe0e88d502efa1480a5324ead1d1e8d0

Merge "Calculate transform size cost once per frame"

Merge "Add speed feture to control tx size search depth"

Merge "vp9-svc: Add GET control to get SVC pattern info."

vp9-svc: Add GET control to get SVC pattern info.

Copy ref frame index in SVC struct after set in encoder.
Rename ext_{lst,gld,alt}_fb_idx to {lst,gld,alt}_fb_idx.

Bump up ABI version.

BUG=webm:1527

Change-Id: I06209040cb83d374030f40b79f0b36b0efe9f97d

vp9: [loongson] optimize vpx_convolve8 with mmi

1. vpx_convolve_avg_mmi
2. vpx_convolve8_avg_horiz_mmi

Change-Id: Ie544aac45b4b1c0a0e51b44b650189ae5e88aee1

Fix vp8_multi_resolution_encoder test failure.

BUG=webm:1528

Change-Id: I8eb8278c2e61577159308dd5329be0577b82d1a6

Calculate transform size cost once per frame

Instead of doing it in every transform search loop.

Change-Id: I12dc402a6633d1a27d32cb6b58710b8c0ebf0fd4

Remove get_tx_probs2()

This function is redundant.

Change-Id: I7651fc34787c09e59cb1366495f6b525dec8510d

Add speed feture to control tx size search depth

Set the max depth as 2 for speed 0.

Compression(negative means gain):
        speed 0     speed 1
lowres   -0.01%      0.00%
midres    0.05%     -0.01%
hdres    -0.01%      0.01%

Encoding speed gain:
Tested on crowd_run_1080p 30 frames
Fixed QP = 20, speed 0: 669.7s -> 656.1s
               speed 1: 104.5s -> 101.5s
Fixed QP = 40, speed 0: 440.7s -> 435.8s
               speed 1:  47.7s ->  45.1s

Change-Id: I61bc13818c72317b9f1d596727d54a906b20c012

Merge changes I0202a556,Iebb98f3b

* changes:
  Update variance avx2 functions
  Update variance sse2 functions

configure: Use both check_header and check_lib for pthreads

check_lib can be a stub that always returns true - make sure to
still use check_headers as before 38dc27cc6.

Change-Id: I5d471de56b16c015a0b686fa6c6caefa35bb89b4

vp9:aq-mode=3: Keep perc_refresh fixed for screen content mode.

Don't allow for changing the perc_refresh with screen-content
mode, as this helps reduce some overshoot for static content.

Change-Id: Idbe1849e7a14ef18fda20bee6dced809f134b7f7

Merge "vp9: Rate control fix for CBR mode."

Merge "vp9: Remove limit on QP on key frame for CBR."

vp9: Add condition of real-time mode to scene detection.

This was removed by error from the change: ce11afb, and
made some datarate tests fail.

Change-Id: I0c29e1f5aede8f56ce835b25fed0528722350241

vp9: Rate control fix for CBR mode.

For CBR mode: modify the qp clamping to allow q to respond
faster to overshoot. Can reduce some suprious overshoot events
observed in screen content coding.

Change-Id: I0b3f54b0d1b4086182f834e557a4121950b176d4

Merge "SVC: Fix duplicated run of svc datarate tests."

vp9: Remove limit on QP on key frame for CBR.

This piece was carried over the VBR routine, for CBR
mode we don't want to apply this limit.

Change-Id: Ib9e9937eabeff8cfd30e11c9bd17444cc2b591aa

SVC: Fix duplicated run of svc datarate tests.

Change-Id: I3f4e45b398009852f1183943461625d621c4eb80

vp9: Changes for scene detection overshoot and SVC.

Refactor the scene detection for 1 pass cbr to allow the
scene detection to be checked once per superframe (on the base layer),
using the full resolution sources.

If scene change is detected: check for re-encoding due to
large overshoot for all spatial layers withing the superframe.

Add speed feature to control the re-encode step.
Keep the re-encode step on for now.

Small change in nonrd_pickmode to remove the possible skip of golden
reference for SVC, when the high_source_sad is set for the superframe.

Change only affects SVC encoding with screen-content mode enabled.

Change-Id: If4cfb52cb0dd0f0fce1c4214fa8b413f8f803d56

Merge "configure: Test linking pthreads before using it"

Merge "Clean up svc comment in vp9_bitstream.c"

Update variance avx2 functions

Old vs New
Variance 64x64 time:  1145 ms           797 ms
Variance 64x32 time:  1200 ms           831 ms
Variance 32x32 time:  1228 ms          1135 ms
Variance 32x16 time:  1374 ms          1491 ms
Variance 16x16 time:  1688 ms          1571 ms

sse2 vs avx2
Variance 32x64 time:  1645 ms           957 ms
Variance 16x32 time:  2031 ms          1243 ms
Variance 16x8  time:  3071 ms          2275 ms

Change-Id: I0202a556e4629977d647e219c2e897e1ab6accb2

vp9: Remove this_key_frame_forced setting for CBR.

The setting this_key_frame_forced can lead to large key frame sizes,
not suitable for CBR rate control used for RTC.

Change-Id: Idf6d2bf385d5b1494f4bf783f623b7c202f34e55

Update variance sse2 functions

Old vs New
Variance 64x64 time:   197 ms   143 ms
Variance 64x32 time:   200 ms   146 ms
Variance 32x64 time:   203 ms   140 ms
Variance 32x32 time:   214 ms   152 ms
Variance 32x16 time:   243 ms   153 ms
Variance 16x32 time:   234 ms   197 ms
Variance 16x16 time:   205 ms   205 ms
Variance 16x8  time:   228 ms   222 ms
Variance 8x16  time:   228 ms   232 ms
Variance 8x8   time:   282 ms   240 ms
Variance 8x4   time:   506 ms   341 ms
Variance 4x8   time:   518 ms   415 ms
Variance 4x4   time:   604 ms   628 ms

Observed vp9 encoder speed up when encoding a 720p video.

Change-Id: Iebb98f3b3d8adbc11a733a529d8427ce3d2a5314

vp9: fix multiple run for vp9 datarate tests using one bitrate.

Change-Id: I1458bf25fadc23e8be5a9532a153d7129a53accf

Merge "vp9: refactor vp9 datarate test for better sharding."

configure: Test linking pthreads before using it

This avoids enabling pthreads if only pthreads-w32 is available.
pthreads-w32 provides pthread.h but has a link library with a
different name (libpthreadGC2.a).

Generally, always using win32 threads when on windows would be
sensible.

However, libstdc++ can be configured to use pthreads (winpthreads), and
in these cases, standard C++ headers can pollute the namespace with
pthreads declarations, which break the win32 threads headers that
declare similar symbols - leading us to prefer pthreads on windows
whenever available (see d167a1ae and bug 1132).

Change-Id: Icd668ccdaf3aeabb7fa4e713e040ef3d67546f00

vp9: refactor vp9 datarate test for better sharding.

Change-Id: Icfaf29e1ca847ba9e3748700c9e09383ce8d1f65

Clean up is_two_pass_svc.

Change-Id: I9e92616471be380d3ba4e2b85399d7eb9f687d2f

Clean up svc comment in vp9_bitstream.c

SVC related conditions were removed long time ago and comments should be
removed too.

Change-Id: Iff3f3b6815d85ae5a69994932a4893cd1f831ce3

Merge "vp9 svc: Refactor svc datarate test for better sharding."

Merge "Silence warning when built with --enable-internal-stats."

Silence warning when built with --enable-internal-stats.

Change-Id: I3a600a9baf2b8e46c109f4ec2b5bd6bafda4bf58

vp9 svc: Refactor svc datarate test for better sharding.

Wrap denoiser tests under config flags.

Change-Id: I6175c3c9d8b5b079ad35a55553383145db58a10f

Merge "Add extra case to wq_err_divisor()"

vpx_image: remove unused image formats

libvpx only emits:
VPX_IMG_FMT_{I420,I422,I440,I444,I42016,I42216,I44016,I44416}
and additionally supports YV12 as input.

interleaved yuv, rgb and alpha formats are unused.

Change-Id: Ie2ab1099e950c6e696f475d46882f5c47a174042

Merge "vp9-svc: Make constrained_layer_drop default for svc."

Merge "Fix settings for num of tiles in samples & tests."

vp9-svc: Make constrained_layer_drop default for svc.

Switch the order of constrained and layer drop mode,
and keep constrained_layer_drop as the default.
Update the svc datarate tests.

Change-Id: I764270f7b4964b87b0cd3da6c2f96a628f212a30

Fix settings for num of tiles in samples & tests.

The control is set by log2 of number of threads (such that the number of
tiles is the same of number of threads).

Thus it should be log2(num_threads) instead of (num_threads >> 1).

Change-Id: I2ccec5557e660048dad3e561534e1c74fc8eec1f

vp9-svc: Hybrid search on spatial layers whose base is key.

For spatial layers whose base is a key frame, i.e., when
svc.layer_context[cpi->svc.temporal_layer_id].is_key_frame = 1,
allow for hybrid search, similar to what we do on key frames.

For small blocks (<= 8x8) rd-based intra search will be used,
otherwise non-rd pick mode is used.

Feature is controlled by nonrd_keyframe, which is set to 1
for now on non-base spatial layers, so this change has
currently no effect.

Small change only when inter-layer prediction is off, as we now
call vp9_pick_intra_mode instead of vp9_pick_inter_mode on key frame.
But this change is very small/insignificant.

Change-Id: I5372470f720812926ebbe6c4ce68c04336ce0bdd

Merge "remove support for yuv 411"

Revert "vp9-svc: Fix to first superframe when inter_layer is off."

This reverts commit 5cc8df5bcfe49fbfca21ee57401c7807c048751b.

Reason for revert: <INSERT REASONING HERE>
We need to do this on all key frames in the stream (not just the first one). Will make another cleaner change for this.

Original change's description:
> vp9-svc: Fix to first superframe when inter_layer is off.
>
> When the application selects the setting INTER_LAYER_PRED_OFF
> each spatial stream should be decodeable separately.
> For this we need to force key frames on all spatial layers
> on the first superframe.
>
> In order to maintain the quality at the beginning of the stream
> the active_worst for spatial layer of the second superframe is set
> to the last_QP of the correspondng spatial layer of the first superframe.
> Also make sure nonrd_keyframe is set for non-base spatial layers.
>
> Change only affects SVC mode wit number_spatial_layers > 1 and
> svc->disable_inter_layer_pred == INTER_LAYER_PRED_OFF.
> And only affects first and second frame of sequence.
>
> Change-Id: I8ee9a0873ab1d3a02515774571f719617771ad41

TBR=marpan@google.com,builds@webmproject.org,jianj@google.com

Change-Id: If73d9f3932224fc6751e773763adf7e8ee67d17f
No-Presubmit: true
No-Tree-Checks: true
No-Try: true

vp9-svc: Fix to first superframe when inter_layer is off.

When the application selects the setting INTER_LAYER_PRED_OFF
each spatial stream should be decodeable separately.
For this we need to force key frames on all spatial layers
on the first superframe.

In order to maintain the quality at the beginning of the stream
the active_worst for spatial layer of the second superframe is set
to the last_QP of the correspondng spatial layer of the first superframe.
Also make sure nonrd_keyframe is set for non-base spatial layers.

Change only affects SVC mode wit number_spatial_layers > 1 and
svc->disable_inter_layer_pred == INTER_LAYER_PRED_OFF.
And only affects first and second frame of sequence.

Change-Id: I8ee9a0873ab1d3a02515774571f719617771ad41

vp9-svc: Fix to disable cyclic refresh on key superframes.

Cyclic refresh is disabled on key frames, but we did not
disable it for for spatial layers whose base is a key frame
(i.e., on a key-superframe).

This fix means generally somewhat lower frame-level QP will be
used for those spatial layers whose base is a key frame,
which will generally mean little better quality for the
key-superframes.

Change-Id: Idf090651aa2f5856fb6696c89198a9f6d5d50280

update codereview.settings

Using pdfium as a reference:
https://pdfium.googlesource.com/pdfium/+/master/codereview.settings

Change-Id: I30874cf9f1d575325c32342146137a1952db91ba

ios configure: quiet shell warning

Generating file lists on a non-mac with:
--target=x86-iphonsimulator-gcc --enable-external-build
the lack of xcrun would cause a warning to print:
libvpx/build/make/configure.sh: line 1397: [: : integer expression expected

Change-Id: I4623b6c5b65296bc71986cd042823f4be9427b42

Merge "vp9-svc: Fix in choose_partitioning for different scaling."

Merge "Fix to svc sample enocoder for visual studio build."

vp9-svc: Fix in choose_partitioning for different scaling.

In the SVC encoder LAST ref frame should be the last temporal
reference at the same resolution. This is the case for the default/fixed
patterns, but may not be the case for arbitrary pattern in flexible mode.

Add check that the LAST reference frame has same resolution as the current frame.
If the reference scale for LAST is different from current treat the current
frame as key frame just for the purpose of superblock partitioning.
This avoids potential segfault in vp9_int_pro_motion_estimation() for different
scaled reference.

Change-Id: I4276ff616de46cd4e12c73316f85ae313f170242

rm CONVERT_TO_SHORTPTR in vpx_highbd_comp_avg_pred

BUG=webm:1388

Change-Id: I1d0dd9af52a1461e3e2b2d60e8c4b6b74c3b90b0