Remove unused variables from VP9_COMP

Change-Id: I853e0925d29becb9c1f84e5c00d84649fb070a07

Merge changes I7173f2fe,I460b6c4b,I5070657f,I2b3e1e16

* changes:
  Remove some deprecated FRAME_UPDATE_TYPE elements.
  Remove some deprecated constants.
  Remove unused rate control data elements
  Remove extra_arf_allowed.

Remove some deprecated FRAME_UPDATE_TYPE elements.

Removal of some frame types relating to deprecated multi-arf work.

Added a dummy value for the USE_BUF_FRAME frame type in the
declaration of the rd_frame_type_factor[FRAME_UPDATE_TYPES] structure.

Change-Id: I7173f2fe33a53117e1bde6f9621efc1a5951240b

Merge "Fix rate control bug with recode all."

Remove some deprecated constants.

Removal of some # defines relating to deprecated multi-arf work.

Change-Id: I460b6c4bee9bf0ef588eddc47329c2b17f60e5ba

Remove unused rate control data elements

Removal of rate control structure elements related to Zoe's
deprecated multi laryer ARF work.

Change-Id: I5070657f91df7bd3f9137cf74016f737313417c8

Remove extra_arf_allowed.

Removed VP9_COMP element that is no longer used.

Change-Id: I2b3e1e16244074e3510c1467b0e7532213c4ae05

Merge "Enable rectangular partition search for speed 1"

Merge changes I306c582c,Id5389285

* changes:
  Remove configure_multi_arf_buffer_updates()
  Remove update_multi_arf_ref_frames()

Merge changes I97111413,Idcd6dcbc

* changes:
  Clean up define_gf_group()
  Clean up deprecated gop structure code

Merge "Set GF frame layer depth to be 0"

Remove configure_multi_arf_buffer_updates()

The bit-stream syntax doesn't support lst2/3/bwd reference frame
update. Remove the deprecated function that goes such assumption.

Change-Id: I306c582c2efc63928e4231adef2ee549076a987c

Remove update_multi_arf_ref_frames()

The bit-stream syntax doesn't support the use of lst2/3 frames.
Remove the update_multi_arf_ref_frames() function that assumes
such functionality.

Change-Id: Id5389285c84fe6c578c52d210aa47ef3cb789f8e

Merge "Simplify vp9_frame_type_qdelta()"

Merge "Store mv/inter_cost/recon_error/err for ref frames"

Clean up define_gf_group()

Remove deprecated extra_arf_allowed code.

Change-Id: I97111413e6465475e750106fddef8f344db53405

Clean up deprecated gop structure code

Gradually integrate the single-/multi-layer ARF and dual ARF
encoder control. Remove deprecated code.

Change-Id: Idcd6dcbca3f8d7597878d83dec421e16be819f55

Simplify vp9_frame_type_qdelta()

Make direct use of frame type in the available VP9_COMMON structure.
Eliminate the need to map through rf_level to fetch the frame type.
This change doesn't alter the coding stats. It simplifies the
vp9_frame_type_qdelta() function logic and removes unnecessary
reference to rf_level.

Change-Id: I1a7b2f5abcae39aa4a60d08a6011dde38ecf3b58

Set GF frame layer depth to be 0

Set the golden frame layer depth as 0 - the base layer in temporal
domain.

Change-Id: If63e1524a567fcff6162f4283811298551516be5

Remove unused constant definition

ARF_DECAY_BREAKOUT is no long used.

Change-Id: I553f8a3087389f0343444e2551581e9de02d3427

Localize variable definitions

Localize variable definitions in setup_frames() and
two_pass_first_group_inter().

Change-Id: I66e842791d679be6d22cef50e0b395b5aa380eac

Merge "Rework two_pass_first_group_inter()"

Merge "Separate frame context index for GOP layers"

Merge "Assign layer depth for all coding frames"

Merge "Refactor block_rd_txfm()"

Rework two_pass_first_group_inter()

This function is used to in part decide if to trigger recode loop
for the first normal P frame in a GOP. Rework its design logic to
support the GOP with multi-layer ARF. Allow recode when there is
a transition from ARF/OVERLAY/USE_BUF to normal P frame.

The overall coding performance for multi-ARF gets slightly better
(less than 0.1% for show_existing_frame case). Tested on a few
clips, the encoding speed remains similar too. This change primarily
serves to help integration of multi-layer ARF and dual-ARF systems.

Change-Id: Ia44e44526b05029b1546985b3eb649e767d5444f

Refactor block_rd_txfm()

Merge two identical if branches.

Change-Id: Ie012ba9c116a30ef6fa2e7868c7a4ba886b99bc6

Store mv/inter_cost/recon_error/err for ref frames

These information will help with making better mv search decision

Add functionality to dump tpl_stats for offline analysis

Change-Id: Ic2ec34368499c9bccb4d1f21a12b66453847fcf2

Separate frame context index for GOP layers

Use separate frame context index to code frames at different layers.
The maximum index cap is set as 3. This improves the compression
performance of multi-layer ARF by 0.15% across the test sets.

The overall coding gains from multi-layer ARF are

         avg PSNR       ovarall PSNR        SSIM
lowres   -3.9%            -3.7%            -3.2%
midres   -3.5%            -3.2%            -2.3%
nflx2k   -4.3%            -4.6%            -3.0%

Change-Id: I8a0b345fdd47823c018544a6b4748753faf89dc1

fix vp9_svc_adjust_frame_rate signature

match the const in the header; quiets a visual studio warning.

since:
04b3d49ba vp9-svc: Allow for setting framerate per spatial layer.

Change-Id: I0a216eb8fe1a689fe6822bbfac70f7c98e9b1a70

Fix rate control bug with recode all.

This patch fixes a rate control bug that can manifest if the recode
loop is activated for all frame types. Specifically things go wrong when the
recode loop is used on an overlay frame that has a rate target of 0 bits.

The patch prevents adjustment of the active worst quality and repeat recode
loops for overlay frames.

The bug showed up during artificial experiments on re-distribution of bits in
ARF groups but does not activate in any current encode profile, as even best
best quality does not currently allow recodes for all frames.

Change-Id: I80872093d9ebd3350106230c42c3928e56ecb754

Merge "Fork auto-alt-ref control"

Merge "Extend auto-alt-ref parameter range"

Merge "Add non-greedy-mv experimental flag"

Assign layer depth for all coding frames

Assign layer depth for the base layer ARF and the normal frames.

Change-Id: I81cbb2846c3176336622f9006701c0219652905a

Merge "Add NORMAL_BOOST macro"

Enable rectangular partition search for speed 1

This patch enables rectangular partition search on speed 1. The encoding
speed loss is reduced thanks to recently added speed features.

This only affects speed 1 low bit-depth encoding.

Coding gains:
           avg_psnr     ovr_psnr    ssim
lowres      0.577%       0.621%    0.665%
midres      1.147%       1.215%    1.148%
hdres       0.758%       0.790%    0.769%

Tested encoding speed on 15 midres and 15 hdres clips, average speed
loss:
           QP=30       QP=40        QP=50
midres     4.43%       3.72%       -1.05%
hdres      4.41%       5.65%        3.77%

Change-Id: Ifc0712becccc69f7498796359ff12dbfa63fd7b3

Fork auto-alt-ref control

Temporarily fork the auto-alt-ref control meaning. When it is set
to be 1, use single layer ARF as baseline. The value 2 would enable
dual ARF system. Any number above it would trigger automatic multi-
layer ARFs.

We would gradually refactor and integrate dual ARF and multi-layer
ARF systems next, and eventually make auto-alt-ref directly control
the layer depth.

Change-Id: I292d27111ae8a596b97444afecf4b896043e543f

Extend auto-alt-ref parameter range

Extend the upper limit from 2 (dual ARFs) to maximum ARF layers.
This would later allow --auto-alt-ref to directly control the
ARF layer depth later on.

Change-Id: I6324fe980122e73dc98f81c8d7de1193a1a16e51

Add NORMAL_BOOST macro

Normal frame boost factor is set to be 100 as the baseline for
ARF boost. Replace the hard coded number with a macro.

Change-Id: I81ce30138f7819844e7a2d811de9e1ccbeb85da5

Merge "vp9-svc: Allow for setting framerate per spatial layer."

Merge "Fix short first kf bug."

Merge "Revert "Revert "Prevent double application of min rate in two pass."""

Merge "Adaptive ARF factor decision"

Merge "Recursive rate allocation for multi-layer ARF coding"

Merge "Enable adaptive rate allocation for multi-layer ARFs"

Merge "Initialize the best partition before partition RDO"

Initialize the best partition before partition RDO

This fixes the multi-thread encoder test failure.

Change-Id: I0c1845922068e71097a387db0969ca419accb3ed

Add non-greedy-mv experimental flag

The experiment aims at making non-greedy mv search decision

Change-Id: I3d77048ce106771fe003f250d07b7ddf0112536f

vp9-svc: Allow for setting framerate per spatial layer.

Add duration to set_svc_ref_frame_config.

BUG=b/113346831

Change-Id: I63613aed6b1183f98d04831600a6bdd645c740df

Adaptive ARF factor decision

Re-count the factors to decide bit boost factor for the
intermediate layer ARFs. Make the gfu_boost factor assigned to
each ARF adapt to its local factors.

This and the recursive change 5bfe9eb together improves the
multi-layer ARF compression performance:

          avg_psnr      ovr_psnr     ssim
lowres    -0.39%        -0.54%       -1.6%
midres    -0.98%        -1.26%       -2.3%
hdres     -0.95%        -1.13%       -2.3%

Change-Id: I5fec3ea75cae58825787dc88dadc7e8697a041ea

Recursive rate allocation for multi-layer ARF coding

Recursively calculate the rate boost for the ARF frames at the
given layer depth from the remaining available bit resource after
the prior layer ARFs consumption.

Change-Id: I0e31bac4f87b895ca20605dc1307a8fc0d2a516d

Enable adaptive rate allocation for multi-layer ARFs

Increase the bit allocation for the intermediate layer ARFs. The
current strategy assigns higher offset to the lower layer ARFs.
The needed budget is borrowed from the base layer ARF allocation.

Change-Id: I16b6e9cce4dab8e73e7b097674d1a8504205026e

Merge "Increase encoder buffer for multi-layer ARFs"

Merge "Structure the multi-layer ARF locations"

Merge "Move partition search ML models to a seperate file"

Merge "Assign target bits for multi-layer ARF system"

Move partition search ML models to a seperate file

Clean up vp9_encodeframe.c.

Change-Id: I4035fee94da746c74d72f71ca8334f91c5d10116

vp9-svc: Fix to first_spatial_to_encode for pattern constraint.

Change-Id: I876f69acf9420b3b013cb3048bbfa8ff059e2e50

Increase encoder buffer for multi-layer ARFs

When multi-layer ARF mode is enabled, increase the encoder buffer
to account for the situation where several ARFs are coded together
in a frame packet.

Change-Id: I4e53095f6b6ac5a3c8d79414411ac39880bf1523

Structure the multi-layer ARF locations

Fine tune the multi-layer ARF location decisions. Support deeper
layer structure.

Change-Id: I3e44cf52b6813f6267bcd7266f9aa1b7ded57f8e

Merge "ML based rectangular partition search pruning"

Fix short first kf bug.

This change is in response to quality issue in b/112953058

The quality regression observed is a result of a bug that manifested
because of a very short key frame group at the start of a chunk.
The group was so short that it was less than the minimum allowed
length of an ARF group, so the initial group was coded as a GF only
group. However, group length was not set correctly and the result
was a frame coded with a target of 0 bits.

This causes two problems:

Firstly one very poor frame that caused the issue to be raised.

Secondly that one  frame obviously overshoots its 0 target very heavily
and this has the effect moving the needle significantly in terms of the
adaptive rate control (specifically the estimate of bits per macro block
used to estimate the active Q range). Consequently there is undershoot
for most of the rest of the chunk and the overall rate ends up much lower
than the target (14Mb/s vs a target of 22Mb/s). (The sharp drop in the
overall rate is also noted in the issue.

BUG=b/112953058

Change-Id: Ide9cce57acd3dee0f9496b752902e7b4735f2c7f

Assign target bits for multi-layer ARF system

Keep the ARF and P frame rate allocation distribution. All the
intermediate ARFs are treated same as regular P frames.

Change-Id: I7807b8e6a8f19b6e1b09b9b7d119b3c88ef90b67

Merge "Properly update the raw_src_frame for psnr calculation"

Merge "Build arf index stack"

Merge "vp9-svc: Add bypass flag to constrain inter_layer."

vp9-svc: Add bypass flag to constrain inter_layer.

The additional constraint imposed on inter-layer
prediction should only be done for non-bypass (fixed)
svc mode.

Change-Id: Ia22cdb7bc21684776c9a13397e177a1e1c3d55a2

Revert "Revert "Prevent double application of min rate in two pass.""

This rate control bug in the original patch is not the underlying cause
of the quality regression but simply unmasked a problem which stems
from applying 0 bits to the last frame in a short KF group at the start
of a chunk.

This reverts commit d10b1f233657054b1465d40f0b409c20029a540b.

Change-Id: I32c91a24a14d013853bb8e5587aa69600e6a0063

vp9-svc: Fix condition for pattern constraints

For fixed/non-flexible SVC mode: on non-key spatial
enhancement layers modify constraint on the inter-layer
prediction to include the first_spatial_layer_to_encode.

Change-Id: I6a59174976ad72d555653704dcd3b03c52e31b6f

Properly update the raw_src_frame for psnr calculation

Update the raw_src_frame to be the current input source frame in
the show_existing_frame mode.

Change-Id: Ia8edf49ca948c45ffe6c60556756b36124ab092a

Build arf index stack

Stack the ARF frame indexes. Use the most recent one as the ARF
reference frame for frame coding.

Change-Id: I88a2202fa5deb2587d861b434d27ab8de0642cf7

vp9-svc: Add first_spatial_layer_to_encode per superframe

VP9E_SET_SVC_LAYER_ID sets the first spatial layer to
encoder per superframe, so add this parameter to svc encoder.
This is needed, for example, to properly set is_key_frame for
spatial layers when base spatial layer is skipped encoded.

Change-Id: Ifd4ac77f539197ec021e62f4c624a6cc79d64f43

ML based rectangular partition search pruning

Add a ML model to predict if rectangular partition search can be skipped
without much coding loss. This model is enabled for speed 0 low bitdepth
only.

Impact on coding performance is minor:
             avg_psnr     ovr_psnr     ssim
lowres       -0.005%       0.005%     0.017%
midres        0.100%       0.114%     0.134%
hdres         0.048%       0.083%     0.074%
jvet480p      0.035%       0.027%     0.044%
jvet720p      0.094%       0.090%     0.174%

Tested encoding speed over 20 midres and hdres clips, average speed
gain is about 8%; maximum speed gain is 23%.

Change-Id: I5d4029dec7134c53ac68ab6cf0c8077dc0b767ed

Merge "Fix arf_src_offset calculation"

Merge "Set minimum frame size to be 1 byte"

Merge "Prepare multi-layer ARF coding structure"

Merge "Build up multi-layer ARF processing order"

Merge "Add element stack operations for arf index control"

Fix arf_src_offset calculation

The offset should be computed with respect to the current coding
process standing.

Change-Id: I63fc303eb062d5fd68b8d1faa3b4172cdfcce168

Set minimum frame size to be 1 byte

The show_existing_frame mode still needs to be sent to the decoder.
Account for this as 1 byte. This would make the encoder properly
update its state.

Change-Id: I32a59ccb5d0e02cc6367c1a264b2de72dc1432a7

Prepare multi-layer ARF coding structure

Build the frame processing order and type queue for multi-layer
ARF coding structure.

Change-Id: I5e14c60279020dc65a883d2997ca1ca9ce739488

Build up multi-layer ARF processing order

Use DFS to build the multi-layer ARF processing order.

Change-Id: Iba4b20476eb5c8a3db49a24b2b0dec325fade65b

Add element stack operations for arf index control

Support arf index stack operation.

Change-Id: Ifcf521ffc95a520344824ffc159883b71e8fc7a0

Merge "cosmetics,lf threading: normalize struct member names"

silence c++ abi warning

Linking c++ libraries built with gcc 6 and gcc 7 on arm
generates some warnings because of incompatibilities between those
compilers:
https://gcc.gnu.org/bugzilla/show_bug.cgi?id=77728

libvpx does not generate a c++ library. C++ is only used for examples and tests.

Change-Id: I3d5d5ef3fb66743bff26a833d6641898975e9f71

vp9: Fix rate control stats for bypass mode in sample encoder

Allow rate control stats to work for bypass mode
in vp9_spatial_svc_encoder.c

Change-Id: I66764a006a73b1fd13c07b4fc4e0c88b2bb2a035

Revert "Loopfilter MultiThread Optimization"

This reverts commit dafe064289a917977439ab6f4f002b9946496084.

Corrupted files may cause the decoder to hang as row progress in the
loopfilter is used to progress each thread.

BUG=webm:1558

Change-Id: I0674ce9af14d3fb7b2da8124e7b600616c8e734a

Merge "rtcd: fix --required flag"

rtcd: fix --required flag

Always parse --required options. Previously they were only parsed for
x86_64.

Make entries passed in additive if there are existing required flags.

Mark 'neon' as required for armv8/aarch64.

BUG=chromium:876548

Change-Id: I55c6aad4536a9d8423e223e5616f3aa26d6b2941

Merge "Skip unnecessary motion search"

Skip unnecessary motion search

If a ref frame is masked out, we do not need to do motion search for it.
It makes speed 0 a little faster.

Change-Id: I68f71255b2798b24fd1d5b28ed24a2ef87251413

Merge "vp9: Fix ref frame update in denoiser in bypass mode."

Merge "Revert "Prevent double application of min rate in two pass.""

Rework enc/dec mismatch detection

The previous enc/dec mismatch detection assumes the previously
reconstructed frame would always stay at frame buffer pool index
at 0. It could hence cause certain delay in enc/dec mismatch
detection when the immediate reconstruction frame is not yet
propagated to index 0 in the buffer map pool.

This change always keeps the latest decoded show frame buffer
index and directly gets the reconstructed frame from encoder and
decoder buffer pools to check for mismatch.

Change-Id: If53092cbc42ab78d55af5b83f12a489fc362f3ae

vp9: Fix ref frame update in denoiser in bypass mode.

BUG=b/112292577
Change-Id: I8fc5711e44d0317e299aa49f781e9c438bba9d82

vp9-svc: Change default pattern for bypass mode

For sample encoder: keep default pattern for bypass
mode to example#0.

Change-Id: Icddc4600d750a23a44b26517a327b546fd8eb412

Merge "SVC: extend api to specify temporal id for each spatial layers."

Merge "Rework the ref_frame_skip_mask feature in RDO"

Revert "Prevent double application of min rate in two pass."

This reverts commit 416b7051d7f610ed6d62dff18af7776ec520fd9c.

Reason for revert: it causes visual quality drop as described in b/112953058.

Original change's description:
> Prevent double application of min rate in two pass.
>
> The initial allocation of bits in the two pass code to each frame
> should be within the min max limits on the command line. However,
> when forming an ARF group the cost of the ARF is shared by frames
> in that group such that the residual bits for a frame could drop below
> the min value. This change prevents the minimum being re-applied
> after the cost of the ARF has been deducted as this may otherwise
> cause low rate sections to overshoot their target.
>
> Test runs comparing to a baseline run with min and max section pct
> 0-2000% vs one closer to the YT use case (50-150%) suggest that
> this fix not only results in better rate control but also gives a better
> rd outcome.
>
> For example the HD set vs 0-2000% baseline (opsnr, ssim).
> Old code (50-150):  +0.751, +1.099
> New code(50-150): +0.241, -0.009
>
> Change-Id: I715da7b130bf53ba8aa609532aa9e18b84f5e2ef

TBR=yaowu@google.com,paulwilkins@google.com,debargha@google.com,builds@webmproject.org

# Not skipping CQ checks because original CL landed > 1 day ago.

Change-Id: Ic9849e4e0db64e9d92bbb9df9cc923230a15c4df