Reorganize *_rtcd() calling conventions

Change-Id: Ib1e17d8aae9b713b87f560ab5e49952ee2bfdcc2

Merge "Remove unused scaleopt.cpp"

Revert "Force_split on 16x16 blocks in variance partition."

This reverts commit eb8c667570aa83134c7db0690de9dbdde4d90291.
The patch caused mismatch while using multi-threads.

Change-Id: Icd646340af25b5d91e32f03ed3ea212e00e3e0be

Remove unused scaleopt.cpp

Change-Id: Ibaeede61c128c73809332b9a853cd62b8d6d5325

Merge "Force_split on 16x16 blocks in variance partition."

Merge "Remove unnecessary set postproc flags."

Force_split on 16x16 blocks in variance partition.

Force split on 16x16 block (to 8x8) based on the minmax over the 8x8 sub-blocks.

Also increase variance threshold for 32x32, and add exit condiiton in choose_partition
(with very safe threshold) based on sad used to select reference frame.

Some visual improvement near moving boundaries.
Average gain in psnr/ssim: ~0.6%, some clips go up ~1 or 2%.
Encoding time increase (due to more 8x8 blocks) from ~1-4%, depending on clip.

Change-Id: I4759bb181251ac41517cd45e326ce2997dadb577

Merge "mips msa vp9 common headers added"

Merge "Remove get_nonrd_var_based_fixed_partition function"

Merge "Compute prediction filter type cost only when needed"

Merge "SSSE3 assembly implementation of 8x8 Hadamard transform"

Merge "Remove unnecessary mv clamp with on demand border extension."

Remove get_nonrd_var_based_fixed_partition function

This function has been replaced by other approaches and is not
in use now.

Change-Id: I387f45b5607d202539e482468ccc70e6c0f9341f

mips msa vp9 common headers added

Change-Id: Ia31ada59172eb1818e1eb91009f83cbb1f581223

Merge "vpxdec.sh: fix vp9_webm_less_than_50_frames w/valgrind"

Remove unnecessary mv clamp with on demand border extension.

Change-Id: Ia2956f06f409b9b0ca8320ca4c1ea5680e938402

Refactor dec_build_inter_predictors

Refactor the loops in dec_build_inter_predictors to try and decrease
the number of instructions. Limited testing saw about 1% perf
increase on x86 and about 0.67 % perf increase on Arm.

Change-Id: I69cfe6335bb562fbaaebf43fb3f5c5a2a28882a2

vpxdec.sh: fix vp9_webm_less_than_50_frames w/valgrind

add a check for the status line to awk and better report failure given
the program output will be lost in this case

Change-Id: I1348a80108c81099d609f2e2227dd2c31bd8cd54

Merge "Improve accuracy of rate control in CQ mode"

Merge "vp9_full_search_sadx[38]: align sad arrays"

Merge "Optimize the checking for transform skipping"

Merge "move ref_frame_cost computations into a function"

Improve accuracy of rate control in CQ mode

Modifies a special handling that improves rate control accuracy in
the constrained quality mode, when the undershoot and overshoot
limits are set tighter.

Change-Id: If62103f0ef3ed1cac92807400678c93da50cf046

Merge "Test loopfilters with count=2"

vp9_full_search_sadx[38]: align sad arrays

the sse4 code expects 16-byte aligned arrays; vp8 already had a similar
change applied:
b2aa401 Align SAD output array to be 16-byte aligned

Change-Id: I5e902035e5a87e23309e151113f3c0d4a8372226

Merge "Enable Hadamard transform based cost estimate for all block sizes"

Merge "Account for eob cost in the RTC mode decision process"

Compute prediction filter type cost only when needed

Skip redundant prediction filter type cost in filter search loop,
if the rate value will be reset in Hadamard transform based rate
distortion estimate.

Change-Id: Ie5221f4bc8da9461c449df367251aeeac52c6e5d

Merge "webmdec: Fix for reaching eof in webm_guess_framerate"

webmdec: Fix for reaching eof in webm_guess_framerate

Reset the reached_eos flag in webm_guess_framerate in case it ends
up consuming the entire file. Also adding a vpxdec shell test to
verify this behavior.

Change-Id: I371eebd2105231dc0f60e65da1f71b233ad14be5

Optimize the checking for transform skipping

If U is not skippable, then do not perform the check on V.

Change-Id: Iba5e8362bd42390197f373c44388a426a4404549

Merge changes Ide5eefad,I28026b86,Ie9a6fac0,Ia8a20c67,I8c7f5b97,I33ca9cdd,I438cbf49

* changes:
  vp8_regular_quantize_b_sse2: remove dead init
  vp8cx_pick_filter_level*: remove dead inits
  vp8_decode_frame: remove dead increment
  rdopt: remove dead stores
  find_next_key_frame: remove dead init & store
  multiframe_quality_enhance_block: remove dead stores
  vp8_print_modes_and_motion_vectors: remove dead stores

SSSE3 assembly implementation of 8x8 Hadamard transform

It uses about 10% less CPU cycles than the SSE2 intrinsic
implementation.

Change-Id: I91017c0c068679a214b98cdd4cff3a6facfb7499

Enable Hadamard transform based cost estimate for all block sizes

This commit turns on the Hadamard transform based rate distortion
estimate for all block sizes in RTC coding mode. It conditionally
skips the rate distortion estimation if all zero block flag is set
on. No significant encoding speed change is observed. The
compression performance of speed -6 is improved by 1.7% over using
it only for block sizes of 32x32 and below.

Change-Id: I768145e6f05c737b05b5b5f1ee674e929532cafb

Merge "Fix the scaling factor in UV skipping test"

vp8_regular_quantize_b_sse2: remove dead init

Change-Id: Ide5eefadbb3cab38743a69f744a003abb37a6506

vp8cx_pick_filter_level*: remove dead inits

Change-Id: I28026b86d03264b9f4e2fc8ac1d3c74aa3954208

vp8_decode_frame: remove dead increment

Change-Id: Ie9a6fac02796d24e6f4a15416d0b4c19010547df

rdopt: remove dead stores

Change-Id: Ia8a20c6751cc6d63c60bb00b99c78faca1e61051

find_next_key_frame: remove dead init & store

Change-Id: I8c7f5b9718ef14e4397a263aa9f52a9edcf7d1cd

multiframe_quality_enhance_block: remove dead stores

Change-Id: I33ca9cddfdd54c3d8a23c1cb978986a537a20bf2

vp8_print_modes_and_motion_vectors: remove dead stores

Change-Id: I438cbf4970fa2220fb73b0b41a29e654836d4e3b

Fix the scaling factor in UV skipping test

The threshold scaling factor was calculated wrong using partition
size "bsize". Thank Yaowu for pointing it out. It was fixed and no
speed change was seen.

Change-Id: If7a5564456f0f68d6957df3bd2d1876bbb8dfd27

Test loopfilters with count=2

The following functions use the count parameter to either loop or select
dedicated paths:
vp9_lpf_horizontal_16_c
vp9_lpf_horizontal_16_sse2
vp9_lpf_horizontal_16_avx2
vp9_lpf_horizontal_16_neon
vp9_highbd_lpf_horizontal_16_c
vp9_highbd_lpf_horizontal_16_sse2

Change-Id: I7abfd2cb30baa292b4ebe11c847968481103c037

Merge "vp9: enable sse4 sad functions"

Merge "Merge branch 'indianrunnerduck'"

Merge "Remove AltiVec flag"

Merge branch 'indianrunnerduck'

* indianrunnerduck:
  Update CHANGELOG for v1.4.0 (Indian Runner Duck) release
  vp9: fix high-bitdepth NEON build
  Fix use of scaling in joint motion search
  Prepare Release Candidate for libvpx v1.4.0
  vp8cx.h: vpx/vpx_encoder.h -> ./vpx_encoder.h

Change-Id: Ib2eee50f02e12623aae478871cb9150604bb2ac2

Update CHANGELOG for v1.4.0 (Indian Runner Duck) release

Change-Id: Id31b4da40c484aefc1236f5cc568171a9fd12af2

Merge "Tune SSSE3 assembly implementation to improve quantization speed"

Remove AltiVec flag

Change-Id: I560b1a954a5089a8af69952b8084408c6a420b96

Account for eob cost in the RTC mode decision process

This commit accounts for the transform block end of coefficient flag
cost in the RTC mode decision process. This allows a more precise
rate estimate. It also turns on the model to block sizes up to 32x32.
The test sequences shows about 3% - 5% speed penalty for speed -6.
The average compression performance improvement for speed -6 is
1.58% in PSNR. The compression gains for hard clips like jimredvga,
mmmoving, and tacomascmv at low bit-rate range are 1.8%, 2.1%, and
3.2%, respectively.

Change-Id: Ic2ae211888e25a93979eac56b274c6e5ebcc21fb

Merge "Fix error of "Left shift of negative value -1"."

Merge "Set vbp thresholds for aq3 boosted blocks"

move ref_frame_cost computations into a function

Change-Id: Iebf2ad2b1db7e2874788fda8d55e67f4cb1149f1

Fix error of "Left shift of negative value -1".

Change-Id: Ia4f3feb20df0e89cc51b02def858e12e927312cc

Merge "Code cleanup: put (8x8/4x4)fill_variance into separate function."

Merge "Remove PPC build support"

Set vbp thresholds for aq3 boosted blocks

The vbp thresholds are set seperately for boosted/non-boosted
superblocks according to their segment_id. This way we don't
have to force the boosted blocks to split to 32x32.

Speed 6 RTC set borg test result showed some quality gains.
Overall PSNR: +0.199%; Avg PSNR: +0.245%; SSIM: +0.802%.
No speed change was observed.

Change-Id: I37c6643a3e2da59c4b7dc10ebe05abc8abf4026a

vp9: fix high-bitdepth NEON build

remove incorrect specializations in rtcd and update a configuration
check in partial_idct_test.cc

(cherry picked from commit 8845334097d1cb03fc8d7a91c86f02235afc8da6)

Change-Id: I20f551f38ce502092b476fb16d3ca0969dba56f0

Fix use of scaling in joint motion search

To enable us to the scale-invariant motion estimation
code during mode selection, each of the reference
buffers is scaled to match the size of the frame
being encoded.

This fix ensures that a unit scaling factor is used in
this case rather than the one calculated assuming that
the reference frame is not scaled.

(cherry picked from commit 8d8d7bfde5d311bb7d4ff4e921a9dbaa8f389af5)

Change-Id: Id9a5c85dad402f3a7cc7ea9f30f204edad080ebf

Code cleanup: put (8x8/4x4)fill_variance into separate function.

Code cleanup, no change in behavior.

Change-Id: I043b889f8f0b3afb49de0da00873bc3499ebda24

Small fix to segment check in pickmode.

Change-Id: Id5fd82a504def2523292466fbaad5dade9424c72

Remove PPC build support

There are no functional optimizations for AltiVec/PPC

Change-Id: I6877a7a9739017fe36fc769be22679c65ea99976

Merge "vp9/neon: skip some files in high-bitdepth build"

Merge "vp9: fix high-bitdepth NEON build"

Merge "use MAX_MB_PLANE consistently"

Remove unnecessary set postproc flags.

Change-Id: Iaf136969bc368a890f9671647576ee9d54eef03b

Merge "Fix 10-bit video decode failure with --frame-parallel mode."

Merge "Reduce required xmm number by one in block_error_fp"

Tune SSSE3 assembly implementation to improve quantization speed

Change-Id: If0ca8b25b4800d4336e6cbc97194cd9b01c5b5a3

use MAX_MB_PLANE consistently

Change-Id: Ic416a7f145001a88f5a7f70dde9b1edbc1b69381

Merge "Simplify bsize calculation"

Merge "Optimize quantization simd implementation"

Merge "Simplify effective src_diff address computation"

Merge "Refactor block_yrd function for RTC coding mode"

Simplify bsize calculation

Change-Id: Ibc514684def9914c66f04cb7931f773e2b79c168

Simplify effective src_diff address computation

Remove redundant offset calculation for effective src_diff address.

Change-Id: I4aab241a36abcef7fd8adf74aed5e12b8b88e0ef

Reduce required xmm number by one in block_error_fp

Use 6 xmms instead of 8.

Change-Id: If976ad85d09191d2fb0565399d690f2869dbbcc7

Refactor block_yrd function for RTC coding mode

This commit separates Hadamard transform/quantization operations
from rate and distortion computation in block_yrd. This allows one
to skip SATD computation when all transform blocks are quantized
to zero. It also uses a new block error function that skips
repeated computation of sum of squared residuals. It reduces the
CPU cycles spent on block error calculation in block_yrd by 40%.

Change-Id: I726acb2454b44af1c3bd95385abecac209959b10

Optimize quantization simd implementation

This commit allows the quantizer to compare the AC coefficients to
the quantization step size to determine if further multiplication
operations are needed. It makes the quantization process 20% faster
without coding statistics change.

Change-Id: I735aaf6a9c0874c82175bb565b20e131464db64a

Enhance the transform skipping decision-making in non-rd mode

For large partition blocks(block_size > 32x32), the variance
calculation is modified so that every 8x8 block's variance
is stored during the calculation, which is used in the
following transform skipping test. Also, the variance for
every tx block is calculated. The skipping test checks all tx
blocks in the partition, and sets the skip flag only if all tx
blocks are skippable. If the skip flag of Y plane is 1, a
quick evaluation is done on UV planes. If the current partition
block is skippable in YUV planes, the mode search checks fewer
inter modes and doesn't check intra modes.

The rtc set borg test(at speed 6) showed that:
Overall psnr: -0.527%; Avg psnr: -0.510%; ssim: -0.573%.
Average single-thread speedup on rtc set was 3.5%.
For 720p clips, more speedups were seen.
gipsrecmotion: 13%
gipsrestat: 12%
vidyo: 5 - 9%
dark: 15%
niklas: 6%

Change-Id: I8d8ebec0cb305f1de016516400bf007c3042666e

Fix 10-bit video decode failure with --frame-parallel mode.

Also add unit test to avoid same error in the future.

Issue:981

Change-Id: Iaf9889d8d5514cfdff1ea098e6ae133be56d501f

vp9: enable sse4 sad functions

sse4 isn't set by configure or used in rtcd, correct the sad entries to
use sse4_1 without changing the signatures for now.
this was done in vp8 post-vp9 branch.

Change-Id: Ia9f1fff9f2476fdfa53ed022778dd2f708caa271

vp9/neon: skip some files in high-bitdepth build

exclude files that only contain functions for non-high-bitdepth builds.
this removes some warnings related to missing prototypes

Change-Id: Ic6642998c46a7b808c6c53b2f9c34bcd4d037abe

vp9: fix high-bitdepth NEON build

remove incorrect specializations in rtcd and update a configuration
check in partial_idct_test.cc

Change-Id: I20f551f38ce502092b476fb16d3ca0969dba56f0

Merge "Rename vbp thresholds"

Merge "webmdec: Fix read_frame return value for calls after EOS"

Merge "Set postproc flags in decoder_get_frame."

Rename vbp thresholds

Code refactoring

Change-Id: I410fcce1bc6d95c62c474445f4c97ea8469f1e79

Merge "Tuning SATD rate calculation for speed"

Merge "Use aligned copy in 8x8 Hadamard transform SSE2"

Merge "Allow block skip coding option in RTC mode"

Merge "Fix 8x8 Hadamard SSE2 implementation"

Merge "VP9E_GET_ACTIVE_MAP API function."

Tuning SATD rate calculation for speed

This commit allows the encoder to check the eob per transform
block to decide how to compute the SATD rate cost. If the entire
block is quantized to zero, there is no need to add anything; if
only the DC coefficient is non-zero, add its absolute value;
otherwise, sum over the block. This reduces the CPU cycles spent
on vp9_satd_sse2 to one third.

Change-Id: I0d56044b793b286efc0875fafc0b8bf2d2047e32

Merge "Move vp9_coef_con_tree to common/"

Use aligned copy in 8x8 Hadamard transform SSE2

This reduces the 8x8 Hadamard transform cycles by 20%.

Change-Id: If34c5e02f3afa42244c6efabe121f7cf5d2df41b

Merge "Enable 16x16 Hadamard transform in SATD based mode decision"

Merge "Use SATD based mode decision for block sizes below 16x16"