Merge "Remove unnecessary scale check in set_ref."

Merge "Rename highbitdepth functions to use highbd prefix"

Rename highbitdepth functions to use highbd prefix

Uses highbd_ prefix convention consistently.

Change-Id: I58f7f799a7ff8e32701bcd71c955bcf1cdd4581e

Remove unnecessary scale check in set_ref.

Scale check has been done in read_inter_block_mode_info.

Change-Id: I6c86f93bd579109ed30ff13a04a30e35f5ae6fc5

Merge "Remove sub8x8 block index from rd_pick_partition argument"

Merge "Subpel search cleanups and enhancements"

Merge "Move the high freq coeff check outside store_coding_context"

Remove sub8x8 block index from rd_pick_partition argument

This parameter is deprecated. Its function is replaced with
other explicit condition check.

Change-Id: I61337e350ba8ca9eb50382db8b4d4acbf45cb7eb

Merge "vp8: Suppress denoising with respect to old reference frames."

Merge "Fix src frame buffer copy and extend"

Merge "set_vt_partitioning: fix type conversion warning"

set_vt_partitioning: fix type conversion warning

double -> int64
+ make threshold_multiplier an int

Change-Id: I6d3607fdf13d670f57c9d9b04a80acb2be1346a0

vp9_rtcd_defs: fix vp9_avg_8x8 declaration

vp9_avg_8x8 does not depend on x86inc, fixes 32-bit OS X build

Change-Id: I709b874ea84bf57c8cdb5ac7d43eecc6b8c1a2dd

Subpel search cleanups and enhancements

- Some fixes to surface fit.
- Returns variance function as cost rather than sad in the
  pattern search and diamond search functions. Only
  vp9_pattern_search_sad function used in bigdia search
  uses sad as integer 1-away costs.
- Deploys SUBPEL_TREE_PRUNED_MORE for speed 4+.

Results:
derf [Speed 3]: About +0.036% in coding efficiency without any
discernible speed loss.
derf [Speed 4]: About 2-3% faster at -0.199% loss in coding efficiency.
derf [Speed 5]: About 3-4% faster at -0.149% loss in coding efficiency.

Change-Id: I8462f94f6adb46966ca964f2bd0400977357fd63

Merge "Allow mode search breakout at very low prediction errors"

Allow mode search breakout at very low prediction errors

In model_rd_for_sb function, the spatial domain SSE and variance
are checked to see if transform coefficients are quantized to 0.
Besides that, this patch adds another set of thresholds that are
much more strict. These thresholds are used to conduct a partition
block level check to measure if all its TX blocks are skippable
for YUV planes. If it is true, x->skip is set for this partition
block, and thus its mode search is terminated.

This speeds up the encoding at very low prediction error case,
such as screen sharing application. This patch covers what
rd_encode_breakout_test() does, so that function is removed.

Borg test at speed 3 shows:
For stdhd set, psnr: +0.008%, ssim: +0.014%;
For derf set, psnr: +0.018%, ssim: +0.025%.
No noticeable speed change.

Change-Id: I4e5f15cf10016a282a68e35175ff854b28195944

Move the high freq coeff check outside store_coding_context

This fixes valgrind message issue 870.

Change-Id: Ibbc2481923a2995029ab05de30c9e8a6e9f0f9a8

Use local variable in vp9_rd_pick_inter_mode_sb

Change-Id: Ie35a965a6b8de536ccaf61ff61498620d22db205

Merge "Clean up header files in vp9_blockd.h and related files"

Merge "Use #define statement for MAX_MB_PLANE"

vp8: Suppress denoising with respect to old reference frames.

If the GOLDEN or ALTREF frame was last updated > x frames in the past,
don't use them for denoising (only consider LAST). Using an old reference
frame for denoising, e.g., if it is a long-term reference or the last key frame,
can cause some visible artifacts, in particular in the aggressive denoising mode.

Change-Id: I239c9fbb092c36cba7e95328f1fa67a58d6a7ed9

Fixes naming bug from previous highbitdepth patch

Change-Id: Ife939930309ceea730dd5df594b8f36e6644bf36

Merge "Refactoring of highbitdepth bitshift operations"

Merge "Add unit test for VP8 denoiser."

Fix src frame buffer copy and extend

For input source with size that is not multiple of 8, the size is
rounded to 8 and saved in width or height, the original source sizes
are saved in crop_width and crop_height. This commit corrects the
computation of bottom and right extension amounts to use the orignal
sizes, hence crop_width and crop_height.

In addition, this commit also adds the missed initialization for
uv_crop_width and uv_crop_height.

This addresses issue #834

Change-Id: I084543ca7645a4964b88f7cf8ff668f517d3a39b

Refactoring of highbitdepth bitshift operations

Moves the high bitdepth bit-shift operations to tools_common.c

Change-Id: Ifab91574362609cd224d2d6bae5fde00652eb3e4

Add unit test for VP8 denoiser.

The unit test is to check the bitexactness of SSE2 code with C code.

Change-Id: I13cc08a557b02357e5d6c2db7a49e93ce0d8e16f

Merge "experimental : partition using 1/8 x 1/8 image"

Merge "Force better lower quantizer keyframe in case of high quantizer."

Revert "Change the y4m buffer allocation size"

This reverts commit 72ef1949388c4c0d82769ef06c6db0195b124b13.

Change-Id: Ic1906bcc6da05d2e6529152b92df809c8e5a2406

Merge "Improve two pass VBR accuracy."

Merge "Two pass rc changes."

experimental : partition using 1/8 x 1/8 image

The concept:

There's too much noise in source pixels for variance and at low bitrate
the reconstructed looks nothing like the source so we have problems
getting good partitionings with either.   This skirts the issue by using
a box blur scaled down version for variance calculations.  To compare
against source_var_ moved keyframe to be rd based like source_var.

Change-Id: Ie3babdbfadae324b7b5a76bea192893af27f0624

Force better lower quantizer keyframe in case of high quantizer.

Change-Id: Ie69a164bc166b6a8819777038d65a7d9f9c3361f

Merge "Remove extra empty line"

Merge "Remove vp9_blockd.h from vp9_common_data.c"

Merge "Replace mi_width_log2() with mi_width_log2_lookup table"

Merge "Take out repeated block width/height lookup functions"

Clean up header files in vp9_blockd.h and related files

This commit breaks the overly broad header files into more
targeted and smaller ones, to help better structure the system
layout.

Change-Id: I7b24559d3ea6e582cf5d9bbe8f71459f9824d71b

Merge "Fix skip_txfm issue in rdopt code"

Use #define statement for MAX_MB_PLANE

Change-Id: I3a7f83ab1dbfcedc8a82fe798c2fa30dd9c7d696

Remove extra empty line

Change-Id: I6f2865bb8ba9295f5c45a4cad065aecbe1e63c32

Merge "Move inter filter defs to vp9_filter.h"

Merge "Reduce the scope of the header file used in vp9_context_tree.h"

Merge "Remove redundant header file from vp9_encoder.h"

Remove vp9_blockd.h from vp9_common_data.c

The basic data defs should be above block operation level.

Change-Id: I7dd9836d01120ab75e0c472baac9f15495ed0db5

Fix skip_txfm issue in rdopt code

Fixed an encoder crash. Set skip_txfm to 0 for cases that skip_txfm
isn't calculated. Put memcpy of skip_txfm at right place.

Change-Id: Ib3b6afc1b251a85b2a853c8138fb3393f48cfef6

Replace mi_width_log2() with mi_width_log2_lookup table

Change-Id: If0ea98aa139d14d40cd924114e18396aff36b5a5

Merge "Add range checking for decoded coefficients."

Take out repeated block width/height lookup functions

The functions b_width_log2 and b_height_log2 only do direct
table fetch. This commit unifies such use cases by using the
table directly and removes these functions.

Change-Id: I3103fc6ba959c1182886a2799d21b8b77c8a7b6b

Move inter filter defs to vp9_filter.h

Add comments on the use case of these definitions. Further reduce
the scope of header file in vp9_context_tree.h.

Change-Id: Ic4a7638e838d0ac441b64abfc56e57354c059d75

Merge "Resolves some static analysis / undefined warnings"

Add range checking for decoded coefficients.

The coefficient range checking is enabled when configured with
--enable-debug --enable-coefficient-range-checking
for vpxdec to detect ill-formed input stream. This addresses the
problem raised by issue #792.

Change-Id: I3f9ea541de4dc742dd64389d6c5f543fb1c4f052

Resolves some static analysis / undefined warnings

Also fixes a case of distortion becoming negative and messing
up the RDCOST computation.

Change-Id: Id345af9e8dfff31ade622be5756e51f2cdface53

Reduce the scope of the header file used in vp9_context_tree.h

Change-Id: I264ee35044a5973c7725daba7af870968353a3c1

Merge "Add SSE2 code and unit test for VP9 denoiser."

Remove redundant header file from vp9_encoder.h

Change-Id: Ia212390cf8d36db5436bb0f0e1b696f70066341a

Fix eobs buffer pointer mis-use

This commit fixes a buffer pointer mis-use in store_coding_context.
The compression performance for stdhd set of speed 3 is improved by
0.097%. It fixes issue 869.

Change-Id: Idc59e22035eaf39f7133ca04174894374d647ff7

Add SSE2 code and unit test for VP9 denoiser.

This SSE2 is based on VP8 denoiser's SSE2 code. In VP8, there are
only 16x16 blocks in denoiser, while in VP9, there are 13 different
block sizes.

By adding this SSE2 code, the improvement of encoder speed is around
20%(using C code vs using SSE2 code), vary for different clips.

The unit test for VP9 denoiser is to confirm that the SSE2 code is
bit-exact with the C code. The unit test covers all block size.

Change-Id: Ic8d8ac26db4ea40a5f146b5678a065af07eaaa3d

Add range check in inverse ADST 16x16

Bit-stream clarification related to Issue 868.

Change-Id: I92a7bc5b7782c9ea5c3f6cceec761742183c9514

Merge "Change the y4m buffer allocation size"

Merge "Fix an IOC issue in vp9_rd_pick_inter_mode_sb"

Merge "Properly initialize segmentID in nonrd coding path"

Improve two pass VBR accuracy.

Adjustments to the GF interval choice and minimum boost.
Adjustment to the calculation of 2 pass worst q.
Compared to 09/29 head there is metrics hit on derf of
(-0.123%,-0.191%)

Compared to the September 29 head and a baseline on
September 18 baseline the accuracy of the VBR rate control
measured on the derf set is as follows:-

Mean error %  / Mean abs(error %)
Sept 18 baseline (-7.0% / 14.76%)
Sept 29 head (-15.7%, 19.8%)
This check in (-1.5% / 14.4%)

The mean undershoot is reduced slightly but the
worst case overshoot on e.g. harbour/highway is
increased. This will be addressed in a later patch.

Change-Id: Iffd9b0ab7432a131c98fbaaa82d1e5b40be72b58

Fix an IOC issue in vp9_rd_pick_inter_mode_sb

It is possible that the GOLDEN reference frame is not avaiable, in
which setting the predicted mv will be associated with a residual
value of INT_MAX. This commit checks this condition before
left shift and comparison with that of ALTREF frame, to avoid
overflow issue.

Change-Id: Ib98c3149dbdd016f2fe5beaafb13f67d469dd07c

Some data type changes in vp9_idct.c

Resolves a visual studio warning, and includes some cleanups.

Change-Id: I6a7576ef323c475b7d1c659800cd82c6cb1fd18d

Merge "Remove experimental-bitstream flag for profiles>0"

Change the y4m buffer allocation size

This attempts to fix issue #847

Change-Id: Ifa2f96b6b33624004272d83363e089b5b4dc5626

Remove experimental-bitstream flag for profiles>0

Profiles 1-3 are stable enough that we can remove the
experimental bitstream commandline option.

Change-Id: Id2a64a08192d7eac6c45384ee34196330351c6d8

Merge "Fix indent in encode_rd_sb_row"

Merge "Rework partition search skip scheme"

Properly initialize segmentID in nonrd coding path

This commit adds proper initialization of segment id for variance AQ
mode in non-rd coding path. It fixes the enc/dec mismatch issue of
rt=7 with --aq-mode=1, as reported in issue #816

Change-Id: I02fa41b96345bf2e66077d5ea553f85ba800f7bb

Merge "Incorporate WRAPLOW macro into non-highbitdepth tx"

Fix indent in encode_rd_sb_row

Change-Id: Icbcfe7b56d88474f4398b4c5b52f6719d551ab4a

Rework partition search skip scheme

This commit enables the encoder to skip split partition search if
the bigger block size has all non-zero quantized coefficients in low
frequency area and the total rate cost is below a certain threshold.
It logarithmatically scales the rate threshold according to the
current block size. For speed 3, the compression performance loss:
derf  -0.093%
stdhd -0.066%

Local experiments show 4% - 20% encoding speed-up for speed 3.
blue_sky_1080p, 1500 kbps
51051 b/f, 35.891 dB, 67236 ms ->
50554 b/f, 35.857 dB, 59270 ms (12% speed-up)

old_town_cross_720p, 1500 kbps
14431 b/f, 36.249 dB, 57687 ms ->
14108 b/f, 36.172 dB, 46586 ms (19% speed-up)

pedestrian_area_1080p, 1500 kbps
50812 b/f, 40.124 dB, 100439 ms ->
50755 b/f, 40.118 dB,  96549 ms (4% speed-up)

mobile_calendar_720p, 1000 kbps
10352 b/f, 35.055 dB, 51837 ms ->
10172 b/f, 35.003 dB, 44076 ms (15% speed-up)

Change-Id: I412e34db49060775b3b89ba1738522317c3239c8

Incorporate WRAPLOW macro into non-highbitdepth tx

Incorporates the WRAPLOW macro into the non-highbitdepth transforms
to aid hardware verification between a software C model and an
intended hardware implementation though the use of the configure
options: --enable-experimental --enable-emulate-hardware.
Note that to avoid further discrepancies between the sse/sse2
implementations of the transforms and the C implementation, when the
emulate hardware option is invoked, we also disable sse/sse2/etc.

Also incudes some minor cleanups/renaming etc.

Change-Id: Ib864d8493313927d429cce402982f1c8e45b3287

Merge "Prevent negative cost for highbitdepth"

Prevent negative cost for highbitdepth

Adds proper scaling for highbitdepth in a rdopt cost.

Change-Id: I066694799a7f491b830945ef1c66eb202071c355

rdmult data type change

To fix a VS warning.

Change-Id: I4c530c0afe8d06acdb8cc78b7995aba57a25373d

Merge "Adds highbitdepth support to svc examples"

Adds highbitdepth support to svc examples

Change-Id: I59946642cb5c370726da33f4448a3deaba7d3f11

Merge "Make iscan and scan neighbor arrays static const."

Make iscan and scan neighbor arrays static const.

This commit changes the tables to be read only, which fixes
issue #866

Change-Id: I85bbe03f9d344f50570f8c1c61699bdc5cee248f

Merge "Add a 1x1 enc/dec test."

Merge "Fix invalid memory access in inter prediction (issue 853)."

Add a 1x1 enc/dec test.

Change-Id: I777f49a3c2c2aaa04ae23904396bd7254e1afd8c

Fix subsampling check for images 1 pixel wide/tall

Change-Id: I0e262ede7eb4a4ae0c86181922d744e542e93350

Merge "Adds some missing I440 checks"

Adds some missing I440 checks

Change-Id: I034b73bb27e8023733aae63e6f8565f0a64c7267

Merge "rdmult data type change to fix high bit-depth"

Fix invalid memory access in inter prediction (issue 853).

Change-Id: I5a566d6ade720f212a60c0ad5d6f1ee1d1d37f2e

rdmult data type change to fix high bit-depth

Fixes an intermittent assert failure for highbitdepth.

Change-Id: If8cad0209a94f1184b69c7b3f1d587934f857d9b

Merge "Fix iphonesimulator and armv6-darwin build targets."

Merge "Adds support of 440 content."

Merge "Remove redundant header file from vp9_idct.h"

Merge "Remove unused header files from vp9_encodemb.h"

Adds support of 440 content.

Adds enums and corresponding vpx level code.

Change-Id: Ia402d47490a4466988d7edc6b7e3e5163f20a381

Merge "High-bitdepth bugfixes"

Merge "Modify block transform skipping check"

Merge "Remove repeated header files from vp9_block.h"