Merge with upstream experimental changes (2)

Include upstream changes (variance fixes) into the merged code base.

Change-Id: I4182654c1411c1b15cd23235d3822702613abce1

Merge "Fix variance (signed integer) overflow" into experimental

Merge with upstream experimental changes

Include upstream changes (unit test fixes, in particular) into the
merged code base.

Change-Id: I096f8a9d09e2532fbec0c95d7a995ab22fa54b29

Rough merge of master into experimental

Creates a merge between the master and experimental branches. Fixes a
number of conflicts in the build system to allow *either* VP8 or VP9
to be built. Specifically either:

  $ configure --disable-vp9 $ configure --disable-vp8
  --disable-unit-tests

VP9 still exports its symbols and files as VP8, so that will be
resolved in the next commit.

Unit tests are broken in VP9, but this isn't a new issue. They are
fixed upstream on origin/experimental as of this writing, but rebasing
this merge proved difficult, so will tackle that in a second merge
commit.

Change-Id: I2b7d852c18efd58d1ebc621b8041fe0260442c21

merge full pixel refmv experiment

Change-Id: Ib39ad47a7d188f3b45416937b7eeb28c3e79b74c

Fix variance (signed integer) overflow

In the variance calculations the difference is summed and later squared.
When the sum exceeds sqrt(2^31) the value is treated as a negative when
it is shifted which gives incorrect results.

To fix this we force the multiplication to be unsigned.

The alternative fix is to shift sum down by 4 before multiplying.
However that will reduce precision.

For 16x16 blocks the maximum sum is 65280 and sqrt(2^31) is 46340 (and
change).

This change is based on:
1698234 Missed some variance casts
fea3556 Fix variance overflow

Change-Id: I2c61856cca9db54b9b81de83b4505ea81a050a0f

fixed function prototype

so they are consistent with actual definitions of the functions

Change-Id: Ie4b4e81b3da3e288fc2edbbd2b393a5c54d2556b

group refmv experiment related functions

Change-Id: Iedaa108ddb65f54d768424f9c47ad4d069b656fd

Merge "fix test builds" into experimental

fix test builds

s/([vV][pP])8/$19/
additionally dct.h was removed; declare the _c functions that are used
in the tests. the TODO for conversion to parameterized tests still
remains.

Change-Id: I73db9425a57075bbb78a92693ba6b320578981cd

Merge other top-level C code

Change-Id: I0ff77f51595599cc3de5183c6c655fd261e3d925

vpxenc: merge with master

Change-Id: Ic3e3559384a0e72abdc9b66a19865474c2a41b38

vpxdec: merge with master

Change-Id: I69fd876dd51eb2b4a4a449faa5922225e9508b42

vpx: merge with master

Change-Id: I44b3ad780cef6f448fa17ff8e28fea87ef9cd518

Convert 16x16 dct/idct to integer forms

Converted vp9_short_fdct16x16_c and vp9_short_idct16x16_c to
integer versions.

Change-Id: Ie3ec985a890ac0f4f4f5818e6f0122e00c8af69f

vp9/encoder/bitstream.c: fix unused variable warnings

Change-Id: Ibfac7e000509d2017eac9a108060e534a19fec33

Merge "silent a lot of MSVC compiler warnings" into experimental

silent a lot of MSVC compiler warnings

there are still a couple type of warning left, which are related to
double constants assigned to float type. As those would be addressed
by the conversion of transforms into integer version. This commit
has left those un-dealt with.

Change-Id: I48fd9b489c0c27ad6b543f4177423419f929f2bb

Add option to disable documentation

Documentation is typically auto-detected by checking for php and
doxygen. Add an option to explicitly disable it.

Remove toggle keywords from libraries, examples, documentation and
unit tests. They were not consistent with the default status.

Change-Id: I21049675ccfd8e58ac612cd058641b197db5c0eb

Merge "remove invoke_search macro" into experimental

rd_pick_inter_mode: prevent signed integer overflow

calculate the txfm_cache difference first as both values may be
INT64_MAX with the intent that they cancel each other out.

Change-Id: I214d072458e1b24f60289974e6302af1aff7b66c

remove invoke_search macro

Removed invoke search from encoder

Change-Id: I3d809b795abe6df0e71366edfe94026aaede14fb

rdopt: fix use of uninitialized value in addition

rd_pick_intra4x4mby_modes / rd_pick_intra8x8mby_modes would both use the
input value of 'rate_y' in the return calculation. In many places this
value is uninitialized. Remove the unneeded sum.

Change-Id: Icbd3df685303000301e69291c0ebc06f74bd548d

vpx_ports: merge with master

Change-Id: I25c067326153455abe1a79f8f44f70b87350e655

build: merge with master

Change-Id: I8ea836ce92c1c96f1e2bdf45e704d36ec9dbc401

Merge "Build / make problem" into experimental

Merge "Don't generate residual 3x when doing a macroblock luma RD estimate." into experimental

Build / make problem

yv12extend_generic.h target not found.

Change-Id: I8b5c9280c92573e5c1917ba4e18a99a6ce7dcb65

loopfilter: prevent signed integer overflow

use unsigned ints to extended filter values in
vp9_mbloop_filter_horizontal_edge_c_sse2

Change-Id: I55ec3ac2bcb9baf55626b0384d151b07fc8e087d

Merge "Fix eobs data type" into experimental

Fix eobs data type

The block sizes for decoding tokens are up to 16x16, which means
eobs is within [0, 256]. Using (signed) char is not enough. Changed
eobs data type to unsigned short to fix the problem.

Change-Id: I88a7d3098e1f1604c336d6adb88ffec971fb03a6

Don't generate residual 3x when doing a macroblock luma RD estimate.

Change-Id: Ia601e96fcb4fc547884b6ab894f9f2ad22a98078

Place non-static function prototypes in a header file.

Change-Id: I7cd21b9f1e69f4e0b3338bfe27b3c67e4b47de58

Merge "ads2gas.pl: various enhancements to work with flash."

Merge "vpx_scale: sync from experimental"

vpx_scale: sync from experimental

Import changes made on the experimental branch in preparation for
merging the two branches.

Change-Id: I7b5b8fb4fca155cb1d72e7ba13eef18e6a94a298

vpx_scale: sync from master

Update vpx_scale from current code in master, run style transform, fix
lint warnings.

Change-Id: I47eadeb5b6881d448ea3728537f9b8a5b5aac78e

ads2gas.pl: various enhancements to work with flash.

TEST=Ran it on different asm files.

Change-Id: Ief2a009366787954d0eb5c356c64acaef350cf84

Rename vp8/ codec directory to vp9/.

Change-Id: Ic084c475844b24092a433ab88138cf58af3abbe4

Adjust style to match Google Coding Style a little more closely.

Most of these were picked up by jenkins in the commit that changed
the vp8 namespace to vp9 in common/.

Change-Id: I5cbd56ffc753b92ef805133cda6acc1713a13878

Remove vp8 in local symbols.

For non-static functions, change the prefix to vp9_. For static functions,
remove the prefix. Also fix some comments, remove unused code or unused
function prototypes.

Change-Id: I1f8be05362f66060fe421c3d4c9a906fdf835de5

vp8dx_receive_compressed_data() cleanup

Change-Id: I6edf0626d00ae177c7c04eec64e1ec0dd861dfbe

Change name of common top-level structures from VP8 to VP9.

This change encompasses VP8_PTR, VP8_COMP, VP8D_COMP, VP8_COMMON,
VP8Decompressor and VP8Common.

Change-Id: I514ef4ad4e682370f36d656af1c09ee20da216ad

Change non-function symbol vp8_ prefixes to vp9_.

For local symbols, make them static instead.

Change-Id: I13d60947a46f711bc8991e16100cea2a13e3a22e

Merge "Change common vp8_ public symbol prefixes to vp9_." into experimental

Change common vp8_ public symbol prefixes to vp9_.

Change-Id: Ic5a5f60e1ff9d9ccae4174160d36529466eeb509

Add forward transform function to rtcd

Added vp8_fht to rtcd_defs.sh

Change-Id: I929b0bf878185a2f0e031dc8c70a418286d509aa

Adjust style to match Google Coding Style a little more closely.

Most of these were picked up in the previous commit (prefix change from
vp8_ to vp9_), but I'm pushing this separately so that it's easier to
review.

Change-Id: Ifce2cdd6f008f4b1fbc2d89b5196d75e35fe115d

Change decoder vp8_ and vp8dx_ public symbol prefixes to vp9_.

Change-Id: Iedb4c3b4171d8640cc525727b4c3658e2bb400db

Adjust style to match Google Coding Style a little more closely.

Most of these were picked up in the previous commit (prefix change from
vp8_ to vp9_), but I'm pushing this separately so that it's easier to
review.

Change-Id: I91e959895778b8632d7d33375523df8a7568a490

Change encoder vp8_ and vp8cx_ public symbol prefixes to vp9_.

Change-Id: Ie2e3652591b010ded10c216501ce24fd95d0aec5

Fixed style warnings

Fixed some style warnings.

Change-Id: I9eb77c3bf6d63628feef1b0c936e905bf4f2089d

Convert the transforms to integer forms.

Converted the forward and inverse transforms to integer forms.

Modify #define TEST_INT 1/0
in the code to call integer/float version of transforms.

The tests showed that average OVERALL PSNR loss was less than 0.1%.

Change-Id: I1dfa4eeab6412597e3b970ce299cf0e116a917e6

Merge "dequant invoke macro removal" into experimental

dequant invoke macro removal

Change-Id: Ifa17e698149adc063476e7d16eb727f01e88b447

Merge "Separated experiment for subpel refmv selection" into experimental

Remove old experiment.

Delete code relating to featureupdates experiment.

Change-Id: If218762c658bb8cbb3007cf2069123b3e05adcbc

Separated experiment for subpel refmv selection

As suggested by Paul, this commit separate the subpel refmv selection
into a separate experiment. It also changed a couple variable names
to better reflect the nature of the variables.

Change-Id: Id951c3cadc61a982dd15afe641000f60213b8995

Merge "Remove "switchable_interp" from experiment list" into experimental

Merge "seg_common: give all exported symbols a vp9_ prefix." into experimental

Remove "switchable_interp" from experiment list

Now this experiment has been merged.

Change-Id: I6c93784df89434c52a4eb8f977cd3745e269abf9

Merge "boolhuff/dboolhuff: give exported symbols a vp9_ prefix." into experimental

Merge "segmentation: make local symbols static." into experimental

Merge "encodeframe: make local symbols static." into experimental

Merge "entropymode: put print_mode_contexts under #ifdef MODE_STATS." into experimental

Merge changes I5898f64d,Ie80d13ce into experimental

* changes:
  ssim: remove unused function dssim().
  detokenize: make local symbols static.

Merge "firstpass: make local symbols static." into experimental

Merge "bitstream: give exported symbols a vp9_ prefix; make local symbols static." into experimental

Merge "alloccommon: give exported symbols a vp9_ prefix." into experimental

Merge "Make implicit_segmentation-related code an experiment." into experimental

Merge "decodframe: make local symbol static." into experimental

Merge changes I23aa5547,I8341a19c into experimental

* changes:
  tokenize: make local symbols static; give exported symbols a vp9_ prefix.
  encodemb: make locally used functions static.

Merge "onyx_if: remove unused function, and make locally used functions static." into experimental

Merge "reconintra: make locally used symbols static." into experimental

Merge "rdopt: make locally used symbols static." into experimental

Merge "ratectrl: make locally used symbol static." into experimental

Merge "mbgraph: remove unused function, and make local function static." into experimental

Merge "Fix superblock experiment." into experimental

Merge "More MSVC build fixes" into experimental

Merge "Improves subpixel reference mv evaluation" into experimental

seg_common: give all exported symbols a vp9_ prefix.

Change-Id: Ie8ba934a757acec1c80ac37ab9307c9a2783254e

boolhuff/dboolhuff: give exported symbols a vp9_ prefix.

Change-Id: I2f1781c70b14bf1d7b6da75d1501718445552af0

segmentation: make local symbols static.

Change-Id: Ia30924dc095663b04794902522308d822c1a5ad0

encodeframe: make local symbols static.

Change-Id: I77bc38b53428ff3e6456b5bc3516418892a58c1e

entropymode: put print_mode_contexts under #ifdef MODE_STATS.

This is the condition under which it is called in onyx_if.c. Also remove
the unused function print_mv_ref_cts().

Change-Id: I51ea3720d46f86d136e2215e01cf9d6c7dfc41ea

ssim: remove unused function dssim().

Change-Id: I5898f64da77e43a3860a77f3bc49d64b725c278c

detokenize: make local symbols static.

Change-Id: Ie80d13ce095faa8bca21bcdca3ca8249d9abc398

firstpass: make local symbols static.

Change-Id: Iee0f707abbfe427b10058f6cf3be21b89d6a6e65

bitstream: give exported symbols a vp9_ prefix; make local symbols static.

Change-Id: I3aa5b515c1eae19ae40ba9808d133590c95f7d13

alloccommon: give exported symbols a vp9_ prefix.

Also include the correct header in ratectrl.c so it picks up these
function prototypes.

Change-Id: Ic51b13119f1625f0691917f2713b23d0249dece7

Make implicit_segmentation-related code an experiment.

This way, the code is not compiled in by default, thus decreasing
overall binary size.

Change-Id: I85cac8f5a22a51a7d99c820ef6d6ed179d4106a0

decodframe: make local symbol static.

Change-Id: Id55f3cd3c2f5857dbfd78703452740dfd63cdf41

tokenize: make local symbols static; give exported symbols a vp9_ prefix.

Change-Id: I23aa5547b1e74f31327258dda0e330aae7ca1d35

encodemb: make locally used functions static.

Change-Id: I8341a19cb4f2234841a40fcbf560315f079b0108

add unit test for datarate control

Adds some basic datarate control tests..

Change-Id: I6eff18aa58ef7cfd14886c6b1e048247cd1ad247

onyx_if: remove unused function, and make locally used functions static.

Change-Id: Ica08c2c9cda9623389dde3f276dfed77c36e3a11

reconintra: make locally used symbols static.

Also remove them from the header file.

Change-Id: I38182f70268fd47985fb1d8d87cdeb207f67e475

rdopt: make locally used symbols static.

Change-Id: Id33c448084ca5c1c0525a05c3c4f35d6b0805fbe

ratectrl: make locally used symbol static.

Change-Id: I4f317f413fbbcc59f84ff77899ea208fb0dccb2a

mbgraph: remove unused function, and make local function static.

Change-Id: I295c7bcf13b630cb9395585ede7311d85d785f25