Moved zbin_over_quant to macroblock struct

Change-Id: I76fe20ade099573997404b8733cf7f79e82fb21e
WIP: Fixing unsafe threading in VP8 encoder.

Moved denoiser frame copy/updates out of loopfilter thread

The loopfilter thread from the previous frame can be running while
starting the current frame.  cpi->Source will change during this time causing
the wrong data to be copied.  The refresh_x_frame flags also change, which
will cause incorrect updates of the denoised buffers.

Change-Id: I7d982b4fcb40a0610801332aa85f3b792c64e4c3

Merge "added work buffer for denoiser"

added work buffer for denoiser

The denoiser was writing to LAST_FRAME buffer.   If LAST_FRAME isn't being
updated,  the reference frame buffers were out of sync between the encoder and the
denoised raw buffers. This patch resolves the discrepancy by always writing to a work
buffer (INTRA_FRAME) and then copying from that buffer to any buffers that needs to
be updated.

Change-Id: I6dd855b9749978b542bc3d515914d5f16faf25df

Disable background update on non-base layer frames

Multi-threaded code was not updated to disable background
refresh for non base-layer frames at the time it was
disabled in the main C-code.

Change-Id: Id6cc376130b7def046942121cfd0526b4f0a71d4

Removed check_gf_quality()

and various unused members in VP8_COMP along with other
code cleanups.

Change-Id: I56c6c0a77a51f5ac5cbd6071017bcbfd2623b7df

Moving mbs_tested_so_far, mode_test_hit_counts to macroblock struct

Change-Id: Ifa78c0a953fab3e5dd7af0446924846c7022cd09

Merge "Moving rd_thresh_mult, rd_threshes to macroblock struct"

Merge "Moving count_mb_ref_frame_usage to macroblock struct"

Disable fast unaligned on armv5te

This is enabled by default in the main configure.sh, but apparently
is supposed to be disabled if the hardware doesn't support it.
Unaligned reads is only supported on armv6 and newer.

Change-Id: Ie1412e36a14036bbb4fe7b89aa36a178f35b2228

Merge "avoid redefining DECLSPEC_DEPRECATED"

tests: add xmm register check for win64 targets

Change-Id: I69d00bfd1b10c03581838b15cd9a6dd66f4fa416

avoid redefining DECLSPEC_DEPRECATED

fixes, e.g.:

In file included from ../vpx/internal/../vpx_decoder.h:33:0,
                 from ../vpx/internal/vpx_codec_internal.h:46,
                 from ../vp8/common/onyx.h:21,
                 from ../vp8/encoder/block.h:15,
                 from ../test/subtract_test.cc:18:
../vpx/internal/../vpx_codec.h:52:0: warning: "DECLSPEC_DEPRECATED"
redefined
/usr/x86_64-w64-mingw32/sys-root/mingw/include/winnt.h:164:0: note: this
is the location of the previous definition

Change-Id: Iddc9318451d3e4e4a78b4d706518083fffff5c61

Updates to qp-regulate and rate correction factor.

Don't use the switch to gf_rate_correction factor when
temporal layers is used (i.e., cpi->oxcf.number_of_layers > 1).

In temporal layers, we prefer to avoid this as any frame
(e.g., base layer frame at anchor of pattern) may update
both last and golden (and possibly alt-ref), and so we would get
different rate correction factors within the same layer.

This change will make sure one rate correction factor exists for each layer.

Also, made some other code in qp-regulate that depends on
alt/golden update specific to the 1 layer case.

Change-Id: I41a6d085bd477f9307ef3b3c311695214273892c

Merge "vp8_intra_pred_y_tm_sse2: save/restore xmm registers"

Merge "vpxenc: don't print STATS_PKT size w/--quiet"

Merge "vp8_loop_filter_bh_y_sse2: save/restore xmm registers"

vp8_filter_block1d4_h6_ssse3: add missing xmm restore

Change-Id: Ia8f6b6c2a9ed60bee7949dd06fcc18b392e91d76

vp8_loop_filter_bh_y_sse2: save/restore xmm registers

xmm[6-11] should be saved and restored for Windows x64; prevents an
encoder mismatch and some datarate issues.

Change-Id: I03c38eb18ec20c6c441cae19416393058baad1ee

vp8_intra_pred_y_tm_sse2: save/restore xmm registers

xmm6/xmm7 should be saved and restored for Windows x64; prevents an
encoder mismatch and some datarate issues.

Change-Id: Ifa1a82ab25fbdc5112d66f5332e14b16e69ac164

Upstream build bug for chromium

https://codereview.chromium.org/11413061/

The Android NDK automatically manages the include directories. Trying
to do so manually for the Android GYP files can cause the wrong setjmp.h
to be included.

Change-Id: I5c3769f983fcbad1ed602feda781690c6e4e97b3

vpxenc: don't print STATS_PKT size w/--quiet

missed in 1fc3cc8

Change-Id: I80ffc1179245bc124e9938aad92a4d5fdfee187b

Move documentation file list to relevant make file

Change-Id: I2fe3095c4eb60233f00830d4124583ce7a64caa4

Each make file is responsible for its own directory

Change-Id: Ia8a59ce79045af209e49c68810bae44616422db5

Sequester vpx_ports file list

Move BUILD_LIBVPX evaluation before the include.

Change-Id: I8860414c42a8161765a17bf433ff2607c0d027ca

Update to datarate_test.

Exlcude key frame from buffer underrun check, and increase
lowest bitrate in BasicBufferModel.
Both changes are needed because of a known issue (#495).

Change-Id: If5e994f813d7d5ae870c1a72be404c8f7dbbdf27

Merge "use calloc() instead of malloc()"

ads2gas.pl: convert push/pop and whole keywords.

This change converts push to stmdb and pop to ldmia. In addition word boundaries
are obeyed using \b avoiding substituion where not appropriate.

Patch provided by ihf@chromium.org.

TEST=Used on many Daisy assembly files.
BUG=None.

Change-Id: Ie5b197b158edd0467294551d0b640c8db6530d95

Incorrect parameter passed into vp8_stuff_mb

Should be MACROBLOCK, not MACROBLOCKD

Change-Id: I0353bbdf085a181ae2ac1f0b96849b38566e9f6a

Moving count_mb_ref_frame_usage to macroblock struct

Change-Id: I44e4e3869f231ae270cca98c9565f23c512e3ddf

Merge "Removed mb_norm_activity_map"

Moving rd_thresh_mult, rd_threshes to macroblock struct

Change-Id: I650a593162280ab40e71e527ec6518303e2d5723

use calloc() instead of malloc()

So that, in case of error, the arrays are not filled with trash
pointers that are attempted a free() during vp8mt_de_alloc_temp_buffers()

Change-Id: Ic074549c2903a43316510eb42e4f393e7d3ee528

Removed mb_norm_activity_map

Not used.

Change-Id: I07ba929e3ff82b4b0c86f731769cdf5434c7a816

Moving _error counts to macroblock struct

Change-Id: I28ac1519d1594801fef9a623cb64598d3d751eb0

Moving MVcount to macroblock struct

Change-Id: Ie22841d096f3c86694b95bd06fc3a8ce1f032a10

Moving ymode_count, uv_mode_count to macroblock struct

Change-Id: Ib73c7b2bee4cb2eb2528fa6b381fffe9503079a0

Moved skip_true_count to macroblock struct

Change-Id: Ie9a26be7c9baa54a0e43a63ed6c77f2746477a9c

Moving coef_counts to macroblock struct

Change-Id: I289564a5a27f0d03ddc6f19c7838542ff22719be

Merge "Removed unnecessary VP8_COMP *cpi parameters"

Removed unnecessary VP8_COMP *cpi parameters

Code cleanup

Change-Id: I82f9d787a2f511d39895fd8dfd5347a1676d9dbc

Merge "ads2gas.pl: various enhancements to work with flash."

Merge "vpx_scale: sync from experimental"

vpx_scale: sync from experimental

Import changes made on the experimental branch in preparation for
merging the two branches.

Change-Id: I7b5b8fb4fca155cb1d72e7ba13eef18e6a94a298

ads2gas.pl: various enhancements to work with flash.

TEST=Ran it on different asm files.

Change-Id: Ief2a009366787954d0eb5c356c64acaef350cf84

vp8dx_receive_compressed_data() cleanup

Change-Id: I6edf0626d00ae177c7c04eec64e1ec0dd861dfbe

add unit test for datarate control

Adds some basic datarate control tests..

Change-Id: I6eff18aa58ef7cfd14886c6b1e048247cd1ad247

Minor tweaks to video source frameworks

Fix the video source to close if file is open already and add a limit.

Change-Id: I36ada4c609d027b6eaa9b447fe9ad4115532edc1

vpxenc: add -quiet option

suppresses encoder progress

Change-Id: Iacc04d98de970f13697c002363ee3a40a03f021b

Use vp8_clear_system_state helper function

Change-Id: I4dd192c3297e31b8eadd108ca8d0934e58f502f7

variance.h uses defines in vpx_config.h

Change-Id: Ibd3e4425a3bf8aae8aa33b70da2b84e1cda8c07f

postproc_sse2: avoid reading off the end of the limits array

Rather than unconditionally reading in the next MB's limits, test
the loop exit condition first.

Change-Id: I105d1e92698fb5561aa87160816787604aed03a2

Merge "postproc: allocate enough memory for limits buffer"

postproc: allocate enough memory for limits buffer

The vp8_post_proc_down_and_across_mb_row_sse2() needs space for an
even number of macroblocks, as they are read two at a time for the
chroma planes. Round up the width during the allocation of
pp_limits_buffer to support this.

Change-Id: Ibfc10c7be290d961ab23ac3dde12a7bb96c12af0

Merge "Add unit test for decoder test_vector_test"

Add unit test for decoder test_vector_test

Got 61 test vectors from vp8-test-vectors.git
(http://git.chromium.org/gitweb/?p=webm/vp8-test-vectors.git)

Added decoder test vectors downloading in unit tests. Uploaded
the test vectors and their md5 files to WebM website.
  $ gsutil cp *.* gs://downloads.webmproject.org/test_data/libvpx

Added their sha1sum to the test/test-data.sha1 file.

In unit tests, download the test vectors to LIBVPX_TEST_DATA_PATH.

Test_vector_test goes through the test vectors, decodes them, and
compute the md5 checksums. The checksums are compared with the
expected md5 checksums to tell if the decoder decodes correctly.

Change-Id: Ia1e84f9347ddf1d4a02e056c0fee7d28dccfae15

Fix to rd cost computation for mv bias.

This prevents the rd cost from wrapping around and going negative.

Change-Id: Id61390537d2ad47762e410918bb4e18f6a0912d4

Merge "Add option to disable documentation"

Clean up error return code in alloccommon.c

Clean up the duplicate code as Pascal suggested.

Change-Id: I685fcbb488502e969f6cb73a46db3ea79b90910d

post-proc: fix 0 or negative threshold handling

If the threshold(limits) <= 0, skipped filtering and copied the
frame directly. Also, fixed memory allocation checking.

Change-Id: If3d79d5b2bcb71b9777e6eb5cba1384585131e22

Add option to disable documentation

Documentation is typically auto-detected by checking for php and
doxygen. Add an option to explicitly disable it.

Remove toggle keywords from libraries, examples, documentation and
unit tests. They were not consistent with the default status.

Change-Id: I21049675ccfd8e58ac612cd058641b197db5c0eb

multi-res: disable intra on forced ref frames

If a reference frame is forced because of low dissimilarity, then
shut off the search of intra modes. This change has mixed results. On
one clip (QVGA), it hurt quality by ~1.5% with negligible speed impact.
On another (VGA) it had negligible affect on quality, but a ~0.2% speed
impact.

Change-Id: Ic8b07648979d732f489de5f094957e140f84d2eb

Merge "multi-res: add parent_ref_valid flag"

multi-res: add parent_ref_valid flag

Rather than overloading the parent_ref_frame value to shut off the
search in some cases, add a new validity flag. This cleans up some
of the duplicated mr_encoder_id && mr_low_res_mv_avail checks as
well, for readability.

Change-Id: Iddad93a27066c3d85ff2f25a361ac113b288ab7b

Merge "post-proc: deblock filter optimization"

Merge "multi-res: work around reference mismatch"

post-proc: deblock filter optimization

1. Algorithm modification:
Instead of having same filter threshold for a whole frame, now we
allow the thresholds to be adjusted for each macroblock. In current
implementation, to avoid excessive blur on background as reported
in issue480(http://code.google.com/p/webm/issues/detail?id=480), we
reduce the thresholds for skipped macroblocks.

2. SSE2 optimization:
As started in issue479(http://code.google.com/p/webm/issues/detail?id=479),
the filter calculation was adjusted for better performance. The c
code was also modified accordingly. This made the deblock filter
2x faster, and the decoder was 1.2x faster overall.

Next, the demacroblock filter will be modified similarly.

Change-Id: I05e54c3f580ccd427487d085096b3174f2ab7e86

multi-res: work around reference mismatch

In some situations, believed to be an interaction between temporal
scalability and dropped frames, the references available to an
encoder may not be the same references available to its parent.
Previously, the code tried to force the reference frame chosen by
the parent to be used on this frame, even if it was disabled. This
was preventing the pick mode loop from running even once, which led
to a crash.

Attempts to reproduce this bug locally were unsuccessful, so it is
still undetermined what the underlying cause of this issue is. In
the specific case that was failing, the application did not set
any flags which influenced the reference selection on that frame.
ref_frame_flags indicated that the golden frame was disabled,
believed to be because the last frame updated the last and golden
frames, so golden was shut off by default. It's not clear why this
wouldn't have also been true in the lower res encoder, ie, why the
lower res encoder decided to use and/or was allowed to use the
golden frame. We weren't able to debug into the non-crashing
lower res encoder as the crash couldn't be reproduced locally.

Change-Id: Ifb265253d26963ac2afde0e20cf6792788be6af7

Merge "Unit Test for Error Resilience Mode"

Add a unit test for CQ mode.

Change-Id: I66c391987eabc5ea0159bf4a2a4fd8e8e163872f

Merge "Added handler for PSNR packets to EncoderTest class"

Merge "Add initialization and per frame flag members"

Unit Test for Error Resilience Mode

This unit test compares the difference in quality with
error resilience enabled and disabled. The test runs
for all of the one-pass encoding modes.

The test ensures that the effect of turning on error
resilience makes less than a 10% difference in PSNR.

Further cases should be added to do a more comprehensive
test.

Change-Id: I1fc747fc78c9459bc6c74494f4b38308dbed0c32

fix uninitialized value in multi-res encoding

If a parent mb is available but is intra coded, then parent_ref_mv is
invalid. Check that the parent is inter coded before trying to access
the parent_ref_mv. Previously the parent_ref_mv was being read from
an uninitialized stack allocation, causing potential OOB reads and
other undefined behavior.

Change-Id: I0c93cd412a19c3a184bcf6decaa145b3a036a6c0

Added handler for PSNR packets to EncoderTest class

Added a virtual function to handle PSNR packets.

Change-Id: Id2a6372c691a14f19bbeed217a93a9df03e81e75

Add initialization and per frame flag members

Modified EncoderTest class to have separate member variables
for initialization time and per-frame.

Change-Id: I08a1901f8f3ec16e45f96297e08e7f6df0f4aa0b

Merge "Added Reset method to TwopassStatsStore"

Merge "rtcd/win32: use InitializeCriticalSection explicitly"

Added Reset method to TwopassStatsStore

The stats buffer needs to be reset between runs of the
encoder. I added a Reset() function to TwopassStatsStore
and called it at the beginning of each encode.

This enables us to run multiple encodes which was
previously not possible since there was no way to reset
the stats between runs.

Change-Id: Iebb18dab83ba9331f009f764cc858609738a27f9

rtcd/win32: use InitializeCriticalSection explicitly

Protect the call to {Initialize,Delete}CriticalSection() with an
Interlocked{Inc,Dec}rement() pair, rather than the previous static
initialization. This should play better with AppVerifier, and fix issue

  http://code.google.com/p/webm/issues/detail?id=467

Change-Id: I06eadbfac1b3b4414adb8eac862ef9bd14bbe4ad

Merge "Added unit test for subtract functions"

Disable keyframe in real time that's placed one frame after a cut.

The codec as it stood placed a keyframe one frame after a
real cut scene - and ignored datarate and other considerations.

TODO: Its possible that we should detect a keyframe and recode
the frame ( in certain circumstances) to improve quality.

Change-Id: Ia1fd6d90103f4da4d21ca5ab62897d22e0b888a8

Resetting of the cyclic_refresh_mode_index:

Reset the cyclie refresh mode index in alloc_compressor_data().
This is needed to handle both cases of internal and
external spatial resizing.

Change-Id: I2697e12d45135eae2e8f0d45161811f24722312a

Reset the cyclic_refresh_mode_index to 0 on resize.

On an internal spatial resize, this mode index was not reset to 0,
and therefore could exceed dimensions of seg_map or cyclic_refresh_map.

Change-Id: I6fe85dbd2765eb0207a9d9f71fda8d8b8c34f075

Added unit test for subtract functions

Patch Set 1: gain familiarity with unit tests... added simple
4x4 subtract test
Patch Set 2: fixed mistakes, parameterized as suggested
Patch Set 3: randomized the source/predictor data

Change-Id: I33432bdf7c9f2a9b8c2533a37106382c2a8209ee
Signed-off-by: Scott LaVarnway <slavarnway@google.com>

Merge "check for x32 targets"

Merge "update gitignores"

update gitignores

Change-Id: I67bf154e35fa02b407a9b2c312a536d6bb2aaaf2

Merge "disable segmentation on enhancement layers"

check for x32 targets

Add configure detection of the new x32 ABI as well as support in asm.

Change-Id: Ic66a069599adeb81062090e3f11b71ee1fb97cb8

Merge "Move frame allocations out of vp8_decode_frame()"

Merge "Removed bc and bc2 vp8_readers from VP8D_COMP"

Move frame allocations out of vp8_decode_frame()

in order to make it easier to implement the frame-base multithreading.

Change-Id: Iea2fd05be34fa704848fdc7669bf167f2ed229c5

rtcd/win32: prefer win32 primatives to pthreads

Fixes some build issues for people building for win32 who have a
pthreads emulation layer installed.

Change-Id: I0e0003fa01f65020f6ced35d961dcb1130db37a8

disable segmentation on enhancement layers

This should avoid problems with blocks gettings high quality
improvement despite having recently moved:

Change-Id: Ic0af0de2d6577807fa3c553f47b55d547ef36359

Update to cyclic refresh:

Set the seg map to 0 for key frame.

In previous commit on cyclic refresh, the seg map for key frame
was not reset, and instead used the seg map from last frame.

Change-Id: I848eb2face420dfcd2f7daca6f070b9127ca938b

Update to cyclic refresh.

-Increase the amount of mbs to be refreshed.
-Replace the delta qp with a fixed and reduced delta.
-Change to the mb update loop to try to always update same amount of mbs.

Change-Id: I93ac88002fd8dc677d2337f77998ff93f64e4ff9

Removed bc and bc2 vp8_readers from VP8D_COMP

Used mbc instead.

Change-Id: If22136b4fee89b68ca2246265f3c27853701136c

Moved vp8dx_get_raw_frame() call to vp8_get_frame()

This change is necessary for the frame-based multithreading
implementation.
Since the postproc occurs in this call, vpxdec was modified to time around
vpx_codec_get_frame()

Change-Id: I389acf78b6003cd35e41becc16c893f7d3028523

Merge "Changed setup intra recon to be row based"