tools_common.sh: use $$ in VPX_TEST_OUTPUT_DIR

a bit simpler than invoking awk for rand()

Change-Id: I36ac474708f7bf0157ae59b882c2a9f69b0aaf41

Merge "tools_common.sh: add directory name to error output"

Merge "Fix the encoder to support profile change"

Merge "Correct parameter order in a function call"

Merge "tests: add a shorter 720p test clip"

tools_common.sh: add directory name to error output

+ add a helper function to reduce the duplication

this is a bit clearer when the environment variable is set, but the
directory is missing

Change-Id: I08f9b56122b5741bb40a5f795f7f82f5b49f1047

Fix the encoder to support profile change

Change-Id: Iefb928ad1174e274409facfb44f80265ff0f7683

Correct parameter order in a function call

Change-Id: Ibd87db1c4371edcbe193d39df2fdc07d3842c21a

Merge "Account for rate error in GF group Q calculation."

tests: add a shorter 720p test clip

niklas_1280_720_30.y4m 60 frames @ 30fps
only a small number of frames are being used; this reduces the test data
download size in non-perf-test cases by >500M.
retain niklas_1280_720_30.yuv for encode+decode perf tests

Change-Id: I56b3433104acd462f952a9554280de5a3ec0b6d2

Merge "Motion compensated reference refinement"

Merge "Re-distribute hierarchical vector match pattern"

Motion compensated reference refinement

This commit applies one-step refinement search to the resulting
motion vector of the integral projectiion based motion estimation,
per 64x64 block. It improves the coding performance of speed -6.

pedestrian 1080p 500 kbps
51735 b/f, 36.794 dB, 16044 ms ->
51382 b/f, 36.793 dB, 16282 ms

cloud 1080p 500 kbps
24081 b/f, 37.988 dB, 14016 ms ->
23597 b/f, 38.076 dB, 12774 ms

vidyo1 720p 1000 kbps
16552 b/f, 40.514 dB, 8279 ms ->
16553 b/f, 40.543 dB, 8510 ms

The rtc set compression performance is improved by 0.5%.

Change-Id: I3d09bea2caf58b2a4f3b38aa26fffafcbe9a2c17

Merge "Fix a trivial memory leak"

Merge "Fix ssse3 quantize_fp functions while skip=1"

Merge "Fix fwd transform sse2 build issue on older gcc version"

Fix fwd transform sse2 build issue on older gcc version

Change-Id: I3e0e53d129552babf29e6c5d047483733983973c

Merge "vp9_loopfilter: quiet integer constant size warnings"

Fix a trivial memory leak

Change-Id: I1108d720bb3b30586b128dd01ce608e1e62b1756

Re-distribute hierarchical vector match pattern

This commit modifies the hierarchical vector match patter. It
avoids repeated SAD computation at same points. The function
vp9_vector_sad_sse2 is called 12 times per 64x64 block, instead
of 15 times as before. The effective coverage remains the same.

Change-Id: I91ad9d27d40db8963c907d02af84e10702136994

vp9_loopfilter: quiet integer constant size warnings

mark uint64_t constants with 'ULL'

Change-Id: I7648e161b4004fba35e1fa7ab79e34cc19e39716

Fix ssse3 quantize_fp functions while skip=1

In ssse3 functions, DEFINE_ARGS macro hard codes qcoeff and dqcoeff
to r3 and r4. If skip is 1, qcoeff and dqcoeff need to be loaded
from the stack, which doesn't work because of the above definitions.
Currently, skip=1 case is not used in the encoder. This patch fixed
the issue, so it can be turned on later.

Change-Id: I998d696b1a7a85dca2b3bcee790b21c21e039147

fix the propagation of color space info in decoder

This addresses the issue #960

Change-Id: Iddf45b4bd4f53cb0ddfd879e800a071cd843b915

Account for rate error in GF group Q calculation.

When GF group adaptive maxQ is enabled this patch accounts
somewhat for accumulated error in the rate control.

This improves accuracy quite a bit on many clips especially
when there is  overshoot.

Examples when the overshoot and undershoot command line
parameters are set to 100:

Hall @ 1200 overshoot is reduced from 67-24%.
Akiyo @ 400 undershoot is reduced from 28%-15%.

Setting a lower value for undershoot or overshoot still
reduces the error further.

Impact on metrics is mixed with some gains in average psnr
but generally a little lower (e.g. 0.5%) on overall and ssim.

The GF group adaptation is still off by default in this patch.
Compared to with the head, enabling this mode now gives
big average psnr gains on the YT sets (e.g. YT_HD >11.2%),
a drop in overall PSNR (YT-HD 3.9%) and a smaller drop or
neutral for SSIM.

Change-Id: If4b32cd0740d3fb941317b374f9c2951954eee90

Merge "Remove redundant test"

Merge "Remove a few unneccessary multiplications in denoiser."

Remove a few unneccessary multiplications in denoiser.

Change-Id: I3edbb7cc67203fbbf32c6fd4a08015ca9d9ed53e

Move dequant table from VP9_COMMON to VP9_COMP as decoder
does not need it any more.

This reduces VP9_COMMON size from 25776 bytes to 17584 bytes(~31%).

Change-Id: Ic5daea732ccefb6d512b048af7983f0efe08589b

Merge "Adjustments to cyclic refresh (aq-mode=3)."

Merge "Add high bit depth support to rtc sub8x8 block coding"

Adjustments to cyclic refresh (aq-mode=3).

Target higher delta-qp for big blocks with zero motion,
and for segment#1: avoid 64x64 partition size and force 8x8 tx size.

Metrics on RTC set mostly positive: SSIM up by ~4%, PSRN by ~1.5%.
Doesn't seem to be any change in speed.

Change-Id: I1f68fa3c4f62dab3b90cc58041f05ebb048ae5ac

Add high bit depth support to rtc sub8x8 block coding

This commit adds proper buffer handle to support high bit depth
in rtc sub8x8 block coding.

Change-Id: Ibaf8a2160194121aec9ca68b8094817fed9ccaea

Merge "Optimize the dequantization process on decoder side."

Merge "Fix control string in firstpass stats fprintf"

Optimize the dequantization process on decoder side.

Change-Id: I00621ff7165bbe86a18794b4a816976c9effaf78

Merge "Improve skip_txfm thresholds in the non-rd mode selection"

Fix control string in firstpass stats fprintf

20 items in the control string but only 19 arguments.

Change-Id: I51dab9aa1c58c653b52395005a9cb41f09feb484

Merge "Integral projection based motion estimation"

Improve skip_txfm thresholds in the non-rd mode selection

Modified the thresholds of deciding whether or not to skip
the transforms in model_rd_for_sb_y(). Used zbin[] instead
of dequant[] to be more precise. Also, modified the checking
coditions.

Rtc set borg test results (at speed 6) showed:
average PSNR gain: 0.138%, overall PSNR gain: 0.158%,
and SSIM gain: 0.177%.

The data rate test was modified slightly as suggested by
Marco.

Change-Id: Ieaf633ab77f4838cb3c45cf69065b29d55f8ae6c

Integral projection based motion estimation

This commit introduces a new block match motion estimation
using integral projection measurement. The 2-D block and the nearby
region is projected onto the horizontal and vertical 1-D vectors,
respectively. It then runs vector match, instead of block match,
over the two separate 1-D vectors to locate the motion compensated
reference block.

This process is run per 64x64 block to align the reference before
choosing partitioning in speed 6. The overall CPU cycle cost due
to this additional 64x64 block match (SSE2 version) takes around 2%
at low bit-rate rtc speed 6. When strong motion activities exist in
the video sequence, it substantially improves the partition
selection accuracy, thereby achieving better compression performance
and lower CPU cycles.

The experiments were tested in RTC speed -6 setting:
cloud 1080p 500 kbps
17006 b/f, 37.086 dB, 5386 ms ->
16669 b/f, 37.970 dB, 5085 ms (>0.9dB gain and 6% faster)

pedestrian_area 1080p 500 kbps
53537 b/f, 36.771 dB, 18706 ms ->
51897 b/f, 36.792 dB, 18585 ms (4% bit-rate savings)

blue_sky 1080p 500 kbps
70214 b/f, 33.600 dB, 13979 ms ->
53885 b/f, 33.645 dB, 10878 ms (30% bit-rate savings, 25% faster)

jimred 400 kbps
13380 b/f, 36.014 dB, 5723 ms ->
13377 b/f, 36.087 dB, 5831 ms  (2% bit-rate savings, 2% slower)

Change-Id: Iffdb6ea5b16b77016bfa3dd3904d284168ae649c

Fix a check condition in nonrd_pick_partition

Change-Id: Ic92fb4b16948f745c218351b24fdafecf9abce3a

Merge "Fix the frame parallel invalid file test failure on ARM."

Merge "test_vector_test: fix build with --disable-(vp8|vp9)"

Fix the frame parallel invalid file test failure on ARM.

There is a corner case that when a frame is corrupted, the following
inter frame decode worker will miss the previous failure. To solve
this problem, a need_resync flag needs to be added to master thread
to keep control of that.

Change-Id: Iea9309b2562e7b59a83dd6b720607410286c90a6

loop_filter_rows_mt: remove dependency on 'last_height'

using this to control reallocation would miss a change if the function
were not called for every frame.
fixes potential memory corruption by the subsequent memset

Change-Id: I4c6bb6ab68803104fc824c7e27cc2f9b2cf53e33

test_vector_test: fix build with --disable-(vp8|vp9)

use VP[89]_INSTANTIATE_TEST_CASE case when possible to disable the tests if
the codec is unavailable.
broken since:
be6aead Try again to merge branch 'frame-parallel' into master branch.

Change-Id: I8d81c5ba3b951f82be94bfaed6be194e4289baec

Merge "Fix an encoder/decode mismatch bug"

Fix an encoder/decode mismatch bug

This commit prevent the encoder to update last_frame_type when a frame
is dropped in the encoder. Prior to this fix, if there is a dropped
frame immediatedly after a key frame, decoder would have the value of
last_frame_type as key frame, different from encoder as the dropped
frame in encoder would have updated the value to an inter frame. This
leads to different probability update in encoder and decoder, thereby
encoder/decoder mismatch.

This fixes issue #941

Change-Id: I27115224b138bec43ae3916c016574f5740822b0

Merge "Replace some operations with shift in encoder_breakout."

Merge "Improve readability: move return statements"

Remove redundant test

Change-Id: I11e4fd8dcd44b0475f3bff0545a035feb223ce55

Replace some operations with shift in encoder_breakout.

Replaced a divide by 9 with 8, so some very small difference,
but otherwise no change in behavior.

Change-Id: I1079ae3c41e0789ff0bc6fa9940a238b6bca0f5b

Merge "Add VP9 decoder control to get frame size"

Improve readability: move return statements

Change-Id: I18428d0a93084f78ec136d9019f10466326c67e5

Add VP9 decoder control to get frame size

Adds a control function that allows the caller to get
the size of the current frame.

Change-Id: Iddfdedc0f3aa9aa46119f87d294681c82f275c9f

Merge "vpx_temporal_svc_encoder: Adjust default qp-max setting for vp9."

Merge "Fix ioc issue in block_rd_txfm"

Fix ioc issue in block_rd_txfm

Force 64-bit precision in the intermediate steps.

Change-Id: I666113d9adcef8975da201d5aa1a13b783d09594

vpx_temporal_svc_encoder: Adjust default qp-max setting for vp9.

Change-Id: Iada495f05193a1f645a5405ad792931f4d9113ab

Merge "Add missing initializer to VP8 codec interface"

Merge "Remove unnecessary border extension when frame size change."

Merge "Add skin detection."

Add missing initializer to VP8 codec interface

Change-Id: Ia164ba03fb732e9c9e520e4aa2d75b7eadff6165

Merge "Update partition rate cost in rtc speed 5"

Merge "Add mode cost to sub8x8 block mode decision in rtc coding"

Merge "Add cast to convert double to int"

Add skin detection.

Simple skin detection, from vp8; works reasonable on most of the
RTC clips, but could miss sometimes.

Added debug flag to write out skin map over source input.

Change-Id: I2caea7592f1c459047aac46627eeb24a94946464

Merge "Make vp9_print_modes_and_motion_vectors() work"

Merge "vp9_thread: prefer pthread.h if available"

Merge "vp9_highbd_tm_predictor_16x16: fix win64"

Add cast to convert double to int

Change-Id: I7f63c2940256a5dadf9a29a853809290dd9e98ed

Add mode cost to sub8x8 block mode decision in rtc coding

This commit allows the encoder to properly account for the mode
cost in sub8x8 non-RD mode decision.

Change-Id: I2951960d20e37ed08e372ee0c7044935b2b9b899

Merge "Account for inter prediction filter rate cost in rtc mode selection"

Merge "Add ref frame rate cost to non-RD mode decision"

Update partition rate cost in rtc speed 5

The block partition rate cost should be updated when recursive
partition search is needed.

Change-Id: I7bc5ad1fc2cbd3577dee7f7e8da111a2742bdeb9

Account for inter prediction filter rate cost in rtc mode selection

Add the rate cost on inter prediction filter type to the overall
rate-distortion cost in vp9_pick_mode_inter.

Change-Id: I72c34017adf5220cadb3962694ee5404469fc673

Add ref frame rate cost to non-RD mode decision

This commit adds a heuristic rate cost of reference frame to the
non-RD mode decision. It improves the compression performance of
speed -6 by 0.31% and speed -5 by 0.69%.

Change-Id: If7f3b45519d49b2cb640bcb7316a254efc8be446

vp9_highbd_tm_predictor_16x16: fix win64

by saving xmm8; cglobal's xmm reg arg is 0-based

Change-Id: Ic8426ec9ac59ab4478716aa812452a6406794dcb

Add --color-space to vpxenc

This enbale the encoder to set color space information for the input
video, so it is then coded in the output bitstream.

Change-Id: Ife03deab3c762425ccd27c4c190902c4d94a76f4

Make vp9_print_modes_and_motion_vectors() work

MODE_INFO struct was modified, and vp9_print_modes_and_motion_vectors()
didn't work anymore. This patch modified vp9_debugmodes.c so that
this function works again for debug usage.

Change-Id: I293fae0295235deb2529a460a274caf7c045ac1a

Move computation up to frame level

This is to avoid redo the same calculation repeatly, and also allow
easier adjustments for further experiments.

This commit shall have no effect on quality/compression.

Change-Id: I4460acf5c808ff5518da18d21e002c5da58af857

Remove unnecessary border extension when frame size change.

This border extension is not needed with on-demond border extension.

Change-Id: I8501b37f5f756dc7e874cef4c1cfdbfa9a16112a

vp9_thread: prefer pthread.h if available

this avoids conflicts with recent versions of mingw-w64 (tested g++
4.8.2) and the unit tests

Change-Id: Ic41ea31eebe0e3e712ed5e657f37d8cad6712088

Merge "Auto-adaptive encoder frame resizing logic"

Merge "Fix block partition size in fill_mode_info_sb"

Auto-adaptive encoder frame resizing logic

Note: This feature is still in development.

Add an option for the encoder to decide the resolution
at which to encode each frame.

Each KF/GF/ARF goup is tested to see if it would be
better encoded at a lower resolution. At present, each
KF/GF/ARF is coded first at full-size and if the coded
size exceeds a threshold (twice target data rate) at
the maximum active Q then the entire group is encoded
at lower resolution.

This feature is enabled in vpxenc by setting:
  --resize-allowed=1

In addition, if the vpxenc command line also specifies
valid frame dimensions using:
  --resize-width=XXXX & --resize_height=YYYY
then *all* frames will be encoded at this resolution.

Change-Id: I13f341e0a82512f9e84e144e0f3b5aed8a65402b

Merge "Make encoder and decoder share common thread function"

Merge "Rename loopfilter_thread files to thread_common files"

Fix block partition size in fill_mode_info_sb

This commit fixes the sub block partition size used in
fill_mode_info_sb. Previous implementation effectively disabled
the rectangular block sizes. This commit resolved this issue.

Change-Id: Ic1c383ab0a9a2e7d59e85b388093f1f1f94d1e7f

Merge "configure: add --(disable|enable)-dependency-tracking"

Merge "Add two constant definitions"

configure: add --(disable|enable)-dependency-tracking

defaults to enabled. when disabled skips dependency file (.d) generation
allowing for faster one-time builds.

Change-Id: I2d7d7f905f1663315b8eb2b2e81fffb6fcb15829

Add two constant definitions

This fixes compiler errors for vs 2008.

Change-Id: Ifaabb1c5e74fe6ede6dacf66ec3f634fecb556fd

Merge "Set the maximum decode threads to be 8."

Merge "Fix high bit depth assembly function bugs"

Set the maximum decode threads to be 8.

This will fix the frame parallel decode hang on windows
due to not enough semaphores.

This will also make the frame parallel decode safer as
the number of frame buffers could only support maximum
8 threads.

Change-Id: Id9ef50692819dcbebbd74a0aabffbfb3f39a4309

Fix jenkins unit test failure due to "uninitialised value".

Change-Id: Ief6b526486bc729dcb787358bc0b781f278bdc66

Prevent VP8 encoding crash

This commit changes the value of highbitdepth flag to avoid conflict
with vp8 refresh_last_frame flag.

Change-Id: Idcff2cf44f0a200bd935b326f785c0cf32d7228a

Merge "vpxdec: correct file op error messages"

Merge "Correct the miscalculation in uv dimensions"