Merge "VP9: add unit test for realtime external resize."
[platform/upstream/libvpx.git] / CHANGELOG
1 2015-11-09 v1.5.0 "Javan Whistling Duck"
2   This release improves upon the VP9 encoder and speeds up the encoding and
3   decoding processes.
4
5   - Upgrading:
6     This release is ABI incompatible with 1.4.0. It drops deprecated VP8
7     controls and adds a variety of VP9 controls for testing.
8
9     The vpxenc utility now prefers VP9 by default.
10
11   - Enhancements:
12     Faster VP9 encoding and decoding
13     Smaller library size by combining functions used by VP8 and VP9
14
15   - Bug Fixes:
16     A variety of fuzzing issues
17
18 2015-04-03 v1.4.0 "Indian Runner Duck"
19   This release includes significant improvements to the VP9 codec.
20
21   - Upgrading:
22     This release is ABI incompatible with 1.3.0. It drops the compatibility
23     layer, requiring VPX_IMG_FMT_* instead of IMG_FMT_*, and adds several codec
24     controls for VP9.
25
26   - Enhancements:
27     Faster VP9 encoding and decoding
28     Multithreaded VP9 decoding (tile and frame-based)
29     Multithreaded VP9 encoding - on by default
30     YUV 4:2:2 and 4:4:4 support in VP9
31     10 and 12bit support in VP9
32     64bit ARM support by replacing ARM assembly with intrinsics
33
34   - Bug Fixes:
35     Fixes a VP9 bitstream issue in Profile 1. This only affected non-YUV 4:2:0
36     files.
37
38   - Known Issues:
39     Frame Parallel decoding fails for segmented and non-420 files.
40
41 2013-11-15 v1.3.0 "Forest"
42   This release introduces the VP9 codec in a backward-compatible way.
43   All existing users of VP8 can continue to use the library without
44   modification. However, some VP8 options do not map to VP9 in the same manner.
45
46   The VP9 encoder in this release is not feature complete. Users interested in
47   the encoder are advised to use the git master branch and discuss issues on
48   libvpx mailing lists.
49
50   - Upgrading:
51     This release is ABI and API compatible with Duclair (v1.0.0). Users
52     of older releases should refer to the Upgrading notes in this document
53     for that release.
54
55   - Enhancements:
56       Get rid of bashisms in the main build scripts
57       Added usage info on command line options
58       Add lossless compression mode
59       Dll build of libvpx
60       Add additional Mac OS X targets: 10.7, 10.8 and 10.9 (darwin11-13)
61       Add option to disable documentation
62       configure: add --enable-external-build support
63       make: support V=1 as short form of verbose=yes
64       configure: support mingw-w64
65       configure: support hardfloat armv7 CHOSTS
66       configure: add support for android x86
67       Add estimated completion time to vpxenc
68       Don't exit on decode errors in vpxenc
69       vpxenc: support scaling prior to encoding
70       vpxdec: support scaling output
71       vpxenc: improve progress indicators with --skip
72       msvs: Don't link to winmm.lib
73       Add a new script for producing vcxproj files
74       Produce Visual Studio 10 and 11 project files
75       Produce Windows Phone project files
76       msvs-build: use msbuild for vs >= 2005
77       configure: default configure log to config.log
78       Add encoding option --static-thresh
79
80   - Speed:
81       Miscellaneous speed optimizations for VP8 and VP9.
82
83   - Quality:
84       In general, quality is consistent with the Eider release.
85
86   - Bug Fixes:
87       This release represents approximately a year of engineering effort,
88       and contains multiple bug fixes. Please refer to git history for details.
89
90
91 2012-12-21 v1.2.0
92   This release acts as a checkpoint for a large amount of internal refactoring
93   and testing. It also contains a number of small bugfixes, so all users are
94   encouraged to upgrade.
95
96   - Upgrading:
97     This release is ABI and API compatible with Duclair (v1.0.0). Users
98     of older releases should refer to the Upgrading notes in this
99     document for that release.
100
101   - Enhancements:
102       VP8 optimizations for MIPS dspr2
103       vpxenc: add -quiet option
104
105   - Speed:
106       Encoder and decoder speed is consistent with the Eider release.
107
108   - Quality:
109       In general, quality is consistent with the Eider release.
110
111       Minor tweaks to ARNR filtering
112       Minor improvements to real time encoding with multiple temporal layers
113
114   - Bug Fixes:
115       Fixes multithreaded encoder race condition in loopfilter
116       Fixes multi-resolution threaded encoding
117       Fix potential encoder dead-lock after picture resize
118
119
120 2012-05-09 v1.1.0 "Eider"
121   This introduces a number of enhancements, mostly focused on real-time
122   encoding. In addition, it fixes a decoder bug (first introduced in
123   Duclair) so all users of that release are encouraged to upgrade.
124
125   - Upgrading:
126     This release is ABI and API compatible with Duclair (v1.0.0). Users
127     of older releases should refer to the Upgrading notes in this
128     document for that release.
129
130     This release introduces a new temporal denoiser, controlled by the
131     VP8E_SET_NOISE_SENSITIVITY control. The temporal denoiser does not
132     currently take a strength parameter, so the control is effectively
133     a boolean - zero (off) or non-zero (on). For compatibility with
134     existing applications, the values accepted are the same as those
135     for the spatial denoiser (0-6). The temporal denoiser is enabled
136     by default, and the older spatial denoiser may be restored by
137     configuring with --disable-temporal-denoising. The temporal denoiser
138     is more computationally intensive than the spatial one.
139
140     This release removes support for a legacy, decode only API that was
141     supported, but deprecated, at the initial release of libvpx
142     (v0.9.0). This is not expected to have any impact. If you are
143     impacted, you can apply a reversion to commit 2bf8fb58 locally.
144     Please update to the latest libvpx API if you are affected.
145
146   - Enhancements:
147       Adds a motion compensated temporal denoiser to the encoder, which
148       gives higher quality than the older spatial denoiser. (See above
149       for notes on upgrading).
150
151       In addition, support for new compilers and platforms were added,
152       including:
153         improved support for XCode
154         Android x86 NDK build
155         OS/2 support
156         SunCC support
157
158       Changing resolution with vpx_codec_enc_config_set() is now
159       supported. Previously, reinitializing the codec was required to
160       change the input resolution.
161
162       The vpxenc application has initial support for producing multiple
163       encodes from the same input in one call. Resizing is not yet
164       supported, but varying other codec parameters is. Use -- to
165       delineate output streams. Options persist from one stream to the
166       next.
167
168       Also, the vpxenc application will now use a keyframe interval of
169       5 seconds by default. Use the --kf-max-dist option to override.
170
171   - Speed:
172       Decoder performance improved 2.5% versus Duclair. Encoder speed is
173       consistent with Duclair for most material. Two pass encoding of
174       slideshow-like material will see significant improvements.
175
176       Large realtime encoding speed gains at a small quality expense are
177       possible by configuring the on-the-fly bitpacking experiment with
178       --enable-onthefly-bitpacking. Realtime encoder can be up to 13%
179       faster (ARM) depending on the number of threads and bitrate
180       settings. This technique sees constant gain over the 5-16 speed
181       range. For VC style input the loss seen is up to 0.2dB. See commit
182       52cf4dca for further details.
183
184   - Quality:
185       On the whole, quality is consistent with the Duclair release. Some
186       tweaks:
187
188         Reduced blockiness in easy sections by applying a penalty to
189         intra modes.
190
191         Improved quality of static sections (like slideshows) with
192         two pass encoding.
193
194         Improved keyframe sizing with multiple temporal layers
195
196   - Bug Fixes:
197       Corrected alt-ref contribution to frame rate for visible updates
198       to the alt-ref buffer. This affected applications making manual
199       usage of the frame reference flags, or temporal layers.
200
201       Additional constraints were added to disable multi-frame quality
202       enhancement (MFQE) in sections of the frame where there is motion.
203       (#392)
204
205       Fixed corruption issues when vpx_codec_enc_config_set() was called
206       with spatial resampling enabled.
207
208       Fixed a decoder error introduced in Duclair where the segmentation
209       map was not being reinitialized on keyframes (#378)
210
211
212 2012-01-27 v1.0.0 "Duclair"
213   Our fourth named release, focused on performance and features related to
214   real-time encoding. It also fixes a decoder crash bug introduced in
215   v0.9.7, so all users of that release are encouraged to upgrade.
216
217   - Upgrading:
218       This release is ABI incompatible with prior releases of libvpx, so the
219       "major" version number has been bumped to 1. You must recompile your
220       applications against the latest version of the libvpx headers. The
221       API remains compatible, and this should not require code changes in most
222       applications.
223
224   - Enhancements:
225       This release introduces several substantial new features to the encoder,
226       of particular interest to real time streaming applications.
227
228       Temporal scalability allows the encoder to produce a stream that can
229       be decimated to different frame rates, with independent rate targetting
230       for each substream.
231
232       Multiframe quality enhancement postprocessing can make visual quality
233       more consistent in the presence of frames that are substantially
234       different quality than the surrounding frames, as in the temporal
235       scalability case and in some forced keyframe scenarios.
236
237       Multiple-resolution encoding support allows the encoding of the
238       same content at different resolutions faster than encoding them
239       separately.
240
241   - Speed:
242       Optimization targets for this release included the decoder and the real-
243       time modes of the encoder. Decoder speed on x86 has improved 10.5% with
244       this release. Encoder improvements followed a curve where speeds 1-3
245       improved 4.0%-1.5%, speeds 4-8 improved <1%, and speeds 9-16 improved
246       1.5% to 10.5%, respectively. "Best" mode speed is consistent with the
247       Cayuga release.
248
249   - Quality:
250       Encoder quality in the single stream case is consistent with the Cayuga
251       release.
252
253   - Bug Fixes:
254       This release fixes an OOB read decoder crash bug present in v0.9.7
255       related to the clamping of motion vectors in SPLITMV blocks. This
256       behavior could be triggered by corrupt input or by starting
257       decoding from a P-frame.
258
259
260 2011-08-15 v0.9.7-p1 "Cayuga" patch 1
261   This is an incremental bugfix release against Cayuga. All users of that
262   release are strongly encouraged to upgrade.
263
264     - Fix potential OOB reads (cdae03a)
265
266           An unbounded out of bounds read was discovered when the
267           decoder was requested to perform error concealment (new in
268           Cayuga) given a frame with corrupt partition sizes.
269
270           A bounded out of bounds read was discovered affecting all
271           versions of libvpx. Given an multipartition input frame that
272           is truncated between the mode/mv partition and the first
273           residiual paritition (in the block of partition offsets), up
274           to 3 extra bytes could have been read from the source buffer.
275           The code will not take any action regardless of the contents
276           of these undefined bytes, as the truncated buffer is detected
277           immediately following the read based on the calculated
278           starting position of the coefficient partition.
279
280     - Fix potential error concealment crash when the very first frame
281       is missing or corrupt (a609be5)
282
283     - Fix significant artifacts in error concealment (a4c2211, 99d870a)
284
285     - Revert 1-pass CBR rate control changes (e961317)
286       Further testing showed this change produced undesirable visual
287       artifacts, rolling back for now.
288
289
290 2011-08-02 v0.9.7 "Cayuga"
291   Our third named release, focused on a faster, higher quality, encoder.
292
293   - Upgrading:
294     This release is backwards compatible with Aylesbury (v0.9.5) and
295     Bali (v0.9.6). Users of older releases should refer to the Upgrading
296     notes in this document for that release.
297
298   - Enhancements:
299           Stereo 3D format support for vpxenc
300           Runtime detection of available processor cores.
301           Allow specifying --end-usage by enum name
302           vpxdec: test for frame corruption
303           vpxenc: add quantizer histogram display
304           vpxenc: add rate histogram display
305           Set VPX_FRAME_IS_DROPPABLE
306           update configure for ios sdk 4.3
307           Avoid text relocations in ARM vp8 decoder
308           Generate a vpx.pc file for pkg-config.
309           New ways of passing encoded data between encoder and decoder.
310
311   - Speed:
312       This release includes across-the-board speed improvements to the
313       encoder. On x86, these measure at approximately 11.5% in Best mode,
314       21.5% in Good mode (speed 0), and 22.5% in Realtime mode (speed 6).
315       On ARM Cortex A9 with Neon extensions, real-time encoding of video
316       telephony content is 35% faster than Bali on single core and 48%
317       faster on multi-core. On the NVidia Tegra2 platform, real time
318       encoding is 40% faster than Bali.
319
320       Decoder speed was not a priority for this release, but improved
321       approximately 8.4% on x86.
322
323           Reduce motion vector search on alt-ref frame.
324           Encoder loopfilter running in its own thread
325           Reworked loopfilter to precalculate more parameters
326           SSE2/SSSE3 optimizations for build_predictors_mbuv{,_s}().
327           Make hor UV predict ~2x faster (73 vs 132 cycles) using SSSE3.
328           Removed redundant checks
329           Reduced structure sizes
330           utilize preload in ARMv6 MC/LPF/Copy routines
331           ARM optimized quantization, dfct, variance, subtract
332           Increase chrow row alignment to 16 bytes.
333           disable trellis optimization for first pass
334           Write SSSE3 sub-pixel filter function
335           Improve SSE2 half-pixel filter funtions
336           Add vp8_sub_pixel_variance16x8_ssse3 function
337           Reduce unnecessary distortion computation
338           Use diamond search to replace full search
339           Preload reference area in sub-pixel motion search (real-time mode)
340
341   - Quality:
342       This release focused primarily on one-pass use cases, including
343       video conferencing. Low latency data rate control was significantly
344       improved, improving streamability over bandwidth constrained links.
345       Added support for error concealment, allowing frames to maintain
346       visual quality in the presence of substantial packet loss.
347
348           Add rc_max_intra_bitrate_pct control
349           Limit size of initial keyframe in one-pass.
350           Improve framerate adaptation
351           Improved 1-pass CBR rate control
352           Improved KF insertion after fades to still.
353           Improved key frame detection.
354           Improved activity masking (lower PSNR impact for same SSIM boost)
355           Improved interaction between GF and ARFs
356           Adding error-concealment to the decoder.
357           Adding support for independent partitions
358           Adjusted rate-distortion constants
359
360
361   - Bug Fixes:
362           Removed firstpass motion map
363           Fix parallel make install
364           Fix multithreaded encoding for 1 MB wide frame
365           Fixed iwalsh_neon build problems with RVDS4.1
366           Fix semaphore emulation, spin-wait intrinsics on Windows
367           Fix build with xcode4 and simplify GLOBAL.
368           Mark ARM asm objects as allowing a non-executable stack.
369           Fix vpxenc encoding incorrect webm file header on big endian
370
371
372 2011-03-07 v0.9.6 "Bali"
373   Our second named release, focused on a faster, higher quality, encoder.
374
375   - Upgrading:
376     This release is backwards compatible with Aylesbury (v0.9.5). Users
377     of older releases should refer to the Upgrading notes in this
378     document for that release.
379
380   - Enhancements:
381       vpxenc --psnr shows a summary when encode completes
382       --tune=ssim option to enable activity masking
383       improved postproc visualizations for development
384       updated support for Apple iOS to SDK 4.2
385       query decoder to determine which reference frames were updated
386       implemented error tracking in the decoder
387       fix pipe support on windows
388
389   - Speed:
390       Primary focus was on good quality mode, speed 0. Average improvement
391       on x86 about 40%, up to 100% on user-generated content at that speed.
392       Best quality mode speed improved 35%, and realtime speed 10-20%. This
393       release also saw significant improvement in realtime encoding speed
394       on ARM platforms.
395
396         Improved encoder threading
397         Dont pick encoder filter level when loopfilter is disabled.
398         Avoid double copying of key frames into alt and golden buffer
399         FDCT optimizations.
400         x86 sse2 temporal filter
401         SSSE3 version of fast quantizer
402         vp8_rd_pick_best_mbsegmentation code restructure
403         Adjusted breakout RD for SPLITMV
404         Changed segmentation check order
405         Improved rd_pick_intra4x4block
406         Adds armv6 optimized variance calculation
407         ARMv6 optimized sad16x16
408         ARMv6 optimized half pixel variance calculations
409         Full search SAD function optimization in SSE4.1
410         Improve MV prediction accuracy to achieve performance gain
411         Improve MV prediction in vp8_pick_inter_mode() for speed>3
412
413   - Quality:
414       Best quality mode improved PSNR 6.3%, and SSIM 6.1%. This release
415       also includes support for "activity masking," which greatly improves
416       SSIM at the expense of PSNR. For now, this feature is available with
417       the --tune=ssim option. Further experimentation in this area
418       is ongoing. This release also introduces a new rate control mode
419       called "CQ," which changes the allocation of bits within a clip to
420       the sections where they will have the most visual impact.
421
422         Tuning for the more exact quantizer.
423         Relax rate control for last few frames
424         CQ Mode
425         Limit key frame quantizer for forced key frames.
426         KF/GF Pulsing
427         Add simple version of activity masking.
428         make rdmult adaptive for intra in quantizer RDO
429         cap the best quantizer for 2nd order DC
430         change the threshold of DC check for encode breakout
431
432   - Bug Fixes:
433       Fix crash on Sparc Solaris.
434       Fix counter of fixed keyframe distance
435       ARNR filter pointer update bug fix
436       Fixed use of motion percentage in KF/GF group calc
437       Changed condition for using RD in Intra Mode
438       Fix encoder real-time only configuration.
439       Fix ARM encoder crash with multiple token partitions
440       Fixed bug first cluster timecode of webm file is wrong.
441       Fixed various encoder bugs with odd-sized images
442       vp8e_get_preview fixed when spatial resampling enabled
443       quantizer: fix assertion in fast quantizer path
444       Allocate source buffers to be multiples of 16
445       Fix for manual Golden frame frequency
446       Fix drastic undershoot in long form content
447
448
449 2010-10-28 v0.9.5 "Aylesbury"
450   Our first named release, focused on a faster decoder, and a better encoder.
451
452   - Upgrading:
453     This release incorporates backwards-incompatible changes to the
454     ivfenc and ivfdec tools. These tools are now called vpxenc and vpxdec.
455
456     vpxdec
457       * the -q (quiet) option has been removed, and replaced with
458         -v (verbose). the output is quiet by default. Use -v to see
459         the version number of the binary.
460
461       * The default behavior is now to write output to a single file
462         instead of individual frames. The -y option has been removed.
463         Y4M output is the default.
464
465       * For raw I420/YV12 output instead of Y4M, the --i420 or --yv12
466         options must be specified.
467
468           $ ivfdec -o OUTPUT INPUT
469           $ vpxdec --i420 -o OUTPUT INPUT
470
471       * If an output file is not specified, the default is to write
472         Y4M to stdout. This makes piping more natural.
473
474           $ ivfdec -y -o - INPUT | ...
475           $ vpxdec INPUT | ...
476
477       * The output file has additional flexibility for formatting the
478         filename. It supports escape characters for constructing a
479         filename from the width, height, and sequence number. This
480         replaces the -p option. To get the equivalent:
481
482           $ ivfdec -p frame INPUT
483           $ vpxdec --i420 -o frame-%wx%h-%4.i420 INPUT
484
485     vpxenc
486       * The output file must be specified with -o, rather than as the
487         last argument.
488
489           $ ivfenc <options> INPUT OUTPUT
490           $ vpxenc <options> -o OUTPUT INPUT
491
492       * The output defaults to webm. To get IVF output, use the --ivf
493         option.
494
495           $ ivfenc <options> INPUT OUTPUT.ivf
496           $ vpxenc <options> -o OUTPUT.ivf --ivf INPUT
497
498
499   - Enhancements:
500       ivfenc and ivfdec have been renamed to vpxenc, vpxdec.
501       vpxdec supports .webm input
502       vpxdec writes .y4m by default
503       vpxenc writes .webm output by default
504       vpxenc --psnr now shows the average/overall PSNR at the end
505       ARM platforms now support runtime cpu detection
506       vpxdec visualizations added for motion vectors, block modes, references
507       vpxdec now silent by default
508       vpxdec --progress shows frame-by-frame timing information
509       vpxenc supports the distinction between --fps and --timebase
510       NASM is now a supported assembler
511       configure: enable PIC for shared libs by default
512       configure: add --enable-small
513       configure: support for ppc32-linux-gcc
514       configure: support for sparc-solaris-gcc
515
516   - Bugs:
517       Improve handling of invalid frames
518       Fix valgrind errors in the NEON loop filters.
519       Fix loopfilter delta zero transitions
520       Fix valgrind errors in vp8_sixtap_predict8x4_armv6().
521       Build fixes for darwin-icc
522
523   - Speed:
524       20-40% (average 28%) improvement in libvpx decoder speed,
525       including:
526         Rewrite vp8_short_walsh4x4_sse2()
527         Optimizations on the loopfilters.
528         Miscellaneous improvements for Atom
529         Add 4-tap version of 2nd-pass ARMv6 MC filter.
530         Improved multithread utilization
531         Better instruction choices on x86
532         reorder data to use wider instructions
533         Update NEON wide idcts
534         Make block access to frame buffer sequential
535         Improved subset block search
536         Bilinear subpixel optimizations for ssse3.
537         Decrease memory footprint
538
539       Encoder speed improvements (percentage gain not measured):
540         Skip unnecessary search of identical frames
541         Add SSE2 subtract functions
542         Improve bounds checking in vp8_diamond_search_sadx4()
543         Added vp8_fast_quantize_b_sse2
544
545   - Quality:
546       Over 7% overall PSNR improvement (6.3% SSIM) in "best" quality
547       encoding mode, and up to 60% improvement on very noisy, still
548       or slow moving source video
549
550         Motion compensated temporal filter for Alt-Ref Noise Reduction
551         Improved use of trellis quantization on 2nd order Y blocks
552         Tune effect of motion on KF/GF boost in two pass
553         Allow coefficient optimization for good quality speed 0.
554         Improved control of active min quantizer for two pass.
555         Enable ARFs for non-lagged compress
556
557 2010-09-02 v0.9.2
558   - Enhancements:
559       Disable frame dropping by default
560       Improved multithreaded performance
561       Improved Force Key Frame Behaviour
562       Increased rate control buffer level precision
563       Fix bug in 1st pass motion compensation
564       ivfenc: correct fixed kf interval, --disable-kf
565   - Speed:
566       Changed above and left context data layout
567       Rework idct calling structure.
568       Removed unnecessary MB_MODE_INFO copies
569       x86: SSSE3 sixtap prediction
570       Reworked IDCT to include reconstruction (add) step
571       Swap alt/gold/new/last frame buffer ptrs instead of copying.
572       Improve SSE2 loopfilter functions
573       Change bitreader to use a larger window.
574       Avoid loopfilter reinitialization when possible
575   - Quality:
576       Normalize quantizer's zero bin and rounding factors
577       Add trellis quantization.
578       Make the quantizer exact.
579       Updates to ARNR filtering algorithm
580       Fix breakout thresh computation for golden & AltRef frames
581       Redo the forward 4x4 dct
582       Improve the accuracy of forward walsh-hadamard transform
583       Further adjustment of RD behaviour with Q and Zbin.
584   - Build System:
585       Allow linking of libs built with MinGW to MSVC
586       Fix target auto-detection on mingw32
587       Allow --cpu= to work for x86.
588       configure: pass original arguments through to make dist
589       Fix builds without runtime CPU detection
590       msvs: fix install of codec sources
591       msvs: Change devenv.com command line for better msys support
592       msvs: Add vs9 targets.
593       Add x86_64-linux-icc target
594   - Bugs:
595       Potential crashes on older MinGW builds
596       Fix two-pass framrate for Y4M input.
597       Fixed simple loop filter, other crashes on ARM v6
598       arm: fix missing dependency with --enable-shared
599       configure: support directories containing .o
600       Replace pinsrw (SSE) with MMX instructions
601       apple: include proper mach primatives
602       Fixed rate control bug with long key frame interval.
603       Fix DSO link errors on x86-64 when not using a version script
604       Fixed buffer selection for UV in AltRef filtering
605
606
607 2010-06-17 v0.9.1
608   - Enhancements:
609       * ivfenc/ivfdec now support YUV4MPEG2 input and pipe I/O
610       * Speed optimizations
611   - Bugfixes:
612       * Rate control
613       * Prevent out-of-bounds accesses on invalid data
614   - Build system updates:
615       * Detect toolchain to be used automatically for native builds
616       * Support building shared libraries
617       * Better autotools emulation (--prefix, --libdir, DESTDIR)
618   - Updated LICENSE
619       * http://webmproject.blogspot.com/2010/06/changes-to-webm-open-source-license.html
620
621
622 2010-05-18 v0.9.0
623   - Initial open source release. Welcome to WebM and VP8!
624