Merge "vp9/10: fix forced keyframes w/alt-refs enabled"
[platform/upstream/libvpx.git] / CHANGELOG
1 Next Release
2   - Incompatible changes:
3     The VP9 encoder's default keyframe interval changed to 128 from 9999.
4
5 2015-11-09 v1.5.0 "Javan Whistling Duck"
6   This release improves upon the VP9 encoder and speeds up the encoding and
7   decoding processes.
8
9   - Upgrading:
10     This release is ABI incompatible with 1.4.0. It drops deprecated VP8
11     controls and adds a variety of VP9 controls for testing.
12
13     The vpxenc utility now prefers VP9 by default.
14
15   - Enhancements:
16     Faster VP9 encoding and decoding
17     Smaller library size by combining functions used by VP8 and VP9
18
19   - Bug Fixes:
20     A variety of fuzzing issues
21
22 2015-04-03 v1.4.0 "Indian Runner Duck"
23   This release includes significant improvements to the VP9 codec.
24
25   - Upgrading:
26     This release is ABI incompatible with 1.3.0. It drops the compatibility
27     layer, requiring VPX_IMG_FMT_* instead of IMG_FMT_*, and adds several codec
28     controls for VP9.
29
30   - Enhancements:
31     Faster VP9 encoding and decoding
32     Multithreaded VP9 decoding (tile and frame-based)
33     Multithreaded VP9 encoding - on by default
34     YUV 4:2:2 and 4:4:4 support in VP9
35     10 and 12bit support in VP9
36     64bit ARM support by replacing ARM assembly with intrinsics
37
38   - Bug Fixes:
39     Fixes a VP9 bitstream issue in Profile 1. This only affected non-YUV 4:2:0
40     files.
41
42   - Known Issues:
43     Frame Parallel decoding fails for segmented and non-420 files.
44
45 2013-11-15 v1.3.0 "Forest"
46   This release introduces the VP9 codec in a backward-compatible way.
47   All existing users of VP8 can continue to use the library without
48   modification. However, some VP8 options do not map to VP9 in the same manner.
49
50   The VP9 encoder in this release is not feature complete. Users interested in
51   the encoder are advised to use the git master branch and discuss issues on
52   libvpx mailing lists.
53
54   - Upgrading:
55     This release is ABI and API compatible with Duclair (v1.0.0). Users
56     of older releases should refer to the Upgrading notes in this document
57     for that release.
58
59   - Enhancements:
60       Get rid of bashisms in the main build scripts
61       Added usage info on command line options
62       Add lossless compression mode
63       Dll build of libvpx
64       Add additional Mac OS X targets: 10.7, 10.8 and 10.9 (darwin11-13)
65       Add option to disable documentation
66       configure: add --enable-external-build support
67       make: support V=1 as short form of verbose=yes
68       configure: support mingw-w64
69       configure: support hardfloat armv7 CHOSTS
70       configure: add support for android x86
71       Add estimated completion time to vpxenc
72       Don't exit on decode errors in vpxenc
73       vpxenc: support scaling prior to encoding
74       vpxdec: support scaling output
75       vpxenc: improve progress indicators with --skip
76       msvs: Don't link to winmm.lib
77       Add a new script for producing vcxproj files
78       Produce Visual Studio 10 and 11 project files
79       Produce Windows Phone project files
80       msvs-build: use msbuild for vs >= 2005
81       configure: default configure log to config.log
82       Add encoding option --static-thresh
83
84   - Speed:
85       Miscellaneous speed optimizations for VP8 and VP9.
86
87   - Quality:
88       In general, quality is consistent with the Eider release.
89
90   - Bug Fixes:
91       This release represents approximately a year of engineering effort,
92       and contains multiple bug fixes. Please refer to git history for details.
93
94
95 2012-12-21 v1.2.0
96   This release acts as a checkpoint for a large amount of internal refactoring
97   and testing. It also contains a number of small bugfixes, so all users are
98   encouraged to upgrade.
99
100   - Upgrading:
101     This release is ABI and API compatible with Duclair (v1.0.0). Users
102     of older releases should refer to the Upgrading notes in this
103     document for that release.
104
105   - Enhancements:
106       VP8 optimizations for MIPS dspr2
107       vpxenc: add -quiet option
108
109   - Speed:
110       Encoder and decoder speed is consistent with the Eider release.
111
112   - Quality:
113       In general, quality is consistent with the Eider release.
114
115       Minor tweaks to ARNR filtering
116       Minor improvements to real time encoding with multiple temporal layers
117
118   - Bug Fixes:
119       Fixes multithreaded encoder race condition in loopfilter
120       Fixes multi-resolution threaded encoding
121       Fix potential encoder dead-lock after picture resize
122
123
124 2012-05-09 v1.1.0 "Eider"
125   This introduces a number of enhancements, mostly focused on real-time
126   encoding. In addition, it fixes a decoder bug (first introduced in
127   Duclair) so all users of that release are encouraged to upgrade.
128
129   - Upgrading:
130     This release is ABI and API compatible with Duclair (v1.0.0). Users
131     of older releases should refer to the Upgrading notes in this
132     document for that release.
133
134     This release introduces a new temporal denoiser, controlled by the
135     VP8E_SET_NOISE_SENSITIVITY control. The temporal denoiser does not
136     currently take a strength parameter, so the control is effectively
137     a boolean - zero (off) or non-zero (on). For compatibility with
138     existing applications, the values accepted are the same as those
139     for the spatial denoiser (0-6). The temporal denoiser is enabled
140     by default, and the older spatial denoiser may be restored by
141     configuring with --disable-temporal-denoising. The temporal denoiser
142     is more computationally intensive than the spatial one.
143
144     This release removes support for a legacy, decode only API that was
145     supported, but deprecated, at the initial release of libvpx
146     (v0.9.0). This is not expected to have any impact. If you are
147     impacted, you can apply a reversion to commit 2bf8fb58 locally.
148     Please update to the latest libvpx API if you are affected.
149
150   - Enhancements:
151       Adds a motion compensated temporal denoiser to the encoder, which
152       gives higher quality than the older spatial denoiser. (See above
153       for notes on upgrading).
154
155       In addition, support for new compilers and platforms were added,
156       including:
157         improved support for XCode
158         Android x86 NDK build
159         OS/2 support
160         SunCC support
161
162       Changing resolution with vpx_codec_enc_config_set() is now
163       supported. Previously, reinitializing the codec was required to
164       change the input resolution.
165
166       The vpxenc application has initial support for producing multiple
167       encodes from the same input in one call. Resizing is not yet
168       supported, but varying other codec parameters is. Use -- to
169       delineate output streams. Options persist from one stream to the
170       next.
171
172       Also, the vpxenc application will now use a keyframe interval of
173       5 seconds by default. Use the --kf-max-dist option to override.
174
175   - Speed:
176       Decoder performance improved 2.5% versus Duclair. Encoder speed is
177       consistent with Duclair for most material. Two pass encoding of
178       slideshow-like material will see significant improvements.
179
180       Large realtime encoding speed gains at a small quality expense are
181       possible by configuring the on-the-fly bitpacking experiment with
182       --enable-onthefly-bitpacking. Realtime encoder can be up to 13%
183       faster (ARM) depending on the number of threads and bitrate
184       settings. This technique sees constant gain over the 5-16 speed
185       range. For VC style input the loss seen is up to 0.2dB. See commit
186       52cf4dca for further details.
187
188   - Quality:
189       On the whole, quality is consistent with the Duclair release. Some
190       tweaks:
191
192         Reduced blockiness in easy sections by applying a penalty to
193         intra modes.
194
195         Improved quality of static sections (like slideshows) with
196         two pass encoding.
197
198         Improved keyframe sizing with multiple temporal layers
199
200   - Bug Fixes:
201       Corrected alt-ref contribution to frame rate for visible updates
202       to the alt-ref buffer. This affected applications making manual
203       usage of the frame reference flags, or temporal layers.
204
205       Additional constraints were added to disable multi-frame quality
206       enhancement (MFQE) in sections of the frame where there is motion.
207       (#392)
208
209       Fixed corruption issues when vpx_codec_enc_config_set() was called
210       with spatial resampling enabled.
211
212       Fixed a decoder error introduced in Duclair where the segmentation
213       map was not being reinitialized on keyframes (#378)
214
215
216 2012-01-27 v1.0.0 "Duclair"
217   Our fourth named release, focused on performance and features related to
218   real-time encoding. It also fixes a decoder crash bug introduced in
219   v0.9.7, so all users of that release are encouraged to upgrade.
220
221   - Upgrading:
222       This release is ABI incompatible with prior releases of libvpx, so the
223       "major" version number has been bumped to 1. You must recompile your
224       applications against the latest version of the libvpx headers. The
225       API remains compatible, and this should not require code changes in most
226       applications.
227
228   - Enhancements:
229       This release introduces several substantial new features to the encoder,
230       of particular interest to real time streaming applications.
231
232       Temporal scalability allows the encoder to produce a stream that can
233       be decimated to different frame rates, with independent rate targetting
234       for each substream.
235
236       Multiframe quality enhancement postprocessing can make visual quality
237       more consistent in the presence of frames that are substantially
238       different quality than the surrounding frames, as in the temporal
239       scalability case and in some forced keyframe scenarios.
240
241       Multiple-resolution encoding support allows the encoding of the
242       same content at different resolutions faster than encoding them
243       separately.
244
245   - Speed:
246       Optimization targets for this release included the decoder and the real-
247       time modes of the encoder. Decoder speed on x86 has improved 10.5% with
248       this release. Encoder improvements followed a curve where speeds 1-3
249       improved 4.0%-1.5%, speeds 4-8 improved <1%, and speeds 9-16 improved
250       1.5% to 10.5%, respectively. "Best" mode speed is consistent with the
251       Cayuga release.
252
253   - Quality:
254       Encoder quality in the single stream case is consistent with the Cayuga
255       release.
256
257   - Bug Fixes:
258       This release fixes an OOB read decoder crash bug present in v0.9.7
259       related to the clamping of motion vectors in SPLITMV blocks. This
260       behavior could be triggered by corrupt input or by starting
261       decoding from a P-frame.
262
263
264 2011-08-15 v0.9.7-p1 "Cayuga" patch 1
265   This is an incremental bugfix release against Cayuga. All users of that
266   release are strongly encouraged to upgrade.
267
268     - Fix potential OOB reads (cdae03a)
269
270           An unbounded out of bounds read was discovered when the
271           decoder was requested to perform error concealment (new in
272           Cayuga) given a frame with corrupt partition sizes.
273
274           A bounded out of bounds read was discovered affecting all
275           versions of libvpx. Given an multipartition input frame that
276           is truncated between the mode/mv partition and the first
277           residiual paritition (in the block of partition offsets), up
278           to 3 extra bytes could have been read from the source buffer.
279           The code will not take any action regardless of the contents
280           of these undefined bytes, as the truncated buffer is detected
281           immediately following the read based on the calculated
282           starting position of the coefficient partition.
283
284     - Fix potential error concealment crash when the very first frame
285       is missing or corrupt (a609be5)
286
287     - Fix significant artifacts in error concealment (a4c2211, 99d870a)
288
289     - Revert 1-pass CBR rate control changes (e961317)
290       Further testing showed this change produced undesirable visual
291       artifacts, rolling back for now.
292
293
294 2011-08-02 v0.9.7 "Cayuga"
295   Our third named release, focused on a faster, higher quality, encoder.
296
297   - Upgrading:
298     This release is backwards compatible with Aylesbury (v0.9.5) and
299     Bali (v0.9.6). Users of older releases should refer to the Upgrading
300     notes in this document for that release.
301
302   - Enhancements:
303           Stereo 3D format support for vpxenc
304           Runtime detection of available processor cores.
305           Allow specifying --end-usage by enum name
306           vpxdec: test for frame corruption
307           vpxenc: add quantizer histogram display
308           vpxenc: add rate histogram display
309           Set VPX_FRAME_IS_DROPPABLE
310           update configure for ios sdk 4.3
311           Avoid text relocations in ARM vp8 decoder
312           Generate a vpx.pc file for pkg-config.
313           New ways of passing encoded data between encoder and decoder.
314
315   - Speed:
316       This release includes across-the-board speed improvements to the
317       encoder. On x86, these measure at approximately 11.5% in Best mode,
318       21.5% in Good mode (speed 0), and 22.5% in Realtime mode (speed 6).
319       On ARM Cortex A9 with Neon extensions, real-time encoding of video
320       telephony content is 35% faster than Bali on single core and 48%
321       faster on multi-core. On the NVidia Tegra2 platform, real time
322       encoding is 40% faster than Bali.
323
324       Decoder speed was not a priority for this release, but improved
325       approximately 8.4% on x86.
326
327           Reduce motion vector search on alt-ref frame.
328           Encoder loopfilter running in its own thread
329           Reworked loopfilter to precalculate more parameters
330           SSE2/SSSE3 optimizations for build_predictors_mbuv{,_s}().
331           Make hor UV predict ~2x faster (73 vs 132 cycles) using SSSE3.
332           Removed redundant checks
333           Reduced structure sizes
334           utilize preload in ARMv6 MC/LPF/Copy routines
335           ARM optimized quantization, dfct, variance, subtract
336           Increase chrow row alignment to 16 bytes.
337           disable trellis optimization for first pass
338           Write SSSE3 sub-pixel filter function
339           Improve SSE2 half-pixel filter funtions
340           Add vp8_sub_pixel_variance16x8_ssse3 function
341           Reduce unnecessary distortion computation
342           Use diamond search to replace full search
343           Preload reference area in sub-pixel motion search (real-time mode)
344
345   - Quality:
346       This release focused primarily on one-pass use cases, including
347       video conferencing. Low latency data rate control was significantly
348       improved, improving streamability over bandwidth constrained links.
349       Added support for error concealment, allowing frames to maintain
350       visual quality in the presence of substantial packet loss.
351
352           Add rc_max_intra_bitrate_pct control
353           Limit size of initial keyframe in one-pass.
354           Improve framerate adaptation
355           Improved 1-pass CBR rate control
356           Improved KF insertion after fades to still.
357           Improved key frame detection.
358           Improved activity masking (lower PSNR impact for same SSIM boost)
359           Improved interaction between GF and ARFs
360           Adding error-concealment to the decoder.
361           Adding support for independent partitions
362           Adjusted rate-distortion constants
363
364
365   - Bug Fixes:
366           Removed firstpass motion map
367           Fix parallel make install
368           Fix multithreaded encoding for 1 MB wide frame
369           Fixed iwalsh_neon build problems with RVDS4.1
370           Fix semaphore emulation, spin-wait intrinsics on Windows
371           Fix build with xcode4 and simplify GLOBAL.
372           Mark ARM asm objects as allowing a non-executable stack.
373           Fix vpxenc encoding incorrect webm file header on big endian
374
375
376 2011-03-07 v0.9.6 "Bali"
377   Our second named release, focused on a faster, higher quality, encoder.
378
379   - Upgrading:
380     This release is backwards compatible with Aylesbury (v0.9.5). Users
381     of older releases should refer to the Upgrading notes in this
382     document for that release.
383
384   - Enhancements:
385       vpxenc --psnr shows a summary when encode completes
386       --tune=ssim option to enable activity masking
387       improved postproc visualizations for development
388       updated support for Apple iOS to SDK 4.2
389       query decoder to determine which reference frames were updated
390       implemented error tracking in the decoder
391       fix pipe support on windows
392
393   - Speed:
394       Primary focus was on good quality mode, speed 0. Average improvement
395       on x86 about 40%, up to 100% on user-generated content at that speed.
396       Best quality mode speed improved 35%, and realtime speed 10-20%. This
397       release also saw significant improvement in realtime encoding speed
398       on ARM platforms.
399
400         Improved encoder threading
401         Dont pick encoder filter level when loopfilter is disabled.
402         Avoid double copying of key frames into alt and golden buffer
403         FDCT optimizations.
404         x86 sse2 temporal filter
405         SSSE3 version of fast quantizer
406         vp8_rd_pick_best_mbsegmentation code restructure
407         Adjusted breakout RD for SPLITMV
408         Changed segmentation check order
409         Improved rd_pick_intra4x4block
410         Adds armv6 optimized variance calculation
411         ARMv6 optimized sad16x16
412         ARMv6 optimized half pixel variance calculations
413         Full search SAD function optimization in SSE4.1
414         Improve MV prediction accuracy to achieve performance gain
415         Improve MV prediction in vp8_pick_inter_mode() for speed>3
416
417   - Quality:
418       Best quality mode improved PSNR 6.3%, and SSIM 6.1%. This release
419       also includes support for "activity masking," which greatly improves
420       SSIM at the expense of PSNR. For now, this feature is available with
421       the --tune=ssim option. Further experimentation in this area
422       is ongoing. This release also introduces a new rate control mode
423       called "CQ," which changes the allocation of bits within a clip to
424       the sections where they will have the most visual impact.
425
426         Tuning for the more exact quantizer.
427         Relax rate control for last few frames
428         CQ Mode
429         Limit key frame quantizer for forced key frames.
430         KF/GF Pulsing
431         Add simple version of activity masking.
432         make rdmult adaptive for intra in quantizer RDO
433         cap the best quantizer for 2nd order DC
434         change the threshold of DC check for encode breakout
435
436   - Bug Fixes:
437       Fix crash on Sparc Solaris.
438       Fix counter of fixed keyframe distance
439       ARNR filter pointer update bug fix
440       Fixed use of motion percentage in KF/GF group calc
441       Changed condition for using RD in Intra Mode
442       Fix encoder real-time only configuration.
443       Fix ARM encoder crash with multiple token partitions
444       Fixed bug first cluster timecode of webm file is wrong.
445       Fixed various encoder bugs with odd-sized images
446       vp8e_get_preview fixed when spatial resampling enabled
447       quantizer: fix assertion in fast quantizer path
448       Allocate source buffers to be multiples of 16
449       Fix for manual Golden frame frequency
450       Fix drastic undershoot in long form content
451
452
453 2010-10-28 v0.9.5 "Aylesbury"
454   Our first named release, focused on a faster decoder, and a better encoder.
455
456   - Upgrading:
457     This release incorporates backwards-incompatible changes to the
458     ivfenc and ivfdec tools. These tools are now called vpxenc and vpxdec.
459
460     vpxdec
461       * the -q (quiet) option has been removed, and replaced with
462         -v (verbose). the output is quiet by default. Use -v to see
463         the version number of the binary.
464
465       * The default behavior is now to write output to a single file
466         instead of individual frames. The -y option has been removed.
467         Y4M output is the default.
468
469       * For raw I420/YV12 output instead of Y4M, the --i420 or --yv12
470         options must be specified.
471
472           $ ivfdec -o OUTPUT INPUT
473           $ vpxdec --i420 -o OUTPUT INPUT
474
475       * If an output file is not specified, the default is to write
476         Y4M to stdout. This makes piping more natural.
477
478           $ ivfdec -y -o - INPUT | ...
479           $ vpxdec INPUT | ...
480
481       * The output file has additional flexibility for formatting the
482         filename. It supports escape characters for constructing a
483         filename from the width, height, and sequence number. This
484         replaces the -p option. To get the equivalent:
485
486           $ ivfdec -p frame INPUT
487           $ vpxdec --i420 -o frame-%wx%h-%4.i420 INPUT
488
489     vpxenc
490       * The output file must be specified with -o, rather than as the
491         last argument.
492
493           $ ivfenc <options> INPUT OUTPUT
494           $ vpxenc <options> -o OUTPUT INPUT
495
496       * The output defaults to webm. To get IVF output, use the --ivf
497         option.
498
499           $ ivfenc <options> INPUT OUTPUT.ivf
500           $ vpxenc <options> -o OUTPUT.ivf --ivf INPUT
501
502
503   - Enhancements:
504       ivfenc and ivfdec have been renamed to vpxenc, vpxdec.
505       vpxdec supports .webm input
506       vpxdec writes .y4m by default
507       vpxenc writes .webm output by default
508       vpxenc --psnr now shows the average/overall PSNR at the end
509       ARM platforms now support runtime cpu detection
510       vpxdec visualizations added for motion vectors, block modes, references
511       vpxdec now silent by default
512       vpxdec --progress shows frame-by-frame timing information
513       vpxenc supports the distinction between --fps and --timebase
514       NASM is now a supported assembler
515       configure: enable PIC for shared libs by default
516       configure: add --enable-small
517       configure: support for ppc32-linux-gcc
518       configure: support for sparc-solaris-gcc
519
520   - Bugs:
521       Improve handling of invalid frames
522       Fix valgrind errors in the NEON loop filters.
523       Fix loopfilter delta zero transitions
524       Fix valgrind errors in vp8_sixtap_predict8x4_armv6().
525       Build fixes for darwin-icc
526
527   - Speed:
528       20-40% (average 28%) improvement in libvpx decoder speed,
529       including:
530         Rewrite vp8_short_walsh4x4_sse2()
531         Optimizations on the loopfilters.
532         Miscellaneous improvements for Atom
533         Add 4-tap version of 2nd-pass ARMv6 MC filter.
534         Improved multithread utilization
535         Better instruction choices on x86
536         reorder data to use wider instructions
537         Update NEON wide idcts
538         Make block access to frame buffer sequential
539         Improved subset block search
540         Bilinear subpixel optimizations for ssse3.
541         Decrease memory footprint
542
543       Encoder speed improvements (percentage gain not measured):
544         Skip unnecessary search of identical frames
545         Add SSE2 subtract functions
546         Improve bounds checking in vp8_diamond_search_sadx4()
547         Added vp8_fast_quantize_b_sse2
548
549   - Quality:
550       Over 7% overall PSNR improvement (6.3% SSIM) in "best" quality
551       encoding mode, and up to 60% improvement on very noisy, still
552       or slow moving source video
553
554         Motion compensated temporal filter for Alt-Ref Noise Reduction
555         Improved use of trellis quantization on 2nd order Y blocks
556         Tune effect of motion on KF/GF boost in two pass
557         Allow coefficient optimization for good quality speed 0.
558         Improved control of active min quantizer for two pass.
559         Enable ARFs for non-lagged compress
560
561 2010-09-02 v0.9.2
562   - Enhancements:
563       Disable frame dropping by default
564       Improved multithreaded performance
565       Improved Force Key Frame Behaviour
566       Increased rate control buffer level precision
567       Fix bug in 1st pass motion compensation
568       ivfenc: correct fixed kf interval, --disable-kf
569   - Speed:
570       Changed above and left context data layout
571       Rework idct calling structure.
572       Removed unnecessary MB_MODE_INFO copies
573       x86: SSSE3 sixtap prediction
574       Reworked IDCT to include reconstruction (add) step
575       Swap alt/gold/new/last frame buffer ptrs instead of copying.
576       Improve SSE2 loopfilter functions
577       Change bitreader to use a larger window.
578       Avoid loopfilter reinitialization when possible
579   - Quality:
580       Normalize quantizer's zero bin and rounding factors
581       Add trellis quantization.
582       Make the quantizer exact.
583       Updates to ARNR filtering algorithm
584       Fix breakout thresh computation for golden & AltRef frames
585       Redo the forward 4x4 dct
586       Improve the accuracy of forward walsh-hadamard transform
587       Further adjustment of RD behaviour with Q and Zbin.
588   - Build System:
589       Allow linking of libs built with MinGW to MSVC
590       Fix target auto-detection on mingw32
591       Allow --cpu= to work for x86.
592       configure: pass original arguments through to make dist
593       Fix builds without runtime CPU detection
594       msvs: fix install of codec sources
595       msvs: Change devenv.com command line for better msys support
596       msvs: Add vs9 targets.
597       Add x86_64-linux-icc target
598   - Bugs:
599       Potential crashes on older MinGW builds
600       Fix two-pass framrate for Y4M input.
601       Fixed simple loop filter, other crashes on ARM v6
602       arm: fix missing dependency with --enable-shared
603       configure: support directories containing .o
604       Replace pinsrw (SSE) with MMX instructions
605       apple: include proper mach primatives
606       Fixed rate control bug with long key frame interval.
607       Fix DSO link errors on x86-64 when not using a version script
608       Fixed buffer selection for UV in AltRef filtering
609
610
611 2010-06-17 v0.9.1
612   - Enhancements:
613       * ivfenc/ivfdec now support YUV4MPEG2 input and pipe I/O
614       * Speed optimizations
615   - Bugfixes:
616       * Rate control
617       * Prevent out-of-bounds accesses on invalid data
618   - Build system updates:
619       * Detect toolchain to be used automatically for native builds
620       * Support building shared libraries
621       * Better autotools emulation (--prefix, --libdir, DESTDIR)
622   - Updated LICENSE
623       * http://webmproject.blogspot.com/2010/06/changes-to-webm-open-source-license.html
624
625
626 2010-05-18 v0.9.0
627   - Initial open source release. Welcome to WebM and VP8!
628