jpeg2000: Use bytestream2

Prevent a number of overreads.

Found-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
Signed-off-by: Luca Barbato <lu_zero@gentoo.org>

jpeg2000: Clean up return paths and error messages

Signed-off-by: Luca Barbato <lu_zero@gentoo.org>

jpeg2000: Define the maximum decomposition levels

And define the resolution levels according.

Signed-off-by: Luca Barbato <lu_zero@gentoo.org>

jpeg2000: Check code-block size

Signed-off-by: Luca Barbato <lu_zero@gentoo.org>
Signed-off-by: Nicolas Bertrand <nicoinattendu@gmail.com>
Signed-off-by: Luca Barbato <lu_zero@gentoo.org>

jpeg2000: Validate resolution levels

There are 32 maximum decomposition levels, thus 33 resolution levels.

Signed-off-by: Luca Barbato <lu_zero@gentoo.org>

oggdec: do not fall back on binary search in the generic code.

Binary search is already attempted in the format-specific seek function,
so the fallback is only reached if binary search failed already.

lls/x86: use 3-operator vaddpd in ADDPD_MEM

Fixes build with yasm-1.1

Signed-off-by: Anton Khirnov <anton@khirnov.net>

Revert "indeo5: reject negative motion vectors"

Negative motion vectors are possible.

This reverts commit 1194a410807bac3eafbeb632578b937656d273e7.

indeo: check for reference when inheriting mvs

The same is done already for qdelta.

Reported-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

indeo5: reject negative motion vectors

Reported-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

indeo: use proper error code

indeo: Properly forward the error codes

If the tile data size does not match the buffer size it did not
return an AVERROR_INVALIDDATA causing futher corruption later.

Reported-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

x86: lpc: fix a segfault in av_evaluate_lls_sse2()

mjpeg: Check the unescaped size for overflows

And contextually check init_get_bits success and fix the reporting
message.

Reported-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

mjpeg: Move code out of else branch

Simplify the control flow and spare some vertical space.

avconv: Don't include colorspace.h

The header is private, and avconv.c doesn't use it
for anything.

Signed-off-by: Derek Buitenhuis <derek.buitenhuis@gmail.com>

wmapro: error out on impossible scale factor offsets

Reported-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

wmapro: check the min_samples_per_subframe

Must be at least WMAPRO_BLOCK_MIN_SIZE.

Reported-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

pictor: use the correct logging context

Broken in 6d97484d72e33f7dde9493a9ead1a72e2f029605

lpc: use levinson for the first pass of multipass cholesky

Levinson is faster, and cholesky is only needed if we want to apply different
weights to different samples, which doesn't happen on the first pass.

Signed-off-by: Luca Barbato <lu_zero@gentoo.org>

x86: lpc: simd av_evaluate_lls

1.5x-1.8x faster on sandybridge

Signed-off-by: Luca Barbato <lu_zero@gentoo.org>

x86: lpc: simd av_update_lls

4x-6x faster on sandybridge

Signed-off-by: Luca Barbato <lu_zero@gentoo.org>

lpc: use function pointers, in preparation for asm

Signed-off-by: Luca Barbato <lu_zero@gentoo.org>

lpc: remove "decay" argument

We never used the rolling-average mode, and this makes av_update_lls 15% faster.

Signed-off-by: Luca Barbato <lu_zero@gentoo.org>

wmapro: check num_vec_coeffs against the actual available buffer

Prevent yet another buffer overwrite.

Reported-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

wmapro: return early on unsupported condition

Reported-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

wmapro: make sure there is room to store the current packet

Prevent horrid and hard to trace struct overwrite.

Reported-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

lavc: move put_bits_left in put_bits.h

aac: return meaningful errors

aac: K&R formatting cosmetics

configure: Do not omit frame pointers for msvc/icl debug builds

Because O1 or O2 are required to build libav with msvc/icl, this must be
explicitly set instead of just omitting Oy.

Signed-off-by: Derek Buitenhuis <derek.buitenhuis@gmail.com>

configure: Do not explicitly set Oy for msvc/icl

It is implied by O1 or O2, both of which are required to build libav
with msvc/icl.  Silences warnings when targeting x64 with icl.

Signed-off-by: Derek Buitenhuis <derek.buitenhuis@gmail.com>

fate: Add Canopus Lossless YUY2 test

Signed-off-by: Derek Buitenhuis <derek.buitenhuis@gmail.com>

cllc: Use outbuf in RGB and ARGB functions

Signed-off-by: Derek Buitenhuis <derek.buitenhuis@gmail.com>

cllc: Implement YUV support

Signed-off-by: Derek Buitenhuis <derek.buitenhuis@gmail.com>

doc/platform: Add info about ICL

Signed-off-by: Derek Buitenhuis <derek.buitenhuis@gmail.com>

lavf: don't abort if both encoder and muxer aspect ratios are not set

Signed-off-by: Anton Khirnov <anton@khirnov.net>

matroskaenc: restore compatibility with non referenced AVPacket

Signed-off-by: Anton Khirnov <anton@khirnov.net>

lavc: Add option to encode MPEG-2 AAC with libfdk-aac

Signed-off-by: Anton Khirnov <anton@khirnov.net>

configure: whitespace cosmetics

configure: Simplify an expression with enabled_all.

configure: More msvc/icl combining

Signed-off-by: Derek Buitenhuis <derek.buitenhuis@gmail.com>

ogg: relax demuxer conformance checks

Some samples in the wild are missing headers that are expected by the
specification but in practice do not affect decoding.

avconv: report the error for codec open failure

External codec may have corner case reason to fail at init, better
report them instead having the user wonder.

avconv: drop additional strerror fallback

strerror_r is called by av_strerror already.

lavc: free the padded last frame during audio encoding properly

vsrc_movie: do not free avoption variables in uninit()

The generic code frees them as well. Since av_free was used to free them
instead of av_freep, this would result in a double free.

configure: Remove unneeded icl inline compatibility definition

Signed-off-by: Martin Storsjö <martin@martin.st>

lavfi: switch ff_default_get_audio_buffer() to av_frame_get_buffer()

This simplifies the code and avoids using libavcodec-specific
avcodec_fill_audio_frame().

lavfi: math typo in interlace filter

Signed-off-by: Luca Barbato <lu_zero@gentoo.org>

smacker: check frame size validity

Reported-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org
Signed-off-by: Luca Barbato <lu_zero@gentoo.org>

smacker: pad the extradata allocation

Reported-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org
Signed-off-by: Luca Barbato <lu_zero@gentoo.org>

smacker: check the return value of smacker_decode_tree

Also prevent a memory leak.

Reported-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org
Signed-off-by: Luca Barbato <lu_zero@gentoo.org>

smacker: fix an off by one in huff.length computation

Reported-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org
Signed-off-by: Luca Barbato <lu_zero@gentoo.org>

utils: fix avcodec_flush_buffers pre-reference counting compatibility

The to_free AVframe must be freed just like the other ones.
Indeed, the calling application may expect all frames to be
released.

(This regression caused use-after-free in VLC with hwaccel.)

Signed-off-by: Rémi Denis-Courmont <remi@remlab.net>
Signed-off-by: Luca Barbato <lu_zero@gentoo.org>

avf: move url utility functions in a separate file

avf: move ff_write_chained to mux.c

avf: move riff tags accessors where they belong

avf: move ff_http_match_no_proxy to network

It is only used by network protocols.

avf: split off format register and lookup function

bitstream: forward error values and drop few abort()

bitstream: K&R formatting cosmetics

h264_mp4toannexb_bsf: return a padded buffer

The code using the returned buffer might expect it to be
FF_INPUT_BUFFER_PADDING_SIZE padded as any other avpacket.

h264_mp4toannexb_bsf: factor out extradata parsing

h264_mp4toannexb_bsf: K&R formatting cosmetics

4xm: check bitstream_size boundary before using it

Prevent buffer overread.

Reported-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

4xm: refactor decode_p_block

Directly return from code 1, 2 and 6 codepaths and simplify the
remaining one to have a single overflow check and a single call to
mcdc.

4xm: do not overread the source buffer in decode_p_block

Check for out of picture macroblocks before calling mcdc.

Reported-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

4xm: do not overread the prestream buffer

Reported-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

4xm: validate the buffer size before parsing it

Reported-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

4xm: reject frames not compatible with the declared version

Reported-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

4xm: drop pointless assert

Make sure the value of wlog2 is always between 0 and 3.

4xm: forward errors from decode_p_block

Partially mitigate out of memory writes.

Reported-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

4xm: fold last_picture lazy allocation in decode_p_frame

4xm: do not overread while parsing header

Reported-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

4xm: refactor fourxm_read_header

Split sound and video tag parsing in separate functions.

4xm: K&R formatting cosmetics

4xm: use the correct logging context

g2meet: Fix a typo in the height comparison

Signed-off-by: Martin Storsjö <martin@martin.st>

g2meet: do not leak buffers

g2meet: more graceful cursor loading

g2meet: reset dimensions on header parsing errors

lavc: add a libwavpack encoder wrapper

lavc: use AVFrame API properly in pad_last_frame().

This also simplifies the code.

matroskadec: introduce resync function.

This allows handling matroska files with errors.
Fixes test4.mkv and test7.mkv from the official Matroska test suite,
and by extension Bugzilla #62.

Based on a patch by Reimar Doffinger <Reimar.Doeffinger@gmx.de>

Signed-off-by: Anton Khirnov <anton@khirnov.net>

configure: Don't add -fPIC on windows targets

This avoids warnings about this option not having any effect on
this platform.

We still want to enable the pic configure item for these platforms
(if detected via the compiler builtin define __PIC__) to get proper
inline assembly workarounds.

Signed-off-by: Martin Storsjö <martin@martin.st>

configure: Don't explicitly disable PIC for windows targets

This reverts e08c946c6 and 05165c2f7a. The actual intention of
e08c946c6 was to fix shared library builds for arm/win32, which
can also be accomplished in other ways.

Disabling pic on those platforms broke inline assembly on cygwin/64
(since some inline assembly requires knowing whether we are building
as PIC or not), and might also break inline assembly on other
compilers on windows.

As a side-effect, this unfortunately brings back all the warnings
about PIC not having any effect on that platform.

Signed-off-by: Martin Storsjö <martin@martin.st>

configure: arm: Don't try to enable pic for shared libraries on win32

The object file format doesn't support PIC loads in ARM assembly,
there are no relocation types in PE/COFF that correspond to
BFD_RELOC_32_PCREL (R_ARM_REL32 in ELF).

Signed-off-by: Martin Storsjö <martin@martin.st>

utvideodec: Set colorspace by codec_tag.

Signed-off-by: Kostya Shishkov <kostya.shishkov@gmail.com>

riff: Support ULH0 and ULH2 fourccs.

Signed-off-by: Kostya Shishkov <kostya.shishkov@gmail.com>

utvideodec: Support ULH0 and ULH2 formats.

Signed-off-by: Kostya Shishkov <kostya.shishkov@gmail.com>

faxcompr: return meaningful errors

And optionally forward them to the caller instead of concealing them.

Unify err and ret in a single variable.

faxcompr: K&R formatting cosmetics

tiff: do not overread the source buffer

At least 2 bytes from the source are read every loop.

Reported-by: Mateusz "j00ru" Jurczyk and Gynvael Coldwind
CC: libav-stable@libav.org

tiff: cleanup the error paths

Return the proper error values and optionally report them.

tiff: refactor fax support in a separate function

tiff: refactor deflate support in a separate function

Report when zlib support is missing.

h264_parser: K&R formatting cosmetics

vorbis: return meaningful errors

rtpdec: Fix the alphabetical ordering in registering depacketizers

Signed-off-by: Martin Storsjö <martin@martin.st>