smacker: validate channels and sample format.

smacker: check buffer size before reading output size

smacker: validate number of channels

smacker: Separate audio flags from sample rates in smacker demuxer.

Makes the code easier to understand.

h264: fix detection of optional trailing PPS elements

The PPS may contain a few trailing elements whose presence is
only signalled by data remaining after the the mandatory part
has been parsed.  The current code fails to take into account
the rbsp_trailing_bits() when deciding whether to parse these
optional elements.  Assuming no unnecessary padding bytes are
passed to this function, the optional elements are present if
either more than 8 extra bits remain or the remaining bits do
not form a valid rbsp_trailing_bits() after the mandatory PPS
elements have been parsed.

Signed-off-by: Mans Rullgard <mans@mansr.com>

sipr: fix get_bits(0) calls

Zero-length get_bits() is undefined, must check before calling.

Signed-off-by: Mans Rullgard <mans@mansr.com>

motion_est: make MotionExtContext.map_generation unsigned

The way this value is used, it should be an unsigned type.
While the numerical value has no meaning, unsigned wraparound
is relied upon.

Signed-off-by: Mans Rullgard <mans@mansr.com>

h264: reset h->ref_count in case of errors in ff_h264_decode_ref_pic_list_reordering()

Signed-off-by: Janne Grunau <janne-libav@jannau.net>

error_resilience: fix the check for missing references in ff_er_frame_end() for H264

Signed-off-by: Janne Grunau <janne-libav@jannau.net>

4xm: prevent NULL dereference with invalid huffman table

Signed-off-by: Janne Grunau <janne-libav@jannau.net>

4xmdemux: prevent use of uninitialized memory

Signed-off-by: Janne Grunau <janne-libav@jannau.net>

4xm: clear FF_INPUT_BUFFER_PADDING_SIZE bytes in temporary buffers

Signed-off-by: Janne Grunau <janne-libav@jannau.net>

ptx: check for out of bound reads

Signed-off-by: Janne Grunau <janne-libav@jannau.net>

tiffdec: fix out of bound reads/writes

Signed-off-by: Janne Grunau <janne-libav@jannau.net>

eacmv: check for out of bound reads

Signed-off-by: Janne Grunau <janne-libav@jannau.net>

eacmv: fix potential pointer arithmetic overflows

Signed-off-by: Janne Grunau <janne-libav@jannau.net>

adpcm: fix out of bound reads due to integer overflow

Signed-off-by: Janne Grunau <janne-libav@jannau.net>

anm: prevent infinite loop

Signed-off-by: Janne Grunau <janne-libav@jannau.net>

avsdemux: check for out of bound writes

Signed-off-by: Janne Grunau <janne-libav@jannau.net>

avs: check for out of bound reads

Signed-off-by: Janne Grunau <janne-libav@jannau.net>

avsdemux: check for corrupted data

Signed-off-by: Janne Grunau <janne-libav@jannau.net>

AVOptions: refactor set_number/write_number

write_number() does the actual writing of the supplied
number to destination. Move finding the option and choosing destination
address out of it.

AVOptions: cosmetics, rename static av_set_number2() to write_number().

AVOptions: cosmetics, move and rename static av_set_number().

AVOptions: split av_set_string3 into opt type-specific functions

Also stop attempting to honor the alloc parameter, as things break
horribly in that case.
It will be removed in upcoming successor to av_set_string3.

avidec: fix signed overflow in avi_sync()

Keeping byte values read from the file as unsigned is consistent
with how they are subsequently used and avoids an undefined left
shift by 24 when bit 7 is set.

Signed-off-by: Mans Rullgard <mans@mansr.com>

mxfdec: Fix some buffer overreads caused by the misuse of AVPacket related functions.

dnxhddec: handle cid change in bitstream.

vc1: K&R reformatting cosmetics

Signed-off-by: Diego Biurrun <diego@biurrun.de>

ra288: log an error message when output buffer is too small.

also return AVERROR(EINVAL) instead of -1.

ra288: use a more descriptive calculation for output data size

ra144: use macro constants to make the code more understandable.

ra144dec: log an error message when output buffer is too small.

also return AVERROR(EINVAL) instead of -1.

ra144dec: use a more descriptive calculation for output data size

lavc: Micro version bump for VC1 interlaced decoding support

Signed-off-by: Anton Khirnov <anton@khirnov.net>

vc1dec: interlaced stream decoding support 3/3

Cosmetics: break some lines and reformat TODOs

Signed-off-by: Anton Khirnov <anton@khirnov.net>

vc1dec: interlaced stream decoding support 2/3

Cosmetics: reformat some data tables in vc1data.c

Signed-off-by: Anton Khirnov <anton@khirnov.net>

vc1dec: interlaced stream decoding support 1/3

Signed-off-by: Anton Khirnov <anton@khirnov.net>

vaapi: Fix VC-1 decoding (reconstruct bitstream TTFRM correctly).

Signed-off-by: Diego Biurrun <diego@biurrun.de>

configure: Add -Wstrict-prototypes to CFLAGS if available.

avidec: simplify size parameter in memset()

mpeg4dec: use unsigned type for startcode in ff_mpeg4_decode_picture_header

Signed-off-by: Mans Rullgard <mans@mansr.com>

mpeg124: use sign_extend() function

Signed-off-by: Mans Rullgard <mans@mansr.com>

ac3dec: use get_sbits() instead of manually sign-extending

Signed-off-by: Mans Rullgard <mans@mansr.com>

4xm: fix signed overflow

Signed-off-by: Mans Rullgard <mans@mansr.com>

wmavoice: fix a signed overflow

Signed-off-by: Mans Rullgard <mans@mansr.com>

mpegvideo_enc: fix a signed overflow

Signed-off-by: Mans Rullgard <mans@mansr.com>

crc: fix signed overflow

This fixes a signed overflow from i << 24 when i == 255 by
making i unsigned.  The result of the shift is already
assigned to an variable of unsigned type.

Signed-off-by: Mans Rullgard <mans@mansr.com>

fate: run avconv with -nostats flag

Signed-off-by: Mans Rullgard <mans@mansr.com>

avtools: add -v as alias for -loglevel

This saves a bit of typing.

Signed-off-by: Mans Rullgard <mans@mansr.com>

avconv: always print stats with AV_LOG_INFO

It's now possible to disable printing stats during encoding with
-nostats, so there's no reason to print them differently depending on
whether it's last report or not.

doc/avconv: add forgotten output/per-stream info to -filter

avconv: add -stats option to enable/disable printing encoding progress

avconv: in output_packet() don't set decoded_data_size for video.

It's only used for audio.

avconv: remove pointless always true condition

avconv: factorize common code in transcode_init()

zmbv: remove memcpy() of decoded frame

Signed-off-by: Mans Rullgard <mans@mansr.com>

mpeg12enc: use sign_extend() function

Signed-off-by: Mans Rullgard <mans@mansr.com>

h264pred: use unsigned types for pixel values, fix signed overflows

Signed-off-by: Mans Rullgard <mans@mansr.com>

h264: fix signed overflows in x*0x01010101 expressions

Signed-off-by: Mans Rullgard <mans@mansr.com>

h264pred: remove unused variables

Signed-off-by: Mans Rullgard <mans@mansr.com>

lavf: fix signed overflow in avformat_find_stream_info()

On the first iteration through this code, last_dts is always
INT64_MIN (AV_NOPTS_VALUE) and the subtraction overflows in
an invalid manner.  Although the result is only used if the
input values are valid, performing the subtraction is still
not allowed in a strict environment.

Signed-off-by: Mans Rullgard <mans@mansr.com>

vp8: fix signed overflows

In addition to avoiding undefined behaviour, an unsigned type
makes more sense for packing multiple 8-bit values.

Signed-off-by: Mans Rullgard <mans@mansr.com>

motion_est: fix some signed overflows

Signed-off-by: Mans Rullgard <mans@mansr.com>

dca: fix signed overflow in shift

Signed-off-by: Mans Rullgard <mans@mansr.com>

aacdec: fix undefined shifts

Since nnz can be zero, this is needed to avoid a shift by 32.

Signed-off-by: Mans Rullgard <mans@mansr.com>

bink: Check for various out of bound writes

Signed-off-by: Janne Grunau <janne-libav@jannau.net>

bink: Check for out of bound writes when building tree

Signed-off-by: Janne Grunau <janne-libav@jannau.net>

put_bits: fix invalid shift by 32 in flush_put_bits()

If flush_put_bits() is called when the 32-bit buffer is empty,
e.g. after writing a multiple of 32 bits, and invalid shift by
32 is performed.  Since flush_put_bits() is called infrequently,
this additional check should have negligible performance impact.

Signed-off-by: Mans Rullgard <mans@mansr.com>

mpegps: Use av_get_packet() instead of poorly emulating it.

motionpixels: decode only the 111 complete frames for fate

Signed-off-by: Janne Grunau <janne-libav@jannau.net>

mpc8: Check out of bound bands limit

Signed-off-by: Janne Grunau <janne-libav@jannau.net>

xan: Prevent NULL dereference with missing palette

Signed-off-by: Janne Grunau <janne-libav@jannau.net>

xan: Check for out of bound reads in xan_huffman_decode()

Signed-off-by: Janne Grunau <janne-libav@jannau.net>

xan: Fixed out of bound accesses in xan_unpack()

Signed-off-by: Janne Grunau <janne-libav@jannau.net>

motionpixels: Prevent calling init_vlc() with invalid parameters

Signed-off-by: Janne Grunau <janne-libav@jannau.net>

shorten: Fix out of bound writes in fix_bitshift()

The data pointers s->decoded[*] already take into account s->nwrap.

Signed-off-by: Janne Grunau <janne-libav@jannau.net>

dsicinav: Check for out of bounds writes

Signed-off-by: Janne Grunau <janne-libav@jannau.net>

tiertexseqv: Check for out of bound reads

Signed-off-by: Janne Grunau <janne-libav@jannau.net>

quickdraw: Check for out of bound reads

Signed-off-by: Janne Grunau <janne-libav@jannau.net>

dsicinav: Check for out of bounds reads

Signed-off-by: Janne Grunau <janne-libav@jannau.net>

motionpixels: Fix the size of workspace buffers

Some buffers must be mod 4 in width and/or height.

Signed-off-by: Janne Grunau <janne-libav@jannau.net>

motionpixels: Clear FF_INPUT_BUFFER_PADDING_SIZE bytes at the end of the temporary buffer

Signed-off-by: Janne Grunau <janne-libav@jannau.net>

wmavoice: Check for corrupted extra data

Signed-off-by: Janne Grunau <janne-libav@jannau.net>

wmavoice: Check for out of bound writes

Signed-off-by: Janne Grunau <janne-libav@jannau.net>

xan: Prevent NULL dereferences with missing reference frame

Signed-off-by: Janne Grunau <janne-libav@jannau.net>

bink: Prevent NULL dereferences with missing reference frame

Signed-off-by: Janne Grunau <janne-libav@jannau.net>

wavpack: Reset internal state on corrupted blocks

wavpack_decode_block() supposes that it is called back with the exact
same buffer unless it has returned with an error. With multi-channels
files, wavpack_decode_frame() was breaking this assumption.

Signed-off-by: Janne Grunau <janne-libav@jannau.net>

wmapro: Validate the number of audio channels before using it

Signed-off-by: Janne Grunau <janne-libav@jannau.net>

mpc8: Fix return value on EOF

Signed-off-by: Janne Grunau <janne-libav@jannau.net>

shorten: Prevent block size from increasing

Signed-off-by: Janne Grunau <janne-libav@jannau.net>

xan: Prevent out of bound accesses

Signed-off-by: Janne Grunau <janne-libav@jannau.net>

H264: Only wait before triggering ff_thread_setup_complete() until the next slice that contains a start-of-field/frame macroblock

This allows concurrent decoding of the last field/frame, rather than
only the last slice, of data packets with multiple NAL units packed
together.

This will fix the slowdown reported in e.g. bug 52.

Signed-off-by: Anton Khirnov <anton@khirnov.net>

vp6: Reset the internal state when aborting key frames header parsing

It prevents leaving the state only half initialized.

Signed-off-by: Janne Grunau <janne-libav@jannau.net>

vp56: Release old pictures after a resolution changes

Signed-off-by: Janne Grunau <janne-libav@jannau.net>

vp6: Check for huffman tree build errors

Signed-off-by: Janne Grunau <janne-libav@jannau.net>

vp56: Check for missing reference frame data

Signed-off-by: Janne Grunau <janne-libav@jannau.net>

cinepak: Fix invalid read access on extra data

Signed-off-by: Janne Grunau <janne-libav@jannau.net>

vmd: fix segfaults on corruped streams

Signed-off-by: Janne Grunau <janne-libav@jannau.net>

cook: Fix js_vlc_bits value validation for joint stereo

Signed-off-by: Janne Grunau <janne-libav@jannau.net>