h263parse: fix custom picture format (CPFMT) parsing
authorLyon Wang <lyon.wang@freescale.com>
Tue, 12 May 2015 07:47:33 +0000 (15:47 +0800)
committerTim-Philipp Müller <tim@centricular.com>
Wed, 13 May 2015 10:51:20 +0000 (11:51 +0100)
commit6adf3c2499f81e9254e160e04ce3c821bd47938d
tree0258e93a40f1e20a70627306c46a050ef908bde0
parentc51916905293587f090f172c3971209e4af971dd
h263parse: fix custom picture format (CPFMT) parsing

In the H263 spec, CPFMT is present only if the use of a custom
picture format is signalled in PLUSEPTYPE and UFEP is "001",
so we need to check params->format and only if the value is
6 (custom source format) the CPFMT should be read, otherwise
it's not present and wrong data will be parsed.

When reading the CPFMT, the width and height were not
calculated correctly (wrong bitmask).

https://bugzilla.gnome.org//show_bug.cgi?id=749253
gst/videoparsers/h263parse.c