media: verisilicon: Fix TRY_FMT on encoder OUTPUT
authorMichael Tretter <m.tretter@pengutronix.de>
Thu, 6 Jul 2023 07:15:10 +0000 (09:15 +0200)
committerHans Verkuil <hverkuil-cisco@xs4all.nl>
Tue, 25 Jul 2023 07:31:48 +0000 (09:31 +0200)
commitb3b4c9d3cb3bf8725a3ded26f7042b1a37f25333
tree05254ea4422927db45e3e51bf9bb59eb6ee7eccf
parent3194d514ea5133b269c07d403fd6ddb4e1016e92
media: verisilicon: Fix TRY_FMT on encoder OUTPUT

Commit f100ce3bbd6a ("media: verisilicon: Fix crash when probing
encoder") removed vpu_fmt from hantro_try_fmt(), since it was
initialized from vpu_dst_fmt, which may not be initialized, when TRY_FMT
is called. It was replaced by fmt, which is found using the pixelformat.

For the encoder, this changed the fmt to contain the raw format instead
of the coded format. The format constraints as of fmt->frmsize are only
valid for the coded format and are 0 for the raw formats. Therefore, the
size of a encoder OUTPUT device is constrained to 0 and the
v4l2-compliance tests for G_FMT, TRY_FMT, and SET_FMT fail.

Bring back vpu_fmt to use the coded format on an encoder OUTPUT device,
but initialize it using the currently set pixelformat on dst_fmt, which
is the coded format on an encoder.

Fixes: f100ce3bbd6a ("media: verisilicon: Fix crash when probing encoder")
Signed-off-by: Michael Tretter <m.tretter@pengutronix.de>
Signed-off-by: Hans Verkuil <hverkuil-cisco@xs4all.nl>
drivers/media/platform/verisilicon/hantro_v4l2.c