media: atomisp: Fix VIDIOC_TRY_FMT
authorHans de Goede <hdegoede@redhat.com>
Sat, 13 Aug 2022 14:53:00 +0000 (16:53 +0200)
committerMauro Carvalho Chehab <mchehab@kernel.org>
Sat, 24 Sep 2022 07:37:47 +0000 (09:37 +0200)
commit4d3aafb9c9bba59c9b6f6df8ea6c89483bfed8d4
tree02849161be279b6b88c53dead48f81347819df45
parente0565e23796e8260613b7aa81606cb42dcdcf68c
media: atomisp: Fix VIDIOC_TRY_FMT

atomisp_try_fmt() calls the sensor's try_fmt handler but it does
not copy the result back to the passed in v4l2_pix_format under
some circumstances.

Potentially returning an unsupported resolution to userspace,
which VIDIOC_TRY_FMT is not supposed to do.

atomisp_set_fmt() also uses atomisp_try_fmt() and relies
on this wrong behavior. The VIDIOC_TRY_FMT call passes NULL for
the res_overflow argument where as the atomisp_set_fmt() call
passes non NULL.

Use the res_overflow argument to differentiate between the 2 callers
and always propagate the sensors result in the VIDIOC_TRY_FMT case.

This fixes the resolution list in camorama showing resolutions like e.g.
1584x1184 instead of 1600x1200.

Reviewed-by: Andy Shevchenko <andy.shevchenko@gmail.com>
Signed-off-by: Hans de Goede <hdegoede@redhat.com>
Signed-off-by: Mauro Carvalho Chehab <mchehab@kernel.org>
drivers/staging/media/atomisp/pci/atomisp_cmd.c