drivers/gpu/drm/drm_format_helper.c

   1 // SPDX-License-Identifier: GPL-2.0 or MIT
   2 /*
   3  * Copyright (C) 2016 Noralf Trønnes
   4  *
   5  * This program is free software; you can redistribute it and/or modify
   6  * it under the terms of the GNU General Public License as published by
   7  * the Free Software Foundation; either version 2 of the License, or
   8  * (at your option) any later version.
   9  */
  10
  11 #include <linux/io.h>
  12 #include <linux/iosys-map.h>
  13 #include <linux/module.h>
  14 #include <linux/slab.h>
  15
  16 #include <drm/drm_device.h>
  17 #include <drm/drm_format_helper.h>
  18 #include <drm/drm_framebuffer.h>
  19 #include <drm/drm_fourcc.h>
  20 #include <drm/drm_print.h>
  21 #include <drm/drm_rect.h>
  22
  23 static unsigned int clip_offset(const struct drm_rect *clip, unsigned int pitch, unsigned int cpp)
  24 {
  25         return clip->y1 * pitch + clip->x1 * cpp;
  26 }
  27
  28 /**
  29  * drm_fb_clip_offset - Returns the clipping rectangles byte-offset in a framebuffer
  30  * @pitch: Framebuffer line pitch in byte
  31  * @format: Framebuffer format
  32  * @clip: Clip rectangle
  33  *
  34  * Returns:
  35  * The byte offset of the clip rectangle's top-left corner within the framebuffer.
  36  */
  37 unsigned int drm_fb_clip_offset(unsigned int pitch, const struct drm_format_info *format,
  38                                 const struct drm_rect *clip)
  39 {
  40         return clip_offset(clip, pitch, format->cpp[0]);
  41 }
  42 EXPORT_SYMBOL(drm_fb_clip_offset);
  43
  44 /* TODO: Make this function work with multi-plane formats. */
  45 static int __drm_fb_xfrm(void *dst, unsigned long dst_pitch, unsigned long dst_pixsize,
  46                          const void *vaddr, const struct drm_framebuffer *fb,
  47                          const struct drm_rect *clip, bool vaddr_cached_hint,
  48                          void (*xfrm_line)(void *dbuf, const void *sbuf, unsigned int npixels))
  49 {
  50         unsigned long linepixels = drm_rect_width(clip);
  51         unsigned long lines = drm_rect_height(clip);
  52         size_t sbuf_len = linepixels * fb->format->cpp[0];
  53         void *stmp = NULL;
  54         unsigned long i;
  55         const void *sbuf;
  56
  57         /*
  58          * Some source buffers, such as DMA memory, use write-combine
  59          * caching, so reads are uncached. Speed up access by fetching
  60          * one line at a time.
  61          */
  62         if (!vaddr_cached_hint) {
  63                 stmp = kmalloc(sbuf_len, GFP_KERNEL);
  64                 if (!stmp)
  65                         return -ENOMEM;
  66         }
  67
  68         if (!dst_pitch)
  69                 dst_pitch = drm_rect_width(clip) * dst_pixsize;
  70         vaddr += clip_offset(clip, fb->pitches[0], fb->format->cpp[0]);
  71
  72         for (i = 0; i < lines; ++i) {
  73                 if (stmp)
  74                         sbuf = memcpy(stmp, vaddr, sbuf_len);
  75                 else
  76                         sbuf = vaddr;
  77                 xfrm_line(dst, sbuf, linepixels);
  78                 vaddr += fb->pitches[0];
  79                 dst += dst_pitch;
  80         }
  81
  82         kfree(stmp);
  83
  84         return 0;
  85 }
  86
  87 /* TODO: Make this function work with multi-plane formats. */
  88 static int __drm_fb_xfrm_toio(void __iomem *dst, unsigned long dst_pitch, unsigned long dst_pixsize,
  89                               const void *vaddr, const struct drm_framebuffer *fb,
  90                               const struct drm_rect *clip, bool vaddr_cached_hint,
  91                               void (*xfrm_line)(void *dbuf, const void *sbuf, unsigned int npixels))
  92 {
  93         unsigned long linepixels = drm_rect_width(clip);
  94         unsigned long lines = drm_rect_height(clip);
  95         size_t dbuf_len = linepixels * dst_pixsize;
  96         size_t stmp_off = round_up(dbuf_len, ARCH_KMALLOC_MINALIGN); /* for sbuf alignment */
  97         size_t sbuf_len = linepixels * fb->format->cpp[0];
  98         void *stmp = NULL;
  99         unsigned long i;
 100         const void *sbuf;
 101         void *dbuf;
 102
 103         if (vaddr_cached_hint) {
 104                 dbuf = kmalloc(dbuf_len, GFP_KERNEL);
 105         } else {
 106                 dbuf = kmalloc(stmp_off + sbuf_len, GFP_KERNEL);
 107                 stmp = dbuf + stmp_off;
 108         }
 109         if (!dbuf)
 110                 return -ENOMEM;
 111
 112         if (!dst_pitch)
 113                 dst_pitch = linepixels * dst_pixsize;
 114         vaddr += clip_offset(clip, fb->pitches[0], fb->format->cpp[0]);
 115
 116         for (i = 0; i < lines; ++i) {
 117                 if (stmp)
 118                         sbuf = memcpy(stmp, vaddr, sbuf_len);
 119                 else
 120                         sbuf = vaddr;
 121                 xfrm_line(dbuf, sbuf, linepixels);
 122                 memcpy_toio(dst, dbuf, dbuf_len);
 123                 vaddr += fb->pitches[0];
 124                 dst += dst_pitch;
 125         }
 126
 127         kfree(dbuf);
 128
 129         return 0;
 130 }
 131
 132 /* TODO: Make this function work with multi-plane formats. */
 133 static int drm_fb_xfrm(struct iosys_map *dst,
 134                        const unsigned int *dst_pitch, const u8 *dst_pixsize,
 135                        const struct iosys_map *src, const struct drm_framebuffer *fb,
 136                        const struct drm_rect *clip, bool vaddr_cached_hint,
 137                        void (*xfrm_line)(void *dbuf, const void *sbuf, unsigned int npixels))
 138 {
 139         static const unsigned int default_dst_pitch[DRM_FORMAT_MAX_PLANES] = {
 140                 0, 0, 0, 0
 141         };
 142
 143         if (!dst_pitch)
 144                 dst_pitch = default_dst_pitch;
 145
 146         /* TODO: handle src in I/O memory here */
 147         if (dst[0].is_iomem)
 148                 return __drm_fb_xfrm_toio(dst[0].vaddr_iomem, dst_pitch[0], dst_pixsize[0],
 149                                           src[0].vaddr, fb, clip, vaddr_cached_hint, xfrm_line);
 150         else
 151                 return __drm_fb_xfrm(dst[0].vaddr, dst_pitch[0], dst_pixsize[0],
 152                                      src[0].vaddr, fb, clip, vaddr_cached_hint, xfrm_line);
 153 }
 154
 155 /**
 156  * drm_fb_memcpy - Copy clip buffer
 157  * @dst: Array of destination buffers
 158  * @dst_pitch: Array of numbers of bytes between the start of two consecutive scanlines
 159  *             within @dst; can be NULL if scanlines are stored next to each other.
 160  * @src: Array of source buffers
 161  * @fb: DRM framebuffer
 162  * @clip: Clip rectangle area to copy
 163  *
 164  * This function copies parts of a framebuffer to display memory. Destination and
 165  * framebuffer formats must match. No conversion takes place. The parameters @dst,
 166  * @dst_pitch and @src refer to arrays. Each array must have at least as many entries
 167  * as there are planes in @fb's format. Each entry stores the value for the format's
 168  * respective color plane at the same index.
 169  *
 170  * This function does not apply clipping on @dst (i.e. the destination is at the
 171  * top-left corner).
 172  */
 173 void drm_fb_memcpy(struct iosys_map *dst, const unsigned int *dst_pitch,
 174                    const struct iosys_map *src, const struct drm_framebuffer *fb,
 175                    const struct drm_rect *clip)
 176 {
 177         static const unsigned int default_dst_pitch[DRM_FORMAT_MAX_PLANES] = {
 178                 0, 0, 0, 0
 179         };
 180
 181         const struct drm_format_info *format = fb->format;
 182         unsigned int i, y, lines = drm_rect_height(clip);
 183
 184         if (!dst_pitch)
 185                 dst_pitch = default_dst_pitch;
 186
 187         for (i = 0; i < format->num_planes; ++i) {
 188                 unsigned int bpp_i = drm_format_info_bpp(format, i);
 189                 unsigned int cpp_i = DIV_ROUND_UP(bpp_i, 8);
 190                 size_t len_i = DIV_ROUND_UP(drm_rect_width(clip) * bpp_i, 8);
 191                 unsigned int dst_pitch_i = dst_pitch[i];
 192                 struct iosys_map dst_i = dst[i];
 193                 struct iosys_map src_i = src[i];
 194
 195                 if (!dst_pitch_i)
 196                         dst_pitch_i = len_i;
 197
 198                 iosys_map_incr(&src_i, clip_offset(clip, fb->pitches[i], cpp_i));
 199                 for (y = 0; y < lines; y++) {
 200                         /* TODO: handle src_i in I/O memory here */
 201                         iosys_map_memcpy_to(&dst_i, 0, src_i.vaddr, len_i);
 202                         iosys_map_incr(&src_i, fb->pitches[i]);
 203                         iosys_map_incr(&dst_i, dst_pitch_i);
 204                 }
 205         }
 206 }
 207 EXPORT_SYMBOL(drm_fb_memcpy);
 208
 209 static void drm_fb_swab16_line(void *dbuf, const void *sbuf, unsigned int pixels)
 210 {
 211         u16 *dbuf16 = dbuf;
 212         const u16 *sbuf16 = sbuf;
 213         const u16 *send16 = sbuf16 + pixels;
 214
 215         while (sbuf16 < send16)
 216                 *dbuf16++ = swab16(*sbuf16++);
 217 }
 218
 219 static void drm_fb_swab32_line(void *dbuf, const void *sbuf, unsigned int pixels)
 220 {
 221         u32 *dbuf32 = dbuf;
 222         const u32 *sbuf32 = sbuf;
 223         const u32 *send32 = sbuf32 + pixels;
 224
 225         while (sbuf32 < send32)
 226                 *dbuf32++ = swab32(*sbuf32++);
 227 }
 228
 229 /**
 230  * drm_fb_swab - Swap bytes into clip buffer
 231  * @dst: Array of destination buffers
 232  * @dst_pitch: Array of numbers of bytes between the start of two consecutive scanlines
 233  *             within @dst; can be NULL if scanlines are stored next to each other.
 234  * @src: Array of source buffers
 235  * @fb: DRM framebuffer
 236  * @clip: Clip rectangle area to copy
 237  * @cached: Source buffer is mapped cached (eg. not write-combined)
 238  *
 239  * This function copies parts of a framebuffer to display memory and swaps per-pixel
 240  * bytes during the process. Destination and framebuffer formats must match. The
 241  * parameters @dst, @dst_pitch and @src refer to arrays. Each array must have at
 242  * least as many entries as there are planes in @fb's format. Each entry stores the
 243  * value for the format's respective color plane at the same index. If @cached is
 244  * false a temporary buffer is used to cache one pixel line at a time to speed up
 245  * slow uncached reads.
 246  *
 247  * This function does not apply clipping on @dst (i.e. the destination is at the
 248  * top-left corner).
 249  */
 250 void drm_fb_swab(struct iosys_map *dst, const unsigned int *dst_pitch,
 251                  const struct iosys_map *src, const struct drm_framebuffer *fb,
 252                  const struct drm_rect *clip, bool cached)
 253 {
 254         const struct drm_format_info *format = fb->format;
 255         u8 cpp = DIV_ROUND_UP(drm_format_info_bpp(format, 0), 8);
 256         void (*swab_line)(void *dbuf, const void *sbuf, unsigned int npixels);
 257
 258         switch (cpp) {
 259         case 4:
 260                 swab_line = drm_fb_swab32_line;
 261                 break;
 262         case 2:
 263                 swab_line = drm_fb_swab16_line;
 264                 break;
 265         default:
 266                 drm_warn_once(fb->dev, "Format %p4cc has unsupported pixel size.\n",
 267                               &format->format);
 268                 return;
 269         }
 270
 271         drm_fb_xfrm(dst, dst_pitch, &cpp, src, fb, clip, cached, swab_line);
 272 }
 273 EXPORT_SYMBOL(drm_fb_swab);
 274
 275 static void drm_fb_xrgb8888_to_rgb332_line(void *dbuf, const void *sbuf, unsigned int pixels)
 276 {
 277         u8 *dbuf8 = dbuf;
 278         const __le32 *sbuf32 = sbuf;
 279         unsigned int x;
 280         u32 pix;
 281
 282         for (x = 0; x < pixels; x++) {
 283                 pix = le32_to_cpu(sbuf32[x]);
 284                 dbuf8[x] = ((pix & 0x00e00000) >> 16) |
 285                            ((pix & 0x0000e000) >> 11) |
 286                            ((pix & 0x000000c0) >> 6);
 287         }
 288 }
 289
 290 /**
 291  * drm_fb_xrgb8888_to_rgb332 - Convert XRGB8888 to RGB332 clip buffer
 292  * @dst: Array of RGB332 destination buffers
 293  * @dst_pitch: Array of numbers of bytes between the start of two consecutive scanlines
 294  *             within @dst; can be NULL if scanlines are stored next to each other.
 295  * @src: Array of XRGB8888 source buffers
 296  * @fb: DRM framebuffer
 297  * @clip: Clip rectangle area to copy
 298  *
 299  * This function copies parts of a framebuffer to display memory and converts the
 300  * color format during the process. Destination and framebuffer formats must match. The
 301  * parameters @dst, @dst_pitch and @src refer to arrays. Each array must have at
 302  * least as many entries as there are planes in @fb's format. Each entry stores the
 303  * value for the format's respective color plane at the same index.
 304  *
 305  * This function does not apply clipping on @dst (i.e. the destination is at the
 306  * top-left corner).
 307  *
 308  * Drivers can use this function for RGB332 devices that don't support XRGB8888 natively.
 309  */
 310 void drm_fb_xrgb8888_to_rgb332(struct iosys_map *dst, const unsigned int *dst_pitch,
 311                                const struct iosys_map *src, const struct drm_framebuffer *fb,
 312                                const struct drm_rect *clip)
 313 {
 314         static const u8 dst_pixsize[DRM_FORMAT_MAX_PLANES] = {
 315                 1,
 316         };
 317
 318         drm_fb_xfrm(dst, dst_pitch, dst_pixsize, src, fb, clip, false,
 319                     drm_fb_xrgb8888_to_rgb332_line);
 320 }
 321 EXPORT_SYMBOL(drm_fb_xrgb8888_to_rgb332);
 322
 323 static void drm_fb_xrgb8888_to_rgb565_line(void *dbuf, const void *sbuf, unsigned int pixels)
 324 {
 325         __le16 *dbuf16 = dbuf;
 326         const __le32 *sbuf32 = sbuf;
 327         unsigned int x;
 328         u16 val16;
 329         u32 pix;
 330
 331         for (x = 0; x < pixels; x++) {
 332                 pix = le32_to_cpu(sbuf32[x]);
 333                 val16 = ((pix & 0x00F80000) >> 8) |
 334                         ((pix & 0x0000FC00) >> 5) |
 335                         ((pix & 0x000000F8) >> 3);
 336                 dbuf16[x] = cpu_to_le16(val16);
 337         }
 338 }
 339
 340 /* TODO: implement this helper as conversion to RGB565|BIG_ENDIAN */
 341 static void drm_fb_xrgb8888_to_rgb565_swab_line(void *dbuf, const void *sbuf,
 342                                                 unsigned int pixels)
 343 {
 344         __le16 *dbuf16 = dbuf;
 345         const __le32 *sbuf32 = sbuf;
 346         unsigned int x;
 347         u16 val16;
 348         u32 pix;
 349
 350         for (x = 0; x < pixels; x++) {
 351                 pix = le32_to_cpu(sbuf32[x]);
 352                 val16 = ((pix & 0x00F80000) >> 8) |
 353                         ((pix & 0x0000FC00) >> 5) |
 354                         ((pix & 0x000000F8) >> 3);
 355                 dbuf16[x] = cpu_to_le16(swab16(val16));
 356         }
 357 }
 358
 359 /**
 360  * drm_fb_xrgb8888_to_rgb565 - Convert XRGB8888 to RGB565 clip buffer
 361  * @dst: Array of RGB565 destination buffers
 362  * @dst_pitch: Array of numbers of bytes between the start of two consecutive scanlines
 363  *             within @dst; can be NULL if scanlines are stored next to each other.
 364  * @src: Array of XRGB8888 source buffer
 365  * @fb: DRM framebuffer
 366  * @clip: Clip rectangle area to copy
 367  * @swab: Swap bytes
 368  *
 369  * This function copies parts of a framebuffer to display memory and converts the
 370  * color format during the process. Destination and framebuffer formats must match. The
 371  * parameters @dst, @dst_pitch and @src refer to arrays. Each array must have at
 372  * least as many entries as there are planes in @fb's format. Each entry stores the
 373  * value for the format's respective color plane at the same index.
 374  *
 375  * This function does not apply clipping on @dst (i.e. the destination is at the
 376  * top-left corner).
 377  *
 378  * Drivers can use this function for RGB565 devices that don't support XRGB8888 natively.
 379  */
 380 void drm_fb_xrgb8888_to_rgb565(struct iosys_map *dst, const unsigned int *dst_pitch,
 381                                const struct iosys_map *src, const struct drm_framebuffer *fb,
 382                                const struct drm_rect *clip, bool swab)
 383 {
 384         static const u8 dst_pixsize[DRM_FORMAT_MAX_PLANES] = {
 385                 2,
 386         };
 387
 388         void (*xfrm_line)(void *dbuf, const void *sbuf, unsigned int npixels);
 389
 390         if (swab)
 391                 xfrm_line = drm_fb_xrgb8888_to_rgb565_swab_line;
 392         else
 393                 xfrm_line = drm_fb_xrgb8888_to_rgb565_line;
 394
 395         drm_fb_xfrm(dst, dst_pitch, dst_pixsize, src, fb, clip, false, xfrm_line);
 396 }
 397 EXPORT_SYMBOL(drm_fb_xrgb8888_to_rgb565);
 398
 399 static void drm_fb_xrgb8888_to_rgb888_line(void *dbuf, const void *sbuf, unsigned int pixels)
 400 {
 401         u8 *dbuf8 = dbuf;
 402         const __le32 *sbuf32 = sbuf;
 403         unsigned int x;
 404         u32 pix;
 405
 406         for (x = 0; x < pixels; x++) {
 407                 pix = le32_to_cpu(sbuf32[x]);
 408                 /* write blue-green-red to output in little endianness */
 409                 *dbuf8++ = (pix & 0x000000FF) >>  0;
 410                 *dbuf8++ = (pix & 0x0000FF00) >>  8;
 411                 *dbuf8++ = (pix & 0x00FF0000) >> 16;
 412         }
 413 }
 414
 415 /**
 416  * drm_fb_xrgb8888_to_rgb888 - Convert XRGB8888 to RGB888 clip buffer
 417  * @dst: Array of RGB888 destination buffers
 418  * @dst_pitch: Array of numbers of bytes between the start of two consecutive scanlines
 419  *             within @dst; can be NULL if scanlines are stored next to each other.
 420  * @src: Array of XRGB8888 source buffers
 421  * @fb: DRM framebuffer
 422  * @clip: Clip rectangle area to copy
 423  *
 424  * This function copies parts of a framebuffer to display memory and converts the
 425  * color format during the process. Destination and framebuffer formats must match. The
 426  * parameters @dst, @dst_pitch and @src refer to arrays. Each array must have at
 427  * least as many entries as there are planes in @fb's format. Each entry stores the
 428  * value for the format's respective color plane at the same index.
 429  *
 430  * This function does not apply clipping on @dst (i.e. the destination is at the
 431  * top-left corner).
 432  *
 433  * Drivers can use this function for RGB888 devices that don't natively
 434  * support XRGB8888.
 435  */
 436 void drm_fb_xrgb8888_to_rgb888(struct iosys_map *dst, const unsigned int *dst_pitch,
 437                                const struct iosys_map *src, const struct drm_framebuffer *fb,
 438                                const struct drm_rect *clip)
 439 {
 440         static const u8 dst_pixsize[DRM_FORMAT_MAX_PLANES] = {
 441                 3,
 442         };
 443
 444         drm_fb_xfrm(dst, dst_pitch, dst_pixsize, src, fb, clip, false,
 445                     drm_fb_xrgb8888_to_rgb888_line);
 446 }
 447 EXPORT_SYMBOL(drm_fb_xrgb8888_to_rgb888);
 448
 449 static void drm_fb_rgb565_to_xrgb8888_line(void *dbuf, const void *sbuf, unsigned int pixels)
 450 {
 451         __le32 *dbuf32 = dbuf;
 452         const __le16 *sbuf16 = sbuf;
 453         unsigned int x;
 454
 455         for (x = 0; x < pixels; x++) {
 456                 u16 val16 = le16_to_cpu(sbuf16[x]);
 457                 u32 val32 = ((val16 & 0xf800) << 8) |
 458                             ((val16 & 0x07e0) << 5) |
 459                             ((val16 & 0x001f) << 3);
 460                 val32 = 0xff000000 | val32 |
 461                         ((val32 >> 3) & 0x00070007) |
 462                         ((val32 >> 2) & 0x00000300);
 463                 dbuf32[x] = cpu_to_le32(val32);
 464         }
 465 }
 466
 467 static void drm_fb_rgb565_to_xrgb8888(struct iosys_map *dst, const unsigned int *dst_pitch,
 468                                       const struct iosys_map *src,
 469                                       const struct drm_framebuffer *fb,
 470                                       const struct drm_rect *clip)
 471 {
 472         static const u8 dst_pixsize[DRM_FORMAT_MAX_PLANES] = {
 473                 4,
 474         };
 475
 476         drm_fb_xfrm(dst, dst_pitch, dst_pixsize, src, fb, clip, false,
 477                     drm_fb_rgb565_to_xrgb8888_line);
 478 }
 479
 480 static void drm_fb_rgb888_to_xrgb8888_line(void *dbuf, const void *sbuf, unsigned int pixels)
 481 {
 482         __le32 *dbuf32 = dbuf;
 483         const u8 *sbuf8 = sbuf;
 484         unsigned int x;
 485
 486         for (x = 0; x < pixels; x++) {
 487                 u8 r = *sbuf8++;
 488                 u8 g = *sbuf8++;
 489                 u8 b = *sbuf8++;
 490                 u32 pix = 0xff000000 | (r << 16) | (g << 8) | b;
 491                 dbuf32[x] = cpu_to_le32(pix);
 492         }
 493 }
 494
 495 static void drm_fb_rgb888_to_xrgb8888(struct iosys_map *dst, const unsigned int *dst_pitch,
 496                                       const struct iosys_map *src,
 497                                       const struct drm_framebuffer *fb,
 498                                       const struct drm_rect *clip)
 499 {
 500         static const u8 dst_pixsize[DRM_FORMAT_MAX_PLANES] = {
 501                 4,
 502         };
 503
 504         drm_fb_xfrm(dst, dst_pitch, dst_pixsize, src, fb, clip, false,
 505                     drm_fb_rgb888_to_xrgb8888_line);
 506 }
 507
 508 static void drm_fb_xrgb8888_to_xrgb2101010_line(void *dbuf, const void *sbuf, unsigned int pixels)
 509 {
 510         __le32 *dbuf32 = dbuf;
 511         const __le32 *sbuf32 = sbuf;
 512         unsigned int x;
 513         u32 val32;
 514         u32 pix;
 515
 516         for (x = 0; x < pixels; x++) {
 517                 pix = le32_to_cpu(sbuf32[x]);
 518                 val32 = ((pix & 0x000000FF) << 2) |
 519                         ((pix & 0x0000FF00) << 4) |
 520                         ((pix & 0x00FF0000) << 6);
 521                 pix = val32 | ((val32 >> 8) & 0x00300C03);
 522                 *dbuf32++ = cpu_to_le32(pix);
 523         }
 524 }
 525
 526 /**
 527  * drm_fb_xrgb8888_to_xrgb2101010 - Convert XRGB8888 to XRGB2101010 clip buffer
 528  * @dst: Array of XRGB2101010 destination buffers
 529  * @dst_pitch: Array of numbers of bytes between the start of two consecutive scanlines
 530  *             within @dst; can be NULL if scanlines are stored next to each other.
 531  * @src: Array of XRGB8888 source buffers
 532  * @fb: DRM framebuffer
 533  * @clip: Clip rectangle area to copy
 534  *
 535  * This function copies parts of a framebuffer to display memory and converts the
 536  * color format during the process. Destination and framebuffer formats must match. The
 537  * parameters @dst, @dst_pitch and @src refer to arrays. Each array must have at
 538  * least as many entries as there are planes in @fb's format. Each entry stores the
 539  * value for the format's respective color plane at the same index.
 540  *
 541  * This function does not apply clipping on @dst (i.e. the destination is at the
 542  * top-left corner).
 543  *
 544  * Drivers can use this function for XRGB2101010 devices that don't support XRGB8888
 545  * natively.
 546  */
 547 void drm_fb_xrgb8888_to_xrgb2101010(struct iosys_map *dst, const unsigned int *dst_pitch,
 548                                     const struct iosys_map *src, const struct drm_framebuffer *fb,
 549                                     const struct drm_rect *clip)
 550 {
 551         static const u8 dst_pixsize[DRM_FORMAT_MAX_PLANES] = {
 552                 4,
 553         };
 554
 555         drm_fb_xfrm(dst, dst_pitch, dst_pixsize, src, fb, clip, false,
 556                     drm_fb_xrgb8888_to_xrgb2101010_line);
 557 }
 558 EXPORT_SYMBOL(drm_fb_xrgb8888_to_xrgb2101010);
 559
 560 static void drm_fb_xrgb8888_to_gray8_line(void *dbuf, const void *sbuf, unsigned int pixels)
 561 {
 562         u8 *dbuf8 = dbuf;
 563         const __le32 *sbuf32 = sbuf;
 564         unsigned int x;
 565
 566         for (x = 0; x < pixels; x++) {
 567                 u32 pix = le32_to_cpu(sbuf32[x]);
 568                 u8 r = (pix & 0x00ff0000) >> 16;
 569                 u8 g = (pix & 0x0000ff00) >> 8;
 570                 u8 b =  pix & 0x000000ff;
 571
 572                 /* ITU BT.601: Y = 0.299 R + 0.587 G + 0.114 B */
 573                 *dbuf8++ = (3 * r + 6 * g + b) / 10;
 574         }
 575 }
 576
 577 /**
 578  * drm_fb_xrgb8888_to_gray8 - Convert XRGB8888 to grayscale
 579  * @dst: Array of 8-bit grayscale destination buffers
 580  * @dst_pitch: Array of numbers of bytes between the start of two consecutive scanlines
 581  *             within @dst; can be NULL if scanlines are stored next to each other.
 582  * @src: Array of XRGB8888 source buffers
 583  * @fb: DRM framebuffer
 584  * @clip: Clip rectangle area to copy
 585  *
 586  * This function copies parts of a framebuffer to display memory and converts the
 587  * color format during the process. Destination and framebuffer formats must match. The
 588  * parameters @dst, @dst_pitch and @src refer to arrays. Each array must have at
 589  * least as many entries as there are planes in @fb's format. Each entry stores the
 590  * value for the format's respective color plane at the same index.
 591  *
 592  * This function does not apply clipping on @dst (i.e. the destination is at the
 593  * top-left corner).
 594  *
 595  * DRM doesn't have native monochrome or grayscale support. Drivers can use this
 596  * function for grayscale devices that don't support XRGB8888 natively.Such
 597  * drivers can announce the commonly supported XR24 format to userspace and use
 598  * this function to convert to the native format. Monochrome drivers will use the
 599  * most significant bit, where 1 means foreground color and 0 background color.
 600  * ITU BT.601 is being used for the RGB -> luma (brightness) conversion.
 601  */
 602 void drm_fb_xrgb8888_to_gray8(struct iosys_map *dst, const unsigned int *dst_pitch,
 603                               const struct iosys_map *src, const struct drm_framebuffer *fb,
 604                               const struct drm_rect *clip)
 605 {
 606         static const u8 dst_pixsize[DRM_FORMAT_MAX_PLANES] = {
 607                 1,
 608         };
 609
 610         drm_fb_xfrm(dst, dst_pitch, dst_pixsize, src, fb, clip, false,
 611                     drm_fb_xrgb8888_to_gray8_line);
 612 }
 613 EXPORT_SYMBOL(drm_fb_xrgb8888_to_gray8);
 614
 615 /**
 616  * drm_fb_blit - Copy parts of a framebuffer to display memory
 617  * @dst:        Array of display-memory addresses to copy to
 618  * @dst_pitch: Array of numbers of bytes between the start of two consecutive scanlines
 619  *             within @dst; can be NULL if scanlines are stored next to each other.
 620  * @dst_format: FOURCC code of the display's color format
 621  * @src:        The framebuffer memory to copy from
 622  * @fb:         The framebuffer to copy from
 623  * @clip:       Clip rectangle area to copy
 624  *
 625  * This function copies parts of a framebuffer to display memory. If the
 626  * formats of the display and the framebuffer mismatch, the blit function
 627  * will attempt to convert between them during the process. The parameters @dst,
 628  * @dst_pitch and @src refer to arrays. Each array must have at least as many
 629  * entries as there are planes in @dst_format's format. Each entry stores the
 630  * value for the format's respective color plane at the same index.
 631  *
 632  * This function does not apply clipping on @dst (i.e. the destination is at the
 633  * top-left corner).
 634  *
 635  * Returns:
 636  * 0 on success, or
 637  * -EINVAL if the color-format conversion failed, or
 638  * a negative error code otherwise.
 639  */
 640 int drm_fb_blit(struct iosys_map *dst, const unsigned int *dst_pitch, uint32_t dst_format,
 641                 const struct iosys_map *src, const struct drm_framebuffer *fb,
 642                 const struct drm_rect *clip)
 643 {
 644         uint32_t fb_format = fb->format->format;
 645
 646         /* treat alpha channel like filler bits */
 647         if (fb_format == DRM_FORMAT_ARGB8888)
 648                 fb_format = DRM_FORMAT_XRGB8888;
 649         if (dst_format == DRM_FORMAT_ARGB8888)
 650                 dst_format = DRM_FORMAT_XRGB8888;
 651         if (fb_format == DRM_FORMAT_ARGB2101010)
 652                 fb_format = DRM_FORMAT_XRGB2101010;
 653         if (dst_format == DRM_FORMAT_ARGB2101010)
 654                 dst_format = DRM_FORMAT_XRGB2101010;
 655
 656         if (dst_format == fb_format) {
 657                 drm_fb_memcpy(dst, dst_pitch, src, fb, clip);
 658                 return 0;
 659
 660         } else if (dst_format == DRM_FORMAT_RGB565) {
 661                 if (fb_format == DRM_FORMAT_XRGB8888) {
 662                         drm_fb_xrgb8888_to_rgb565(dst, dst_pitch, src, fb, clip, false);
 663                         return 0;
 664                 }
 665         } else if (dst_format == (DRM_FORMAT_RGB565 | DRM_FORMAT_BIG_ENDIAN)) {
 666                 if (fb_format == DRM_FORMAT_RGB565) {
 667                         drm_fb_swab(dst, dst_pitch, src, fb, clip, false);
 668                         return 0;
 669                 }
 670         } else if (dst_format == DRM_FORMAT_RGB888) {
 671                 if (fb_format == DRM_FORMAT_XRGB8888) {
 672                         drm_fb_xrgb8888_to_rgb888(dst, dst_pitch, src, fb, clip);
 673                         return 0;
 674                 }
 675         } else if (dst_format == DRM_FORMAT_XRGB8888) {
 676                 if (fb_format == DRM_FORMAT_RGB888) {
 677                         drm_fb_rgb888_to_xrgb8888(dst, dst_pitch, src, fb, clip);
 678                         return 0;
 679                 } else if (fb_format == DRM_FORMAT_RGB565) {
 680                         drm_fb_rgb565_to_xrgb8888(dst, dst_pitch, src, fb, clip);
 681                         return 0;
 682                 }
 683         } else if (dst_format == DRM_FORMAT_XRGB2101010) {
 684                 if (fb_format == DRM_FORMAT_XRGB8888) {
 685                         drm_fb_xrgb8888_to_xrgb2101010(dst, dst_pitch, src, fb, clip);
 686                         return 0;
 687                 }
 688         } else if (dst_format == DRM_FORMAT_BGRX8888) {
 689                 if (fb_format == DRM_FORMAT_XRGB8888) {
 690                         drm_fb_swab(dst, dst_pitch, src, fb, clip, false);
 691                         return 0;
 692                 }
 693         }
 694
 695         drm_warn_once(fb->dev, "No conversion helper from %p4cc to %p4cc found.\n",
 696                       &fb_format, &dst_format);
 697
 698         return -EINVAL;
 699 }
 700 EXPORT_SYMBOL(drm_fb_blit);
 701
 702 static void drm_fb_gray8_to_mono_line(void *dbuf, const void *sbuf, unsigned int pixels)
 703 {
 704         u8 *dbuf8 = dbuf;
 705         const u8 *sbuf8 = sbuf;
 706
 707         while (pixels) {
 708                 unsigned int i, bits = min(pixels, 8U);
 709                 u8 byte = 0;
 710
 711                 for (i = 0; i < bits; i++, pixels--) {
 712                         if (*sbuf8++ >= 128)
 713                                 byte |= BIT(i);
 714                 }
 715                 *dbuf8++ = byte;
 716         }
 717 }
 718
 719 /**
 720  * drm_fb_xrgb8888_to_mono - Convert XRGB8888 to monochrome
 721  * @dst: Array of monochrome destination buffers (0=black, 1=white)
 722  * @dst_pitch: Array of numbers of bytes between the start of two consecutive scanlines
 723  *             within @dst; can be NULL if scanlines are stored next to each other.
 724  * @src: Array of XRGB8888 source buffers
 725  * @fb: DRM framebuffer
 726  * @clip: Clip rectangle area to copy
 727  *
 728  * This function copies parts of a framebuffer to display memory and converts the
 729  * color format during the process. Destination and framebuffer formats must match. The
 730  * parameters @dst, @dst_pitch and @src refer to arrays. Each array must have at
 731  * least as many entries as there are planes in @fb's format. Each entry stores the
 732  * value for the format's respective color plane at the same index.
 733  *
 734  * This function does not apply clipping on @dst (i.e. the destination is at the
 735  * top-left corner). The first pixel (upper left corner of the clip rectangle) will
 736  * be converted and copied to the first bit (LSB) in the first byte of the monochrome
 737  * destination buffer. If the caller requires that the first pixel in a byte must
 738  * be located at an x-coordinate that is a multiple of 8, then the caller must take
 739  * care itself of supplying a suitable clip rectangle.
 740  *
 741  * DRM doesn't have native monochrome support. Drivers can use this function for
 742  * monochrome devices that don't support XRGB8888 natively. Such drivers can
 743  * announce the commonly supported XR24 format to userspace and use this function
 744  * to convert to the native format.
 745  *
 746  * This function uses drm_fb_xrgb8888_to_gray8() to convert to grayscale and
 747  * then the result is converted from grayscale to monochrome.
 748  */
 749 void drm_fb_xrgb8888_to_mono(struct iosys_map *dst, const unsigned int *dst_pitch,
 750                              const struct iosys_map *src, const struct drm_framebuffer *fb,
 751                              const struct drm_rect *clip)
 752 {
 753         static const unsigned int default_dst_pitch[DRM_FORMAT_MAX_PLANES] = {
 754                 0, 0, 0, 0
 755         };
 756         unsigned int linepixels = drm_rect_width(clip);
 757         unsigned int lines = drm_rect_height(clip);
 758         unsigned int cpp = fb->format->cpp[0];
 759         unsigned int len_src32 = linepixels * cpp;
 760         struct drm_device *dev = fb->dev;
 761         void *vaddr = src[0].vaddr;
 762         unsigned int dst_pitch_0;
 763         unsigned int y;
 764         u8 *mono = dst[0].vaddr, *gray8;
 765         u32 *src32;
 766
 767         if (drm_WARN_ON(dev, fb->format->format != DRM_FORMAT_XRGB8888))
 768                 return;
 769
 770         if (!dst_pitch)
 771                 dst_pitch = default_dst_pitch;
 772         dst_pitch_0 = dst_pitch[0];
 773
 774         /*
 775          * The mono destination buffer contains 1 bit per pixel
 776          */
 777         if (!dst_pitch_0)
 778                 dst_pitch_0 = DIV_ROUND_UP(linepixels, 8);
 779
 780         /*
 781          * The dma memory is write-combined so reads are uncached.
 782          * Speed up by fetching one line at a time.
 783          *
 784          * Also, format conversion from XR24 to monochrome are done
 785          * line-by-line but are converted to 8-bit grayscale as an
 786          * intermediate step.
 787          *
 788          * Allocate a buffer to be used for both copying from the cma
 789          * memory and to store the intermediate grayscale line pixels.
 790          */
 791         src32 = kmalloc(len_src32 + linepixels, GFP_KERNEL);
 792         if (!src32)
 793                 return;
 794
 795         gray8 = (u8 *)src32 + len_src32;
 796
 797         vaddr += clip_offset(clip, fb->pitches[0], cpp);
 798         for (y = 0; y < lines; y++) {
 799                 src32 = memcpy(src32, vaddr, len_src32);
 800                 drm_fb_xrgb8888_to_gray8_line(gray8, src32, linepixels);
 801                 drm_fb_gray8_to_mono_line(mono, gray8, linepixels);
 802                 vaddr += fb->pitches[0];
 803                 mono += dst_pitch_0;
 804         }
 805
 806         kfree(src32);
 807 }
 808 EXPORT_SYMBOL(drm_fb_xrgb8888_to_mono);
 809
 810 static bool is_listed_fourcc(const uint32_t *fourccs, size_t nfourccs, uint32_t fourcc)
 811 {
 812         const uint32_t *fourccs_end = fourccs + nfourccs;
 813
 814         while (fourccs < fourccs_end) {
 815                 if (*fourccs == fourcc)
 816                         return true;
 817                 ++fourccs;
 818         }
 819         return false;
 820 }
 821
 822 static const uint32_t conv_from_xrgb8888[] = {
 823         DRM_FORMAT_XRGB8888,
 824         DRM_FORMAT_ARGB8888,
 825         DRM_FORMAT_XRGB2101010,
 826         DRM_FORMAT_ARGB2101010,
 827         DRM_FORMAT_RGB565,
 828         DRM_FORMAT_RGB888,
 829 };
 830
 831 static const uint32_t conv_from_rgb565_888[] = {
 832         DRM_FORMAT_XRGB8888,
 833         DRM_FORMAT_ARGB8888,
 834 };
 835
 836 static bool is_conversion_supported(uint32_t from, uint32_t to)
 837 {
 838         switch (from) {
 839         case DRM_FORMAT_XRGB8888:
 840         case DRM_FORMAT_ARGB8888:
 841                 return is_listed_fourcc(conv_from_xrgb8888, ARRAY_SIZE(conv_from_xrgb8888), to);
 842         case DRM_FORMAT_RGB565:
 843         case DRM_FORMAT_RGB888:
 844                 return is_listed_fourcc(conv_from_rgb565_888, ARRAY_SIZE(conv_from_rgb565_888), to);
 845         case DRM_FORMAT_XRGB2101010:
 846                 return to == DRM_FORMAT_ARGB2101010;
 847         case DRM_FORMAT_ARGB2101010:
 848                 return to == DRM_FORMAT_XRGB2101010;
 849         default:
 850                 return false;
 851         }
 852 }
 853
 854 /**
 855  * drm_fb_build_fourcc_list - Filters a list of supported color formats against
 856  *                            the device's native formats
 857  * @dev: DRM device
 858  * @native_fourccs: 4CC codes of natively supported color formats
 859  * @native_nfourccs: The number of entries in @native_fourccs
 860  * @driver_fourccs: 4CC codes of all driver-supported color formats
 861  * @driver_nfourccs: The number of entries in @driver_fourccs
 862  * @fourccs_out: Returns 4CC codes of supported color formats
 863  * @nfourccs_out: The number of available entries in @fourccs_out
 864  *
 865  * This function create a list of supported color format from natively
 866  * supported formats and the emulated formats.
 867  * At a minimum, most userspace programs expect at least support for
 868  * XRGB8888 on the primary plane. Devices that have to emulate the
 869  * format, and possibly others, can use drm_fb_build_fourcc_list() to
 870  * create a list of supported color formats. The returned list can
 871  * be handed over to drm_universal_plane_init() et al. Native formats
 872  * will go before emulated formats. Other heuristics might be applied
 873  * to optimize the order. Formats near the beginning of the list are
 874  * usually preferred over formats near the end of the list. Formats
 875  * without conversion helpers will be skipped. New drivers should only
 876  * pass in XRGB8888 and avoid exposing additional emulated formats.
 877  *
 878  * Returns:
 879  * The number of color-formats 4CC codes returned in @fourccs_out.
 880  */
 881 size_t drm_fb_build_fourcc_list(struct drm_device *dev,
 882                                 const u32 *native_fourccs, size_t native_nfourccs,
 883                                 const u32 *driver_fourccs, size_t driver_nfourccs,
 884                                 u32 *fourccs_out, size_t nfourccs_out)
 885 {
 886         u32 *fourccs = fourccs_out;
 887         const u32 *fourccs_end = fourccs_out + nfourccs_out;
 888         uint32_t native_format = 0;
 889         size_t i;
 890
 891         /*
 892          * The device's native formats go first.
 893          */
 894
 895         for (i = 0; i < native_nfourccs; ++i) {
 896                 u32 fourcc = native_fourccs[i];
 897
 898                 if (is_listed_fourcc(fourccs_out, fourccs - fourccs_out, fourcc)) {
 899                         continue; /* skip duplicate entries */
 900                 } else if (fourccs == fourccs_end) {
 901                         drm_warn(dev, "Ignoring native format %p4cc\n", &fourcc);
 902                         continue; /* end of available output buffer */
 903                 }
 904
 905                 drm_dbg_kms(dev, "adding native format %p4cc\n", &fourcc);
 906
 907                 /*
 908                  * There should only be one native format with the current API.
 909                  * This API needs to be refactored to correctly support arbitrary
 910                  * sets of native formats, since it needs to report which native
 911                  * format to use for each emulated format.
 912                  */
 913                 if (!native_format)
 914                         native_format = fourcc;
 915                 *fourccs = fourcc;
 916                 ++fourccs;
 917         }
 918
 919         /*
 920          * The extra formats, emulated by the driver, go second.
 921          */
 922
 923         for (i = 0; (i < driver_nfourccs) && (fourccs < fourccs_end); ++i) {
 924                 u32 fourcc = driver_fourccs[i];
 925
 926                 if (is_listed_fourcc(fourccs_out, fourccs - fourccs_out, fourcc)) {
 927                         continue; /* skip duplicate and native entries */
 928                 } else if (fourccs == fourccs_end) {
 929                         drm_warn(dev, "Ignoring emulated format %p4cc\n", &fourcc);
 930                         continue; /* end of available output buffer */
 931                 } else if (!is_conversion_supported(fourcc, native_format)) {
 932                         drm_dbg_kms(dev, "Unsupported emulated format %p4cc\n", &fourcc);
 933                         continue; /* format is not supported for conversion */
 934                 }
 935
 936                 drm_dbg_kms(dev, "adding emulated format %p4cc\n", &fourcc);
 937
 938                 *fourccs = fourcc;
 939                 ++fourccs;
 940         }
 941
 942         return fourccs - fourccs_out;
 943 }
 944 EXPORT_SYMBOL(drm_fb_build_fourcc_list);