drivers/gpu/drm/drm_format_helper.c

   1 // SPDX-License-Identifier: GPL-2.0 or MIT
   2 /*
   3  * Copyright (C) 2016 Noralf Trønnes
   4  *
   5  * This program is free software; you can redistribute it and/or modify
   6  * it under the terms of the GNU General Public License as published by
   7  * the Free Software Foundation; either version 2 of the License, or
   8  * (at your option) any later version.
   9  */
  10
  11 #include <linux/io.h>
  12 #include <linux/iosys-map.h>
  13 #include <linux/module.h>
  14 #include <linux/slab.h>
  15
  16 #include <drm/drm_device.h>
  17 #include <drm/drm_format_helper.h>
  18 #include <drm/drm_framebuffer.h>
  19 #include <drm/drm_fourcc.h>
  20 #include <drm/drm_print.h>
  21 #include <drm/drm_rect.h>
  22
  23 static unsigned int clip_offset(const struct drm_rect *clip, unsigned int pitch, unsigned int cpp)
  24 {
  25         return clip->y1 * pitch + clip->x1 * cpp;
  26 }
  27
  28 /**
  29  * drm_fb_clip_offset - Returns the clipping rectangles byte-offset in a framebuffer
  30  * @pitch: Framebuffer line pitch in byte
  31  * @format: Framebuffer format
  32  * @clip: Clip rectangle
  33  *
  34  * Returns:
  35  * The byte offset of the clip rectangle's top-left corner within the framebuffer.
  36  */
  37 unsigned int drm_fb_clip_offset(unsigned int pitch, const struct drm_format_info *format,
  38                                 const struct drm_rect *clip)
  39 {
  40         return clip_offset(clip, pitch, format->cpp[0]);
  41 }
  42 EXPORT_SYMBOL(drm_fb_clip_offset);
  43
  44 /* TODO: Make this function work with multi-plane formats. */
  45 static int __drm_fb_xfrm(void *dst, unsigned long dst_pitch, unsigned long dst_pixsize,
  46                          const void *vaddr, const struct drm_framebuffer *fb,
  47                          const struct drm_rect *clip, bool vaddr_cached_hint,
  48                          void (*xfrm_line)(void *dbuf, const void *sbuf, unsigned int npixels))
  49 {
  50         unsigned long linepixels = drm_rect_width(clip);
  51         unsigned long lines = drm_rect_height(clip);
  52         size_t sbuf_len = linepixels * fb->format->cpp[0];
  53         void *stmp = NULL;
  54         unsigned long i;
  55         const void *sbuf;
  56
  57         /*
  58          * Some source buffers, such as DMA memory, use write-combine
  59          * caching, so reads are uncached. Speed up access by fetching
  60          * one line at a time.
  61          */
  62         if (!vaddr_cached_hint) {
  63                 stmp = kmalloc(sbuf_len, GFP_KERNEL);
  64                 if (!stmp)
  65                         return -ENOMEM;
  66         }
  67
  68         if (!dst_pitch)
  69                 dst_pitch = drm_rect_width(clip) * dst_pixsize;
  70         vaddr += clip_offset(clip, fb->pitches[0], fb->format->cpp[0]);
  71
  72         for (i = 0; i < lines; ++i) {
  73                 if (stmp)
  74                         sbuf = memcpy(stmp, vaddr, sbuf_len);
  75                 else
  76                         sbuf = vaddr;
  77                 xfrm_line(dst, sbuf, linepixels);
  78                 vaddr += fb->pitches[0];
  79                 dst += dst_pitch;
  80         }
  81
  82         kfree(stmp);
  83
  84         return 0;
  85 }
  86
  87 /* TODO: Make this function work with multi-plane formats. */
  88 static int __drm_fb_xfrm_toio(void __iomem *dst, unsigned long dst_pitch, unsigned long dst_pixsize,
  89                               const void *vaddr, const struct drm_framebuffer *fb,
  90                               const struct drm_rect *clip, bool vaddr_cached_hint,
  91                               void (*xfrm_line)(void *dbuf, const void *sbuf, unsigned int npixels))
  92 {
  93         unsigned long linepixels = drm_rect_width(clip);
  94         unsigned long lines = drm_rect_height(clip);
  95         size_t dbuf_len = linepixels * dst_pixsize;
  96         size_t stmp_off = round_up(dbuf_len, ARCH_KMALLOC_MINALIGN); /* for sbuf alignment */
  97         size_t sbuf_len = linepixels * fb->format->cpp[0];
  98         void *stmp = NULL;
  99         unsigned long i;
 100         const void *sbuf;
 101         void *dbuf;
 102
 103         if (vaddr_cached_hint) {
 104                 dbuf = kmalloc(dbuf_len, GFP_KERNEL);
 105         } else {
 106                 dbuf = kmalloc(stmp_off + sbuf_len, GFP_KERNEL);
 107                 stmp = dbuf + stmp_off;
 108         }
 109         if (!dbuf)
 110                 return -ENOMEM;
 111
 112         if (!dst_pitch)
 113                 dst_pitch = linepixels * dst_pixsize;
 114         vaddr += clip_offset(clip, fb->pitches[0], fb->format->cpp[0]);
 115
 116         for (i = 0; i < lines; ++i) {
 117                 if (stmp)
 118                         sbuf = memcpy(stmp, vaddr, sbuf_len);
 119                 else
 120                         sbuf = vaddr;
 121                 xfrm_line(dbuf, sbuf, linepixels);
 122                 memcpy_toio(dst, dbuf, dbuf_len);
 123                 vaddr += fb->pitches[0];
 124                 dst += dst_pitch;
 125         }
 126
 127         kfree(dbuf);
 128
 129         return 0;
 130 }
 131
 132 /* TODO: Make this function work with multi-plane formats. */
 133 static int drm_fb_xfrm(struct iosys_map *dst,
 134                        const unsigned int *dst_pitch, const u8 *dst_pixsize,
 135                        const struct iosys_map *src, const struct drm_framebuffer *fb,
 136                        const struct drm_rect *clip, bool vaddr_cached_hint,
 137                        void (*xfrm_line)(void *dbuf, const void *sbuf, unsigned int npixels))
 138 {
 139         static const unsigned int default_dst_pitch[DRM_FORMAT_MAX_PLANES] = {
 140                 0, 0, 0, 0
 141         };
 142
 143         if (!dst_pitch)
 144                 dst_pitch = default_dst_pitch;
 145
 146         /* TODO: handle src in I/O memory here */
 147         if (dst[0].is_iomem)
 148                 return __drm_fb_xfrm_toio(dst[0].vaddr_iomem, dst_pitch[0], dst_pixsize[0],
 149                                           src[0].vaddr, fb, clip, vaddr_cached_hint, xfrm_line);
 150         else
 151                 return __drm_fb_xfrm(dst[0].vaddr, dst_pitch[0], dst_pixsize[0],
 152                                      src[0].vaddr, fb, clip, vaddr_cached_hint, xfrm_line);
 153 }
 154
 155 /**
 156  * drm_fb_memcpy - Copy clip buffer
 157  * @dst: Array of destination buffers
 158  * @dst_pitch: Array of numbers of bytes between the start of two consecutive scanlines
 159  *             within @dst; can be NULL if scanlines are stored next to each other.
 160  * @src: Array of source buffers
 161  * @fb: DRM framebuffer
 162  * @clip: Clip rectangle area to copy
 163  *
 164  * This function copies parts of a framebuffer to display memory. Destination and
 165  * framebuffer formats must match. No conversion takes place. The parameters @dst,
 166  * @dst_pitch and @src refer to arrays. Each array must have at least as many entries
 167  * as there are planes in @fb's format. Each entry stores the value for the format's
 168  * respective color plane at the same index.
 169  *
 170  * This function does not apply clipping on @dst (i.e. the destination is at the
 171  * top-left corner).
 172  */
 173 void drm_fb_memcpy(struct iosys_map *dst, const unsigned int *dst_pitch,
 174                    const struct iosys_map *src, const struct drm_framebuffer *fb,
 175                    const struct drm_rect *clip)
 176 {
 177         static const unsigned int default_dst_pitch[DRM_FORMAT_MAX_PLANES] = {
 178                 0, 0, 0, 0
 179         };
 180
 181         const struct drm_format_info *format = fb->format;
 182         unsigned int i, y, lines = drm_rect_height(clip);
 183
 184         if (!dst_pitch)
 185                 dst_pitch = default_dst_pitch;
 186
 187         for (i = 0; i < format->num_planes; ++i) {
 188                 unsigned int bpp_i = drm_format_info_bpp(format, i);
 189                 unsigned int cpp_i = DIV_ROUND_UP(bpp_i, 8);
 190                 size_t len_i = DIV_ROUND_UP(drm_rect_width(clip) * bpp_i, 8);
 191                 unsigned int dst_pitch_i = dst_pitch[i];
 192                 struct iosys_map dst_i = dst[i];
 193                 struct iosys_map src_i = src[i];
 194
 195                 if (!dst_pitch_i)
 196                         dst_pitch_i = len_i;
 197
 198                 iosys_map_incr(&src_i, clip_offset(clip, fb->pitches[i], cpp_i));
 199                 for (y = 0; y < lines; y++) {
 200                         /* TODO: handle src_i in I/O memory here */
 201                         iosys_map_memcpy_to(&dst_i, 0, src_i.vaddr, len_i);
 202                         iosys_map_incr(&src_i, fb->pitches[i]);
 203                         iosys_map_incr(&dst_i, dst_pitch_i);
 204                 }
 205         }
 206 }
 207 EXPORT_SYMBOL(drm_fb_memcpy);
 208
 209 static void drm_fb_swab16_line(void *dbuf, const void *sbuf, unsigned int pixels)
 210 {
 211         u16 *dbuf16 = dbuf;
 212         const u16 *sbuf16 = sbuf;
 213         const u16 *send16 = sbuf16 + pixels;
 214
 215         while (sbuf16 < send16)
 216                 *dbuf16++ = swab16(*sbuf16++);
 217 }
 218
 219 static void drm_fb_swab32_line(void *dbuf, const void *sbuf, unsigned int pixels)
 220 {
 221         u32 *dbuf32 = dbuf;
 222         const u32 *sbuf32 = sbuf;
 223         const u32 *send32 = sbuf32 + pixels;
 224
 225         while (sbuf32 < send32)
 226                 *dbuf32++ = swab32(*sbuf32++);
 227 }
 228
 229 /**
 230  * drm_fb_swab - Swap bytes into clip buffer
 231  * @dst: Array of destination buffers
 232  * @dst_pitch: Array of numbers of bytes between the start of two consecutive scanlines
 233  *             within @dst; can be NULL if scanlines are stored next to each other.
 234  * @src: Array of source buffers
 235  * @fb: DRM framebuffer
 236  * @clip: Clip rectangle area to copy
 237  * @cached: Source buffer is mapped cached (eg. not write-combined)
 238  *
 239  * This function copies parts of a framebuffer to display memory and swaps per-pixel
 240  * bytes during the process. Destination and framebuffer formats must match. The
 241  * parameters @dst, @dst_pitch and @src refer to arrays. Each array must have at
 242  * least as many entries as there are planes in @fb's format. Each entry stores the
 243  * value for the format's respective color plane at the same index. If @cached is
 244  * false a temporary buffer is used to cache one pixel line at a time to speed up
 245  * slow uncached reads.
 246  *
 247  * This function does not apply clipping on @dst (i.e. the destination is at the
 248  * top-left corner).
 249  */
 250 void drm_fb_swab(struct iosys_map *dst, const unsigned int *dst_pitch,
 251                  const struct iosys_map *src, const struct drm_framebuffer *fb,
 252                  const struct drm_rect *clip, bool cached)
 253 {
 254         const struct drm_format_info *format = fb->format;
 255         u8 cpp = DIV_ROUND_UP(drm_format_info_bpp(format, 0), 8);
 256         void (*swab_line)(void *dbuf, const void *sbuf, unsigned int npixels);
 257
 258         switch (cpp) {
 259         case 4:
 260                 swab_line = drm_fb_swab32_line;
 261                 break;
 262         case 2:
 263                 swab_line = drm_fb_swab16_line;
 264                 break;
 265         default:
 266                 drm_warn_once(fb->dev, "Format %p4cc has unsupported pixel size.\n",
 267                               &format->format);
 268                 return;
 269         }
 270
 271         drm_fb_xfrm(dst, dst_pitch, &cpp, src, fb, clip, cached, swab_line);
 272 }
 273 EXPORT_SYMBOL(drm_fb_swab);
 274
 275 static void drm_fb_xrgb8888_to_rgb332_line(void *dbuf, const void *sbuf, unsigned int pixels)
 276 {
 277         u8 *dbuf8 = dbuf;
 278         const __le32 *sbuf32 = sbuf;
 279         unsigned int x;
 280         u32 pix;
 281
 282         for (x = 0; x < pixels; x++) {
 283                 pix = le32_to_cpu(sbuf32[x]);
 284                 dbuf8[x] = ((pix & 0x00e00000) >> 16) |
 285                            ((pix & 0x0000e000) >> 11) |
 286                            ((pix & 0x000000c0) >> 6);
 287         }
 288 }
 289
 290 /**
 291  * drm_fb_xrgb8888_to_rgb332 - Convert XRGB8888 to RGB332 clip buffer
 292  * @dst: Array of RGB332 destination buffers
 293  * @dst_pitch: Array of numbers of bytes between the start of two consecutive scanlines
 294  *             within @dst; can be NULL if scanlines are stored next to each other.
 295  * @src: Array of XRGB8888 source buffers
 296  * @fb: DRM framebuffer
 297  * @clip: Clip rectangle area to copy
 298  *
 299  * This function copies parts of a framebuffer to display memory and converts the
 300  * color format during the process. Destination and framebuffer formats must match. The
 301  * parameters @dst, @dst_pitch and @src refer to arrays. Each array must have at
 302  * least as many entries as there are planes in @fb's format. Each entry stores the
 303  * value for the format's respective color plane at the same index.
 304  *
 305  * This function does not apply clipping on @dst (i.e. the destination is at the
 306  * top-left corner).
 307  *
 308  * Drivers can use this function for RGB332 devices that don't support XRGB8888 natively.
 309  */
 310 void drm_fb_xrgb8888_to_rgb332(struct iosys_map *dst, const unsigned int *dst_pitch,
 311                                const struct iosys_map *src, const struct drm_framebuffer *fb,
 312                                const struct drm_rect *clip)
 313 {
 314         static const u8 dst_pixsize[DRM_FORMAT_MAX_PLANES] = {
 315                 1,
 316         };
 317
 318         drm_fb_xfrm(dst, dst_pitch, dst_pixsize, src, fb, clip, false,
 319                     drm_fb_xrgb8888_to_rgb332_line);
 320 }
 321 EXPORT_SYMBOL(drm_fb_xrgb8888_to_rgb332);
 322
 323 static void drm_fb_xrgb8888_to_rgb565_line(void *dbuf, const void *sbuf, unsigned int pixels)
 324 {
 325         u16 *dbuf16 = dbuf;
 326         const __le32 *sbuf32 = sbuf;
 327         unsigned int x;
 328         u16 val16;
 329         u32 pix;
 330
 331         for (x = 0; x < pixels; x++) {
 332                 pix = le32_to_cpu(sbuf32[x]);
 333                 val16 = ((pix & 0x00F80000) >> 8) |
 334                         ((pix & 0x0000FC00) >> 5) |
 335                         ((pix & 0x000000F8) >> 3);
 336                 dbuf16[x] = val16;
 337         }
 338 }
 339
 340 static void drm_fb_xrgb8888_to_rgb565_swab_line(void *dbuf, const void *sbuf,
 341                                                 unsigned int pixels)
 342 {
 343         u16 *dbuf16 = dbuf;
 344         const __le32 *sbuf32 = sbuf;
 345         unsigned int x;
 346         u16 val16;
 347         u32 pix;
 348
 349         for (x = 0; x < pixels; x++) {
 350                 pix = le32_to_cpu(sbuf32[x]);
 351                 val16 = ((pix & 0x00F80000) >> 8) |
 352                         ((pix & 0x0000FC00) >> 5) |
 353                         ((pix & 0x000000F8) >> 3);
 354                 dbuf16[x] = swab16(val16);
 355         }
 356 }
 357
 358 /**
 359  * drm_fb_xrgb8888_to_rgb565 - Convert XRGB8888 to RGB565 clip buffer
 360  * @dst: Array of RGB565 destination buffers
 361  * @dst_pitch: Array of numbers of bytes between the start of two consecutive scanlines
 362  *             within @dst; can be NULL if scanlines are stored next to each other.
 363  * @src: Array of XRGB8888 source buffer
 364  * @fb: DRM framebuffer
 365  * @clip: Clip rectangle area to copy
 366  * @swab: Swap bytes
 367  *
 368  * This function copies parts of a framebuffer to display memory and converts the
 369  * color format during the process. Destination and framebuffer formats must match. The
 370  * parameters @dst, @dst_pitch and @src refer to arrays. Each array must have at
 371  * least as many entries as there are planes in @fb's format. Each entry stores the
 372  * value for the format's respective color plane at the same index.
 373  *
 374  * This function does not apply clipping on @dst (i.e. the destination is at the
 375  * top-left corner).
 376  *
 377  * Drivers can use this function for RGB565 devices that don't support XRGB8888 natively.
 378  */
 379 void drm_fb_xrgb8888_to_rgb565(struct iosys_map *dst, const unsigned int *dst_pitch,
 380                                const struct iosys_map *src, const struct drm_framebuffer *fb,
 381                                const struct drm_rect *clip, bool swab)
 382 {
 383         static const u8 dst_pixsize[DRM_FORMAT_MAX_PLANES] = {
 384                 2,
 385         };
 386
 387         void (*xfrm_line)(void *dbuf, const void *sbuf, unsigned int npixels);
 388
 389         if (swab)
 390                 xfrm_line = drm_fb_xrgb8888_to_rgb565_swab_line;
 391         else
 392                 xfrm_line = drm_fb_xrgb8888_to_rgb565_line;
 393
 394         drm_fb_xfrm(dst, dst_pitch, dst_pixsize, src, fb, clip, false, xfrm_line);
 395 }
 396 EXPORT_SYMBOL(drm_fb_xrgb8888_to_rgb565);
 397
 398 static void drm_fb_xrgb8888_to_rgb888_line(void *dbuf, const void *sbuf, unsigned int pixels)
 399 {
 400         u8 *dbuf8 = dbuf;
 401         const __le32 *sbuf32 = sbuf;
 402         unsigned int x;
 403         u32 pix;
 404
 405         for (x = 0; x < pixels; x++) {
 406                 pix = le32_to_cpu(sbuf32[x]);
 407                 /* write blue-green-red to output in little endianness */
 408                 *dbuf8++ = (pix & 0x000000FF) >>  0;
 409                 *dbuf8++ = (pix & 0x0000FF00) >>  8;
 410                 *dbuf8++ = (pix & 0x00FF0000) >> 16;
 411         }
 412 }
 413
 414 /**
 415  * drm_fb_xrgb8888_to_rgb888 - Convert XRGB8888 to RGB888 clip buffer
 416  * @dst: Array of RGB888 destination buffers
 417  * @dst_pitch: Array of numbers of bytes between the start of two consecutive scanlines
 418  *             within @dst; can be NULL if scanlines are stored next to each other.
 419  * @src: Array of XRGB8888 source buffers
 420  * @fb: DRM framebuffer
 421  * @clip: Clip rectangle area to copy
 422  *
 423  * This function copies parts of a framebuffer to display memory and converts the
 424  * color format during the process. Destination and framebuffer formats must match. The
 425  * parameters @dst, @dst_pitch and @src refer to arrays. Each array must have at
 426  * least as many entries as there are planes in @fb's format. Each entry stores the
 427  * value for the format's respective color plane at the same index.
 428  *
 429  * This function does not apply clipping on @dst (i.e. the destination is at the
 430  * top-left corner).
 431  *
 432  * Drivers can use this function for RGB888 devices that don't natively
 433  * support XRGB8888.
 434  */
 435 void drm_fb_xrgb8888_to_rgb888(struct iosys_map *dst, const unsigned int *dst_pitch,
 436                                const struct iosys_map *src, const struct drm_framebuffer *fb,
 437                                const struct drm_rect *clip)
 438 {
 439         static const u8 dst_pixsize[DRM_FORMAT_MAX_PLANES] = {
 440                 3,
 441         };
 442
 443         drm_fb_xfrm(dst, dst_pitch, dst_pixsize, src, fb, clip, false,
 444                     drm_fb_xrgb8888_to_rgb888_line);
 445 }
 446 EXPORT_SYMBOL(drm_fb_xrgb8888_to_rgb888);
 447
 448 static void drm_fb_rgb565_to_xrgb8888_line(void *dbuf, const void *sbuf, unsigned int pixels)
 449 {
 450         __le32 *dbuf32 = dbuf;
 451         const __le16 *sbuf16 = sbuf;
 452         unsigned int x;
 453
 454         for (x = 0; x < pixels; x++) {
 455                 u16 val16 = le16_to_cpu(sbuf16[x]);
 456                 u32 val32 = ((val16 & 0xf800) << 8) |
 457                             ((val16 & 0x07e0) << 5) |
 458                             ((val16 & 0x001f) << 3);
 459                 val32 = 0xff000000 | val32 |
 460                         ((val32 >> 3) & 0x00070007) |
 461                         ((val32 >> 2) & 0x00000300);
 462                 dbuf32[x] = cpu_to_le32(val32);
 463         }
 464 }
 465
 466 static void drm_fb_rgb565_to_xrgb8888(struct iosys_map *dst, const unsigned int *dst_pitch,
 467                                       const struct iosys_map *src,
 468                                       const struct drm_framebuffer *fb,
 469                                       const struct drm_rect *clip)
 470 {
 471         static const u8 dst_pixsize[DRM_FORMAT_MAX_PLANES] = {
 472                 4,
 473         };
 474
 475         drm_fb_xfrm(dst, dst_pitch, dst_pixsize, src, fb, clip, false,
 476                     drm_fb_rgb565_to_xrgb8888_line);
 477 }
 478
 479 static void drm_fb_rgb888_to_xrgb8888_line(void *dbuf, const void *sbuf, unsigned int pixels)
 480 {
 481         __le32 *dbuf32 = dbuf;
 482         const u8 *sbuf8 = sbuf;
 483         unsigned int x;
 484
 485         for (x = 0; x < pixels; x++) {
 486                 u8 r = *sbuf8++;
 487                 u8 g = *sbuf8++;
 488                 u8 b = *sbuf8++;
 489                 u32 pix = 0xff000000 | (r << 16) | (g << 8) | b;
 490                 dbuf32[x] = cpu_to_le32(pix);
 491         }
 492 }
 493
 494 static void drm_fb_rgb888_to_xrgb8888(struct iosys_map *dst, const unsigned int *dst_pitch,
 495                                       const struct iosys_map *src,
 496                                       const struct drm_framebuffer *fb,
 497                                       const struct drm_rect *clip)
 498 {
 499         static const u8 dst_pixsize[DRM_FORMAT_MAX_PLANES] = {
 500                 4,
 501         };
 502
 503         drm_fb_xfrm(dst, dst_pitch, dst_pixsize, src, fb, clip, false,
 504                     drm_fb_rgb888_to_xrgb8888_line);
 505 }
 506
 507 static void drm_fb_xrgb8888_to_xrgb2101010_line(void *dbuf, const void *sbuf, unsigned int pixels)
 508 {
 509         __le32 *dbuf32 = dbuf;
 510         const __le32 *sbuf32 = sbuf;
 511         unsigned int x;
 512         u32 val32;
 513         u32 pix;
 514
 515         for (x = 0; x < pixels; x++) {
 516                 pix = le32_to_cpu(sbuf32[x]);
 517                 val32 = ((pix & 0x000000FF) << 2) |
 518                         ((pix & 0x0000FF00) << 4) |
 519                         ((pix & 0x00FF0000) << 6);
 520                 pix = val32 | ((val32 >> 8) & 0x00300C03);
 521                 *dbuf32++ = cpu_to_le32(pix);
 522         }
 523 }
 524
 525 /**
 526  * drm_fb_xrgb8888_to_xrgb2101010 - Convert XRGB8888 to XRGB2101010 clip buffer
 527  * @dst: Array of XRGB2101010 destination buffers
 528  * @dst_pitch: Array of numbers of bytes between the start of two consecutive scanlines
 529  *             within @dst; can be NULL if scanlines are stored next to each other.
 530  * @src: Array of XRGB8888 source buffers
 531  * @fb: DRM framebuffer
 532  * @clip: Clip rectangle area to copy
 533  *
 534  * This function copies parts of a framebuffer to display memory and converts the
 535  * color format during the process. Destination and framebuffer formats must match. The
 536  * parameters @dst, @dst_pitch and @src refer to arrays. Each array must have at
 537  * least as many entries as there are planes in @fb's format. Each entry stores the
 538  * value for the format's respective color plane at the same index.
 539  *
 540  * This function does not apply clipping on @dst (i.e. the destination is at the
 541  * top-left corner).
 542  *
 543  * Drivers can use this function for XRGB2101010 devices that don't support XRGB8888
 544  * natively.
 545  */
 546 void drm_fb_xrgb8888_to_xrgb2101010(struct iosys_map *dst, const unsigned int *dst_pitch,
 547                                     const struct iosys_map *src, const struct drm_framebuffer *fb,
 548                                     const struct drm_rect *clip)
 549 {
 550         static const u8 dst_pixsize[DRM_FORMAT_MAX_PLANES] = {
 551                 4,
 552         };
 553
 554         drm_fb_xfrm(dst, dst_pitch, dst_pixsize, src, fb, clip, false,
 555                     drm_fb_xrgb8888_to_xrgb2101010_line);
 556 }
 557 EXPORT_SYMBOL(drm_fb_xrgb8888_to_xrgb2101010);
 558
 559 static void drm_fb_xrgb8888_to_gray8_line(void *dbuf, const void *sbuf, unsigned int pixels)
 560 {
 561         u8 *dbuf8 = dbuf;
 562         const __le32 *sbuf32 = sbuf;
 563         unsigned int x;
 564
 565         for (x = 0; x < pixels; x++) {
 566                 u32 pix = le32_to_cpu(sbuf32[x]);
 567                 u8 r = (pix & 0x00ff0000) >> 16;
 568                 u8 g = (pix & 0x0000ff00) >> 8;
 569                 u8 b =  pix & 0x000000ff;
 570
 571                 /* ITU BT.601: Y = 0.299 R + 0.587 G + 0.114 B */
 572                 *dbuf8++ = (3 * r + 6 * g + b) / 10;
 573         }
 574 }
 575
 576 /**
 577  * drm_fb_xrgb8888_to_gray8 - Convert XRGB8888 to grayscale
 578  * @dst: Array of 8-bit grayscale destination buffers
 579  * @dst_pitch: Array of numbers of bytes between the start of two consecutive scanlines
 580  *             within @dst; can be NULL if scanlines are stored next to each other.
 581  * @src: Array of XRGB8888 source buffers
 582  * @fb: DRM framebuffer
 583  * @clip: Clip rectangle area to copy
 584  *
 585  * This function copies parts of a framebuffer to display memory and converts the
 586  * color format during the process. Destination and framebuffer formats must match. The
 587  * parameters @dst, @dst_pitch and @src refer to arrays. Each array must have at
 588  * least as many entries as there are planes in @fb's format. Each entry stores the
 589  * value for the format's respective color plane at the same index.
 590  *
 591  * This function does not apply clipping on @dst (i.e. the destination is at the
 592  * top-left corner).
 593  *
 594  * DRM doesn't have native monochrome or grayscale support. Drivers can use this
 595  * function for grayscale devices that don't support XRGB8888 natively.Such
 596  * drivers can announce the commonly supported XR24 format to userspace and use
 597  * this function to convert to the native format. Monochrome drivers will use the
 598  * most significant bit, where 1 means foreground color and 0 background color.
 599  * ITU BT.601 is being used for the RGB -> luma (brightness) conversion.
 600  */
 601 void drm_fb_xrgb8888_to_gray8(struct iosys_map *dst, const unsigned int *dst_pitch,
 602                               const struct iosys_map *src, const struct drm_framebuffer *fb,
 603                               const struct drm_rect *clip)
 604 {
 605         static const u8 dst_pixsize[DRM_FORMAT_MAX_PLANES] = {
 606                 1,
 607         };
 608
 609         drm_fb_xfrm(dst, dst_pitch, dst_pixsize, src, fb, clip, false,
 610                     drm_fb_xrgb8888_to_gray8_line);
 611 }
 612 EXPORT_SYMBOL(drm_fb_xrgb8888_to_gray8);
 613
 614 /**
 615  * drm_fb_blit - Copy parts of a framebuffer to display memory
 616  * @dst:        Array of display-memory addresses to copy to
 617  * @dst_pitch: Array of numbers of bytes between the start of two consecutive scanlines
 618  *             within @dst; can be NULL if scanlines are stored next to each other.
 619  * @dst_format: FOURCC code of the display's color format
 620  * @src:        The framebuffer memory to copy from
 621  * @fb:         The framebuffer to copy from
 622  * @clip:       Clip rectangle area to copy
 623  *
 624  * This function copies parts of a framebuffer to display memory. If the
 625  * formats of the display and the framebuffer mismatch, the blit function
 626  * will attempt to convert between them during the process. The parameters @dst,
 627  * @dst_pitch and @src refer to arrays. Each array must have at least as many
 628  * entries as there are planes in @dst_format's format. Each entry stores the
 629  * value for the format's respective color plane at the same index.
 630  *
 631  * This function does not apply clipping on @dst (i.e. the destination is at the
 632  * top-left corner).
 633  *
 634  * Returns:
 635  * 0 on success, or
 636  * -EINVAL if the color-format conversion failed, or
 637  * a negative error code otherwise.
 638  */
 639 int drm_fb_blit(struct iosys_map *dst, const unsigned int *dst_pitch, uint32_t dst_format,
 640                 const struct iosys_map *src, const struct drm_framebuffer *fb,
 641                 const struct drm_rect *clip)
 642 {
 643         uint32_t fb_format = fb->format->format;
 644
 645         /* treat alpha channel like filler bits */
 646         if (fb_format == DRM_FORMAT_ARGB8888)
 647                 fb_format = DRM_FORMAT_XRGB8888;
 648         if (dst_format == DRM_FORMAT_ARGB8888)
 649                 dst_format = DRM_FORMAT_XRGB8888;
 650         if (fb_format == DRM_FORMAT_ARGB2101010)
 651                 fb_format = DRM_FORMAT_XRGB2101010;
 652         if (dst_format == DRM_FORMAT_ARGB2101010)
 653                 dst_format = DRM_FORMAT_XRGB2101010;
 654
 655         if (dst_format == fb_format) {
 656                 drm_fb_memcpy(dst, dst_pitch, src, fb, clip);
 657                 return 0;
 658
 659         } else if (dst_format == DRM_FORMAT_RGB565) {
 660                 if (fb_format == DRM_FORMAT_XRGB8888) {
 661                         drm_fb_xrgb8888_to_rgb565(dst, dst_pitch, src, fb, clip, false);
 662                         return 0;
 663                 }
 664         } else if (dst_format == (DRM_FORMAT_RGB565 | DRM_FORMAT_BIG_ENDIAN)) {
 665                 if (fb_format == DRM_FORMAT_RGB565) {
 666                         drm_fb_swab(dst, dst_pitch, src, fb, clip, false);
 667                         return 0;
 668                 }
 669         } else if (dst_format == DRM_FORMAT_RGB888) {
 670                 if (fb_format == DRM_FORMAT_XRGB8888) {
 671                         drm_fb_xrgb8888_to_rgb888(dst, dst_pitch, src, fb, clip);
 672                         return 0;
 673                 }
 674         } else if (dst_format == DRM_FORMAT_XRGB8888) {
 675                 if (fb_format == DRM_FORMAT_RGB888) {
 676                         drm_fb_rgb888_to_xrgb8888(dst, dst_pitch, src, fb, clip);
 677                         return 0;
 678                 } else if (fb_format == DRM_FORMAT_RGB565) {
 679                         drm_fb_rgb565_to_xrgb8888(dst, dst_pitch, src, fb, clip);
 680                         return 0;
 681                 }
 682         } else if (dst_format == DRM_FORMAT_XRGB2101010) {
 683                 if (fb_format == DRM_FORMAT_XRGB8888) {
 684                         drm_fb_xrgb8888_to_xrgb2101010(dst, dst_pitch, src, fb, clip);
 685                         return 0;
 686                 }
 687         } else if (dst_format == DRM_FORMAT_BGRX8888) {
 688                 if (fb_format == DRM_FORMAT_XRGB8888) {
 689                         drm_fb_swab(dst, dst_pitch, src, fb, clip, false);
 690                         return 0;
 691                 }
 692         }
 693
 694         drm_warn_once(fb->dev, "No conversion helper from %p4cc to %p4cc found.\n",
 695                       &fb_format, &dst_format);
 696
 697         return -EINVAL;
 698 }
 699 EXPORT_SYMBOL(drm_fb_blit);
 700
 701 static void drm_fb_gray8_to_mono_line(void *dbuf, const void *sbuf, unsigned int pixels)
 702 {
 703         u8 *dbuf8 = dbuf;
 704         const u8 *sbuf8 = sbuf;
 705
 706         while (pixels) {
 707                 unsigned int i, bits = min(pixels, 8U);
 708                 u8 byte = 0;
 709
 710                 for (i = 0; i < bits; i++, pixels--) {
 711                         if (*sbuf8++ >= 128)
 712                                 byte |= BIT(i);
 713                 }
 714                 *dbuf8++ = byte;
 715         }
 716 }
 717
 718 /**
 719  * drm_fb_xrgb8888_to_mono - Convert XRGB8888 to monochrome
 720  * @dst: Array of monochrome destination buffers (0=black, 1=white)
 721  * @dst_pitch: Array of numbers of bytes between the start of two consecutive scanlines
 722  *             within @dst; can be NULL if scanlines are stored next to each other.
 723  * @src: Array of XRGB8888 source buffers
 724  * @fb: DRM framebuffer
 725  * @clip: Clip rectangle area to copy
 726  *
 727  * This function copies parts of a framebuffer to display memory and converts the
 728  * color format during the process. Destination and framebuffer formats must match. The
 729  * parameters @dst, @dst_pitch and @src refer to arrays. Each array must have at
 730  * least as many entries as there are planes in @fb's format. Each entry stores the
 731  * value for the format's respective color plane at the same index.
 732  *
 733  * This function does not apply clipping on @dst (i.e. the destination is at the
 734  * top-left corner). The first pixel (upper left corner of the clip rectangle) will
 735  * be converted and copied to the first bit (LSB) in the first byte of the monochrome
 736  * destination buffer. If the caller requires that the first pixel in a byte must
 737  * be located at an x-coordinate that is a multiple of 8, then the caller must take
 738  * care itself of supplying a suitable clip rectangle.
 739  *
 740  * DRM doesn't have native monochrome support. Drivers can use this function for
 741  * monochrome devices that don't support XRGB8888 natively. Such drivers can
 742  * announce the commonly supported XR24 format to userspace and use this function
 743  * to convert to the native format.
 744  *
 745  * This function uses drm_fb_xrgb8888_to_gray8() to convert to grayscale and
 746  * then the result is converted from grayscale to monochrome.
 747  */
 748 void drm_fb_xrgb8888_to_mono(struct iosys_map *dst, const unsigned int *dst_pitch,
 749                              const struct iosys_map *src, const struct drm_framebuffer *fb,
 750                              const struct drm_rect *clip)
 751 {
 752         static const unsigned int default_dst_pitch[DRM_FORMAT_MAX_PLANES] = {
 753                 0, 0, 0, 0
 754         };
 755         unsigned int linepixels = drm_rect_width(clip);
 756         unsigned int lines = drm_rect_height(clip);
 757         unsigned int cpp = fb->format->cpp[0];
 758         unsigned int len_src32 = linepixels * cpp;
 759         struct drm_device *dev = fb->dev;
 760         void *vaddr = src[0].vaddr;
 761         unsigned int dst_pitch_0;
 762         unsigned int y;
 763         u8 *mono = dst[0].vaddr, *gray8;
 764         u32 *src32;
 765
 766         if (drm_WARN_ON(dev, fb->format->format != DRM_FORMAT_XRGB8888))
 767                 return;
 768
 769         if (!dst_pitch)
 770                 dst_pitch = default_dst_pitch;
 771         dst_pitch_0 = dst_pitch[0];
 772
 773         /*
 774          * The mono destination buffer contains 1 bit per pixel
 775          */
 776         if (!dst_pitch_0)
 777                 dst_pitch_0 = DIV_ROUND_UP(linepixels, 8);
 778
 779         /*
 780          * The dma memory is write-combined so reads are uncached.
 781          * Speed up by fetching one line at a time.
 782          *
 783          * Also, format conversion from XR24 to monochrome are done
 784          * line-by-line but are converted to 8-bit grayscale as an
 785          * intermediate step.
 786          *
 787          * Allocate a buffer to be used for both copying from the cma
 788          * memory and to store the intermediate grayscale line pixels.
 789          */
 790         src32 = kmalloc(len_src32 + linepixels, GFP_KERNEL);
 791         if (!src32)
 792                 return;
 793
 794         gray8 = (u8 *)src32 + len_src32;
 795
 796         vaddr += clip_offset(clip, fb->pitches[0], cpp);
 797         for (y = 0; y < lines; y++) {
 798                 src32 = memcpy(src32, vaddr, len_src32);
 799                 drm_fb_xrgb8888_to_gray8_line(gray8, src32, linepixels);
 800                 drm_fb_gray8_to_mono_line(mono, gray8, linepixels);
 801                 vaddr += fb->pitches[0];
 802                 mono += dst_pitch_0;
 803         }
 804
 805         kfree(src32);
 806 }
 807 EXPORT_SYMBOL(drm_fb_xrgb8888_to_mono);
 808
 809 static bool is_listed_fourcc(const uint32_t *fourccs, size_t nfourccs, uint32_t fourcc)
 810 {
 811         const uint32_t *fourccs_end = fourccs + nfourccs;
 812
 813         while (fourccs < fourccs_end) {
 814                 if (*fourccs == fourcc)
 815                         return true;
 816                 ++fourccs;
 817         }
 818         return false;
 819 }
 820
 821 static const uint32_t conv_from_xrgb8888[] = {
 822         DRM_FORMAT_XRGB8888,
 823         DRM_FORMAT_ARGB8888,
 824         DRM_FORMAT_XRGB2101010,
 825         DRM_FORMAT_ARGB2101010,
 826         DRM_FORMAT_RGB565,
 827         DRM_FORMAT_RGB888,
 828 };
 829
 830 static const uint32_t conv_from_rgb565_888[] = {
 831         DRM_FORMAT_XRGB8888,
 832         DRM_FORMAT_ARGB8888,
 833 };
 834
 835 static bool is_conversion_supported(uint32_t from, uint32_t to)
 836 {
 837         switch (from) {
 838         case DRM_FORMAT_XRGB8888:
 839         case DRM_FORMAT_ARGB8888:
 840                 return is_listed_fourcc(conv_from_xrgb8888, ARRAY_SIZE(conv_from_xrgb8888), to);
 841         case DRM_FORMAT_RGB565:
 842         case DRM_FORMAT_RGB888:
 843                 return is_listed_fourcc(conv_from_rgb565_888, ARRAY_SIZE(conv_from_rgb565_888), to);
 844         case DRM_FORMAT_XRGB2101010:
 845                 return to == DRM_FORMAT_ARGB2101010;
 846         case DRM_FORMAT_ARGB2101010:
 847                 return to == DRM_FORMAT_XRGB2101010;
 848         default:
 849                 return false;
 850         }
 851 }
 852
 853 /**
 854  * drm_fb_build_fourcc_list - Filters a list of supported color formats against
 855  *                            the device's native formats
 856  * @dev: DRM device
 857  * @native_fourccs: 4CC codes of natively supported color formats
 858  * @native_nfourccs: The number of entries in @native_fourccs
 859  * @driver_fourccs: 4CC codes of all driver-supported color formats
 860  * @driver_nfourccs: The number of entries in @driver_fourccs
 861  * @fourccs_out: Returns 4CC codes of supported color formats
 862  * @nfourccs_out: The number of available entries in @fourccs_out
 863  *
 864  * This function create a list of supported color format from natively
 865  * supported formats and the emulated formats.
 866  * At a minimum, most userspace programs expect at least support for
 867  * XRGB8888 on the primary plane. Devices that have to emulate the
 868  * format, and possibly others, can use drm_fb_build_fourcc_list() to
 869  * create a list of supported color formats. The returned list can
 870  * be handed over to drm_universal_plane_init() et al. Native formats
 871  * will go before emulated formats. Other heuristics might be applied
 872  * to optimize the order. Formats near the beginning of the list are
 873  * usually preferred over formats near the end of the list. Formats
 874  * without conversion helpers will be skipped. New drivers should only
 875  * pass in XRGB8888 and avoid exposing additional emulated formats.
 876  *
 877  * Returns:
 878  * The number of color-formats 4CC codes returned in @fourccs_out.
 879  */
 880 size_t drm_fb_build_fourcc_list(struct drm_device *dev,
 881                                 const u32 *native_fourccs, size_t native_nfourccs,
 882                                 const u32 *driver_fourccs, size_t driver_nfourccs,
 883                                 u32 *fourccs_out, size_t nfourccs_out)
 884 {
 885         u32 *fourccs = fourccs_out;
 886         const u32 *fourccs_end = fourccs_out + nfourccs_out;
 887         uint32_t native_format = 0;
 888         size_t i;
 889
 890         /*
 891          * The device's native formats go first.
 892          */
 893
 894         for (i = 0; i < native_nfourccs; ++i) {
 895                 u32 fourcc = native_fourccs[i];
 896
 897                 if (is_listed_fourcc(fourccs_out, fourccs - fourccs_out, fourcc)) {
 898                         continue; /* skip duplicate entries */
 899                 } else if (fourccs == fourccs_end) {
 900                         drm_warn(dev, "Ignoring native format %p4cc\n", &fourcc);
 901                         continue; /* end of available output buffer */
 902                 }
 903
 904                 drm_dbg_kms(dev, "adding native format %p4cc\n", &fourcc);
 905
 906                 /*
 907                  * There should only be one native format with the current API.
 908                  * This API needs to be refactored to correctly support arbitrary
 909                  * sets of native formats, since it needs to report which native
 910                  * format to use for each emulated format.
 911                  */
 912                 if (!native_format)
 913                         native_format = fourcc;
 914                 *fourccs = fourcc;
 915                 ++fourccs;
 916         }
 917
 918         /*
 919          * The extra formats, emulated by the driver, go second.
 920          */
 921
 922         for (i = 0; (i < driver_nfourccs) && (fourccs < fourccs_end); ++i) {
 923                 u32 fourcc = driver_fourccs[i];
 924
 925                 if (is_listed_fourcc(fourccs_out, fourccs - fourccs_out, fourcc)) {
 926                         continue; /* skip duplicate and native entries */
 927                 } else if (fourccs == fourccs_end) {
 928                         drm_warn(dev, "Ignoring emulated format %p4cc\n", &fourcc);
 929                         continue; /* end of available output buffer */
 930                 } else if (!is_conversion_supported(fourcc, native_format)) {
 931                         drm_dbg_kms(dev, "Unsupported emulated format %p4cc\n", &fourcc);
 932                         continue; /* format is not supported for conversion */
 933                 }
 934
 935                 drm_dbg_kms(dev, "adding emulated format %p4cc\n", &fourcc);
 936
 937                 *fourccs = fourcc;
 938                 ++fourccs;
 939         }
 940
 941         return fourccs - fourccs_out;
 942 }
 943 EXPORT_SYMBOL(drm_fb_build_fourcc_list);