freedreno/freedreno_ringbuffer.c

   1 /* -*- mode: C; c-file-style: "k&r"; tab-width 4; indent-tabs-mode: t; -*- */
   2
   3 /*
   4  * Copyright (C) 2012 Rob Clark <robclark@freedesktop.org>
   5  *
   6  * Permission is hereby granted, free of charge, to any person obtaining a
   7  * copy of this software and associated documentation files (the "Software"),
   8  * to deal in the Software without restriction, including without limitation
   9  * the rights to use, copy, modify, merge, publish, distribute, sublicense,
  10  * and/or sell copies of the Software, and to permit persons to whom the
  11  * Software is furnished to do so, subject to the following conditions:
  12  *
  13  * The above copyright notice and this permission notice (including the next
  14  * paragraph) shall be included in all copies or substantial portions of the
  15  * Software.
  16  *
  17  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
  18  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  19  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT.  IN NO EVENT SHALL
  20  * THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
  21  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
  22  * OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
  23  * SOFTWARE.
  24  *
  25  * Authors:
  26  *    Rob Clark <robclark@freedesktop.org>
  27  */
  28
  29 #include <assert.h>
  30
  31 #include "freedreno_drmif.h"
  32 #include "freedreno_priv.h"
  33 #include "freedreno_ringbuffer.h"
  34
  35
  36 /* because kgsl tries to validate the gpuaddr on kernel side in ISSUEIBCMDS,
  37  * we can't use normal gem bo's for ringbuffer..  someday the kernel part
  38  * needs to be reworked into a single sane drm driver :-/
  39  */
  40 struct fd_rb_bo {
  41         struct fd_pipe *pipe;
  42         void    *hostptr;
  43         uint32_t gpuaddr;
  44         uint32_t size;
  45 };
  46
  47 struct fd_ringmarker {
  48         struct fd_ringbuffer *ring;
  49         uint32_t *cur;
  50 };
  51
  52 static void fd_rb_bo_del(struct fd_rb_bo *bo)
  53 {
  54         struct kgsl_sharedmem_free req = {
  55                         .gpuaddr = bo->gpuaddr,
  56         };
  57         int ret;
  58
  59         munmap(bo->hostptr, bo->size);
  60
  61         ret = ioctl(bo->pipe->fd, IOCTL_KGSL_SHAREDMEM_FREE, &req);
  62         if (ret) {
  63                 ERROR_MSG("sharedmem free failed: %s", strerror(errno));
  64         }
  65
  66         free(bo);
  67 }
  68
  69 static struct fd_rb_bo * fd_rb_bo_new(struct fd_pipe *pipe, uint32_t size)
  70 {
  71         struct fd_rb_bo *bo;
  72         struct kgsl_gpumem_alloc req = {
  73                         .size = ALIGN(size, 4096),
  74                         .flags = KGSL_MEMFLAGS_GPUREADONLY,
  75         };
  76         int ret;
  77
  78         bo = calloc(1, sizeof(*bo));
  79         if (!bo) {
  80                 ERROR_MSG("allocation failed");
  81                 return NULL;
  82         }
  83         ret = ioctl(pipe->fd, IOCTL_KGSL_GPUMEM_ALLOC, &req);
  84         if (ret) {
  85                 ERROR_MSG("gpumem allocation failed: %s", strerror(errno));
  86                 goto fail;
  87         }
  88
  89         bo->pipe = pipe;
  90         bo->gpuaddr = req.gpuaddr;
  91         bo->size = size;
  92         bo->hostptr = mmap(NULL, size, PROT_WRITE|PROT_READ,
  93                                 MAP_SHARED, pipe->fd, req.gpuaddr);
  94
  95         return bo;
  96 fail:
  97         if (bo)
  98                 fd_rb_bo_del(bo);
  99         return NULL;
 100 }
 101
 102 struct fd_ringbuffer * fd_ringbuffer_new(struct fd_pipe *pipe,
 103                 uint32_t size)
 104 {
 105         struct fd_ringbuffer *ring = NULL;
 106
 107         ring = calloc(1, sizeof(*ring));
 108         if (!ring) {
 109                 ERROR_MSG("allocation failed");
 110                 goto fail;
 111         }
 112
 113         ring->bo = fd_rb_bo_new(pipe, size);
 114         if (!ring->bo) {
 115                 ERROR_MSG("ringbuffer allocation failed");
 116                 goto fail;
 117         }
 118
 119         ring->size = size;
 120         ring->pipe = pipe;
 121         ring->start = ring->bo->hostptr;
 122         ring->end = &(ring->start[size/4]);
 123
 124         ring->cur = ring->last_start = ring->start;
 125
 126         return ring;
 127 fail:
 128         if (ring)
 129                 fd_ringbuffer_del(ring);
 130         return NULL;
 131 }
 132
 133 void fd_ringbuffer_del(struct fd_ringbuffer *ring)
 134 {
 135         if (ring->bo)
 136                 fd_rb_bo_del(ring->bo);
 137         free(ring);
 138 }
 139
 140 void fd_ringbuffer_reset(struct fd_ringbuffer *ring)
 141 {
 142         uint32_t *start = ring->start;
 143         if (ring->pipe->id == FD_PIPE_2D)
 144                 start = &ring->start[0x140];
 145         ring->cur = ring->last_start = start;
 146 }
 147
 148 static int flush_impl(struct fd_ringbuffer *ring, uint32_t *last_start)
 149 {
 150         uint32_t offset = (uint8_t *)last_start - (uint8_t *)ring->start;
 151         struct kgsl_ibdesc ibdesc = {
 152                         .gpuaddr     = ring->bo->gpuaddr + offset,
 153                         .hostptr     = last_start,
 154                         .sizedwords  = ring->cur - last_start,
 155         };
 156         struct kgsl_ringbuffer_issueibcmds req = {
 157                         .drawctxt_id = ring->pipe->drawctxt_id,
 158                         .ibdesc_addr = (unsigned long)&ibdesc,
 159                         .numibs      = 1,
 160                         .flags       = KGSL_CONTEXT_SUBMIT_IB_LIST,
 161         };
 162         int ret;
 163
 164         fd_pipe_pre_submit(ring->pipe);
 165
 166         /* z180_cmdstream_issueibcmds() is made of fail: */
 167         if (ring->pipe->id == FD_PIPE_2D) {
 168                 /* fix up size field in last cmd packet */
 169                 uint32_t last_size = (uint32_t)(ring->cur - last_start);
 170                 /* 5 is length of first packet, 2 for the two 7f000000's */
 171                 last_start[2] = last_size - (5 + 2);
 172                 ibdesc.gpuaddr = ring->bo->gpuaddr;
 173                 ibdesc.hostptr = ring->bo->hostptr;
 174                 ibdesc.sizedwords = 0x145;
 175                 req.timestamp = (uint32_t)ring->bo->hostptr;
 176         }
 177
 178         do {
 179                 ret = ioctl(ring->pipe->fd, IOCTL_KGSL_RINGBUFFER_ISSUEIBCMDS, &req);
 180         } while ((ret == -1) && ((errno == EINTR) || (errno == EAGAIN)));
 181         if (ret)
 182                 ERROR_MSG("issueibcmds failed!  %d (%s)", ret, strerror(errno));
 183
 184         ring->last_timestamp = req.timestamp;
 185         ring->last_start = ring->cur;
 186
 187         fd_pipe_post_submit(ring->pipe, req.timestamp);
 188
 189         return ret;
 190 }
 191
 192 /* maybe get rid of this and use fd_ringmarker_flush() from DDX too? */
 193 int fd_ringbuffer_flush(struct fd_ringbuffer *ring)
 194 {
 195         return flush_impl(ring, ring->last_start);
 196 }
 197
 198 uint32_t fd_ringbuffer_timestamp(struct fd_ringbuffer *ring)
 199 {
 200         return ring->last_timestamp;
 201 }
 202
 203 void fd_ringbuffer_emit_reloc(struct fd_ringbuffer *ring,
 204                 struct fd_bo *bo, uint32_t offset, uint32_t or)
 205 {
 206         uint32_t addr = fd_bo_gpuaddr(bo, offset);
 207         assert(addr);
 208         (*ring->cur++) = addr | or;
 209         fd_pipe_add_submit(ring->pipe, bo);
 210 }
 211
 212 void fd_ringbuffer_emit_reloc_shift(struct fd_ringbuffer *ring,
 213                 struct fd_bo *bo, uint32_t offset, uint32_t or, int32_t shift)
 214 {
 215         uint32_t addr = fd_bo_gpuaddr(bo, offset);
 216         assert(addr);
 217         if (shift < 0)
 218                 addr >>= -shift;
 219         else
 220                 addr <<= shift;
 221         (*ring->cur++) = addr | or;
 222         fd_pipe_add_submit(ring->pipe, bo);
 223 }
 224
 225 void fd_ringbuffer_emit_reloc_ring(struct fd_ringbuffer *ring,
 226                 struct fd_ringmarker *target)
 227 {
 228         (*ring->cur++) = target->ring->bo->gpuaddr +
 229                         (uint8_t *)target->cur - (uint8_t *)target->ring->start;
 230 }
 231
 232 struct fd_ringmarker * fd_ringmarker_new(struct fd_ringbuffer *ring)
 233 {
 234         struct fd_ringmarker *marker = NULL;
 235
 236         marker = calloc(1, sizeof(*marker));
 237         if (!marker) {
 238                 ERROR_MSG("allocation failed");
 239                 return NULL;
 240         }
 241
 242         marker->ring = ring;
 243
 244         fd_ringmarker_mark(marker);
 245
 246         return marker;
 247 }
 248
 249 void fd_ringmarker_del(struct fd_ringmarker *marker)
 250 {
 251         free(marker);
 252 }
 253
 254 void fd_ringmarker_mark(struct fd_ringmarker *marker)
 255 {
 256         marker->cur = marker->ring->cur;
 257 }
 258
 259 uint32_t fd_ringmarker_dwords(struct fd_ringmarker *start,
 260                 struct fd_ringmarker *end)
 261 {
 262         return end->cur - start->cur;
 263 }
 264
 265 int fd_ringmarker_flush(struct fd_ringmarker *marker)
 266 {
 267         return flush_impl(marker->ring, marker->cur);
 268 }