src/gallium/drivers/nouveau/nouveau_fence.c

   1 /*
   2  * Copyright 2010 Christoph Bumiller
   3  *
   4  * Permission is hereby granted, free of charge, to any person obtaining a
   5  * copy of this software and associated documentation files (the "Software"),
   6  * to deal in the Software without restriction, including without limitation
   7  * the rights to use, copy, modify, merge, publish, distribute, sublicense,
   8  * and/or sell copies of the Software, and to permit persons to whom the
   9  * Software is furnished to do so, subject to the following conditions:
  10  *
  11  * The above copyright notice and this permission notice shall be included in
  12  * all copies or substantial portions of the Software.
  13  *
  14  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
  15  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  16  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT.  IN NO EVENT SHALL
  17  * THE AUTHORS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY,
  18  * WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF
  19  * OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
  20  * SOFTWARE.
  21  */
  22
  23 #include "util/u_double_list.h"
  24
  25 #include "nouveau_screen.h"
  26 #include "nouveau_fence.h"
  27
  28 #include "nouveau/nouveau_pushbuf.h"
  29
  30 #ifdef PIPE_OS_UNIX
  31 #include <sched.h>
  32 #endif
  33
  34 boolean
  35 nouveau_fence_new(struct nouveau_screen *screen, struct nouveau_fence **fence,
  36                   boolean emit)
  37 {
  38    *fence = CALLOC_STRUCT(nouveau_fence);
  39    if (!*fence)
  40       return FALSE;
  41
  42    (*fence)->screen = screen;
  43    (*fence)->ref = 1;
  44    LIST_INITHEAD(&(*fence)->work);
  45
  46    if (emit)
  47       nouveau_fence_emit(*fence);
  48
  49    return TRUE;
  50 }
  51
  52 static void
  53 nouveau_fence_trigger_work(struct nouveau_fence *fence)
  54 {
  55    struct nouveau_fence_work *work, *tmp;
  56
  57    LIST_FOR_EACH_ENTRY_SAFE(work, tmp, &fence->work, list) {
  58       work->func(work->data);
  59       LIST_DEL(&work->list);
  60       FREE(work);
  61    }
  62 }
  63
  64 boolean
  65 nouveau_fence_work(struct nouveau_fence *fence,
  66                    void (*func)(void *), void *data)
  67 {
  68    struct nouveau_fence_work *work;
  69
  70    if (!fence || fence->state == NOUVEAU_FENCE_STATE_SIGNALLED) {
  71       func(data);
  72       return TRUE;
  73    }
  74
  75    work = CALLOC_STRUCT(nouveau_fence_work);
  76    if (!work)
  77       return FALSE;
  78    work->func = func;
  79    work->data = data;
  80    LIST_ADD(&work->list, &fence->work);
  81    return TRUE;
  82 }
  83
  84 void
  85 nouveau_fence_emit(struct nouveau_fence *fence)
  86 {
  87    struct nouveau_screen *screen = fence->screen;
  88
  89    assert(fence->state == NOUVEAU_FENCE_STATE_AVAILABLE);
  90
  91    /* set this now, so that if fence.emit triggers a flush we don't recurse */
  92    fence->state = NOUVEAU_FENCE_STATE_EMITTING;
  93
  94    ++fence->ref;
  95
  96    if (screen->fence.tail)
  97       screen->fence.tail->next = fence;
  98    else
  99       screen->fence.head = fence;
 100
 101    screen->fence.tail = fence;
 102
 103    screen->fence.emit(&screen->base, &fence->sequence);
 104
 105    assert(fence->state == NOUVEAU_FENCE_STATE_EMITTING);
 106    fence->state = NOUVEAU_FENCE_STATE_EMITTED;
 107 }
 108
 109 void
 110 nouveau_fence_del(struct nouveau_fence *fence)
 111 {
 112    struct nouveau_fence *it;
 113    struct nouveau_screen *screen = fence->screen;
 114
 115    if (fence->state == NOUVEAU_FENCE_STATE_EMITTED ||
 116        fence->state == NOUVEAU_FENCE_STATE_FLUSHED) {
 117       if (fence == screen->fence.head) {
 118          screen->fence.head = fence->next;
 119          if (!screen->fence.head)
 120             screen->fence.tail = NULL;
 121       } else {
 122          for (it = screen->fence.head; it && it->next != fence; it = it->next);
 123          it->next = fence->next;
 124          if (screen->fence.tail == fence)
 125             screen->fence.tail = it;
 126       }
 127    }
 128
 129    if (!LIST_IS_EMPTY(&fence->work)) {
 130       debug_printf("WARNING: deleting fence with work still pending !\n");
 131       nouveau_fence_trigger_work(fence);
 132    }
 133
 134    FREE(fence);
 135 }
 136
 137 void
 138 nouveau_fence_update(struct nouveau_screen *screen, boolean flushed)
 139 {
 140    struct nouveau_fence *fence;
 141    struct nouveau_fence *next = NULL;
 142    u32 sequence = screen->fence.update(&screen->base);
 143
 144    if (screen->fence.sequence_ack == sequence)
 145       return;
 146    screen->fence.sequence_ack = sequence;
 147
 148    for (fence = screen->fence.head; fence; fence = next) {
 149       next = fence->next;
 150       sequence = fence->sequence;
 151
 152       fence->state = NOUVEAU_FENCE_STATE_SIGNALLED;
 153
 154       nouveau_fence_trigger_work(fence);
 155       nouveau_fence_ref(NULL, &fence);
 156
 157       if (sequence == screen->fence.sequence_ack)
 158          break;
 159    }
 160    screen->fence.head = next;
 161    if (!next)
 162       screen->fence.tail = NULL;
 163
 164    if (flushed) {
 165       for (fence = next; fence; fence = fence->next)
 166          if (fence->state == NOUVEAU_FENCE_STATE_EMITTED)
 167             fence->state = NOUVEAU_FENCE_STATE_FLUSHED;
 168    }
 169 }
 170
 171 #define NOUVEAU_FENCE_MAX_SPINS (1 << 31)
 172
 173 boolean
 174 nouveau_fence_signalled(struct nouveau_fence *fence)
 175 {
 176    struct nouveau_screen *screen = fence->screen;
 177
 178    if (fence->state >= NOUVEAU_FENCE_STATE_EMITTED)
 179       nouveau_fence_update(screen, FALSE);
 180
 181    return fence->state == NOUVEAU_FENCE_STATE_SIGNALLED;
 182 }
 183
 184 boolean
 185 nouveau_fence_wait(struct nouveau_fence *fence)
 186 {
 187    struct nouveau_screen *screen = fence->screen;
 188    uint32_t spins = 0;
 189
 190    /* wtf, someone is waiting on a fence in flush_notify handler? */
 191    assert(fence->state != NOUVEAU_FENCE_STATE_EMITTING);
 192
 193    if (fence->state < NOUVEAU_FENCE_STATE_EMITTED) {
 194       nouveau_fence_emit(fence);
 195
 196       if (fence == screen->fence.current)
 197          nouveau_fence_new(screen, &screen->fence.current, FALSE);
 198    }
 199    if (fence->state < NOUVEAU_FENCE_STATE_FLUSHED)
 200       FIRE_RING(screen->channel);
 201
 202    do {
 203       nouveau_fence_update(screen, FALSE);
 204
 205       if (fence->state == NOUVEAU_FENCE_STATE_SIGNALLED)
 206          return TRUE;
 207       spins++;
 208 #ifdef PIPE_OS_UNIX
 209       if (!(spins % 8)) /* donate a few cycles */
 210          sched_yield();
 211 #endif
 212    } while (spins < NOUVEAU_FENCE_MAX_SPINS);
 213
 214    debug_printf("Wait on fence %u (ack = %u, next = %u) timed out !\n",
 215                 fence->sequence,
 216                 screen->fence.sequence_ack, screen->fence.sequence);
 217
 218    return FALSE;
 219 }
 220
 221 void
 222 nouveau_fence_next(struct nouveau_screen *screen)
 223 {
 224    if (screen->fence.current->state < NOUVEAU_FENCE_STATE_EMITTING)
 225       nouveau_fence_emit(screen->fence.current);
 226
 227    nouveau_fence_ref(NULL, &screen->fence.current);
 228
 229    nouveau_fence_new(screen, &screen->fence.current, FALSE);
 230 }