[gem-intel] Don't clear write_domain until flush completes

In i915_gem_object_wait_rendering, if the object write domain is being
written by the GPU, the appropriate flushing commands are written to the
device and an additional request queued to mark that flush. Finally, the
function blocks on that new request.

The bug was that the write_domain in the object was cleared before the
function blocked.

If the wait is interrupted by a signal, the flushing commands may still be
pending. With the current write_domain information lost, the restarted
syscall will drop right through the write_domain test as that value was
lost, and so the function will not block at all. Oops.

Fixed by simply moving the write_domain clear until after the wait_request
succeeds. Note that the restarted system call will generate an additional
flush sequence and request, but that should be 'harmless', aside from a
slight performance impact.

Someday we'll track flushing more accurately and clear write_domains more
efficiently, but for now, this should suffice.

This bug was discovered in the 2d gem development by running x11perf
-copypixwin500 and noticing that the window got cleared accidentally.

Expose pin/unpin/set_tiling/flink APIs

radeon: fix blit due to registers wrong

drm: finish bo after lastclose

radeon: add userspace mm enable switch

radeon: don't use ring if cp not going

drm: remove unused types

drm: fixup master code to use krefs

i915/radeon: use rmmap locked

modesetting: pick_crtcs can't be static

drm: remove unneeded debugging

Merge commit 'origin/drm-gem' into modesetting-gem

Conflicts:
linux-core/Makefile.kernel
linux-core/drmP.h
linux-core/drm_mm.c
linux-core/drm_stub.c
linux-core/i915_gem.c
linux-core/i915_opregion.c
shared-core/i915_dma.c
shared-core/i915_drv.h
shared-core/i915_irq.c

Revert "i915: Move all of the irq install/uninstall to load time."

This reverts commit 965a72202b439068e62ac341990f51953457b202.

Please re-do over properly

Merge commit 'origin/master' into modesetting-gem

Conflicts:
linux-core/Makefile.kernel
linux-core/ati_pcigart.c
linux-core/drm_compat.h
linux-core/drm_irq.c
linux-core/drm_lock.c
linux-core/i915_drv.c
shared-core/i915_dma.c
shared-core/i915_drv.h
shared-core/i915_irq.c
shared-core/nouveau_mem.c
shared-core/radeon_cp.c
shared-core/radeon_drv.h

drm: remove object hash

drm: userspace rip out TTM API

drm: add fault handler support so as to be more like possible upstream

drm: add fault handler support so as to be more like possible upstream
(cherry picked from commit 10d5b037b85706037df89bf0275436797e4eb559)

TTM: remove API and userspace objects.

This removes all the TTM userspace API and all userspace objects.

It also removes the drm_bo_lock.c code

intel-gem: Replace version bump signalling GEM with I915_PARAM_HAS_GEM.

Make it compile again.

intel-gem: Remove dead field from reverted changes.

Revert "Rename drm_mm.c and its fuctions to drm_memrange."

This reverts commit 3ad8db2071d30c198403e605f2726fc5c3e46bfd.

We ended up not needing that namespace, and I'd rather not have the churn
for producing diffs.

radeon: hack gem to get an offset back for Mesa.

radeon: add some handles to the sarea + kernel mm available check

i915: more version checks

i915: add version checks for opregion on old kernels

intel-gem: actually add i915_gem_debug.c.

intel-gem: Check return value of pci_read_base.

r300: Fix cliprect emit

This makes our handling of cliprects sane. drm_clip_rect always has exclusive
bottom-right corners, but the hardware expects inclusive bottom-right corners,
so we adjust this here.

This complements Michel Daenzer's commit 57aea290e1e0a26d1e74df6cff777eb9f038f1f8
to Mesa. See also http://bugs.freedesktop.org/show_bug.cgi?id=16123 .

radeon: move code around putting emit into cs

radeon_cs: add relocate hook for mm and non-mm relocations

intel: Fix typo in unused register definition name.

intel-gem: checkpatch.pl on drm_proc.c new contents.

Merge commit 'origin/master' into drm-gem

Conflicts:

linux-core/Makefile.kernel
shared-core/i915_dma.c
shared-core/i915_drv.h
shared-core/i915_irq.c

nouveau: fix nv04 fifo context save to save reg contents, not reg offset

clearly the function had never been used :)

nouveau: fix bad rename from 5a072f32c8f941d1ef301811881e8c89c8d8a5f1

intel-gem: Another checkpatch.pl pass.

intel-gem: Fix regression tests.

Main fix is an oops that was triggered by the gtt pwrite path when we don't
have the gtt initialized.  Also, settle on -EBADF for "bad object handle",
and -EINVAL for "reading/writing beyond object boundary".

intel-gem: Speed up tiled readpixels by tracking which pages have been flushed.

This is around 3x or so speedup, since we would read wide rows at a time, and
clflush each tile 8 times as a result.  We'll want code related to this anyway
when we do fault-based per-page clflushing for sw fallbacks.

set to 2.4.0

radeon_cs: extract some offsets from packet data

r300: add some packet 3 decodes

r300: initial command stream parser for packet 0.

this at least parses the DDX stream and lets me run gnome-terminal/metacity

radeon command submission start

take code from Jerome munge into a TTM IB re-use

intel-gem: Move debug-only functions to a separate file.

NV50: s/FALSE/false/

radeon: Add suspend/resume hooks for saving/clearing/restoring interrupts.

Fixes http://bugs.freedesktop.org/show_bug.cgi?id=16799 .

r300_cmdbuf: Always emit INDX_BUFFER immediately after DRAW_INDEX

DRAW_INDEX writes a vertex count to VAP_VF_CNTL. Docs say that behaviour
is undefined (i.e. lockups happen) when this write is not followed by the
right number of vertex indices.

Thus we used to do the wrong thing when drawing across many cliprects was
necessary, because we emitted a sequence
 DRAW_INDEX, DRAW_INDEX, INDX_BUFFER, INDX_BUFFER
instead of
 DRAW_INDEX, INDX_BUFFER, DRAW_INDEX, INDX_BUFFER
The latter is what we're doing now and which ought to be correct.

tests: add some basic radeon gem tests

radeon: add initial atombios modesetting and GEM -> TTM translation layer.

This is an initial import of the atom bios parser with modesetting support
for r500 hw using atombios. It also includes a simple memory manager
layer that translates a radeon GEM style interface onto TTM internally.

So far this memory manager has only been used for pinned object allocation
for the DDX to test modesetting.

Merge remote branch 'origin/modesetting-101' into modesetting-gem

drm: don't set the signal blocker on the master process.

this lets us debug the X server through xkb startup.

Not sure what the correct answer is, probably X needs to drop
the lock when execing stuff, with input hotplug it can get
xkb stuff at any time I believe.

modesetting: pass file priv to cursor

nv50: remove TRUE/FALSE

modesetting: pass file_priv into cursor set functions

Merge remote branch 'origin/modesetting-101' into modesetting-gem

[FreeBSD] Duh, we need to actually define the drm_modeset_ctl...

drm: don't set the signal blocker on the master process.

this lets us debug the X server through xkb startup.

Not sure what the correct answer is, probably X needs to drop
the lock when execing stuff, with input hotplug it can get
xkb stuff at any time I believe.

drm: use correct mode destructor

[FreeBSD] Catch up to linux on vblank-rework

i915: Move all of the irq install/uninstall to load time.

This resolves a panic on FreeBSD which was caused by trying
to re-initialize the swap lock.  It's just much easier to
initialize all of the locks at load time.  It should also
ensure that the vblank structures are available earlier.

intel-gem: Fix pread math and logic errors.

Fixes an oops in fbotexture from walking off the end of the page list.

intel-gem: Add a quick hack to reduce clflushing on pread.

This increases overhead for the large-readpixels case due to the repeated
page cache accessing, but greatly reduces overhead for the small-readpixels
case.

intel-gem: Don't do the GTT-pwrite shortcut on tiled buffers.

These will be covered by the fence, while pread/pwrite are supposed to be
CPU-perspective writes, with manual detiling done by the client.

intel-gem: Move /proc debugging to a separate file.

radeon: fix typo with a better typo

radeon: fix type DST vs Z cache flush

[FreeBSD] Improve upper_32_bits define.

Thanks to airlied.

intel-gem: Remove recently added pci_read_base prototype.

This is in pci.h in the fixed patch to the kernel.

intel-gem: Set up HWS when it needs a vaddr during GEM init.

This requires an updated 2D driver to not try to set it up as well.

NV50: Don't create a "native" mode for LVDS when there is none.

NV50: don't fail on LVDS by default

NV50: Use bios table for load pattern when possible.

NV50: Do detect with hpd and load detect if possible.

- Appropriate error messages when an unknown situation is encountered are included.
- Fallback to i2c will occur when needed.

Remove accidental leftover tests.

Thanks to Nicolai Haehnle for pointing this out on IRC.

Reinstate dev->vblank_enabled[].

I incorrectly thought it was obsolete.

Drop workaround for driver vblank counter going backwards.

The driver code that caused this is no longer necessary and has been dropped.

radeon: Post-vblank-rework-rework cleanups.

Thanks to the reworked vblank-rework, we can just use the hardware frame
counter directly, and make the RADEON_PARAM_VBLANK_CRTC getparam just return
what was set by the corresponding setparam.

vblank-rework rework cleanups.

Remove some dead/obsolete code and make drm_update_vblank_count() static.

Remove obsolete dev->vblank_suspend[crtc] tests.

Caused drm_update_vblank_count() not to do its thing when called from
drm_modeset_ctl() -> drm_vblank_get().

The vblank functionality no longer needs to be suspended during a modeset, so
rename the field to vblank_inmodeset.

NV50: delay changing gpu<->non-gpu scaling modes until next modeset

modesetting-101: Only store property value when set_property was successful.

NV50: LVDS always needs some kind of gpu scaling

modesetting-101: set_property should return an int, not a bool

modesetting-101: implement optional scaling and dithering properties

drm: As a workaround don't tear down sg with a modesetting driver.

- This allows me to maintain a useful prototype driver.

i915: convert to using drm_vblank_get/put around vblank counter usage

All interrupt off vblank count updates are done in drm_vblank_get/put
now, so convert users of the vblank counter over to that interface.

Update vblank code to new API

In my last push I forgot to convert users of drm_update_vblank_count
over to drm_vblank_get/put, since that's where any interrupt off->on
update accounting is done now.  Since the modeset ioctl did something
similar (an open coded update of the counter) convert it over to using
get/put too, which saves us from having to deal with every combination
of interrupt off & on between calls.

drm-gem: Fix build

On some distros missing prototypes cause kernel builds to fail.  These
are hack to make the code build.

intel-gem: Leave 8xx tiling on until we find any issues.

nv50: use same dma object for fb/tt access

We depend on the VM fully now for memory protection, separate DMA objects
for VRAM and GART are unneccesary.  However, until the next interface break
(soon) a client can't depend on the objects being the same and must still
call NV_OBJ_SET_DMA_* methods appropriately.

nouveau: interface changes for nv5x 3d

radeon: remove microcode version

drm/radeon: fixup 0 vs NULL

[FreeBSD] drm_irq.c updates for vblank fixes.

i915: remove old broken vblank code

Remove the unused (and broken) "in vblank" code now that the core has
been fixed to use a counter while interrupts are enabled.  Also make the
vblank pipe get/set ioctls into dumb stub functions, since with the new
code we can no longer let userspace control whether vblank interrupts
are enabled, or the core code will misbehave.

Avoid incorrect vblank wakeups

The current code uses the hw vblank counter exclusively, which can lead
to wakeups during the active period rather than during the vblank period
if the hw counter counts displayed frames rather than vblank periods.

This change coverts the code over to using the counter while interrupts
are enabled, fixing that issue.  It also includes a couple of related
changes:  one to not enable the new enable/disable behavior until the
modeset ioctl is called (to preserve old client behavior) and another to
account for lost events due to mode setting with the new counter scheme.

BSD will require similar changes to its drm_irq.c code, but they should
be straightforward.

FreeBSD: Fix radeon build

BSD: change drm_locked_task*() to use the same scheme as linux.

The current code can sleep in an interrupt handler, that is bad. So
instead if we can't grab the lock, flag it and run the tasklet on
unlock.

Signed-off-by: Robert Noland <rnoland@2hip.net>