[intel-gem] invalidate ring locals for pin/unpin/set_domain/free functions

Ring locals must be reloaded from hardware in case the X server ran.

[gem] Release GEM buffers from work task scheduled from IRQ.

There are now 3 lists.  Active is buffers currently in the ringbuffer.
Flushing is not in the ringbuffer, but needs a flush before unbinding.
Inactive is as before.  This prevents object_free → unbind →
wait_rendering → object_reference and a kernel oops about weird refcounting.

This also avoids an synchronous extra flush and wait when freeing a buffer
which had a write_domain set (such as a temporary rendered to and then from
using the 2d engine).  It will sit around on the flushing list until the
appropriate flush gets emitted, or we need the GTT space for another
operation.

[gem] Replace ring throttling hack with actual time measurement.

[gem] Fix bad test for list_for_each completion.

Since it's a circular list, the entry won't be NULL at termination.

[gem] Hold a reference on the object in i915_gem_wait_space.

Otherwise, in the middle of the function called using it the last ref
might disappear.

[intel-gem] invalidate ring locals for pin/unpin/set_domain/free functions

Ring locals must be reloaded from hardware in case the X server ran.

[gem] Use a separate sequence number field from classic/ttm

This lets us get some qualities we desire, such as using the full 32-bit
range (except zero), avoiding DRM_WAIT_ON, and a 1:1 mapping of active
sequence numbers to request structs, which will be used soon for throttling
and interrupt-driven list cleanup.

[gem] Rename sequence numbers from "cookie" to "seqno"

[gem] Clean up active/inactive list handling using helper functions.

Additionally, a boolean active field is added to indicate which list an
object is on, rather than smashing last_rendering_cookie to 0 to show
inactive.  This will help with flush-reduction later on, and makes the code
clearer.

[gem] Hold dev->struct_mutex to protect structure data.

[gem] Rename the GTT LRU lists to active (executing) and inactive (idle).

[gem] typo fix in comment.

[GEM] Update testcases for new API.

[GEM] Typo (and thinking) fixes in drm-gem.txt and doxygen.

[intel] Minor kludge -- wait for the ring to be nearly empty before queuing

No need to fill the ring that much; wait for it to become nearly empty
before adding the execbuffer request. A better fix will involve scheduling
ring insertion in the irq handler.

[intel] When polling for ring space, sleep for a lot longer (10ms)

If the ring is full, the engine will surely be running for more than 10ms.

[gem] Set write domain to CPU when doing pwrite.

Leave the flush call in place, which can fix domains up if necessary.

[gem] Clarify use of explicit domain control. Remove Gen3 from I-cache usage.

[GEM] Make pread/pwrite manage memory domains. No luck with movnti though.

pread and pwrite must update the memory domains to ensure consistency with
the GPU. At some point, it should be possible to avoid clflush through this
path, but that isn't working for me.

[intel-GEM] exec list can contain pinned, lru cannot.

The exec list contains all objects, in order of use. The lru list contains
only unpinned objects ready to be evicted. This required two changes -- the
first was to not migrate pinned objects from exec to lru, the second was to
search for the first unpinned object in the exec list when doing eviction.

Merge commit 'anholt/drm-gem' into drm-gem

[GEM] Add drm-gem.txt

Add some API and implementation documentation for GEM.

[intel-GEM] Clean up GEM ioctl naming.

Rename 'validate_entry' to 'exec_object', then clean up some field names in
structures (renaming buffer_offset to just offset, for example).

GEM: Fix arguments to drm_memrange_init so we don't exceed our allocation.

It takes (offset, size), not (offset, end).

GEM: Separate the LRU into execution list and LRU list.

Now, the LRU list has objects that are completely done rendering and ready
to kick out, while the execution list has things with active rendering,
which have associated cookies and reference counts on them.

GEM: Clear obj_priv->agp_mem when we free it.

Still managing to get something wrong with this, oopsing down in agp.

GEM: Avoid leaking refs on target objects on presumed offset success.

[gem] API cleanup. allocate->create unreference->close name->flink

Make the API names a bit more consistent.

[i915] clean up whinging from checkpatch.pl

Clean up whinging from checkpatch.pl in drm_gem.c

Whitespace changes, a few too-long-lines and some extra braces.

GEM: Fix oops on NULL dereference when we try clflushing when we don't need to.

[intel-gem] Move domains to relocation records. add set_domain ioctl.

Domain information is about buffer relationships, not buffer contents. That
means a relocation contains the domain information as it knows how the
source buffer references the target buffer.

This also adds the set_domain ioctl so that user space can move buffers to
the cpu domain.

GEM: fix testcases for new ioctl args.

Apply a few stylistic cleanups to match kernel code.

GEM: Wait for existing rendering to complete before writing relocation data.

This should already have been generally safe since we don't change contents
and put in new relocations between execbufs, so if we were writing in a new
relocation then we'd already waited rendering to complete when we moved
the target of the relocation.  However, doing the right thing will be required
if we do buffer reuse.

GEM: Extend cache domain stuff for 965.

One of our MI_FLUSH bits is reserved on 965, being always implied, and there's
a vertex cache that was forgotten.

[intel-GEM] ref count objects in gtt-lru.

If objects on the lru aren't ref counted, they'll get pulled from the gtt as
soon as they are freed. This change does cause objects to get stuck in the
gtt until they're forced out by new requests. The lru should get cleaned
when the irq occurs.

[intel-GEM] Add memory domain support.

Memory domains allow the kernel to track which caches to flush and how to
move objects before buffer execution.

Merge commit 'anholt/drm-gem' into drm-gem

Start coding up memory domains

GEM: Use irq-based fencing rather than syncing and evicting every exec.

GEM: Skip relocation if presumed offset matches.

GEM: Save the last ioremapped page for relocations in case we need it again.

Dump last batch buffer when hardware lockup is detected.

Monitor ACTHD register while polling for idle ring.

When batch buffers are executing, the ring may be stuck for a long time.
Monitor the ACTHD pointer which will show if the execution engine is
actually hung.

Unlock pages right after getting them.

pages come back from find_or_create_page locked, but must not stay locked
for long. Unlock them immediately instead of waiting until we're done with
them to avoid deadlock when applications try to touch them.

Merge commit 'anholt/drm-gem' into drm-gem

Conflicts:

linux-core/i915_gem.c

GEM: Replace drm_memrange_for_each with just evicting what we brought in.

I was wrong about how the data structure worked, and didn't care to fix it
to support debugging code.

Remove some debug messages.

Add object base to relocation store address.

The relocated value was being written to the wrong location, missing
the object base address.

Emit clflush and chipset flush when mapping objects to gtt

Correct execbuffer offset. Add memory barrier and chipset flush.

Add i915_dispatch_gem_execbuffer (broken).

This function submits a gem-based execbuffer to the ring.
It doesn't work yet.

Don't forget to set the memrange private, and reset ring on kernel entry.

Don't include the tail guard memrange in foreach callbacking.

Check for do_mmap errors

Add a bit of /proc/dri/*/gem support. Clean up some refcount/pagelock issues.

Track named objects in /proc/dri/0/gem_names.
Track total object count in /proc/dri/0/gem_objects.
Initialize device gem data.
return -ENODEV for gem ioctls if the driver doesn't support gem.
Call unlock_page when unbinding from gtt.
Add numerous misssing calls to drm_gem_object_unreference.

Add name/open ioctls, separate handle and pointer ref counts.

Names are just another unique integer set (from another idr object).
Names are removed when the user refernces (handles) are all destroyed --
this required that handles for objects be counted separately from
internal kernel references (so that we can tell when the handles are all
gone).

Remove drm_driver argument to functions taking drm_gem_object.

Now that drm_gem_object has a drm_driver * in it, functions don't need both
parameters.

Fix nouveau warning when returning pointers in uint64_t objects.

Add alignment to all aperture allocation requests.

When pinning buffers, or using execbuffer, allow the application to specify
the necessary aperture allocation alignment constraints.

Fix gem ioctls to be 32/64-bit clean.

mixed 32/64 bit systems need 'special' help for ioctl where the user-space
and kernel-space datatypes differ. Fixing the datatypes to be the same size,
and align the same way for both 32 and 64-bit ppc and x86 environments will
elimiante the need to have magic 32/64-bit ioctl translation code.

Use krefs for refcounting.

krefs are way easier than a custom-coded spinlock+int combo.

Unbind objects when freeing, fix some error paths, and warn in others.

Fix offset passed to AGP to be pages instead of bytes.

Fix some utterly bonged loop while we were staring at it.

Fix missing member settings in obj/obj_priv, and some error paths.

Make GEM object handles be nonzero.

Update mm tests for GEM rename.

Remove _args from gem ioctl argument structure tags.

Add pin/unpin object ioctls for gem.

checkpoint: relocations support.

checkpoint: gtt binding written.

checkpoint: rename to GEM and a few more i915 bits.

Hacking towards hooking up execbuffer.

Remove the remainder of the mmfs device.

Move mmfs tests over to be drm tests.

Move mmfs ioctls into the DRM. Untested.

Rename drm_mm.c and its fuctions to drm_memrange.

It's not really a graphics memory allocator, just something to track ranges
of address space.  It doesn't involve actual allocation, and was consuming
some desired namespace.

Add mmap ioctl to mmfs.

Add pread/pwrite ioctls to mmfs.

Extend the mmfs basic test to do a couple of ioctls.

Move mmfs.h userland interface to shared-core.

Initial add of mmfs module.

Clarify that drm_agp_ttm_backend is associated with a drm_ttm.

On first looking at it I assumed it was an aspect of the ttm backend as a
whole rather than specific allocations from a backend.

linux-core Makefile: add GIT_REVISION

This tries to automatically fetch a git revision string and if succeeds,
it #defines GIT_REVISION string macro. Packagers can override it by
'make GIT_REVISION=foo'.

Update Nouveau to use GIT_REVISION, if defined, instead of DRIVER_DATE
in struct drm_driver.

Signed-off-by: Pekka Paalanen <pq@iki.fi>

i915: gfx hw and i945gme fixes from upstream

From Jesse and Zhenyu originally.

[I915] Handle tiled buffers in vblank tasklet

The vblank tasklet update code must build 2D blt commands with the
appropriate tiled flags.

On I965, use correct 3DSTATE_DRAWING_RECTANGLE command in vblank

The batchbuffer submission paths were fixed to use the 965-specific command,
but the vblank tasklet was not. When the older version is sent, the 965 will
lock up.

Fix buffer object map wait error.
Add some branch prediction hints.

Fix buffer object creation validation.

BO lock fixes.

Unlock the BO mutex while waiting for idle, unmapped, unfenced.

Move unfenced checking into idle checking.
Never time out while waiting for software events like unmapped or unfenced.

Fix up buffer manager locking.

Save and restore dsparb and d_state regs

Missing KERNEL_VERSION macro

Add DragonFly BSD support for device creation

DragonFly behaves just like FreeBSD in this regard.

nouveau: enable accelerated move to sysmem

nouveau: enable m2mf for tt<->vram moves, fix fence_poll

Place highmem pages last in the ttm page array.

Use clflush() when available for cache flushing.

[I915] Fix VRAM eviction.