[intel-gem] reloc_and_validate_object → object_bind_and_relocate

Just renaming this function and related parameters to match terminology used
elsewhere in the driver.

[intel-gem] Propagate set_domain errors.

set_domain can block waiting for rendering to complete. If that process is
interrupted by a signal, it can return -EINTR. Catch this error in all
callers and correctly deal with the result.

Merge commit 'origin/master' into drm-gem

Conflicts:

linux-core/Makefile.kernel
shared-core/i915_drv.h
shared-core/nouveau_state.c

[intel-gem] Only update obj->write_domain if we're actually changing it.

The problem was revealed where on 965, the display list vertex buffer would see:

create       -> (CPU, CPU)
set_domain (CPU, CPU) -> (CPU, CPU)
set_comain (CPU, 0)   -> (CPU, 0) (no clflush occurred)
execbuf    (GPU, 0)   -> (CPU+GPU, 0) (still no clflush)

instead of:

create       -> (CPU, CPU)
set_domain (CPU, CPU) -> (CPU, CPU)
set_comain (CPU, 0)   -> (CPU, CPU)
execbuf    (GPU, 0)   -> (CPU+GPU, 0) (clflushed)

[intel-gem] Add an option to check GTT versus CPU coherency at execbuf time.

r500: attempt to make AGP work by programming agp base in the MC correctly

[intel-gem] Write the presumed_offset back out after updating it.

Otherwise, 965 constant state buffers get re-relocated every exec.  Ouch.

[intel-gem] Clean up active/inactive/flushing list debugging.

radeon: split microcode out into a separate header file.

[intel-gem] Replace idlelock usage with real lock acquisition.

i915: fix BSD bh, DRI2 not uses anywhere else

radeon: bump release date/version for r500 3D support

RADEON: add get_param for number of GB pipes

[BSD] Move unlock in drm_vm.c from accidental platform #ifdeffing.

Also remove an unreachable unlock.

[BSD] Fix lock leak in drm_update_draw malloc failure path.

[BSD] Fix lock leaks in error paths in drm_bufs.c.

[BSD] Remove superfluous recursive locking in drm_add_magic.

[i915] Fix typo in (unused) START_ADDR definition.

[FreeBSD] Add vblank-rework support and get drivers building.

The i915 driver now works again.

[FreeBSD] Convert from drm_device_t to struct drm_device for consistency.

[intel-gem] Must hold DRM lock while setting object domain

Object domain transfer can involve adding flush ops to the request queue,
and so the DRM lock must be held to avoid having the X server smash pointers
badly.

[i915] leave interrupts masked off when not in use.

The interrupt enable register cannot be used to temporarily disable
interrupts, instead use the interrupt mask register.

Note that this change means that a pile of buffers will be left stuck on the
chip as the final interrupts will not be recognized to come and drain things.

[intel-gem] Add DRM_I915_GEM_BUSY ioctl to check for idle buffers.

This new ioctl returns whether re-using the buffer would force a wait.

[intel-gem] Compute npages instead of nbytes in flush_pwrite

i915_gem_flush_pwrite optimizes short writes to the buffer by clflushing
only the modified pages, but it was miscomputing the number of pages.

[intel-gem] replace call to jiffies_to-msec with simple inline

[intel-gem] Encourage multiple caches to hold read data

When reading from multiple domains, allow each cache to continue
to hold data until writes occur somewhere. This is done by
first leaving the read_domains alone at bind time (presumably the CPU read
cache contains valid data still) and then in set_domain, if no write_domain
is specified, the new read domains are simply merged into the existing read
domains.

A huge comment was added above set_domain to explain how things are
expected to work.

[gem] Use CPU domain for new or pageable objects

Newly allocated objects need to be in the CPU domain as they've just been
cleared by the CPU. Also, unmapping objects from the GTT needs to put them
into the CPU domain, both to flush rendering as well as to ensure that any
paging action gets flushed before we remap to the GTT.

[intel-gem] Force ring retire by emiting flush before user-interrupt.

Commands in the ring are parsed and started when the head pointer passes by
them, but they are not necessarily finished until a MI_FLUSH happens. This
patch inserts a flush after the execbuffer (the only place a flush wasn't
already happening).

[intel] Add debug code to verify the cached ring tail pointer.

Recording the tail pointer in a local variable improves performance, but if
someone messes up and fails to reload at the right time, the driver will
write commands to the wrong part of the ring and scramble execution badly.

This change (available by setting I915_RING_VALIDATE to 1) checks to make
sure the cached tail pointer matches the hardware tail pointer at each ring
buffer addition, calling BUG_ON when that's not true.

[intel-gem] invalidate ring locals for pin/unpin/set_domain/free functions

Ring locals must be reloaded from hardware in case the X server ran.

[gem] Release GEM buffers from work task scheduled from IRQ.

There are now 3 lists.  Active is buffers currently in the ringbuffer.
Flushing is not in the ringbuffer, but needs a flush before unbinding.
Inactive is as before.  This prevents object_free → unbind →
wait_rendering → object_reference and a kernel oops about weird refcounting.

This also avoids an synchronous extra flush and wait when freeing a buffer
which had a write_domain set (such as a temporary rendered to and then from
using the 2d engine).  It will sit around on the flushing list until the
appropriate flush gets emitted, or we need the GTT space for another
operation.

r500: add two more register ranges for mesa driver to setup

drm: fix nouveau warning

[gem] Replace ring throttling hack with actual time measurement.

[gem] Fix bad test for list_for_each completion.

Since it's a circular list, the entry won't be NULL at termination.

[gem] Hold a reference on the object in i915_gem_wait_space.

Otherwise, in the middle of the function called using it the last ref
might disappear.

[intel-gem] invalidate ring locals for pin/unpin/set_domain/free functions

Ring locals must be reloaded from hardware in case the X server ran.

rs690/r500: vblank support.

The new display controller has the vblank interrupts in a different place.

Add support for vbl interrupts for these chips

[gem] Use a separate sequence number field from classic/ttm

This lets us get some qualities we desire, such as using the full 32-bit
range (except zero), avoiding DRM_WAIT_ON, and a 1:1 mapping of active
sequence numbers to request structs, which will be used soon for throttling
and interrupt-driven list cleanup.

[gem] Rename sequence numbers from "cookie" to "seqno"

[gem] Clean up active/inactive list handling using helper functions.

Additionally, a boolean active field is added to indicate which list an
object is on, rather than smashing last_rendering_cookie to 0 to show
inactive.  This will help with flush-reduction later on, and makes the code
clearer.

r500: add more register ranges for Mesa driver

[gem] Hold dev->struct_mutex to protect structure data.

[gem] Rename the GTT LRU lists to active (executing) and inactive (idle).

[gem] typo fix in comment.

ati_pcigart: oops wrong way around not that it actually mattered

ati_pcigart: stop working in the evenings you mess up too often

Revert "ati_pcigart: fixup properly this version might even work"

This reverts commit bc0836e12a9790f1cc83f8bc29bc05043c4bc840.

tree has some kref hacks in it - oops

ati_pcigart: fixup properly this version might even work

ati_pcigart: fill out 40-bit gart table support properly

Thanks to Alex for supplying this info.

RS4xx: separate out RS400 and RS480 IGP chips

RS400 (intel based IGP) and RS480 (AMD based IGP) have
different MC and GART setups.  Currently we only support
RS480.

[GEM] Update testcases for new API.

[GEM] Typo (and thinking) fixes in drm-gem.txt and doxygen.

[intel] Minor kludge -- wait for the ring to be nearly empty before queuing

No need to fill the ring that much; wait for it to become nearly empty
before adding the execbuffer request. A better fix will involve scheduling
ring insertion in the irq handler.

[intel] When polling for ring space, sleep for a lot longer (10ms)

If the ring is full, the engine will surely be running for more than 10ms.

[gem] Set write domain to CPU when doing pwrite.

Leave the flush call in place, which can fix domains up if necessary.

[gem] Clarify use of explicit domain control. Remove Gen3 from I-cache usage.

RADEON: fix copy/pasto in last commit

R3/4/5: init pipe setup in drm

Similar (broken) code in mesa needs to be removed

RADEON: cleanup radeon_do_engine_reset()

R300+: fixup pixcache flush

RS4xx: fix MCIND index mask

RADEON: write AGP_BASE_2 on chips that support it

R300+: fixup PURGE/FLUSH macros

Radeon IGP: merge RS4xx/RS6xx gart setup

Radeon IGP: wrap MCIND access

first step in merging rs4xx/rs6xx gart setup

Radeon IGP: clean up registers and magic numbers

[GEM] Make pread/pwrite manage memory domains. No luck with movnti though.

pread and pwrite must update the memory domains to ensure consistency with
the GPU. At some point, it should be possible to avoid clflush through this
path, but that isn't working for me.

[intel-GEM] exec list can contain pinned, lru cannot.

The exec list contains all objects, in order of use. The lru list contains
only unpinned objects ready to be evicted. This required two changes -- the
first was to not migrate pinned objects from exec to lru, the second was to
search for the first unpinned object in the exec list when doing eviction.

Merge commit 'anholt/drm-gem' into drm-gem

[GEM] Add drm-gem.txt

Add some API and implementation documentation for GEM.

[intel-GEM] Clean up GEM ioctl naming.

Rename 'validate_entry' to 'exec_object', then clean up some field names in
structures (renaming buffer_offset to just offset, for example).

GEM: Fix arguments to drm_memrange_init so we don't exceed our allocation.

It takes (offset, size), not (offset, end).

GEM: Separate the LRU into execution list and LRU list.

Now, the LRU list has objects that are completely done rendering and ready
to kick out, while the execution list has things with active rendering,
which have associated cookies and reference counts on them.

GEM: Clear obj_priv->agp_mem when we free it.

Still managing to get something wrong with this, oopsing down in agp.

GEM: Avoid leaking refs on target objects on presumed offset success.

[gem] API cleanup. allocate->create unreference->close name->flink

Make the API names a bit more consistent.

[i915] clean up whinging from checkpatch.pl

Clean up whinging from checkpatch.pl in drm_gem.c

Whitespace changes, a few too-long-lines and some extra braces.

GEM: Fix oops on NULL dereference when we try clflushing when we don't need to.

[intel-gem] Move domains to relocation records. add set_domain ioctl.

Domain information is about buffer relationships, not buffer contents. That
means a relocation contains the domain information as it knows how the
source buffer references the target buffer.

This also adds the set_domain ioctl so that user space can move buffers to
the cpu domain.

GEM: fix testcases for new ioctl args.

Apply a few stylistic cleanups to match kernel code.

GEM: Wait for existing rendering to complete before writing relocation data.

This should already have been generally safe since we don't change contents
and put in new relocations between execbufs, so if we were writing in a new
relocation then we'd already waited rendering to complete when we moved
the target of the relocation.  However, doing the right thing will be required
if we do buffer reuse.

GEM: Extend cache domain stuff for 965.

One of our MI_FLUSH bits is reserved on 965, being always implied, and there's
a vertex cache that was forgotten.

drm: nopage compat fixup for drm_vm

The kernel has removed nopage so move the old nopage codepaths into a compat vm file and switch to using the fault paths.

nopfn is on its way out in the future also, so we should switch to using fault
for that path as well soon

[intel-GEM] ref count objects in gtt-lru.

If objects on the lru aren't ref counted, they'll get pulled from the gtt as
soon as they are freed. This change does cause objects to get stuck in the
gtt until they're forced out by new requests. The lru should get cleaned
when the irq occurs.

[intel-GEM] Add memory domain support.

Memory domains allow the kernel to track which caches to flush and how to
move objects before buffer execution.

Merge commit 'anholt/drm-gem' into drm-gem

Start coding up memory domains

GEM: Use irq-based fencing rather than syncing and evicting every exec.

GEM: Skip relocation if presumed offset matches.

GEM: Save the last ioremapped page for relocations in case we need it again.

Dump last batch buffer when hardware lockup is detected.

Monitor ACTHD register while polling for idle ring.

When batch buffers are executing, the ring may be stuck for a long time.
Monitor the ACTHD pointer which will show if the execution engine is
actually hung.

Unlock pages right after getting them.

pages come back from find_or_create_page locked, but must not stay locked
for long. Unlock them immediately instead of waiting until we're done with
them to avoid deadlock when applications try to touch them.

Merge commit 'anholt/drm-gem' into drm-gem

Conflicts:

linux-core/i915_gem.c

GEM: Replace drm_memrange_for_each with just evicting what we brought in.

I was wrong about how the data structure worked, and didn't care to fix it
to support debugging code.

Remove some debug messages.

Add object base to relocation store address.

The relocated value was being written to the wrong location, missing
the object base address.