[gem] Catch -EINTR from blocking ioctls and restart them.

Thanks to Thomas Hellstrom for catching the issue, no thanks to the kernel
developer who authoritatively told me that they would get restarted on their
own.

[gem] Remove the interrupt handler for retiring requests.

This was insufficient once we started masking interrupts to only when someone
was waiting for them (and would thus retire requests themselves).  It was
replaced by the retire_timer.

[gem] Don't require the lock in execbuf now that it's not needed for the ring.

Bump libdrm version to 2.4.0.

We need a version to depend on from the other components that require GEM and
the bufmgr code.  Some interfaces will be removed before the 2.4.0 release.

Don't clear USER_INTERRUPT if we're not handling it.

This fixes a regression from commit d434b64f6a760d85295e32298a9a1f3624ee1b69
which could cause us to fail to wake up for user interrupts if we lost a race.

[gem] Remove the drm_client_lock_take in set_domain.

We no longer need to use it to protect against shared ringbuffer access.

Move the renaming of mm.c symbols to #defines in the header.

This reduces the diff from Mesa and reduces the illegibility of what I did.

[gem] Another round of cleanups from checkpatch.pl

[gem] Move potentially device-specific ioctls to the intel driver.

This is the create (may want location flags), pread/pwrite/mmap
(performance tuning hints), and set_domain (will 32 bits be enough for
everyone?) ioctls.  Left in the generic set are just flink/open/close.

The 2D driver must be updated for this change, and API but not ABI is broken
for 3D.  The driver version is bumped to mark this.

Remove override of drm module list in preparation for merge.

[gem] Remove carefully-sprinkled i915_kernel_lost_context().

They are not unnecessary since the kernel's the only thing touching the ring.

[intel] Fix BUG_ON trigger in irq masking if you did on/off with irqs disabled.

[gem] Manage the ringbuffer from the kernel in the GEM case.

This requires that the X Server use the execbuf interface for buffer
submission, as it no longer has direct access to the ring.  This is
therefore a flag day for the gem interface.

This also adds enter/leavevt ioctls for use by the X Server.  These would
get stubbed out in a modesetting implementation, but are required while
in an environment where the device's state is only managed by the DRM while
X has the VT.

[gem] Don't forget to munmap in the non-bo-reuse object-freeing case.

[intel] remove settable use_mi_batchbuffer_start

The driver can know what hardware requires MI_BATCH_BUFFER vs
MI_BATCH_BUFFER_START; there's no reason to let user mode configure this.

[intel-gem] Use timers to retire requests periodically.

Without the user IRQ running constantly, there's no wakeup when the ring
empties to go retire requests and free buffers. Use a 1 second timer to make
that happen more often.

[intel] free the hardware status page at driver_unload

This goes with the other hardware status page patch.

[intel-gem] Add explicit throttle ioctl

Instead of throttling and execbuffer time, have the application ask to
throttle explicitly. This allows the throttle to happen less often, and
without holding the DRM lock.

[libdrm/intel] Eliminate extra dri_gem_bo_bucket_entry structure

Place the buffer reuse links right into the dri_bo_gem object.

[libdrm/intel] Remove unused intel_validate_entry structure

[libdrm/intel] Reuse entire dri_bo_gem structure

The code was discarding the dri_bo_gem structure and saving only the kernel
handle. This lost the mmap address, causing pain when the next buffer user
wanted to map the buffer.

[intel] Allocate hardware status page at driver load time

I couldn't get the re-allocated HWS to work on my 965GM, so I just gave up
and made it persist across the lifetime of the driver instead.

Ignore X server provided mmio address

[intel-gem] Dump error status on wait_request failure

Add a function to bufmgr_fake to evict all buffers in the GTT.

This will be used by the X Server for VT switch.

Drop struct_mutex while waiting in drm_client_lock_take

struct_mutex cannot be held while blocking on DRM lock.

Fix libdrm to actually include the new code instead of just building it.

Fix and hook up bufmgr code to the build.

Import bufmgr code to libdrm.  Not yet hooked up to the build.

[intel-gem] reloc_and_validate_object → object_bind_and_relocate

Just renaming this function and related parameters to match terminology used
elsewhere in the driver.

[intel-gem] Propagate set_domain errors.

set_domain can block waiting for rendering to complete. If that process is
interrupted by a signal, it can return -EINTR. Catch this error in all
callers and correctly deal with the result.

Merge commit 'origin/master' into drm-gem

Conflicts:

linux-core/Makefile.kernel
shared-core/i915_drv.h
shared-core/nouveau_state.c

[intel-gem] Only update obj->write_domain if we're actually changing it.

The problem was revealed where on 965, the display list vertex buffer would see:

create       -> (CPU, CPU)
set_domain (CPU, CPU) -> (CPU, CPU)
set_comain (CPU, 0)   -> (CPU, 0) (no clflush occurred)
execbuf    (GPU, 0)   -> (CPU+GPU, 0) (still no clflush)

instead of:

create       -> (CPU, CPU)
set_domain (CPU, CPU) -> (CPU, CPU)
set_comain (CPU, 0)   -> (CPU, CPU)
execbuf    (GPU, 0)   -> (CPU+GPU, 0) (clflushed)

[intel-gem] Add an option to check GTT versus CPU coherency at execbuf time.

r500: attempt to make AGP work by programming agp base in the MC correctly

[intel-gem] Write the presumed_offset back out after updating it.

Otherwise, 965 constant state buffers get re-relocated every exec.  Ouch.

[intel-gem] Clean up active/inactive/flushing list debugging.

radeon: split microcode out into a separate header file.

[intel-gem] Replace idlelock usage with real lock acquisition.

i915: fix BSD bh, DRI2 not uses anywhere else

radeon: bump release date/version for r500 3D support

RADEON: add get_param for number of GB pipes

[BSD] Move unlock in drm_vm.c from accidental platform #ifdeffing.

Also remove an unreachable unlock.

[BSD] Fix lock leak in drm_update_draw malloc failure path.

[BSD] Fix lock leaks in error paths in drm_bufs.c.

[BSD] Remove superfluous recursive locking in drm_add_magic.

[i915] Fix typo in (unused) START_ADDR definition.

[FreeBSD] Add vblank-rework support and get drivers building.

The i915 driver now works again.

[FreeBSD] Convert from drm_device_t to struct drm_device for consistency.

[intel-gem] Must hold DRM lock while setting object domain

Object domain transfer can involve adding flush ops to the request queue,
and so the DRM lock must be held to avoid having the X server smash pointers
badly.

[i915] leave interrupts masked off when not in use.

The interrupt enable register cannot be used to temporarily disable
interrupts, instead use the interrupt mask register.

Note that this change means that a pile of buffers will be left stuck on the
chip as the final interrupts will not be recognized to come and drain things.

[intel-gem] Add DRM_I915_GEM_BUSY ioctl to check for idle buffers.

This new ioctl returns whether re-using the buffer would force a wait.

[intel-gem] Compute npages instead of nbytes in flush_pwrite

i915_gem_flush_pwrite optimizes short writes to the buffer by clflushing
only the modified pages, but it was miscomputing the number of pages.

[intel-gem] replace call to jiffies_to-msec with simple inline

[intel-gem] Encourage multiple caches to hold read data

When reading from multiple domains, allow each cache to continue
to hold data until writes occur somewhere. This is done by
first leaving the read_domains alone at bind time (presumably the CPU read
cache contains valid data still) and then in set_domain, if no write_domain
is specified, the new read domains are simply merged into the existing read
domains.

A huge comment was added above set_domain to explain how things are
expected to work.

[gem] Use CPU domain for new or pageable objects

Newly allocated objects need to be in the CPU domain as they've just been
cleared by the CPU. Also, unmapping objects from the GTT needs to put them
into the CPU domain, both to flush rendering as well as to ensure that any
paging action gets flushed before we remap to the GTT.

[intel-gem] Force ring retire by emiting flush before user-interrupt.

Commands in the ring are parsed and started when the head pointer passes by
them, but they are not necessarily finished until a MI_FLUSH happens. This
patch inserts a flush after the execbuffer (the only place a flush wasn't
already happening).

[intel] Add debug code to verify the cached ring tail pointer.

Recording the tail pointer in a local variable improves performance, but if
someone messes up and fails to reload at the right time, the driver will
write commands to the wrong part of the ring and scramble execution badly.

This change (available by setting I915_RING_VALIDATE to 1) checks to make
sure the cached tail pointer matches the hardware tail pointer at each ring
buffer addition, calling BUG_ON when that's not true.

[intel-gem] invalidate ring locals for pin/unpin/set_domain/free functions

Ring locals must be reloaded from hardware in case the X server ran.

[gem] Release GEM buffers from work task scheduled from IRQ.

There are now 3 lists.  Active is buffers currently in the ringbuffer.
Flushing is not in the ringbuffer, but needs a flush before unbinding.
Inactive is as before.  This prevents object_free → unbind →
wait_rendering → object_reference and a kernel oops about weird refcounting.

This also avoids an synchronous extra flush and wait when freeing a buffer
which had a write_domain set (such as a temporary rendered to and then from
using the 2d engine).  It will sit around on the flushing list until the
appropriate flush gets emitted, or we need the GTT space for another
operation.

r500: add two more register ranges for mesa driver to setup

drm: fix nouveau warning

[gem] Replace ring throttling hack with actual time measurement.

[gem] Fix bad test for list_for_each completion.

Since it's a circular list, the entry won't be NULL at termination.

[gem] Hold a reference on the object in i915_gem_wait_space.

Otherwise, in the middle of the function called using it the last ref
might disappear.

[intel-gem] invalidate ring locals for pin/unpin/set_domain/free functions

Ring locals must be reloaded from hardware in case the X server ran.

rs690/r500: vblank support.

The new display controller has the vblank interrupts in a different place.

Add support for vbl interrupts for these chips

[gem] Use a separate sequence number field from classic/ttm

This lets us get some qualities we desire, such as using the full 32-bit
range (except zero), avoiding DRM_WAIT_ON, and a 1:1 mapping of active
sequence numbers to request structs, which will be used soon for throttling
and interrupt-driven list cleanup.

[gem] Rename sequence numbers from "cookie" to "seqno"

[gem] Clean up active/inactive list handling using helper functions.

Additionally, a boolean active field is added to indicate which list an
object is on, rather than smashing last_rendering_cookie to 0 to show
inactive.  This will help with flush-reduction later on, and makes the code
clearer.

r500: add more register ranges for Mesa driver

[gem] Hold dev->struct_mutex to protect structure data.

[gem] Rename the GTT LRU lists to active (executing) and inactive (idle).

[gem] typo fix in comment.

ati_pcigart: oops wrong way around not that it actually mattered

ati_pcigart: stop working in the evenings you mess up too often

Revert "ati_pcigart: fixup properly this version might even work"

This reverts commit bc0836e12a9790f1cc83f8bc29bc05043c4bc840.

tree has some kref hacks in it - oops

ati_pcigart: fixup properly this version might even work

ati_pcigart: fill out 40-bit gart table support properly

Thanks to Alex for supplying this info.

RS4xx: separate out RS400 and RS480 IGP chips

RS400 (intel based IGP) and RS480 (AMD based IGP) have
different MC and GART setups.  Currently we only support
RS480.

[GEM] Update testcases for new API.

[GEM] Typo (and thinking) fixes in drm-gem.txt and doxygen.

[intel] Minor kludge -- wait for the ring to be nearly empty before queuing

No need to fill the ring that much; wait for it to become nearly empty
before adding the execbuffer request. A better fix will involve scheduling
ring insertion in the irq handler.

[intel] When polling for ring space, sleep for a lot longer (10ms)

If the ring is full, the engine will surely be running for more than 10ms.

[gem] Set write domain to CPU when doing pwrite.

Leave the flush call in place, which can fix domains up if necessary.

[gem] Clarify use of explicit domain control. Remove Gen3 from I-cache usage.

RADEON: fix copy/pasto in last commit

R3/4/5: init pipe setup in drm

Similar (broken) code in mesa needs to be removed

RADEON: cleanup radeon_do_engine_reset()

R300+: fixup pixcache flush

RS4xx: fix MCIND index mask

RADEON: write AGP_BASE_2 on chips that support it

R300+: fixup PURGE/FLUSH macros

Radeon IGP: merge RS4xx/RS6xx gart setup

Radeon IGP: wrap MCIND access

first step in merging rs4xx/rs6xx gart setup

Radeon IGP: clean up registers and magic numbers

[GEM] Make pread/pwrite manage memory domains. No luck with movnti though.

pread and pwrite must update the memory domains to ensure consistency with
the GPU. At some point, it should be possible to avoid clflush through this
path, but that isn't working for me.

[intel-GEM] exec list can contain pinned, lru cannot.

The exec list contains all objects, in order of use. The lru list contains
only unpinned objects ready to be evicted. This required two changes -- the
first was to not migrate pinned objects from exec to lru, the second was to
search for the first unpinned object in the exec list when doing eviction.

Merge commit 'anholt/drm-gem' into drm-gem

[GEM] Add drm-gem.txt

Add some API and implementation documentation for GEM.