[intel-gem] Execute MI_FLUSH in leavevt_ioctl

In leavevt_ioctl, queue an MI_FLUSH and then block waiting for it to
complete. This will empty the active and flushing lists. That leaves only
the inactive list to evict.

[intel-gem] inactive list may contain objects in CPU write domain

Pin/unpin need to know whether to remove/add objects from the inactive list,
inactive objects cannot be in any GPU write domain as those would be on the
flushing list instead. However, inactive objects may be in the CPU write
domain.

[intel-gem] BUG_ON active objects in gem_object_unbind

Now that gem_object_unbind waits for rendering to complete, objects should
not be active when they are being pulled from the GTT. BUG_ON if this is
broken.

[intel-gem] Debugging -- verify inactive list invariants

Inactive list elements may not be pinned, active or have non-CPU write
domains.

[intel-gem] whitespace fixes

[intel-gem] show total GTT space in /proc/dri/*/gem_objects

[intel-gem] Wait for rendering to complete before unbinding.

Moving to the CPU domain doesn't ensure that rendering is finished, the
buffer may still be in use as a texture or other data source.

[libdrm] Restart all ioctls on signal receipt

Receiving a signal should be ignored by the library, so just restart any
ioctl which returns EINTR or EAGAIN.

[intel-gem] add gtt and pin counts to /proc/dri/*/gem_objects

Not quite portable, but these are useful for intel. Some more general
mechanism could be done...

[intel-gem] Left the last exec buffer pinned. oops.

Loop end variable 'pinned' was set one too low.

[intel-gem] Pin objects during execbuffer

Pinning the objects avoids accidentally evicting them while binding
other objects.

[intel-gem] throttle based on frames rather than time. Reduces jitter.

Record the last execbuffer sequence for each client.
Record that sequence in the throttle ioctl as the 'throttle sequence'.
Wait for the last throttle sequence in the throttle ioctl.

[intel-gem] evict_something was failing when wait_request freed objects

When i915_wait_request clears object from the active list, it may end up
freeing them and not moving them to the inactive list. This ends up
unbinding objects from the GTT without there ever being new objects visible
to i915_gem_evict_something on the inactive list. As the only success
condition required the presence of objects on the inactive list, this would
falsely assume that no GTT space had been made available, and end up
returning -ENOMEM to the application.

[intel] Enable MSI for i915 IRQ

[intel] Restructure irq to pend all work until after iir write.

The interrupt identity register must be writen before any work occurs lest
we drop an interrupt on the floor. This patch just shuffles code around to
make sure that IIR is written as early as possible.

[intel-gem] Use a delayed_work instead of a timer + work_struct

We want request retirement to occur about once a second when the request
queue is non-empty. This was done with a timer that queued a work_struct,
using a delayed_work instead makes a lot more sense.

[intel-gem] Reorder i915_add_request to schedule work last

i915_add_request was calling schedule_delayed_work before adding the request
to the list; it makes more sense to do that last.

Use /bin/pwd instead of trusting shell built-in

Fix i915_wait_irq in the presence of interrupt masking.

In the short-circuit code for the breadcrumb already being new enough, we
need to update the sarea_priv copy of the breadcrumb just as if we had
waited.  Otherwise userland error checking will notice that we returned
too early based on its wrong information, and call wait_irq again (leading
to spinning until someone else comes along and updates the sarea_priv).

This bug was hidden when we had interrupt masking disabled, such as in
master, since the interrupt handler would update sarea_priv.

[gem] Catch -EINTR from blocking ioctls and restart them.

Thanks to Thomas Hellstrom for catching the issue, no thanks to the kernel
developer who authoritatively told me that they would get restarted on their
own.

[gem] Remove the interrupt handler for retiring requests.

This was insufficient once we started masking interrupts to only when someone
was waiting for them (and would thus retire requests themselves).  It was
replaced by the retire_timer.

[gem] Don't require the lock in execbuf now that it's not needed for the ring.

Bump libdrm version to 2.4.0.

We need a version to depend on from the other components that require GEM and
the bufmgr code.  Some interfaces will be removed before the 2.4.0 release.

Don't clear USER_INTERRUPT if we're not handling it.

This fixes a regression from commit d434b64f6a760d85295e32298a9a1f3624ee1b69
which could cause us to fail to wake up for user interrupts if we lost a race.

[gem] Remove the drm_client_lock_take in set_domain.

We no longer need to use it to protect against shared ringbuffer access.

Move the renaming of mm.c symbols to #defines in the header.

This reduces the diff from Mesa and reduces the illegibility of what I did.

[gem] Another round of cleanups from checkpatch.pl

[gem] Move potentially device-specific ioctls to the intel driver.

This is the create (may want location flags), pread/pwrite/mmap
(performance tuning hints), and set_domain (will 32 bits be enough for
everyone?) ioctls.  Left in the generic set are just flink/open/close.

The 2D driver must be updated for this change, and API but not ABI is broken
for 3D.  The driver version is bumped to mark this.

Remove override of drm module list in preparation for merge.

[gem] Remove carefully-sprinkled i915_kernel_lost_context().

They are not unnecessary since the kernel's the only thing touching the ring.

[intel] Fix BUG_ON trigger in irq masking if you did on/off with irqs disabled.

[gem] Manage the ringbuffer from the kernel in the GEM case.

This requires that the X Server use the execbuf interface for buffer
submission, as it no longer has direct access to the ring.  This is
therefore a flag day for the gem interface.

This also adds enter/leavevt ioctls for use by the X Server.  These would
get stubbed out in a modesetting implementation, but are required while
in an environment where the device's state is only managed by the DRM while
X has the VT.

[gem] Don't forget to munmap in the non-bo-reuse object-freeing case.

[intel] remove settable use_mi_batchbuffer_start

The driver can know what hardware requires MI_BATCH_BUFFER vs
MI_BATCH_BUFFER_START; there's no reason to let user mode configure this.

[intel-gem] Use timers to retire requests periodically.

Without the user IRQ running constantly, there's no wakeup when the ring
empties to go retire requests and free buffers. Use a 1 second timer to make
that happen more often.

[intel] free the hardware status page at driver_unload

This goes with the other hardware status page patch.

[intel-gem] Add explicit throttle ioctl

Instead of throttling and execbuffer time, have the application ask to
throttle explicitly. This allows the throttle to happen less often, and
without holding the DRM lock.

[libdrm/intel] Eliminate extra dri_gem_bo_bucket_entry structure

Place the buffer reuse links right into the dri_bo_gem object.

[libdrm/intel] Remove unused intel_validate_entry structure

[libdrm/intel] Reuse entire dri_bo_gem structure

The code was discarding the dri_bo_gem structure and saving only the kernel
handle. This lost the mmap address, causing pain when the next buffer user
wanted to map the buffer.

[intel] Allocate hardware status page at driver load time

I couldn't get the re-allocated HWS to work on my 965GM, so I just gave up
and made it persist across the lifetime of the driver instead.

Ignore X server provided mmio address

[intel-gem] Dump error status on wait_request failure

Add a function to bufmgr_fake to evict all buffers in the GTT.

This will be used by the X Server for VT switch.

Drop struct_mutex while waiting in drm_client_lock_take

struct_mutex cannot be held while blocking on DRM lock.

Fix libdrm to actually include the new code instead of just building it.

Fix and hook up bufmgr code to the build.

Import bufmgr code to libdrm.  Not yet hooked up to the build.

[intel-gem] reloc_and_validate_object → object_bind_and_relocate

Just renaming this function and related parameters to match terminology used
elsewhere in the driver.

[intel-gem] Propagate set_domain errors.

set_domain can block waiting for rendering to complete. If that process is
interrupted by a signal, it can return -EINTR. Catch this error in all
callers and correctly deal with the result.

Merge commit 'origin/master' into drm-gem

Conflicts:

linux-core/Makefile.kernel
shared-core/i915_drv.h
shared-core/nouveau_state.c

[intel-gem] Only update obj->write_domain if we're actually changing it.

The problem was revealed where on 965, the display list vertex buffer would see:

create       -> (CPU, CPU)
set_domain (CPU, CPU) -> (CPU, CPU)
set_comain (CPU, 0)   -> (CPU, 0) (no clflush occurred)
execbuf    (GPU, 0)   -> (CPU+GPU, 0) (still no clflush)

instead of:

create       -> (CPU, CPU)
set_domain (CPU, CPU) -> (CPU, CPU)
set_comain (CPU, 0)   -> (CPU, CPU)
execbuf    (GPU, 0)   -> (CPU+GPU, 0) (clflushed)

[intel-gem] Add an option to check GTT versus CPU coherency at execbuf time.

r500: attempt to make AGP work by programming agp base in the MC correctly

[intel-gem] Write the presumed_offset back out after updating it.

Otherwise, 965 constant state buffers get re-relocated every exec.  Ouch.

[intel-gem] Clean up active/inactive/flushing list debugging.

radeon: split microcode out into a separate header file.

[intel-gem] Replace idlelock usage with real lock acquisition.

i915: fix BSD bh, DRI2 not uses anywhere else

radeon: bump release date/version for r500 3D support

RADEON: add get_param for number of GB pipes

[BSD] Move unlock in drm_vm.c from accidental platform #ifdeffing.

Also remove an unreachable unlock.

[BSD] Fix lock leak in drm_update_draw malloc failure path.

[BSD] Fix lock leaks in error paths in drm_bufs.c.

[BSD] Remove superfluous recursive locking in drm_add_magic.

[i915] Fix typo in (unused) START_ADDR definition.

[FreeBSD] Add vblank-rework support and get drivers building.

The i915 driver now works again.

[FreeBSD] Convert from drm_device_t to struct drm_device for consistency.

[intel-gem] Must hold DRM lock while setting object domain

Object domain transfer can involve adding flush ops to the request queue,
and so the DRM lock must be held to avoid having the X server smash pointers
badly.

[i915] leave interrupts masked off when not in use.

The interrupt enable register cannot be used to temporarily disable
interrupts, instead use the interrupt mask register.

Note that this change means that a pile of buffers will be left stuck on the
chip as the final interrupts will not be recognized to come and drain things.

[intel-gem] Add DRM_I915_GEM_BUSY ioctl to check for idle buffers.

This new ioctl returns whether re-using the buffer would force a wait.

[intel-gem] Compute npages instead of nbytes in flush_pwrite

i915_gem_flush_pwrite optimizes short writes to the buffer by clflushing
only the modified pages, but it was miscomputing the number of pages.

[intel-gem] replace call to jiffies_to-msec with simple inline

[intel-gem] Encourage multiple caches to hold read data

When reading from multiple domains, allow each cache to continue
to hold data until writes occur somewhere. This is done by
first leaving the read_domains alone at bind time (presumably the CPU read
cache contains valid data still) and then in set_domain, if no write_domain
is specified, the new read domains are simply merged into the existing read
domains.

A huge comment was added above set_domain to explain how things are
expected to work.

[gem] Use CPU domain for new or pageable objects

Newly allocated objects need to be in the CPU domain as they've just been
cleared by the CPU. Also, unmapping objects from the GTT needs to put them
into the CPU domain, both to flush rendering as well as to ensure that any
paging action gets flushed before we remap to the GTT.

[intel-gem] Force ring retire by emiting flush before user-interrupt.

Commands in the ring are parsed and started when the head pointer passes by
them, but they are not necessarily finished until a MI_FLUSH happens. This
patch inserts a flush after the execbuffer (the only place a flush wasn't
already happening).

[intel] Add debug code to verify the cached ring tail pointer.

Recording the tail pointer in a local variable improves performance, but if
someone messes up and fails to reload at the right time, the driver will
write commands to the wrong part of the ring and scramble execution badly.

This change (available by setting I915_RING_VALIDATE to 1) checks to make
sure the cached tail pointer matches the hardware tail pointer at each ring
buffer addition, calling BUG_ON when that's not true.

[intel-gem] invalidate ring locals for pin/unpin/set_domain/free functions

Ring locals must be reloaded from hardware in case the X server ran.

[gem] Release GEM buffers from work task scheduled from IRQ.

There are now 3 lists.  Active is buffers currently in the ringbuffer.
Flushing is not in the ringbuffer, but needs a flush before unbinding.
Inactive is as before.  This prevents object_free → unbind →
wait_rendering → object_reference and a kernel oops about weird refcounting.

This also avoids an synchronous extra flush and wait when freeing a buffer
which had a write_domain set (such as a temporary rendered to and then from
using the 2d engine).  It will sit around on the flushing list until the
appropriate flush gets emitted, or we need the GTT space for another
operation.

r500: add two more register ranges for mesa driver to setup

drm: fix nouveau warning

[gem] Replace ring throttling hack with actual time measurement.

[gem] Fix bad test for list_for_each completion.

Since it's a circular list, the entry won't be NULL at termination.

[gem] Hold a reference on the object in i915_gem_wait_space.

Otherwise, in the middle of the function called using it the last ref
might disappear.

[intel-gem] invalidate ring locals for pin/unpin/set_domain/free functions

Ring locals must be reloaded from hardware in case the X server ran.

rs690/r500: vblank support.

The new display controller has the vblank interrupts in a different place.

Add support for vbl interrupts for these chips

[gem] Use a separate sequence number field from classic/ttm

This lets us get some qualities we desire, such as using the full 32-bit
range (except zero), avoiding DRM_WAIT_ON, and a 1:1 mapping of active
sequence numbers to request structs, which will be used soon for throttling
and interrupt-driven list cleanup.

[gem] Rename sequence numbers from "cookie" to "seqno"

[gem] Clean up active/inactive list handling using helper functions.

Additionally, a boolean active field is added to indicate which list an
object is on, rather than smashing last_rendering_cookie to 0 to show
inactive.  This will help with flush-reduction later on, and makes the code
clearer.

r500: add more register ranges for Mesa driver

[gem] Hold dev->struct_mutex to protect structure data.

[gem] Rename the GTT LRU lists to active (executing) and inactive (idle).

[gem] typo fix in comment.

ati_pcigart: oops wrong way around not that it actually mattered

ati_pcigart: stop working in the evenings you mess up too often

Revert "ati_pcigart: fixup properly this version might even work"

This reverts commit bc0836e12a9790f1cc83f8bc29bc05043c4bc840.

tree has some kref hacks in it - oops

ati_pcigart: fixup properly this version might even work

ati_pcigart: fill out 40-bit gart table support properly

Thanks to Alex for supplying this info.

RS4xx: separate out RS400 and RS480 IGP chips

RS400 (intel based IGP) and RS480 (AMD based IGP) have
different MC and GART setups.  Currently we only support
RS480.

[GEM] Update testcases for new API.