intel-gem: Don't do the GTT-pwrite shortcut on tiled buffers.

These will be covered by the fence, while pread/pwrite are supposed to be
CPU-perspective writes, with manual detiling done by the client.

intel-gem: Move /proc debugging to a separate file.

intel-gem: Remove recently added pci_read_base prototype.

This is in pci.h in the fixed patch to the kernel.

intel-gem: Set up HWS when it needs a vaddr during GEM init.

This requires an updated 2D driver to not try to set it up as well.

drm-gem: Fix build

On some distros missing prototypes cause kernel builds to fail.  These
are hack to make the code build.

intel-gem: Leave 8xx tiling on until we find any issues.

intel-gem: Disable tiling if we get junk from the MCHBAR read.

One of our systems has been returning 0xffffffff from all MCHBAR reads, which
means we'll need to figure out why, or add an alternate detection method.

intel-gem: Add two new ioctls for managing tiling on objects.

Various chips have exciting interactions between the CPU and the GPU's
different ways of accessing interleaved memory, so we need some kernel
assistance in determining how it works.

Only fully tested on GM965 so far.

[intel-gem] typo fix in DRM_ERROR

[intel] Get vblank pipe from irq_mask_reg instead of hardware enable reg

With the interrupt enable/disable using only the mask register, it was wrong
to use the enable register to detect which pipes had vblank detection
turned on. Also, as we keep a local copy of the mask register around, and
MSI machines smack the hardware during the interrupt handler, it is more
efficient and more correct to use the local copy.

[intel] Create functions to enable/disable interrupts

This shares common code sequences for managing the interrupt register bits

Merge branch 'drm-gem' into drm-gem-965

[intel-gem] Include drm_compat.h to get kmap_atomic_prot_pfn

drm_compat: it's CONFIG_HIGHMEM, not CONFIG_HIMEM

A mis-spelled config option (was it spelled that way in the past?)
eliminated kmap_atomic_prot_pfn from core DRM.

[intel-gem] Use I915_GEM_DOMAIN_GTT in dri_gem_bo_wait_rendering.

I915_GEM_DOMAIN_CPU is very expensive to wait for -- it generally requires
clflushing the frame buffer.

[intel-gem] Recover resources from wedged hardware.

Clean up queues, free objects. On the next entervt, unmark the hardware to
let the user try again (presumably after resetting the chip). Someday we'll
automatically recover...

[intel-gem] pwrite through GTT

Pin/copy_from_user/unpin through the GTT to eliminate clflush costs.
Benchmarks say this helps quite a bit.

Was using irq_enable_reg in the use_mask_reg path

[intel-gem] Include drm_compat.h to get kmap_atomic_prot_pfn

drm_compat: it's CONFIG_HIGHMEM, not CONFIG_HIMEM

A mis-spelled config option (was it spelled that way in the past?)
eliminated kmap_atomic_prot_pfn from core DRM.

[intel-gem] Use I915_GEM_DOMAIN_GTT in dri_gem_bo_wait_rendering.

I915_GEM_DOMAIN_CPU is very expensive to wait for -- it generally requires
clflushing the frame buffer.

[intel] leave interrupts disabled in ISR only on MSI again

While debugging the 915, I tried this trick there and accidentally left it
set.

[intel-gem] Recover resources from wedged hardware.

Clean up queues, free objects. On the next entervt, unmark the hardware to
let the user try again (presumably after resetting the chip). Someday we'll
automatically recover...

[intel] Switch to using IMR instead of IER

[intel-gem] pwrite through GTT

Pin/copy_from_user/unpin through the GTT to eliminate clflush costs.
Benchmarks say this helps quite a bit.

[intel] allow the irq code to use either enable or mask registers

still not sure which works best on which hardware; this will make it easier
to experiment.

[intel] Use IMR instead of IER to pend interrupts during ISR

Noting that the interrupt mask register was more reliable than the interrupt
enable register for managing interrupts in user_irq_on/user_irq_off, this
patch replaces the remaining IER frobbing with IMR instead.

The test which exposes IER related failures is:

$ glxgears & glxgears & glxgears
(reposition the glxgears windows away from the upper left corner)
$ while :; do x11perf -rect100 -reps 800 -repeat 1; sleep 1; done &
$ while :; do runoa; runet; done &

[intel-gem] Add /proc/dri/*/i915_gem_interrupt

This tracks most of the interrupt-related status, including the
interrupt registers in the chip and the sequence number variables.

[intel] Count received interrupts

Another patch adds this to a /proc/dri file for debugging and monitoring.

[intel-gem] Remove unused variable.

[intel-gem] Use polling in i915_gem_idle instead of interrupts.

While waiting for the hardware to idle on leavevt or lastclose, poll
for the sync sequence number instead of waiting for an interrupt. This
allows the code to bail if the hardware hangs for some reason. Also, this
avoids issues with signals as the exisiting wait function is interruptible.

[intel-gem] Add intel-specific /proc entries to help monitor gem operation

This adds gem_active, gem_flushing, gem_inactive, gem_request and gem_seqno
entries to monitor gem operation and help debug issues.

Add device-specific proc_init and proc_cleanup hooks

This allows device drivers to add proc files

[intel-gem] Use shmem_getpage instead of find_or_create_page

find_or_create_page doesn't quite set up pages correctly; any newly created
pages aren't hooked into the shmem object quite right; user space mmaps of
those pages end up mapping pages full of zeros which then get written to the
real pages inappropriately. This patch requires that the kernel export
shmem_getpage.

[intel-gem] Add DRM_IOCTL_I915_GEM_SW_FINISH to flag CPU writes

When a software fallback has completed, usermode must notify the kernel so
that any scanout buffers can be synchronized. This ioctl should be called
whenever a fallback completes to flush CPU and chipset caches.

[intel] Quirk away MSI support on 945G/GM.

The PCI caps register reports MSI support even though it isn't really there.

[linux] Use the device's irq for handler setup instead of stale dev->irq.

This fixes registration when MSI is set up after the stub function fills in
dev->irq.  Otherwise /proc/interrupts would report attachment to the fasteoi
interrupt.  dev->irq is still exposed (and updated at IRQ setup)
for the drivers that use it for whatever reason.

[intel-gem] Execute MI_FLUSH in leavevt_ioctl

In leavevt_ioctl, queue an MI_FLUSH and then block waiting for it to
complete. This will empty the active and flushing lists. That leaves only
the inactive list to evict.

[intel-gem] inactive list may contain objects in CPU write domain

Pin/unpin need to know whether to remove/add objects from the inactive list,
inactive objects cannot be in any GPU write domain as those would be on the
flushing list instead. However, inactive objects may be in the CPU write
domain.

[intel-gem] BUG_ON active objects in gem_object_unbind

Now that gem_object_unbind waits for rendering to complete, objects should
not be active when they are being pulled from the GTT. BUG_ON if this is
broken.

[intel-gem] Debugging -- verify inactive list invariants

Inactive list elements may not be pinned, active or have non-CPU write
domains.

[intel-gem] whitespace fixes

[intel-gem] show total GTT space in /proc/dri/*/gem_objects

[intel-gem] Wait for rendering to complete before unbinding.

Moving to the CPU domain doesn't ensure that rendering is finished, the
buffer may still be in use as a texture or other data source.

[libdrm] Restart all ioctls on signal receipt

Receiving a signal should be ignored by the library, so just restart any
ioctl which returns EINTR or EAGAIN.

[intel-gem] add gtt and pin counts to /proc/dri/*/gem_objects

Not quite portable, but these are useful for intel. Some more general
mechanism could be done...

[intel-gem] Left the last exec buffer pinned. oops.

Loop end variable 'pinned' was set one too low.

[intel-gem] Pin objects during execbuffer

Pinning the objects avoids accidentally evicting them while binding
other objects.

[intel-gem] throttle based on frames rather than time. Reduces jitter.

Record the last execbuffer sequence for each client.
Record that sequence in the throttle ioctl as the 'throttle sequence'.
Wait for the last throttle sequence in the throttle ioctl.

[intel-gem] evict_something was failing when wait_request freed objects

When i915_wait_request clears object from the active list, it may end up
freeing them and not moving them to the inactive list. This ends up
unbinding objects from the GTT without there ever being new objects visible
to i915_gem_evict_something on the inactive list. As the only success
condition required the presence of objects on the inactive list, this would
falsely assume that no GTT space had been made available, and end up
returning -ENOMEM to the application.

[intel] Enable MSI for i915 IRQ

[intel] Restructure irq to pend all work until after iir write.

The interrupt identity register must be writen before any work occurs lest
we drop an interrupt on the floor. This patch just shuffles code around to
make sure that IIR is written as early as possible.

[intel-gem] Use a delayed_work instead of a timer + work_struct

We want request retirement to occur about once a second when the request
queue is non-empty. This was done with a timer that queued a work_struct,
using a delayed_work instead makes a lot more sense.

[intel-gem] Reorder i915_add_request to schedule work last

i915_add_request was calling schedule_delayed_work before adding the request
to the list; it makes more sense to do that last.

Use /bin/pwd instead of trusting shell built-in

Fix i915_wait_irq in the presence of interrupt masking.

In the short-circuit code for the breadcrumb already being new enough, we
need to update the sarea_priv copy of the breadcrumb just as if we had
waited.  Otherwise userland error checking will notice that we returned
too early based on its wrong information, and call wait_irq again (leading
to spinning until someone else comes along and updates the sarea_priv).

This bug was hidden when we had interrupt masking disabled, such as in
master, since the interrupt handler would update sarea_priv.

[gem] Catch -EINTR from blocking ioctls and restart them.

Thanks to Thomas Hellstrom for catching the issue, no thanks to the kernel
developer who authoritatively told me that they would get restarted on their
own.

[gem] Remove the interrupt handler for retiring requests.

This was insufficient once we started masking interrupts to only when someone
was waiting for them (and would thus retire requests themselves).  It was
replaced by the retire_timer.

[gem] Don't require the lock in execbuf now that it's not needed for the ring.

Bump libdrm version to 2.4.0.

We need a version to depend on from the other components that require GEM and
the bufmgr code.  Some interfaces will be removed before the 2.4.0 release.

Don't clear USER_INTERRUPT if we're not handling it.

This fixes a regression from commit d434b64f6a760d85295e32298a9a1f3624ee1b69
which could cause us to fail to wake up for user interrupts if we lost a race.

[gem] Remove the drm_client_lock_take in set_domain.

We no longer need to use it to protect against shared ringbuffer access.

Move the renaming of mm.c symbols to #defines in the header.

This reduces the diff from Mesa and reduces the illegibility of what I did.

[gem] Another round of cleanups from checkpatch.pl

[gem] Move potentially device-specific ioctls to the intel driver.

This is the create (may want location flags), pread/pwrite/mmap
(performance tuning hints), and set_domain (will 32 bits be enough for
everyone?) ioctls.  Left in the generic set are just flink/open/close.

The 2D driver must be updated for this change, and API but not ABI is broken
for 3D.  The driver version is bumped to mark this.

Remove override of drm module list in preparation for merge.

[gem] Remove carefully-sprinkled i915_kernel_lost_context().

They are not unnecessary since the kernel's the only thing touching the ring.

[intel] Fix BUG_ON trigger in irq masking if you did on/off with irqs disabled.

[gem] Manage the ringbuffer from the kernel in the GEM case.

This requires that the X Server use the execbuf interface for buffer
submission, as it no longer has direct access to the ring.  This is
therefore a flag day for the gem interface.

This also adds enter/leavevt ioctls for use by the X Server.  These would
get stubbed out in a modesetting implementation, but are required while
in an environment where the device's state is only managed by the DRM while
X has the VT.

[gem] Don't forget to munmap in the non-bo-reuse object-freeing case.

[intel] remove settable use_mi_batchbuffer_start

The driver can know what hardware requires MI_BATCH_BUFFER vs
MI_BATCH_BUFFER_START; there's no reason to let user mode configure this.

[intel-gem] Use timers to retire requests periodically.

Without the user IRQ running constantly, there's no wakeup when the ring
empties to go retire requests and free buffers. Use a 1 second timer to make
that happen more often.

[intel] free the hardware status page at driver_unload

This goes with the other hardware status page patch.

[intel-gem] Add explicit throttle ioctl

Instead of throttling and execbuffer time, have the application ask to
throttle explicitly. This allows the throttle to happen less often, and
without holding the DRM lock.

[libdrm/intel] Eliminate extra dri_gem_bo_bucket_entry structure

Place the buffer reuse links right into the dri_bo_gem object.

[libdrm/intel] Remove unused intel_validate_entry structure

[libdrm/intel] Reuse entire dri_bo_gem structure

The code was discarding the dri_bo_gem structure and saving only the kernel
handle. This lost the mmap address, causing pain when the next buffer user
wanted to map the buffer.

[intel] Allocate hardware status page at driver load time

I couldn't get the re-allocated HWS to work on my 965GM, so I just gave up
and made it persist across the lifetime of the driver instead.

Ignore X server provided mmio address

[intel-gem] Dump error status on wait_request failure

Add a function to bufmgr_fake to evict all buffers in the GTT.

This will be used by the X Server for VT switch.

Drop struct_mutex while waiting in drm_client_lock_take

struct_mutex cannot be held while blocking on DRM lock.

Fix libdrm to actually include the new code instead of just building it.

Fix and hook up bufmgr code to the build.

Import bufmgr code to libdrm.  Not yet hooked up to the build.

[intel-gem] reloc_and_validate_object → object_bind_and_relocate

Just renaming this function and related parameters to match terminology used
elsewhere in the driver.

[intel-gem] Propagate set_domain errors.

set_domain can block waiting for rendering to complete. If that process is
interrupted by a signal, it can return -EINTR. Catch this error in all
callers and correctly deal with the result.

Merge commit 'origin/master' into drm-gem

Conflicts:

linux-core/Makefile.kernel
shared-core/i915_drv.h
shared-core/nouveau_state.c

[intel-gem] Only update obj->write_domain if we're actually changing it.

The problem was revealed where on 965, the display list vertex buffer would see:

create       -> (CPU, CPU)
set_domain (CPU, CPU) -> (CPU, CPU)
set_comain (CPU, 0)   -> (CPU, 0) (no clflush occurred)
execbuf    (GPU, 0)   -> (CPU+GPU, 0) (still no clflush)

instead of:

create       -> (CPU, CPU)
set_domain (CPU, CPU) -> (CPU, CPU)
set_comain (CPU, 0)   -> (CPU, CPU)
execbuf    (GPU, 0)   -> (CPU+GPU, 0) (clflushed)

[intel-gem] Add an option to check GTT versus CPU coherency at execbuf time.

r500: attempt to make AGP work by programming agp base in the MC correctly

[intel-gem] Write the presumed_offset back out after updating it.

Otherwise, 965 constant state buffers get re-relocated every exec.  Ouch.

[intel-gem] Clean up active/inactive/flushing list debugging.

radeon: split microcode out into a separate header file.

[intel-gem] Replace idlelock usage with real lock acquisition.

i915: fix BSD bh, DRI2 not uses anywhere else

radeon: bump release date/version for r500 3D support

RADEON: add get_param for number of GB pipes

[BSD] Move unlock in drm_vm.c from accidental platform #ifdeffing.

Also remove an unreachable unlock.

[BSD] Fix lock leak in drm_update_draw malloc failure path.