sna: Fallback when wedged and trying to use the BLT copy routines

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Guard the replace-with-xor fallback path

Before attempting to map the destination for uploading into after a
failure to use the BLT, we need to recheck that it is indeed mappable.

References: https://bugs.freedesktop.org/show_bug.cgi?id=70924
Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Process all clip boxes when rastering segments

The macro still had buried returns which were no longer valid after the
translation to handle clipping. They needed to be breaks from the inner
most loops to the outer clip box instead.

Reported-by: Clemens Eisserer <linuxhippy@gmail.com>
Bugzilla: https://bugs.freedesktop.org/show_bug.cgi?id=70802
Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna/gen7: Undo overzealous flushing

commit d580a30aaf97687f9669ea72fbc3310c2fea26f1
Author: Chris Wilson <chris@chris-wilson.co.uk>
Date:   Thu Oct 31 15:58:47 2013 +0000

    sna/gen7: Flush render cache when changing CC state

ultimately doesn't prevent the issue and in the process adversely
affects perforamnce.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Scale uses of aperture_mappable by PAGE_SIZE

After converting aperture_mappable to count in pages, there were a few
residual users expecting a byte count.

Bugzilla: https://bugs.freedesktop.org/show_bug.cgi?id=71117
Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna/gen7: Flush render cache when changing CC state

References: https://bugs.freedesktop.org/show_bug.cgi?id=68410
Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna/gen6: Tweak flush around CC state changes

In order to fix some font corruption, it appears that we need an extra
flush in the Sandybridge pipeline when we change the CC stage and the
render cache is dirty. We previously triggered a full pipeline stall
for this case.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Tweak deletion of used buffers

Make sure we never unwind a used buffer.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Allow limited recursion within sigtrapped routines

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

Revert "sna: Detect and handle mi recursion"

This reverts commit c6b0e3fe0c299488932ba0392847f1faf298d079.

sna: Assert that the batch is in the correct mode prior to inserting BLT commands

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Detect and handle mi recursion

Some of the mi routines recuse back into the generic accel routines and
so confuse our trapping of SIGBUS. Add extra assertions to pinpoint the
recursion and unwrap sufficiently to avoid that recursion.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Queue retirement when placing a BO on the deferred flushing list

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Check for wedged after submitting

If we submit prior to an operation, check that we didn't just wedge the
GPU.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Wrap access of upload buffers with sigtrap

For an extra layer of paranoia, catch any sigbus when trying to upload
a bitmap, and convert it to a no-op.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna/gen7: Refactor BYT vsync using IVB routines

The BYT vsync is closer to the IVB vsync, and using gen6 is just
erroneous. Apparently. At least that is what is in bspec today.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Fix assertion checks for fake flushing requests

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Remove an overzealous assert

Testing with a slow gen2 triggers this harmless assertion, so drop it.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Handle deferred retiring of active-buffers

Yikes, the new assertions found cases where we would retain an active
buffer even though it was still owned by the next batch. Fortunately,
this should only be a bookkeeping issue rather than lead to corruption.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Always run the retire_buffers during ring_idle

As we know that we had a request to retire, we know that we may make
progress retiring active buffers.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Perform an explicit retire for old active upload buffers

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Check for retired upload buffers after checking for an idle ring

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: asserts bitmap uploads are correct

Place guards around the pointer accesses to verify that they are within
the bitmap.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Don't attempt to move the GC back to the GPU before it is moved away

Fixes regression from

commit e3f15cbf39696edae9f716bdcfbb7032ec7d7e3f [2.99.905]
Author: Chris Wilson <chris@chris-wilson.co.uk>
Date:   Tue Oct 22 15:19:15 2013 +0100

    sna: Move gc back to GPU after failure to move it to CPU

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Try harder to complete writes

Expunge our caches if we fail to write into a bo (presuming that
allocation failure is the likely fixable cause).

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Quieten a couple of valgrind warnings about unknown ioctls

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Tidy RegionNil checks

After computing the clip intersection, we immediately check for the
empty result, so refactor the check into the common routine.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: And be pessimistic when checking aperture limits

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Account for extra guard pages around snooped BO in aperture checks

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Defer opportunistic flush if all bo are current on the GPU

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Leave extra room in the mappable aperture for fence alignment

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Use page-count for mappable aperture size

For consistency with the other aperture metrics and correctness when
passing around required number of pages.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Fallthrough to opportunistic flushing after aperture checks

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Handle transient TearFree flip failures

If we get a pageflip fail when trying to do a TearFree update, just
fallback to a copy (before turning off the display for complete
failure). The rare tearing copy should mar the user experience far less.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Trim usuable fenced aperture by unfenced usage

This will overcount buffers that both fenced and unfenced (likely most
fenced buffers!) but is required to prevent ENOSPC due to alignment
issues.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Don't assert indirect GPU state

kgem_check_bo_fenced queries whether the GPU is idle, and so its result
is timing dependent and not suitable for assertion.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Remove stale mappings when replacing GPU bo

References: https://bugs.freedesktop.org/show_bug.cgi?id=70527
Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Fix overallocation of fences for BLT commands (gen2/3)

Fixes a regression introduced in
commit 4d2840919fd00e4ae0bf1957f66009f55a01eb7b
Author: Chris Wilson <chris@chris-wilson.co.uk>
Date:   Thu Sep 26 15:30:58 2013 +0100

    sna: In desperation, query the actual available aperture space

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Add a line of DBG for when we discard uploads into CPU bo

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna/io: Propagate failure to XOR uploads

Similar to the handling required for the normal upload paths.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna/io: Wrap the XOR upload paths with SIGBUS handling

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

man: Mention the new default accel

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

man: State the negative aspects of TearFree

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Do not apply drawable offsets to DamageRegionAppend

DamageRegionAppend() will itself apply the drawable offsets, so we need
to pass it the untransformed region. This also fixes an issue where we
might fallback without applying any Damage.

Reported-by: Christian Nassau <nassau@nullhomotopie.de>
Bugzilla: https://bugs.freedesktop.org/show_bug.cgi?id=32734
Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Fix canonical mode name to correctly use asprintf

Whoops. Only the kernel sprintf() accepts NULL as a valid target string,
not libc's.

Reported-by: Jay Little <jaylittle@jaylittle.com>
Bugzilla: https://bugs.freedesktop.org/show_bug.cgi?id=70835
Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Remove the move-to-gpu shortcircuiting for partial GPU, no CPU damage

Otherwise we may not correctly undo COW or pending move-to-gpu updates.

v2: goto move_to_gpu instead for correcting the damage handling.

Bugzilla: https://bugs.freedesktop.org/show_bug.cgi?id=70821
Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

Revert "sna: Remove the move-to-gpu shortcircuiting for partial GPU, no CPU damage"

This reverts commit bccbbf8a68faf7aac274efd289d4916083b1a1e3.

man: Describe the TearFree option

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Reset bo after allocation failure during wait-for-shadow

If we fail to allocate an alternate bo to replace the still visible
scanout bo, we stall and were supposed to continue using the old
wait->bo. However, we chose to use NULL instead which is going to lead
to an eventual crash.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

2.99.905 snapshot

sna: Tidy opportunistic flushing

Rearrange the common code so that it should be tail-call optimised.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Flush the pending move-to-gpu upon Pixmap free

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Handle pending move-to-gpu for userptr uploads

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Pass the async hint when pushing GPU damage for redisplay

So that we don't accidentally clear any other hints.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Fix inconsistency in has_coherent_ptr assertion

We occasionally will read from an "incoherent" ptr in the belief that
the clflush hit will be worth it.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Remove the move-to-gpu shortcircuiting for partial GPU, no CPU damage

Otherwise we may not correctly undo COW or pending move-to-gpu updates.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Make sure CPU damage is flushed to the TearFree shadow

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Only force the TearFree exchange before a write

We can read from the current scanout buffer without incurring a visual
tear, so delay the GPU bo exchange until we see a write to the object.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

xvmc: Handle errors along allocation path

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Free our CRTC private after failing to create the xf86Crtc

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna/trapezoids: Fix inversion of initialisation test for triangles

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Ignore overflow in CPU count rather than abort

If there are more processors than we ever expect, good! Just use lots of
them, rather than none at all.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Move gc back to GPU after failure to move it to CPU

As the failure in gc move-to-cpu occurs late, i.e. after the function
pointers are updated to point to CPU functions, we need to undo those
changes, i.e. call move-to-gpu for the GC on failure.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Discard GPU bo when failing to setup the shared pixmap

If we fail to mmap the pixmap when preparing it for use with prime, be
sure to throw away the now lost priv->gpu_bo.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Free bo along unlikely one-off error path

Add a missing free for a never-hit error.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Enable TearFree rendering for transformed scanouts

References: https://bugs.freedesktop.org/show_bug.cgi?id=22969
Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Eliminate the synchronous wait from inside TearFree

Defer the actual wait until the next use of the screen pixmap, and then
if needed replace the GPU bo with an alternative back buffer.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Improve handling of blit fallbacks for untransfomed large scanouts

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Tweak opportunistic flushing to reduce power consumption

When trying to conserve power, reduce the number of small batches we
emit - trying to maximise GPU efficacy and minimise CPU overhead.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Set the canonical name for the current mode if none match

Always give the mode a name for pretty printing for the user.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Copy the EDID mode name for the current CRTC mode

As the kernel does not preserve the name and driver type when returning
the current CRTC mode, we need to reconstruct those from the EDID mode
when available.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Fix typo inside an assertion

Use the right dst_priv variable instead of priv!

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Suppress log messages for unchanging EDID

Whenever we reprobe an unchanging output and re-read its EDID, we emit a
useless log message. Previously this was squelched by trying to spot
when an EDID was unchanged through the use of its blob.id, however we
need to do a complete check on the contents in case the kernel returns
us a new EDID with the old id. So make a temporary copy of the current
EDID data and only squelch the log messages if the new EDID is an exact
match.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Fix the addition of the current output Mode to the probed lists

We need to add the current mode to the Modes list and not directly to
the output->probed_modes as that gets overwritten.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Unmap pixmap prior to release GPU bo

As the unmap routine will deference the GPu bo in its debugging code, we
need to be sure that the pointer is still valid at the time of
unmapping. Hence unmap before release.

Reported-by: Jiri Slaby <jirislaby@gmail.com>
References: https://bugs.freedesktop.org/show_bug.cgi?id=70461
Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Do a quick pass on dirty damage before reduction

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Drop now obsolete assertion

We no longer unconditionally clear the CPU hint when moving to the GPU
for readonly updates, so we can no longer assert that the priv->cpu ==
false afterwards.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Tighten pixmap map assertions

We need to also take account of upload buffers which include an offset
to the base map. To do so, we also need to stop conflating the cpu hint
with the current mapping flag.

References: https://bugs.freedesktop.org/show_bug.cgi?id=70461
Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna/glyphs: Remove glyph_approx_extents

It didn't consider the height of the glyph above the baseline, i.e. it
was fundamentally flawed. The only thing to do is to make sure that
glyph_extents() is sufficiently fast never to show up in profiles.
(Until then QA should spot the ~10% regression.) An alternative would be
to feed the drawable clip extents to the render engine and avoid manual
clipping if the clip region covers the whole drawable.

Reported-by: Clemens Eisserer <linuxhippy@gmail.com>
Reported-by: Jiri Slaby <jirislaby@gmail.com>
Bugzilla: https://bugs.freedesktop.org/show_bug.cgi?id=70552
Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

Remove defunct file 'brw_eu_util.c' from git

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Check return of source_bo for a potential failure

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Fix computation of clip boxes for stipple uploads

References: https://bugs.freedesktop.org/show_bug.cgi?id=67865
Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Assert mapped state

When mapped, assert that we point to the expected mapping of the GPU bo.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna/dri: Refactor to use the common GPU damage routine

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna/glyphs: Fix computation of extents for long strings

And make sure we consider such overflowing strings for correct clipping
against Windows.

To offset the cost of doing a full extents check (~10% on aa10text), we
introduce an approximate extents query (~1% on aa10text). The disparity
should be rare, and should be an overestimate to force redundant
clipping.

Reported-by: Clemens Eisserer <linuxhippy@gmail.com>
Bugzilla: https://bugs.freedesktop.org/show_bug.cgi?id=70541
Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Fix inverted tiled CPU map check in has_coherent_ptr()

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Only carry 32/64-bit compat wrapper for drm_mode_get_connector

This is the only structure we care about that has u64 and its size is
not a multiple of u64s.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Expand packed KMS structs for 64-bit alignment

Pavel Roskin found that with a 32-bit build of the DDX with a 64-bit
kernel that the call to GETCONNECTOR was overwriting the 4 bytes beyond
the end of the drm_mode_get_connector structure. This would appear to be
due to the surreptious padding inserted by the compiler so that the
structure would be naturally aligned on a 64-bit system. To compenstate
we need to insert padding between the adjacent 32-bit structures on the
stack.

As usual, be paranoid and make sure that all the adjacent KMS structs we
use are padded out to an 64-bit boundary.

Reported-by: Pavel Roskin <proski@gnu.org>
Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Add DBG along all output init failure paths

Suggested-by: Pavel Roskin <proski@gnu.org>
Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Allow read-mappings for has_coherent_ptr() assert

The assertion was a little too specific and disallowed us to have a CPU
read-only mapping.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Speed up inplace copies from SHM pixmaps to GPU bo

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

Revert "sna: Preserve the user backlight value for get_property calls"

This reverts commit 41b6b792d8e9c84c0a71a4bd7600e1c42e86b5bd in favour
of the better fix to not ask RRChangeOutputProperty to reset the known
hardware values.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Disable updating properties upon reading their values

When we assign the hardware values to the output properties, we do not
need to process the set_property callback to write those values back to
hardware. This callback is triggered by the pending update flag passed
to RRChangeOutputProperty.

Bugzilla: https://bugs.freedesktop.org/show_bug.cgi?id=70406
Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Preserve the user backlight value for get_property calls

When querying the current backlight value, be sure not to overwrite the
last user set value by the call to RRChangeOutputProperty.
RRChangeOutputProperty calls into set_backlight_property, tricking us
into believing that the user has set a new backlight value. The result
is that we end up believing that the user chooses a 0 backlight if she
should happen to query the property whilst the output is disabled.

Reported-by: reztho@archlinux.us
Bugzilla: https://bugs.freedesktop.org/show_bug.cgi?id=70406
Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna/trapezoids: Initialise force_fallback

Remember to set it initially to false so that we randomly do not start
using fallbacks.

Fixes regression from
commit 0cd2c43fa8f3a66d612589ad1163a90e427668ac
Author: Chris Wilson <chris@chris-wilson.co.uk>
Date:   Sun Oct 13 14:46:45 2013 +0100

    sna/trapezoids: Use the aligned fast path for fallbacks

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Assert that the mode/ring are set when marking active bo

As we use the current ring to encode upon the bo relocs, we need that
ring to be properly setup prior to performing relocations.

References: https://bugs.freedesktop.org/show_bug.cgi?id=70461
Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna/gen6: Fix the invert fix

Eek, missed that 8-wide dispatch branch still had the opposite fix that I was
testing first.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna/gen6+: Fix calculation of 1/z for projective textures

A typo crept in causing the shader to read from the wrong temporaries
for the invert operation.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Tighten has_coherent_ptr() assertion

Pass along the flags for read/write direction so that we know whether or
not we expect the gpu bo to be in the CPU write domain.

Reported-by: Pavel Ondračka <pavel.ondracka@email.cz>
Bugzilla: https://bugs.freedesktop.org/show_bug.cgi?id=70436
Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Fix typo in DBG

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>