sna: Submit execution on the bo before changing its caching status

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Clear snoop flag after converting from a CPU bo

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Use an inplace exchange for large untiled BO

On older architectures, large BO have to be untiled and so we can reuse
an existing CPU bo by adjusting its caching mode.

References: https://bugs.freedesktop.org/show_bug.cgi?id=70924
Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Be move conservative with tiling sizes for older fenced gen

The older generations have stricter requirements for alignment of fenced
GPU surfaces, so accommodate this by reducing our estimate available
space for the temporary tile.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

test

sna: Check for loss of state after setting up a fill BLT op

If we install a BLT fill operation early in the drawing sequence (i.e.
before calling a mi routine), we may lose our state to delayed
initialisation of sources and so need to subsequently recheck.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: s/active/busy/ to silence compiler warning

kgem.c: In function 'kgem_check_bo':
kgem.c:4768:7: warning: declaration of 'active' shadows a global declaration [-Wshadow]
kgem.c:692:21: warning: shadowed declaration is here [-Wshadow]
kgem.c: In function 'kgem_check_many_bo_fenced':
kgem.c:4907:7: warning: declaration of 'active' shadows a global declaration [-Wshadow]
kgem.c:692:21: warning: shadowed declaration is here [-Wshadow]

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Promote uint16_t to a full int to avoid overflow in computing w*h in memcpy_xor

Reported-by: Conley Moorhous <conleymoorhous@gmail.com>
Bugzilla: https://bugs.freedesktop.org/show_bug.cgi?id=70527
Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Apply the BLT source offset for individual copies

Following a complex path through multiple layers of indirections and
tiling fallbacks, resulted in hitting a path where the source offset was
subsequently ignored. This leads to the operation reading from invalid
memory (or hitting the assert warning about the same).

References: https://bugs.freedesktop.org/show_bug.cgi?id=70924
Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Only use the simple stipple upload path if wholly contained

If the stipple box is outside of the stipple pixmap, we need to
carefully upload the stipple using the modulus operation.

Buzilla: https://bugs.launchpad.net/bugs/1247785
Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Update DBG formats for larger BO offset integers

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Remove the replace indirection prior to performing write_boxes

As write_boxes itself decides whether or not to stage the upload into
the destination bo, we can destroy the temporary allocation along the
write_boxes fallback path (i.e. after failing to map the destination
bo).

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Only destroy the old GPU after successfully replacing it

Along the sna_replace__xor path we destroyed the priv->gpu_bo twice upon
successfully replacing it.

References: https://bugs.freedesktop.org/show_bug.cgi?id=70527
Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Rename the two variants of pwrite so very relative dangers are obvious

Since we extend the write in the cache-aligned routine, it runs the risk
of reading from beyond the end of the allocation. As such, callers
should be carefully vetted to make sure that their allocations are
already cache-aligned (typically page-aligned). To make it obvious that
this complexity exists, rename the routine.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Use the unoptimized pwrite for general buffers

When we call kgem_bo_write() we have less control over the allocation of
the buffer, and do not ensure it meets the alignment criteria required
for the cacheline optimisation. So use the simple pwrite routine to
avoid reading beyond the end of the allocation.

Reported-and-tested-by: Mark Kettenis <mark.kettenis@xs4all.nl>
Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Use fast-path target placement if we are also IGNORE_CPU

If we are ignoring CPU damage, we also need only to check GPU damage
when considering placement of the target bo.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Wrap staging buffer access with sigtrap handler

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Discard bo->exec when unwinding a glyph no-op

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Eliminate the redundancy between is_mappable/can_map

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Jump to the right escape target when bypassing a self-copy

Another fix for

commit e3f15cbf39696edae9f716bdcfbb7032ec7d7e3f [2.99.905]
Author: Chris Wilson <chris@chris-wilson.co.uk>
Date:   Tue Oct 22 15:19:15 2013 +0100

    sna: Move gc back to GPU after failure to move it to CPU

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Add some more asserts around inactive VMA lists

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Tweak estimate of maximum usable aperture for strict fencing

Old generations have very strict alignment requirements even for
unfenced tiled accesses which restricts the amount of aperture space
available for use, and in the process estimate for the effect of
framebuffer fragmentation on the mappable aperture.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

Prepare for changes in the BLT unit on future generations

Adapt the legacy BLT commands in preparation for future changes.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Fallback when wedged and trying to use the BLT copy routines

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Guard the replace-with-xor fallback path

Before attempting to map the destination for uploading into after a
failure to use the BLT, we need to recheck that it is indeed mappable.

References: https://bugs.freedesktop.org/show_bug.cgi?id=70924
Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Process all clip boxes when rastering segments

The macro still had buried returns which were no longer valid after the
translation to handle clipping. They needed to be breaks from the inner
most loops to the outer clip box instead.

Reported-by: Clemens Eisserer <linuxhippy@gmail.com>
Bugzilla: https://bugs.freedesktop.org/show_bug.cgi?id=70802
Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna/gen7: Undo overzealous flushing

commit d580a30aaf97687f9669ea72fbc3310c2fea26f1
Author: Chris Wilson <chris@chris-wilson.co.uk>
Date:   Thu Oct 31 15:58:47 2013 +0000

    sna/gen7: Flush render cache when changing CC state

ultimately doesn't prevent the issue and in the process adversely
affects perforamnce.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Scale uses of aperture_mappable by PAGE_SIZE

After converting aperture_mappable to count in pages, there were a few
residual users expecting a byte count.

Bugzilla: https://bugs.freedesktop.org/show_bug.cgi?id=71117
Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna/gen7: Flush render cache when changing CC state

References: https://bugs.freedesktop.org/show_bug.cgi?id=68410
Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna/gen6: Tweak flush around CC state changes

In order to fix some font corruption, it appears that we need an extra
flush in the Sandybridge pipeline when we change the CC stage and the
render cache is dirty. We previously triggered a full pipeline stall
for this case.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Tweak deletion of used buffers

Make sure we never unwind a used buffer.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Allow limited recursion within sigtrapped routines

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

Revert "sna: Detect and handle mi recursion"

This reverts commit c6b0e3fe0c299488932ba0392847f1faf298d079.

sna: Assert that the batch is in the correct mode prior to inserting BLT commands

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Detect and handle mi recursion

Some of the mi routines recuse back into the generic accel routines and
so confuse our trapping of SIGBUS. Add extra assertions to pinpoint the
recursion and unwrap sufficiently to avoid that recursion.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Queue retirement when placing a BO on the deferred flushing list

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Check for wedged after submitting

If we submit prior to an operation, check that we didn't just wedge the
GPU.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Wrap access of upload buffers with sigtrap

For an extra layer of paranoia, catch any sigbus when trying to upload
a bitmap, and convert it to a no-op.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna/gen7: Refactor BYT vsync using IVB routines

The BYT vsync is closer to the IVB vsync, and using gen6 is just
erroneous. Apparently. At least that is what is in bspec today.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Fix assertion checks for fake flushing requests

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Remove an overzealous assert

Testing with a slow gen2 triggers this harmless assertion, so drop it.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Handle deferred retiring of active-buffers

Yikes, the new assertions found cases where we would retain an active
buffer even though it was still owned by the next batch. Fortunately,
this should only be a bookkeeping issue rather than lead to corruption.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Always run the retire_buffers during ring_idle

As we know that we had a request to retire, we know that we may make
progress retiring active buffers.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Perform an explicit retire for old active upload buffers

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Check for retired upload buffers after checking for an idle ring

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: asserts bitmap uploads are correct

Place guards around the pointer accesses to verify that they are within
the bitmap.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Don't attempt to move the GC back to the GPU before it is moved away

Fixes regression from

commit e3f15cbf39696edae9f716bdcfbb7032ec7d7e3f [2.99.905]
Author: Chris Wilson <chris@chris-wilson.co.uk>
Date:   Tue Oct 22 15:19:15 2013 +0100

    sna: Move gc back to GPU after failure to move it to CPU

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Try harder to complete writes

Expunge our caches if we fail to write into a bo (presuming that
allocation failure is the likely fixable cause).

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Quieten a couple of valgrind warnings about unknown ioctls

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Tidy RegionNil checks

After computing the clip intersection, we immediately check for the
empty result, so refactor the check into the common routine.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: And be pessimistic when checking aperture limits

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Account for extra guard pages around snooped BO in aperture checks

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Defer opportunistic flush if all bo are current on the GPU

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Leave extra room in the mappable aperture for fence alignment

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Use page-count for mappable aperture size

For consistency with the other aperture metrics and correctness when
passing around required number of pages.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Fallthrough to opportunistic flushing after aperture checks

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Handle transient TearFree flip failures

If we get a pageflip fail when trying to do a TearFree update, just
fallback to a copy (before turning off the display for complete
failure). The rare tearing copy should mar the user experience far less.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Trim usuable fenced aperture by unfenced usage

This will overcount buffers that both fenced and unfenced (likely most
fenced buffers!) but is required to prevent ENOSPC due to alignment
issues.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Don't assert indirect GPU state

kgem_check_bo_fenced queries whether the GPU is idle, and so its result
is timing dependent and not suitable for assertion.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Remove stale mappings when replacing GPU bo

References: https://bugs.freedesktop.org/show_bug.cgi?id=70527
Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Fix overallocation of fences for BLT commands (gen2/3)

Fixes a regression introduced in
commit 4d2840919fd00e4ae0bf1957f66009f55a01eb7b
Author: Chris Wilson <chris@chris-wilson.co.uk>
Date:   Thu Sep 26 15:30:58 2013 +0100

    sna: In desperation, query the actual available aperture space

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Add a line of DBG for when we discard uploads into CPU bo

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna/io: Propagate failure to XOR uploads

Similar to the handling required for the normal upload paths.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna/io: Wrap the XOR upload paths with SIGBUS handling

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

man: Mention the new default accel

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

man: State the negative aspects of TearFree

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Do not apply drawable offsets to DamageRegionAppend

DamageRegionAppend() will itself apply the drawable offsets, so we need
to pass it the untransformed region. This also fixes an issue where we
might fallback without applying any Damage.

Reported-by: Christian Nassau <nassau@nullhomotopie.de>
Bugzilla: https://bugs.freedesktop.org/show_bug.cgi?id=32734
Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Fix canonical mode name to correctly use asprintf

Whoops. Only the kernel sprintf() accepts NULL as a valid target string,
not libc's.

Reported-by: Jay Little <jaylittle@jaylittle.com>
Bugzilla: https://bugs.freedesktop.org/show_bug.cgi?id=70835
Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Remove the move-to-gpu shortcircuiting for partial GPU, no CPU damage

Otherwise we may not correctly undo COW or pending move-to-gpu updates.

v2: goto move_to_gpu instead for correcting the damage handling.

Bugzilla: https://bugs.freedesktop.org/show_bug.cgi?id=70821
Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

Revert "sna: Remove the move-to-gpu shortcircuiting for partial GPU, no CPU damage"

This reverts commit bccbbf8a68faf7aac274efd289d4916083b1a1e3.

man: Describe the TearFree option

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Reset bo after allocation failure during wait-for-shadow

If we fail to allocate an alternate bo to replace the still visible
scanout bo, we stall and were supposed to continue using the old
wait->bo. However, we chose to use NULL instead which is going to lead
to an eventual crash.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

2.99.905 snapshot

sna: Tidy opportunistic flushing

Rearrange the common code so that it should be tail-call optimised.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Flush the pending move-to-gpu upon Pixmap free

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Handle pending move-to-gpu for userptr uploads

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Pass the async hint when pushing GPU damage for redisplay

So that we don't accidentally clear any other hints.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Fix inconsistency in has_coherent_ptr assertion

We occasionally will read from an "incoherent" ptr in the belief that
the clflush hit will be worth it.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Remove the move-to-gpu shortcircuiting for partial GPU, no CPU damage

Otherwise we may not correctly undo COW or pending move-to-gpu updates.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Make sure CPU damage is flushed to the TearFree shadow

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Only force the TearFree exchange before a write

We can read from the current scanout buffer without incurring a visual
tear, so delay the GPU bo exchange until we see a write to the object.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

xvmc: Handle errors along allocation path

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Free our CRTC private after failing to create the xf86Crtc

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna/trapezoids: Fix inversion of initialisation test for triangles

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Ignore overflow in CPU count rather than abort

If there are more processors than we ever expect, good! Just use lots of
them, rather than none at all.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Move gc back to GPU after failure to move it to CPU

As the failure in gc move-to-cpu occurs late, i.e. after the function
pointers are updated to point to CPU functions, we need to undo those
changes, i.e. call move-to-gpu for the GC on failure.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Discard GPU bo when failing to setup the shared pixmap

If we fail to mmap the pixmap when preparing it for use with prime, be
sure to throw away the now lost priv->gpu_bo.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Free bo along unlikely one-off error path

Add a missing free for a never-hit error.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Enable TearFree rendering for transformed scanouts

References: https://bugs.freedesktop.org/show_bug.cgi?id=22969
Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Eliminate the synchronous wait from inside TearFree

Defer the actual wait until the next use of the screen pixmap, and then
if needed replace the GPU bo with an alternative back buffer.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Improve handling of blit fallbacks for untransfomed large scanouts

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Tweak opportunistic flushing to reduce power consumption

When trying to conserve power, reduce the number of small batches we
emit - trying to maximise GPU efficacy and minimise CPU overhead.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Set the canonical name for the current mode if none match

Always give the mode a name for pretty printing for the user.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Copy the EDID mode name for the current CRTC mode

As the kernel does not preserve the name and driver type when returning
the current CRTC mode, we need to reconstruct those from the EDID mode
when available.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Fix typo inside an assertion

Use the right dst_priv variable instead of priv!

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Suppress log messages for unchanging EDID

Whenever we reprobe an unchanging output and re-read its EDID, we emit a
useless log message. Previously this was squelched by trying to spot
when an EDID was unchanged through the use of its blob.id, however we
need to do a complete check on the contents in case the kernel returns
us a new EDID with the old id. So make a temporary copy of the current
EDID data and only squelch the log messages if the new EDID is an exact
match.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Fix the addition of the current output Mode to the probed lists

We need to add the current mode to the Modes list and not directly to
the output->probed_modes as that gets overwritten.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Unmap pixmap prior to release GPU bo

As the unmap routine will deference the GPu bo in its debugging code, we
need to be sure that the pointer is still valid at the time of
unmapping. Hence unmap before release.

Reported-by: Jiri Slaby <jirislaby@gmail.com>
References: https://bugs.freedesktop.org/show_bug.cgi?id=70461
Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Do a quick pass on dirty damage before reduction

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>

sna: Drop now obsolete assertion

We no longer unconditionally clear the CPU hint when moving to the GPU
for readonly updates, so we can no longer assert that the priv->cpu ==
false afterwards.

Signed-off-by: Chris Wilson <chris@chris-wilson.co.uk>