x86/mm: Avoid incomplete Global INVLPG flushes
authorDave Hansen <dave.hansen@linux.intel.com>
Tue, 16 May 2023 19:24:25 +0000 (12:24 -0700)
committerDave Hansen <dave.hansen@linux.intel.com>
Wed, 17 May 2023 15:55:02 +0000 (08:55 -0700)
commitce0b15d11ad837fbacc5356941712218e38a0a83
treedf7e152e17f05d153dd387327f9641cf9ce5e467
parent7d8accfaa0ab65e4282c8e58950f7d688342cd86
x86/mm: Avoid incomplete Global INVLPG flushes

The INVLPG instruction is used to invalidate TLB entries for a
specified virtual address.  When PCIDs are enabled, INVLPG is supposed
to invalidate TLB entries for the specified address for both the
current PCID *and* Global entries.  (Note: Only kernel mappings set
Global=1.)

Unfortunately, some INVLPG implementations can leave Global
translations unflushed when PCIDs are enabled.

As a workaround, never enable PCIDs on affected processors.

I expect there to eventually be microcode mitigations to replace this
software workaround.  However, the exact version numbers where that
will happen are not known today.  Once the version numbers are set in
stone, the processor list can be tweaked to only disable PCIDs on
affected processors with affected microcode.

Note: if anyone wants a quick fix that doesn't require patching, just
stick 'nopcid' on your kernel command-line.

Signed-off-by: Dave Hansen <dave.hansen@linux.intel.com>
Reviewed-by: Thomas Gleixner <tglx@linutronix.de>
Cc: stable@vger.kernel.org
arch/x86/mm/init.c