KVM: x86/mmu: do not consult levels when freeing roots
authorPaolo Bonzini <pbonzini@redhat.com>
Tue, 8 Feb 2022 22:53:55 +0000 (17:53 -0500)
committerPaolo Bonzini <pbonzini@redhat.com>
Fri, 25 Feb 2022 13:20:17 +0000 (08:20 -0500)
Right now, PGD caching requires a complicated dance of first computing
the MMU role and passing it to __kvm_mmu_new_pgd(), and then separately calling
kvm_init_mmu().

Part of this is due to kvm_mmu_free_roots using mmu->root_level and
mmu->shadow_root_level to distinguish whether the page table uses a single
root or 4 PAE roots.  Because kvm_init_mmu() can overwrite mmu->root_level,
kvm_mmu_free_roots() must be called before kvm_init_mmu().

However, even after kvm_init_mmu() there is a way to detect whether the
page table may hold PAE roots, as root.hpa isn't backed by a shadow when
it points at PAE roots.  Using this method results in simpler code, and
is one less obstacle in moving all calls to __kvm_mmu_new_pgd() after the
MMU has been initialized.

Signed-off-by: Paolo Bonzini <pbonzini@redhat.com>
arch/x86/kvm/mmu/mmu.c

index 5b59333..b97ff76 100644 (file)
@@ -3224,12 +3224,15 @@ void kvm_mmu_free_roots(struct kvm_vcpu *vcpu, struct kvm_mmu *mmu,
        struct kvm *kvm = vcpu->kvm;
        int i;
        LIST_HEAD(invalid_list);
-       bool free_active_root = roots_to_free & KVM_MMU_ROOT_CURRENT;
+       bool free_active_root;
 
        BUILD_BUG_ON(KVM_MMU_NUM_PREV_ROOTS >= BITS_PER_LONG);
 
        /* Before acquiring the MMU lock, see if we need to do any real work. */
-       if (!(free_active_root && VALID_PAGE(mmu->root.hpa))) {
+       free_active_root = (roots_to_free & KVM_MMU_ROOT_CURRENT)
+               && VALID_PAGE(mmu->root.hpa);
+
+       if (!free_active_root) {
                for (i = 0; i < KVM_MMU_NUM_PREV_ROOTS; i++)
                        if ((roots_to_free & KVM_MMU_ROOT_PREVIOUS(i)) &&
                            VALID_PAGE(mmu->prev_roots[i].hpa))
@@ -3247,8 +3250,7 @@ void kvm_mmu_free_roots(struct kvm_vcpu *vcpu, struct kvm_mmu *mmu,
                                           &invalid_list);
 
        if (free_active_root) {
-               if (mmu->shadow_root_level >= PT64_ROOT_4LEVEL &&
-                   (mmu->root_level >= PT64_ROOT_4LEVEL || mmu->direct_map)) {
+               if (to_shadow_page(mmu->root.hpa)) {
                        mmu_free_root_page(kvm, &mmu->root.hpa, &invalid_list);
                } else if (mmu->pae_root) {
                        for (i = 0; i < 4; ++i) {