pci: Work around PCIe link training failures
[platform/kernel/u-boot.git] / drivers / pci / pci_auto.c
index c0acf33..c796892 100644 (file)
@@ -5,6 +5,7 @@
  * Author: Matt Porter <mporter@mvista.com>
  *
  * Copyright 2000 MontaVista Software Inc.
+ * Copyright (c) 2021  Maciej W. Rozycki <macro@orcam.me.uk>
  */
 
 #include <common.h>
@@ -12,6 +13,7 @@
 #include <errno.h>
 #include <log.h>
 #include <pci.h>
+#include <time.h>
 #include "pci_internal.h"
 
 /* the user can define CONFIG_SYS_PCI_CACHE_LINE_SIZE to avoid problems */
@@ -180,6 +182,168 @@ static void dm_pciauto_setup_device(struct udevice *dev,
        dm_pci_write_config8(dev, PCI_LATENCY_TIMER, 0x80);
 }
 
+/*
+ * Check if the link of a downstream PCIe port operates correctly.
+ *
+ * For that check if the optional Data Link Layer Link Active status gets
+ * on within a 200ms period or failing that wait until the completion of
+ * that period and check if link training has shown the completed status
+ * continuously throughout the second half of that period.
+ *
+ * Observation with the ASMedia ASM2824 Gen 3 switch indicates it takes
+ * 11-44ms to indicate the Data Link Layer Link Active status at 2.5GT/s,
+ * though it may take a couple of link training iterations.
+ */
+static bool dm_pciauto_exp_link_stable(struct udevice *dev, int pcie_off)
+{
+       u64 loops = 0, trcount = 0, ntrcount = 0, flips = 0;
+       bool dllla, lnktr, plnktr;
+       u16 exp_lnksta;
+       pci_dev_t bdf;
+       u64 end;
+
+       dm_pci_read_config16(dev, pcie_off + PCI_EXP_LNKSTA, &exp_lnksta);
+       plnktr = !!(exp_lnksta & PCI_EXP_LNKSTA_LT);
+
+       end = get_ticks() + usec_to_tick(200000);
+       do {
+               dm_pci_read_config16(dev, pcie_off + PCI_EXP_LNKSTA,
+                                    &exp_lnksta);
+               dllla = !!(exp_lnksta & PCI_EXP_LNKSTA_DLLLA);
+               lnktr = !!(exp_lnksta & PCI_EXP_LNKSTA_LT);
+
+               flips += plnktr ^ lnktr;
+               if (lnktr) {
+                       ntrcount = 0;
+                       trcount++;
+               } else {
+                       ntrcount++;
+               }
+               loops++;
+
+               plnktr = lnktr;
+       } while (!dllla && get_ticks() < end);
+
+       bdf = dm_pci_get_bdf(dev);
+       debug("PCI Autoconfig: %02x.%02x.%02x: Fixup link: DL active: %u; "
+             "%3llu flips, %6llu loops of which %6llu while training, "
+             "final %6llu stable\n",
+             PCI_BUS(bdf), PCI_DEV(bdf), PCI_FUNC(bdf),
+             (unsigned int)dllla,
+             (unsigned long long)flips, (unsigned long long)loops,
+             (unsigned long long)trcount, (unsigned long long)ntrcount);
+
+       return dllla || ntrcount >= loops / 2;
+}
+
+/*
+ * Retrain the link of a downstream PCIe port by hand if necessary.
+ *
+ * This is needed at least where a downstream port of the ASMedia ASM2824
+ * Gen 3 switch is wired to the upstream port of the Pericom PI7C9X2G304
+ * Gen 2 switch, and observed with the Delock Riser Card PCI Express x1 >
+ * 2 x PCIe x1 device, P/N 41433, plugged into the SiFive HiFive Unmatched
+ * board.
+ *
+ * In such a configuration the switches are supposed to negotiate the link
+ * speed of preferably 5.0GT/s, falling back to 2.5GT/s.  However the link
+ * continues switching between the two speeds indefinitely and the data
+ * link layer never reaches the active state, with link training reported
+ * repeatedly active ~84% of the time.  Forcing the target link speed to
+ * 2.5GT/s with the upstream ASM2824 device makes the two switches talk to
+ * each other correctly however.  And more interestingly retraining with a
+ * higher target link speed afterwards lets the two successfully negotiate
+ * 5.0GT/s.
+ *
+ * As this can potentially happen with any device and is cheap in the case
+ * of correctly operating hardware, let's do it for all downstream ports,
+ * for root complexes, PCIe switches and PCI/PCI-X to PCIe bridges.
+ *
+ * First check if automatic link training may have failed to complete, as
+ * indicated by the optional Data Link Layer Link Active status being off
+ * and the Link Bandwidth Management Status indicating that hardware has
+ * changed the link speed or width in an attempt to correct unreliable
+ * link operation.  If this is the case, then check if the link operates
+ * correctly by seeing whether it is being trained excessively.  If it is,
+ * then conclude the link is broken.
+ *
+ * In that case restrict the speed to 2.5GT/s, observing that the Target
+ * Link Speed field is sticky and therefore the link will stay restricted
+ * even after a device reset is later made by an OS that is unaware of the
+ * problem.  With the speed restricted request that the link be retrained
+ * and check again if the link operates correctly.  If not, then set the
+ * Target Link Speed back to the original value.
+ *
+ * This requires the presence of the Link Control 2 register, so make sure
+ * the PCI Express Capability Version is at least 2.  Also don't try, for
+ * obvious reasons, to limit the speed if 2.5GT/s is the only link speed
+ * supported.
+ */
+static void dm_pciauto_exp_fixup_link(struct udevice *dev, int pcie_off)
+{
+       u16 exp_lnksta, exp_lnkctl, exp_lnkctl2;
+       u16 exp_flags, exp_type, exp_version;
+       u32 exp_lnkcap;
+       pci_dev_t bdf;
+
+       dm_pci_read_config16(dev, pcie_off + PCI_EXP_FLAGS, &exp_flags);
+       exp_version = exp_flags & PCI_EXP_FLAGS_VERS;
+       if (exp_version < 2)
+               return;
+
+       exp_type = (exp_flags & PCI_EXP_FLAGS_TYPE) >> 4;
+       switch (exp_type) {
+       case PCI_EXP_TYPE_ROOT_PORT:
+       case PCI_EXP_TYPE_DOWNSTREAM:
+       case PCI_EXP_TYPE_PCIE_BRIDGE:
+               break;
+       default:
+               return;
+       }
+
+       dm_pci_read_config32(dev, pcie_off + PCI_EXP_LNKCAP, &exp_lnkcap);
+       if ((exp_lnkcap & PCI_EXP_LNKCAP_SLS) <= PCI_EXP_LNKCAP_SLS_2_5GB)
+               return;
+
+       dm_pci_read_config16(dev, pcie_off + PCI_EXP_LNKSTA, &exp_lnksta);
+       if ((exp_lnksta & (PCI_EXP_LNKSTA_LBMS | PCI_EXP_LNKSTA_DLLLA)) !=
+           PCI_EXP_LNKSTA_LBMS)
+               return;
+
+       if (dm_pciauto_exp_link_stable(dev, pcie_off))
+               return;
+
+       bdf = dm_pci_get_bdf(dev);
+       printf("PCI Autoconfig: %02x.%02x.%02x: "
+              "Downstream link non-functional\n",
+              PCI_BUS(bdf), PCI_DEV(bdf), PCI_FUNC(bdf));
+       printf("PCI Autoconfig: %02x.%02x.%02x: "
+              "Retrying with speed restricted to 2.5GT/s...\n",
+              PCI_BUS(bdf), PCI_DEV(bdf), PCI_FUNC(bdf));
+
+       dm_pci_read_config16(dev, pcie_off + PCI_EXP_LNKCTL, &exp_lnkctl);
+       dm_pci_read_config16(dev, pcie_off + PCI_EXP_LNKCTL2, &exp_lnkctl2);
+
+       dm_pci_write_config16(dev, pcie_off + PCI_EXP_LNKCTL2,
+                             (exp_lnkctl2 & ~PCI_EXP_LNKCTL2_TLS) |
+                             PCI_EXP_LNKCTL2_TLS_2_5GT);
+       dm_pci_write_config16(dev, pcie_off + PCI_EXP_LNKCTL,
+                             exp_lnkctl | PCI_EXP_LNKCTL_RL);
+
+       if (dm_pciauto_exp_link_stable(dev, pcie_off)) {
+               printf("PCI Autoconfig: %02x.%02x.%02x: Succeeded!\n",
+                      PCI_BUS(bdf), PCI_DEV(bdf), PCI_FUNC(bdf));
+       } else {
+               printf("PCI Autoconfig: %02x.%02x.%02x: Failed!\n",
+                      PCI_BUS(bdf), PCI_DEV(bdf), PCI_FUNC(bdf));
+
+               dm_pci_write_config16(dev, pcie_off + PCI_EXP_LNKCTL2,
+                                     exp_lnkctl2);
+               dm_pci_write_config16(dev, pcie_off + PCI_EXP_LNKCTL,
+                                     exp_lnkctl | PCI_EXP_LNKCTL_RL);
+       }
+}
+
 void dm_pciauto_prescan_setup_bridge(struct udevice *dev, int sub_bus)
 {
        struct pci_region *pci_mem;
@@ -189,6 +353,7 @@ void dm_pciauto_prescan_setup_bridge(struct udevice *dev, int sub_bus)
        u8 io_32;
        struct udevice *ctlr = pci_get_controller(dev);
        struct pci_controller *ctlr_hose = dev_get_uclass_priv(ctlr);
+       int pcie_off;
 
        pci_mem = ctlr_hose->pci_mem;
        pci_prefetch = ctlr_hose->pci_prefetch;
@@ -275,6 +440,11 @@ void dm_pciauto_prescan_setup_bridge(struct udevice *dev, int sub_bus)
                }
        }
 
+       /* For PCIe devices see if we need to retrain the link by hand */
+       pcie_off = dm_pci_find_capability(dev, PCI_CAP_ID_EXP);
+       if (pcie_off)
+               dm_pciauto_exp_fixup_link(dev, pcie_off);
+
        /* Enable memory and I/O accesses, enable bus master */
        dm_pci_write_config16(dev, PCI_COMMAND, cmdstat | PCI_COMMAND_MASTER);
 }