1. 从一根线到一张网PCIe 到底在解决什么问题如果你拆过任何一台近十年的台式机、笔记本或者服务器主板上那些长短不一的插槽大概率就是 PCIe 插槽。显卡插在最长的那个M.2 固态硬盘插在扁扁的那个网卡、声卡、采集卡各占一个。这些设备形态千差万别但它们和 CPU 沟通用的是同一套语言——PCIe 协议。我最早接触 PCIe 是在折腾一块 FPGA 加速卡的时候。当时天真地以为“插上去就能用”结果板子插上后系统连设备都枚举不到lspci里空空如也。后来才知道PCIe 不是简单的“插上通电就通信”它有一套完整的链路训练、枚举、配置流程任何一环出问题设备都不会出现在系统里。那次踩坑让我意识到想真正玩转 PCIe 设备——不管是做驱动、做硬件设计还是做性能调优——都得先把协议本身搞清楚。这篇内容就是把我这些年对 PCIe 协议的理解做一次系统梳理重点放在协议基本概念和三层架构上。为什么先讲这两块因为 PCIe 的所有高级特性——热插拔、链路训练、电源管理、错误恢复——全都建立在这两层基础之上。你如果连事务层、数据链路层、物理层各自负责什么、报文怎么流转都不清楚后面看 LTSSM 状态机、看 RX Margin、看驱动子系统基本就是看天书。适合谁看做嵌入式驱动的、搞 FPGA PCIe 开发的、做服务器硬件验证的、以及想深入理解主板总线的工作者。哪怕你只是想知道“为什么 PCIe 网卡会掉速”“为什么 M.2 固态跑不满标称速度”理解这三层架构之后很多问题的根因你自己就能推出来。2. PCIe 协议整体设计思路拆解2.1 为什么 PCIe 要设计成三层要理解 PCIe 的三层架构先得理解它要解决的核心矛盾CPU 和内存希望用简单的地址读写来访问设备而物理链路上传输的是高速串行差分信号两者之间隔着巨大的抽象鸿沟。早期并行总线比如 PCI是“地址线数据线控制线”直接铺开CPU 发个地址数据线直接传数据简单粗暴。但并行总线频率上不去线多了还互相干扰PCI 到 66MHz 基本就到头了。PCIe 换成了高速串行差分一根 lane 一对差分线速率轻松上到 8GT/s、16GT/s 甚至 32GT/s但代价是串行链路上没法直接传“地址”和“数据”这种并行概念必须打包成报文Packet来传。于是分层就顺理成章了。这跟网络协议栈的思路是一样的上层关心“我要干什么”下层关心“我怎么把比特可靠地送过去”。PCIe 分了三层事务层Transaction Layer负责“要干什么”——读内存、写内存、配置设备、发中断。它生成 TLPTransaction Layer Packet。数据链路层Data Link Layer负责“传得可靠”——加序列号、加 CRC、确认重传。它生成 DLLPData Link Layer Packet来管理链路。物理层Physical Layer负责“怎么把比特送出去”——串并转换、编码、差分驱动、链路训练。它处理 Ordered Set 和实际电气信号。这个分层的精妙之处在于每一层只跟自己的对端层对话。事务层生成的 TLP对事务层来说是完整的“请求”但对数据链路层来说只是一段需要可靠传输的载荷。这种“对等层通信”的设计让 PCIe 可以在物理层换速率Gen1 到 Gen5、换宽度x1 到 x16而上层软件完全不用改。2.2 三层架构与 OSI 模型的对应关系很多人喜欢拿 PCIe 三层和 OSI 七层做类比但我要提醒一句别硬套容易把自己绕进去。PCIe 的三层是“精简务实版”它没有 OSI 那么复杂的会话层、表示层因为 PCIe 是点对点总线不是多跳网络。大致对应关系是这样的PCIe 层对应 OSI 层核心职责典型产物事务层传输层/网络层地址路由、请求响应、QoSTLP数据链路层数据链路层可靠传输、流控、错误检测DLLP、ACK/NAK物理层物理层编码、串并转换、链路训练Ordered Set、电气信号我个人的经验是理解 PCIe 分层重点不是记对应关系而是记住“每一层加什么头、去什么头”。发送时事务层加 TLP 头数据链路层加序列号和 CRC物理层加帧起始和结束标记。接收时反过来一层层剥。这个“封装-解封装”的过程才是分层的本质。2.3 点对点连接与 Switch 扩展PCIe 和 PCI 最大的结构差异是从共享总线变成了点对点连接。PCI 时代所有设备挂在同一组总线上大家抢总线使用权设备多了就互相拖累。PCIe 是每个设备跟 Root Complex 或者 Switch 之间单独一条链路互不干扰。但点对点带来一个新问题CPU 一般只有有限的 PCIe 通道比如 20 条或 28 条怎么接几十个设备答案是Switch。Switch 内部相当于一个“PCIe 交换机”上游一个端口连 RC下游多个端口连设备或下一级 Switch。Switch 内部做的是路由——根据 TLP 头里的地址或 Bus/Device/Function 号决定从哪个下游端口转发出去。这里有个容易踩的坑Switch 会引入额外的延迟而且下游端口的带宽是共享上游带宽的。我见过有人用 x16 的 Switch 接四块 x4 的 NVMe以为每块都能跑满 x4结果四块同时读写时总带宽被上游 x16 卡死。所以选 Switch 方案时一定要算清楚上游带宽和下游设备总带宽的比例。3. 事务层核心细节与实操要点3.1 TLP 的四种基本类型事务层是 PCIe 里跟软件打交道最多的一层。它定义了四种基本事务类型Memory Read/Write内存读写最常用CPU 访问设备内存、设备 DMA 读写系统内存都靠它。I/O Read/WriteI/O 读写老式 I/O 空间访问现在基本被 MMIO 取代但协议还保留着。Configuration Read/Write配置读写枚举阶段读写设备的配置空间lspci看到的信息就是从这里来的。Message消息用来传中断MSI/MSI-X、电源管理事件、错误报告等本质是“带内信令”。每种事务又分Posted和Non-Posted。Posted 就是“发了不管”比如 Memory Write发出去就完事不需要对方回复。Non-Posted 是“发了要等回复”比如 Memory Read必须等对方返回带数据的 Completion TLP。这个区别非常关键因为它直接影响流控和性能。提示Memory Write 是 Posted意味着写操作不会阻塞发起方但这也带来一个问题——写完了对方可能还没真正落到内存。如果需要确认写完成得用 Read 去“读回”或者用带完成语义的机制。3.2 TLP 头部字段解析一个标准 TLP 的头部是 3 个双字12 字节或 4 个双字16 字节带 64 位地址时。头部里几个关键字段FmtFormat标识头部长度和是否带数据。Type标识事务类型Memory、Config、Message 等。TCTraffic Class流量类别用于 QoS0-7 共 8 个等级。TDTLP Digest是否带端到端 CRC。Length数据载荷长度单位是双字。Requester ID / Completer ID发起方和完成方的 BDF 号。Tag用于匹配请求和完成Non-Posted 事务靠它来对应。Address32 位或 64 位地址。我调试 FPGA PCIe 时最常看的就是Tag 字段。因为如果 Tag 用完了比如同时发起太多 Non-Posted 请求后续请求就得等这就是所谓的Tag 耗尽会直接拖低吞吐。一般 EP 端会限制 outstanding 请求数量RC 端也要配合。3.3 配置空间与枚举过程配置空间是 PCIe 设备跟系统“自我介绍”的地方。每个 PCIe 功能Function有 4KB 配置空间前 256 字节是 PCI 兼容区后面是 PCIe 扩展区。前 64 字节是标准头里面有 Vendor ID、Device ID、Class Code、BARBase Address Register等。枚举过程大致是这样的RC 扫描 Bus 0发现设备后读它的 Vendor ID。如果是0xFFFF说明没设备。读 Header Type判断是单功能还是多功能。给设备的 BAR 分配地址空间把系统内存地址写进 BAR。如果设备是桥Bridge给它分配 Bus 号范围继续扫描下级总线。递归直到所有总线扫完。这个过程听起来简单但实操中经常出问题。比如BAR 分配失败通常是因为系统 MMIO 空间不够或者设备要求的 BAR 大小超过了可用窗口。我在一块老主板上插多口网卡时就遇到过BIOS 里 MMIO 窗口太小导致第四个口死活枚举不出来。后来进 BIOS 把 Above 4G Decoding 打开才解决。注意枚举是 RC 主导的EP 不能主动发起配置访问。所以如果你做 EP 设计别指望自己“通知”系统我来了得等 RC 来扫你。4. 数据链路层与物理层关键机制4.1 数据链路层的可靠传输数据链路层的核心任务是保证 TLP 在链路上可靠传输。它做了三件事加序列号每个 TLP 发出去时带一个 12 位的序列号接收方按序检查。加 CRC对 TLP 内容算 LCRC接收方校验错了就丢。ACK/NAK 机制接收方收到正确的 TLP 回 ACK错了回 NAK发送方收到 NAK 就重传。这个机制跟 TCP 有点像但更轻量。它不负责端到端只负责单跳链路。也就是说如果经过 Switch每一段链路各自做 ACK/NAK端到端可靠性靠事务层的 Completion 和上层协议保证。DLLP 除了 ACK/NAK还有几种InitFC1/InitFC2初始化流控信用。UpdateFC更新流控信用。PM电源管理相关。流控是数据链路层另一个重要功能。PCIe 用信用Credit机制做流控接收方告诉发送方“我还有多少缓冲区”发送方根据信用决定能发多少。信用分 Posted、Non-Posted、Completion 三类每类又分 Header 和 Data 两种信用。这个机制避免了拥塞丢包但也带来一个调优点信用值设置太小会限制吞吐太大又浪费缓冲。4.2 物理层的链路训练与 LTSSM物理层是最“硬”的一层也是问题最多的一层。它负责串并转换把并行数据转成串行比特流发出去接收端再转回来。编码Gen1/Gen2 用 8b/10bGen3 以后用 128b/130b目的是保证 DC 平衡和时钟恢复。链路训练通过 LTSSMLink Training and Status State Machine状态机协商链路宽度和速率。LTSSM 是调试 PCIe 链路的“命根子”。它的主要状态包括Detect检测对端是否存在。Polling交换训练序列确定极性、位对齐。Configuration协商链路宽度和速率分配 lane 号。L0正常工作状态。Recovery链路出错后尝试恢复。L1/L2低功耗状态。我遇到过最典型的问题就是链路卡在 Polling 或 Configuration 出不来。原因可能是参考时钟不匹配、差分对极性接反、或者信号完整性太差。有一次一块板子死活训练不到 Gen3降到 Gen2 就正常最后查出来是走线太长眼图已经闭合了。所以做硬件设计时PCIe 走线一定要按阻抗要求控制差分对内等长对间也要尽量等长。4.3 物理层与热插拔、电源管理PCIe 支持热插拔但这不是“随便拔”的意思。热插拔需要物理层、数据链路层、事务层和软件协同物理层检测到卡插入通过 PRSNT# 引脚。系统给卡上电等待电源稳定。链路训练进入 L0。软件枚举加载驱动。拔出时软件先停驱动发电源管理事件再断电。我实测过在 Linux 下热插拔 NVMeecho 1 /sys/bus/pci/slots/xxx/power可以控制槽位电源但前提是主板和背板支持。很多消费级主板根本不支持热插拔强行拔会直接掉链路甚至损坏设备。电源管理方面PCIe 定义了 D0-D3 设备电源状态和 L0-L3 链路电源状态。ASPMActive State Power Management可以在链路空闲时自动进入低功耗状态但ASPM 有时会导致链路不稳定尤其是老设备或信号质量一般的链路上。我在调试一块网卡时关掉 ASPM 后掉速问题就消失了所以遇到莫名其妙的链路问题可以先试试关 ASPM。5. 实操过程与核心环节实现5.1 用 lspci 和 setpci 查看链路状态Linux 下最常用的 PCIe 调试工具就是lspci和setpci。先看设备列表lspci -nn输出里会显示设备的 BDF 号、厂商 ID、设备 ID。比如01:00.0 Ethernet controller [0200]: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller [10ec:8168]。想看链路速率和宽度lspci -vv -s 01:00.0 | grep -i LnkCap\|LnkSta输出类似LnkCap: Port #0, Speed 5GT/s, Width x1, ASPM L0s L1, Exit Latency L0s 2us, L1 64us LnkSta: Speed 5GT/s (ok), Width x1 (ok)这里LnkCap是链路能力LnkSta是当前状态。如果LnkSta显示Speed 2.5GT/s而LnkCap是5GT/s说明链路没训练到最高速率可能是信号问题或者对端限制。想看配置空间lspci -xxx -s 01:00.0这会 dump 出 256 字节配置空间。前 64 字节是标准头可以手动解析 Vendor ID、Device ID、Command、Status、BAR 等。5.2 用 dmesg 追踪枚举和链路训练日志内核启动时的 PCIe 枚举日志在dmesg里dmesg | grep -i pci典型输出[ 0.234567] pci 0000:00:1c.0: PCI bridge to [bus 01] [ 0.345678] pci 0000:01:00.0: [10ec:8168] type 00 class 0x020000 [ 0.456789] pci 0000:01:00.0: reg 0x10: [mem 0xf7c00000-0xf7c00fff 64bit] [ 0.567890] pci 0000:01:00.0: BAR 0: assigned [mem 0xf7c00000-0xf7c00fff 64bit]如果枚举失败通常会看到BAR 0: no space或者link training failed之类的错误。这些日志是排查 PCIe 问题的第一手资料。5.3 用 perf 和 iostat 观察 PCIe 带宽想看 PCIe 设备实际带宽可以用perf或者直接看/sys/bus/pci/devices/0000:01:00.0/下的统计cat /sys/bus/pci/devices/0000:01:00.0/current_link_speed cat /sys/bus/pci/devices/0000:01:00.0/current_link_width对于 NVMe可以用fio测吞吐同时用iostat -x 1看%util和await。如果%util接近 100% 但吞吐远低于链路理论带宽可能是协议开销或者驱动瓶颈。我实测过一块 Gen3 x4 的 NVMe理论带宽约 3.94GB/s实际顺序读能到 3.2GB/s 左右损耗主要来自 TLP 头、CRC、ACK/NAK 和流控。如果换成 Gen4 x4理论 7.88GB/s实际能到 6.5GB/s 以上。所以别指望跑满理论值80% 左右就是很好的成绩了。6. 常见问题与排查技巧实录6.1 设备枚举不到怎么办这是最常见的问题。排查顺序看物理连接卡插紧了吗金手指干净吗供电接了吗看 BIOSAbove 4G Decoding 开了吗PCIe 槽位启用了吗看 dmesg有没有link training failed或BAR no space看 lspcilspci -nn里有没有设备如果没有说明链路都没建起来。换槽位有时候是槽位或者 CPU 通道的问题。我遇到过一块 FPGA 卡插在 CPU 直连槽位枚举不到插在 PCH 下挂槽位就能枚举。后来查出来是 CPU 直连槽位的参考时钟没使能BIOS 里要手动开。6.2 链路速率不达标怎么查如果LnkSta速率低于LnkCap查信号完整性走线阻抗、长度、过孔数量。查参考时钟100MHz 参考时钟抖动是否超标。查 ASPM关掉 ASPM 试试。查对端限制有些 Switch 或 EP 只支持到 Gen2。我试过一块 Gen3 的网卡插在 Gen2 的槽位上速率自然降到 Gen2。所以先确认槽位本身支持到多少。6.3 掉速和中断问题热词里提到“Realtek RTL8852BE WiFi 6 网卡测速中断”这类问题通常跟 PCIe 链路稳定性有关。排查思路看 dmesg 有没有 AER 报错dmesg | grep -i aer。看链路是否降速lspci -vv看LnkSta。关 ASPMpcie_aspmoff内核参数。更新驱动和固件有时候是驱动 bug。我处理过一块双口 PCIe 网卡掉速的问题最后发现是SMB3.0 多通道和 PCIe 流控冲突关掉多通道就正常了。所以软件配置也会影响 PCIe 表现。6.4 常见问题速查表现象可能原因排查方法设备枚举不到链路未训练、BAR 分配失败dmesg、lspci、BIOS 设置链路降速信号差、ASPM、对端限制lspci -vv、关 ASPM、查走线掉速/中断AER 错误、驱动 bug、流控冲突dmesg、更新驱动、关多通道热插拔失败背板不支持、电源控制缺失查主板手册、sysfs 电源控制带宽不达标协议开销、Tag 耗尽、信用不足perf、iostat、调 outstanding提示PCIe 问题排查先看 dmesg再看 lspci最后动硬件。软件层面能解决大部分问题别一上来就拆机。7. 我个人在实际操作中的几点体会做 PCIe 调试这些年最大的感受是协议理解深度直接决定排查效率。同样一个“设备不识别”懂协议的人会从 LTSSM 状态、配置空间、BAR 分配一路查下去不懂的人只能反复插拔、换卡、重装系统。另外别忽视物理层。很多问题看起来是软件问题根因却在信号完整性。我见过太多因为走线不规范导致 Gen3 降 Gen1 的案例。如果你做硬件设计PCIe 差分对一定要按规范来该加 AC 耦合电容就加该控阻抗就控。最后多动手多抓 log。PCIe 协议再复杂也是可以通过工具一层层剥开的。lspci、setpci、dmesg、perf这几个工具用熟了大部分问题都能定位。至于更深的 LTSSM 状态跟踪、协议分析仪抓包那是进阶手段等基础打牢了再上。这个系列后面还会继续拆解 PCIe 的枚举过程、LTSSM 状态机、驱动子系统、以及热插拔和电源管理的细节。如果你正在做 PCIe 相关的东西欢迎一起交流踩坑经验。
