RDMA性能指标：延迟、带宽、IOPS深度解析一、从一次“诡异”的带宽掉坑说起上个月调一个NVMe over Fabrics的存储方案，客户反馈说“带宽死活上不去，只有理论值的30%”。我上去一看，ib_write_bw跑出来确实只有6GB/s，而链路是100Gbps的。第一反应是PCIe瓶颈？查了lspci -vvv，Gen3 x16，没问题。第二反应是CPU频率？cat /proc/cpuinfo，2.6GHz，也没降频。后来用perf top盯了十分钟，发现一个诡异现象：CPU的stalled-cycles-backend占比高达40%。再细查，原来是内存通道数没对齐——两个NUMA节点，但网卡插在Node0，应用进程绑在Node1，跨NUMA访问导致内存延迟翻倍，直接拖死了带宽。这个坑让我意识到：RDMA的性能指标不是孤立数字，它们背后藏着整个系统的“木桶短板”。今天这篇笔记，咱们就把延迟、带宽、IOPS这三个核心指标掰开揉碎，结合我踩过的坑，聊聊怎么测、怎么看、怎么优化。二、延迟：那个被“平均”掩盖的真相2.1 延迟的构成，别只看“ping pong”很多人拿ib_write_lat跑个结果就完事了，觉得“1.2微秒，不错”。但实际生产环境里，延迟是分段的：软件栈延迟：从应用调用ibv_post_send到WQE入队，大约0.3-0.5μs。这里有个坑：如果你用多线程并发发送，锁竞争会让这个数
