034、RDMA连接管理：CM（连接管理器）架构

RDMA连接管理：CM（连接管理器）架构一、一次生产环境下的连接风暴去年双十一大促压测，我负责的分布式存储集群突然出现大量“Connection refused”错误。监控面板上RDMA连接数从2000飙升到8000后，新连接全部失败。当时第一反应是网卡队列满了，但ibstat显示端口状态正常，ibv_devinfo也没报错。最后用rdma_cm_id的event回调日志定位到问题——CM（Connection Manager）的事件处理线程被阻塞了。那次事故让我意识到，很多RDMA开发者把精力都放在数据传输优化上，却忽略了连接管理这个“隐形瓶颈”。今天这篇笔记，就聊聊RDMA CM的架构设计和那些容易踩坑的细节。二、CM到底管什么RDMA CM是libibverbs上层的一个连接管理库，它封装了RDMA通信中连接建立、断开、地址解析等复杂流程。很多人以为CM只是“建立连接”的辅助工具，实际上它承担了三个关键职责：1. 地址解析与路由RDMA设备有自己的GID（Global Identifier），CM负责将IP地址映射到GID，并确定数据包在InfiniBand或RoCE网络中的转发路径。这里有个坑：如果网卡配置了多个GID（比如同时支持IPv4和IPv6），CM默认会选择第一个可用的，但你的应用可能期望使用特定GID。别问我怎么知道的——线上环境因为GID选择错误导致跨子网通信失败，排查了整整两天