接到一个朋友的电话说他那边机房上联带宽又顶满了业务侧投诉一拨接一拨临时扩容就得换板卡、断业务折腾不起。我说你看看能不能走“AX调度”把两条物理链路绑在一起把带宽叠起来顺带还把冗余做了。电话那头沉默了几秒问“AX调度是啥”。其实这词在咱们网络圈子里并不神秘——它通常指的就是链路聚合Link Aggregation场景下的流量调度机制也就是大家常说的LACP、Eth-Trunk、EtherChannel这一类技术。链路聚合把多根物理网线抽象成一根逻辑管道带宽翻倍只是一方面更值钱的是链路失效时秒级切换业务不中断。这篇文章就围绕AX调度展开讲讲它解决什么问题、内部的数据帧怎么分拣、交换机和服务器的两端该怎么配以及我在机房踩过的那些坑。适合正在搞数据中心接入、服务器双网卡绑定、存储网络扩容的运维和网络工程师也适合刚入门想搞懂链路聚合原理的朋友。1. AX调度到底在解决什么问题1.1 单链路的三座大山带宽、冗余、分配不均网络设备之间的连接最简单的方式就是一根网线对接一个端口。这种单链路方式在业务规模小的时候没什么毛病但随着业务增长问题一堵一堵地冒出来。第一座大山是带宽瓶颈。一根千兆口理论上限就是1000Mbps刨掉协议开销、管理报文占用实际能跑的吞吐量也就八九百兆。假设你是做视频存储的前端几十路摄像机码流同时灌进来单千兆口根本扛不住业务方第一个反应是“换万兆口”。可换万兆不光是换一根线交换机端口板卡、服务器网卡、光模块、跳线全得跟着动成本直接起飞而且施工期间业务要停这就是个典型的“用钱和停机换带宽”的买卖。第二座大山是单点故障。单链路只要有一端光模块老化、光纤被挖断、端口被误关整条业务通道就瞬间归零。哪怕交换机本身支持堆叠、服务器做了集群只要上联链路只有一根业务照样全断。真实机房里面“一根线毁掉整个业务”的案例多了去了而且往往发生在深夜割接或者雷雨天气排查起来特别揪心。第三座大山是流量分配手段匮乏。单链路不存在“分担”这一说所有流量挤在一个管道里高并发时要么排队要么丢包你拿它一点办法都没有。这三座大山本质上指向同一个诉求能不能在不换设备、不额外占用新端口的前提下把多根物理链路组合起来让它们像一根更粗的链路那样工作AX调度就是干这个的。1.2 AX调度的本质多条物理链路编组一条逻辑通道链路聚合的核心思想可以用一句大白话概括把多根物理网线拧成一股绳从网络上层看这就是一根逻辑链路。数据进入这根逻辑链路时调度机制会按照既定规则把不同的数据流分发到不同的成员链路上某条成员链路断掉时调度自动把流量切到剩下的成员链路上整个过程上层业务无感知。这里“调度”两个字是关键。不是说链路聚合把带宽简单地“加”起来就完了它必须解决“谁走哪条道”的问题——这就是AX调度的价值所在。为了做到这一点业界经历了两个阶段。早期是静态手工聚合管理员把几个端口绑在一起指定负载分担策略两端配置都得人工对齐链路故障了系统不会自动收敛只能靠人工干预。后来IEEE在802.3ad标准里定义了链路聚合控制协议LACP也就是动态聚合。启用LACP的两台设备会互相发送LACPDU报文协商成员端口状态、谁主谁备、哪些端口真正参与转发。协商成功之后链路组才进入正常的转发状态。相比静态聚合LACP最大的优势是“自动感知”你插一根新线、拔掉一根旧线两边设备自己谈判该加就加、该删就删运维手里不用再攥着一堆静态配置战战兢兢。在华为设备上链路聚合接口叫Eth-Trunk在思科设备上叫Port-Channel或EtherChannel在Linux服务器上叫bond。名称不同底层原理都是同一套。AX调度更像是一个统称指的就是这一类技术加上负载均衡策略的整体解决方案。2. AX调度的核心机制数据帧是如何被“调度”的2.1 哈希是调度的灵魂既然要把流量分配到多个成员口那分配依据是什么答案就两个字哈希。调度器拿到一个数据帧之后并不会盲目地丢给某个端口而是先从这个帧的头部提取若干关键字段——比如源MAC地址、目的MAC地址、源IP地址、目的IP地址、源端口号、目的端口号——然后把这些字段丢进一个哈希函数算出一个固定长度的哈希值再拿这个哈希值对成员链路数量取模最后得到这条帧应该走哪条成员口。这个机制和快递分拣特别像。快递到了分拨中心工作人员先看面单上的地址信息把发往同一个片区的包裹归到同一条传送带。哈希就是那张“地址信息”传送带就是成员链路。只要地址信息不变同一个快递每次分拣都会落到同一条传送带不会一会儿走1号口一会儿走2号口。放到网络里这个“同一个流的帧始终走同一条成员链路”的特性太重要了。TCP是一个讲究数据顺序的协议接收端靠序号重组数据。如果同一个TCP会话的数据帧被拆分到两条链路上由于两条链路物理时延、转发队列深度不完全一致先发的帧可能后到接收端一发现乱序就得触发重传性能反而一落千丈。所以AX调度有一条铁律同一个数据流必须哈希到同一条成员链路不允许把一个流拆散。2.2 常见哈希模式怎么选哈希函数本身不变变的是“拿哪些字段来做哈希”。不同设备支持的哈希模式不完全一样但万变不离其宗常见的有以下几种哈希模式参与哈希的字段适用场景局限基于目的MAC目的MAC地址交换机下联口往服务器转发目的MAC集中在少数服务器上时效果还行如果所有流量都去往同一个目的MAC则会全部哈希到同一条链路直接失效基于源目MAC源MAC 目的MAC二层交换网络接入交换机与汇聚交换机之间服务器之间通信源目MAC组合也有限流少时分布不均匀基于源目IP源IP 目的IP三层路由场景网关设备之间、数据中心东西向流量如果一堆流都是同一条源目IP比如NAT网关后面还是会偏基于源目IP端口源IP 目的IP 源端口 目的端口四层负载均衡、业务服务器接入、高并发会话场景要设备支持四层哈希老式设备可能不支持我在实际配置里服务器接入场景优先选“源目IP端口”因为它区分粒度最细。举个例子假设两台服务器之间有100条TCP连接每条连接的源端口都不同哈希结果天然就能均匀散到4条成员链路上。但如果只看IP100条连接全是同一对IP最终可能只走一条链路其他链路全部闲着——这看起来像故障其实不是是哈希因子粒度太粗。还有一点要注意三层链路聚合跨三层聚合与二层链路聚合在哈希字段上也有差别。跨三层聚合时设备拿不到完整的二层信息往往只能基于IP和端口做哈希二层聚合则可以基于MAC。配置前确认设备在对应聚合类型下支持哪些哈希模式别想当然。2.3 为什么不能简单轮询可能有朋友会问既然要分发流量最公平的做法不是轮流来吗第一个帧走1号口第二个帧走2号口第三个走3号口……听起来雨露均沾但在网络里这就是灾难。同一对TCP连接的数据帧如果被轮询到不同链路接收端收到的帧顺序就会错乱。比如发送端按1、2、3、4发了四个包因为两条链路的时延不一样接收端可能先收到2再收到1TCP协议栈一看序号不对直接要求发送端重传。重传的数据又可能再次被哈希到别的链路于是接收端反复收到乱序帧窗口不断收缩整体吞吐不仅没提升反而比单链路更差。我早年做过一个测试把一个逻辑接口配置成按帧轮询模式用iperf3打流结果带宽只能跑到单链路的六成左右CPU占用还飙升因为协议栈全在忙着处理重传。后来改成“按流哈希”同样两台设备四条千兆链路跑出了3.7Gbps的实际吞吐差距就是这么明显。结论很简单AX调度的“均匀”不是指帧数量均匀而是指流数量均匀。调度单位是流不是帧。把握住这一条后面配置负载均衡模式、分析流量分布的时候思路会清晰很多。3. 从零配置一套AX调度交换机与服务器的双向奔赴3.1 动手之前先做哪些规划配置链路聚合最忌讳的是“上来就敲命令”。我的习惯是先画一张拓扑图把设备角色、互联端口、VLAN、IP地址全部标清楚再动手。规划阶段有几个关键点务必要确认。第一成员链路的数量。从实际经验来看2条链路起步4条链路是性价比最高的状态8条以上收益递减哈希取模的均匀性提升有限反而占端口资源。第二两端端口的速率、双工模式必须一致。千兆口不能和百兆口绑到一起半双工和全双工更不能混LACP协商虽然会检查这些参数但很多老设备处理得并不严格提前排掉免得后续出幺蛾子。第三VLAN规划要提前定。二层聚合下成员口必须放行同样的VLANTrunk口要关注PVID和允许VLAN列表的一致性服务器接入场景则要看清楚access口该划到哪个VLAN。下面以一个典型场景为例一台核心交换机下联一台接入交换机两台之间用4条千兆链路做链路聚合接入交换机下再接一台双网卡的Linux服务器服务器网卡做bonding同样跑链路聚合。拓扑上就是“核心——聚合——接入——bond——服务器”这样一条链。实际规模当然可以更大但这个最小闭环足以把AX调度的原理和操作讲透。3.2 交换机侧配置Eth-Trunk完整步骤这里用华为VRP风格的命令做一个演示其他厂商的命令大同小异核心逻辑是一样的。进入系统视图创建Eth-Trunk接口并把模式改成LACP动态聚合system-view interface Eth-Trunk 1 mode lacp-static load-balance src-dst-ip quit接下来把4个成员口加进来。注意加入成员口之前这些端口上不能残留其他配置否则会冲突interface GigabitEthernet0/0/1 eth-trunk 1 quit interface GigabitEthernet0/0/2 eth-trunk 1 quit interface GigabitEthernet0/0/3 eth-trunk 1 quit interface GigabitEthernet0/0/4 eth-trunk 1 quit然后给Eth-Trunk配置IP地址或放行VLAN。三层场景直接配IPinterface Eth-Trunk 1 ip address 10.10.1.1 255.255.255.0 quit二层交换场景则要配置端口类型和VLANinterface Eth-Trunk 1 port link-type trunk port trunk allow-pass vlan 10 20 quit查看聚合状态display eth-trunk 1命令回显里会看到每个成员端口的状态。LACP模式下端口状态有Selected和Standby两种。Selected表示该端口已经协商成功参与数据转发Standby表示端口被选中作为备份只有Active成员故障时才顶上去。看到4个端口全部是Selected说明链路聚合已经跑起来了。配置静态聚合不启用LACP的命令更简单把mode lacp-static改成manual load-balance即可。但生产环境我更建议用LACP理由很简单动态协商能自动发现配置不一致的成员口省了很多手工排查的精力。3.3 服务器侧bond配置mode参数怎么定交换机侧的聚合配置好之后服务器这边也得把两块网卡绑起来。Linux里这个功能叫bonding绑定之后生成一个虚拟网卡bond0业务流量走bond0底层两块物理网卡自动分担。最常见的bond模式有以下几种模式编号模式名称特点与交换机的匹配要求mode 0balance-rr按帧轮询流量均匀但可能乱序需交换机端也支持按帧分发实际生产不推荐mode 1active-backup主备模式同一时刻只有一块网卡工作交换机端不需要配置聚合普通两个access口即可mode 2balance-xor按哈希分发基于MAC/IP/端口交换机端静态聚合mode 3broadcast广播模式所有包从所有网卡发出交换机端聚合但浪费带宽很少用mode 4802.3ad基于LACP动态协商最标准的链路聚合交换机端必须配置LACP动态聚合mode 5balance-tlb发送负载均衡接收由主网卡承担交换机端无需特殊配置mode 6balance-alb收发都做负载均衡交换机端无需特殊配置与交换机LACP聚合对接首选mode 4。只有两端都启用LACP才能真正实现自动协商和链路故障时的快速切换。mode 2虽然也能用静态聚合但少了一层协议握手链路异常时收敛速度慢不少我只有在交换机不支持LACP的老场景下才会退而求其次。Ubuntu/Debian系统直接编辑/etc/network/interfaces示例配置如下auto bond0 iface bond0 inet static address 10.10.1.10 netmask 255.255.255.0 gateway 10.10.1.1 bond-slaves ens33 ens34 bond-mode 802.3ad bond-miimon 100 bond-lacp-rate fast bond-xmit-hash-policy layer34参数解释bond-miimon 100表示每100毫秒检测一次链路状态bond-lacp-rate fast表示LACP报文发送间隔为1秒慢速模式为30秒配合交换机上同样的fast配置可以加快故障检测bond-xmit-hash-policy layer34就是上一节说的按IP端口哈希和交换机侧配置的load-balance src-dst-ip保持同一个分发逻辑这点很重要两端哈希模式不一致即使聚合能通流量分布也会歪到怀疑人生。RHEL/CentOS系列用ifcfg文件配合teamd或者直接bonding驱动写法略有差异但mode和xmit_hash_policy这两个参数的概念完全一致配置思路直接平移。3.4 上线后的验证与效果观察配置完成之后不能光看状态是Up就拍屁股走人一定要做几项实测。先用iperf3做带宽测试。服务器起服务端核心交换机侧用一台测试机做客户端指定多线程打流。4条千兆链路理论上限4Gbps实际跑出3.5~3.8Gbps都是正常的。如果发现带宽只能到1Gbps左右大概率是聚合没生效或者哈希模式不对别急着调业务先查状态。再看流量是否均匀。登录交换机执行display interface brief对比4个成员口的出方向流量速率理想状态下应该是“你追我赶”的状态数值接近。如果某个口一直飙到接近端口速率上限、其他口却很闲说明哈希没有散开要么流的数量太少要么哈希因子选粗了。最后做一次断链演练。我习惯在业务低峰期直接拔掉一根网线观察聚合状态变化。LACP模式下剩下3条链路会在几秒内重新完成协商业务侧流量只是瞬断甚至无感然后带宽自动从4Gbps降到3Gbps左右。这一步验证的是“冗余”这项能力很多配置了半天带宽叠加上去了、但容灾没验证的场景一到真故障就露馅。4. 常见故障与排查技巧实录4.1 链路Down了聚合不生效多半是模式不匹配有一次朋友那边报障说链路聚合配完了Eth-Trunk状态显示Up但业务带宽一点没涨。我远程登上去一看交换机侧用的是mode lacp-static服务器侧bond-mode却写的是balance-xor两边压根没跑同一个协议。LACP报文服务器根本没回交换机只能把逻辑链路“带病运行”状态看起来是Up实际流量全打在某一条成员口上。这种模式不匹配的问题在跨团队协作的机房特别常见网络工程师管交换机系统工程师管服务器两边各配各的谁也顾不上对齐。排查链路聚合问题我第一步永远是“先统一两端协商模式”再谈其他。检查命令在服务器端是cat /proc/net/bonding/bond0看Bonding Mode到底显示什么交换机端是display eth-trunk看工作模式是lacp还是manual。4.2 流量“一边倒”一条跑满一条空闲聚合通了带宽也叠了但流量分布严重倾斜这种问题最让人头疼因为从状态看一切正常就是性能上不去。最常见的原因是流数量太少。比如你内部业务就是那么两三台数据库服务器在做主从同步流量基本集中在同一对IP上即使哈希因子是IP端口流的数量不够取模结果也散不开。这种情况不是配置错误而是业务特性决定的解决办法要么加几条并发连接要么把链路从4条减到2条让流能聚得更开一些。另外一个原因是哈希因子与业务类型不匹配。比如设备当前配置的是基于目的MAC的哈希而服务器接入场景所有流量都发往同一个网关MAC那所有帧都被算到同一个哈希桶里全部走同一条链路。这种问题通过调整load-balance模式就能解决。我在华为设备上会把负载模式改成src-dst-ip思科设备上对应的是port-channel load-balance src-dst-ip两个命令一个思路。排查流量是否均匀光看端口速率不够还要看具体会话分布。登录交换机执行display eth-trunk load-balance和display interface对照成员口速率增量来判断。另外服务器侧可以查看软中断和网卡队列的分布也能侧面印证流量是否均衡。4.3 LACP协商卡住端口总是在Standby徘徊LACP把链路聚合变成了“有协议的活”也带来了一个协议层的坑——协商状态卡死。端口状态一会儿Selected一会儿Standby成员链路总是在加入、退出之间横跳业务自然不稳定。这种情况大多和LACP参数不匹配有关。两端设备的LACP系统优先级、端口优先级、超时时间必须协调好。系统优先级用来决定哪一端拥有“主控权”数值小的优先级高。如果两端都把自己配成高优先级协商时就会产生冲突。端口优先级则决定了哪些成员口优先进入Selected状态端口不够用时优先级低的自动变为Standby。前端时间我处理过一起类似的故障现场把LACP超时时间一端配置成fast、另一端保持默认slow结果LACPDU的发送频率对不上交换机隔几分钟就认为对端“失联”成员口频繁抖动。后来把两端超时时间统一改成fast抖动立刻消失。遇到协商类问题就用display lacp statistics和display lacp verbose查一下LACPDU收发计数和状态机重点看系统ID、端口优先级、超时时间这三项是否对齐。4.4 值得收藏的排障命令速查表把常用的排障命令整理成一张表遇到问题按图索骥效率会高很多问题现象关键命令判断要点处理动作聚合后带宽没增加display eth-trunkcat /proc/net/bonding/bond0两端模式是否一致成员口是否都处于Selected统一为LACP动态协商某成员口反复Down/Updisplay interface看物理层状态光模块收发光功率是否正常端口是否被误关更换光模块/光纤或检查端口shutdown配置流量全打一条链路display eth-trunk load-balance哈希模式、流数量、业务模型调整load-balance模式增加流并发数LACP协商卡住display lacp statisticsLACPDU收发计数是否连续优先级、超时时间是否一致对齐LACP各项参数检查两端系统优先级Select端口数量不足display eth-trunk成员口是否被正确加入是否因为优先级被置为Standby调整端口优先级确认端口没有被其他业务占用链路故障切换不及时display eth-trunkping大包测试是否启用LACP fast模式miimon值是否过大两端开启LACP fast服务器bond-miimon设为100还有一条心得遇到聚合问题不要先重启设备先用抓包工具在成员口上抓LACPDU看看对端报文到底有没有过来。有一次折腾到半夜最后发现是光纤跳线接错了口LACPDU发的方向根本不对拓扑图上看着是一个口物理上插到了另一个口。所以我说排障之前先到机柜前面核对物理连线这一步放哪个阶段都不亏。5. 写在最后调度的本质是“把合适流量放到合适的链路上”做了这么多年网络运维我越来越觉得AX调度本身不是什么高深算法它的核心思路其实就藏在“调度”这两个字里——在正确的时间用正确的规则把流量放到正确的链路上。配置命令十分钟能敲完真正值钱的是对业务模型的理解和对细节的敬畏。我自己的经验是新上链路聚合时第一周别急着把业务全部切上去先放一小部分测试流量观察哈希分布确认两端负载均衡模式匹配、成员口状态稳定再逐步扩大业务范围。切换窗口一定要安排在业务低峰期并且提前保存好交换机配置和服务器bond配置回滚方案要写在纸上而不是记在脑子里。真遇到“配完聚合反而变慢”的诡异现象时先怀疑两端哈希模式不一致再看是不是链路两端速率双工不匹配这两类问题占了聚合故障的七成以上。最后分享一个小技巧配置完成后用流量生成工具制造一批“源IP固定、目的端口递增”的流观察各成员口的速率变化曲线。如果速率曲线是同步上行的说明哈希分布健康如果只有一条曲线在涨趁早回头查配置。这个习惯帮我规避了好几次潜在的“假聚合”事故也推荐你下次测试时试试。
数学规律)
