最近圈子里讨论最多的话题就是NVIDIA代号Rubin的下一代GPU架构。随着大模型推理成本的压力越来越大FP4 GEMM——也就是用4位浮点数执行通用矩阵乘法——已经从“精度够不够”的实验室之争变成了实实在在要落地的工程问题。Rubin平台正是在这个节骨眼上把FP4推向了新的高度。如果你在做大模型推理优化、训练基础设施或者做AI芯片的算法与硬件协同设计这篇文章值得读完。我会从FP4数据格式的底层原理讲起聊到GEMM硬件怎么实现两倍吞吐、软件栈如何配合最后分享一些我在实际部署中踩过的坑和取舍经验。不保证每个数字都精确到小数点但保证思路是经过真实项目验证的。1. 从Blackwell到RubinGEMM单元为什么要赌FP41.1 一个容易忽略的路线图信号NVIDIA在GTC和Hot Chips等场合公布的路线图里Rubin平台是下一代数据中心GPU命名来自天文学家Vera Rubin这一点很明显是延续了HopperGrace Hopper、BlackwellDavid Blackwell以科学家命名的传统。但真正值得关注的不是名字而是它计算规格中FP4的权重明显变大了。Blackwell是第一个正式支持FP4的架构B200在发布时就把FP4算力作为重点宣传指标。而Rubin在此基础上继续加码把FP4 GEMM当成了面向AI推理的主力场景。这里释放的信号其实非常清晰训练可以继续用高精度但推理侧的算力增长主要靠低精度格式来兑现。对做芯片的人来说这意味着一个很现实的选择同样一块晶圆你是做FP16的核还是做FP4的核FP4的乘法器阵列可以在相同面积下塞进两倍数量的计算单元。这个“密度红利”是整个AI推理经济学的核心也是NVIDIA敢于在两代架构里连续押注FP4的根本原因。1.2 FP4算力翻倍的逻辑复用还是新做硬件实现低精度GEMM业内大体上有两条路线一是直接复用FP8/FP16的乘法器阵列把两个或四个低精度数据“打包”进同一个高位宽乘法器里计算术语叫sub-word parallelism子字并行。好处是同一块硅片既能跑高精度又能跑低精度不需要为FP4单独建一套电路。二是在芯片上独立设计一组专门的FP4张量核心牺牲面积灵活性换取更高的能效。这种方案在小规模ASIC或FPGA的专用加速器里更常见大芯片上反而会浪费面积。从公开资料和架构特点来看NVIDIA走的是前者的延伸思路Tensor Core的矩阵单元支持模式切换FP8模式下是一个8位乘法器FP4模式下同一个乘法器被拆成两个4位乘法器并行工作。这样做最大的好处是兼容性好——同一套硬件既能处理FP8模型又能处理FP4模型不会出现“FP4芯片跑不了FP8权重”的尴尬。我在参与后端实现这类乘法器复用时印象最深的问题是进位链和部分积的隔离。4位乘法只有4×4的有效位宽但如果两个4位乘法共享同一块高位宽加法树它们的部分积一旦在中间发生进位串扰结果就全错了。这种问题在仿真里很难复现往往要在实测延迟和功耗曲线异常时才能反过来定位。NVIDIA在FP8时代已经积累过一轮“双INT8复用”的经验FP4基本上是同一套方法再压缩一步。1.3 GEMM在深度学习中的占比决定了投入方向为什么所有低精度努力都聚焦在GEMM上因为Transformer架构的Self-Attention和前馈网络里95%以上的计算量都是GEMM。卷积神经网络虽然以卷积为主但卷积在硬件上通常也会通过im2col或Winograd变换变成GEMM来实现。整个深度学习的算力消耗说白了就是矩阵乘法消耗。FP4 GEMM做得好不好直接决定了大模型推理的单位成本。假设FP4 GEMM吞吐是FP8的两倍那么在相同功耗墙下token生成速度可以接近翻倍或者反过来——同样的服务容量采购的GPU数量可以砍半。这个商业价值大到足以让整个软件栈为它重构一遍也解释了为什么Rubin的硬件设计会如此重视FP4路径。2. FP4数据格式的底层原理精度和动态范围怎么平衡2.1 E2M1格式的解剖FP4并不是简单地把FP8截掉四位。它和FP8一样也有不同的指数位/尾数位分配方案。目前业界讨论最多的是两种E2M1和E1M2。E2M1的4位组成是1位符号、2位指数、1位尾数。它能表示的正数范围大致从2的负2次方到2的正1次方附近最大值大约3.75。E1M2则是1位符号、1位指数、2位尾数动态范围更窄但尾数精度更高适合数值本身已经比较集中的情况。这里有个很难绕开的矛盾GEMM的输入是权重和激活值。权重经过训练归一化分布通常已经落在[-1,1]附近E2M1和E1M2都有发挥空间但激活值因为残差连接和LayerNorm之后的分布差异经常会出现一些离散的大数值。所以工程上几乎不会把FP4直接裸用而是先做per-tensor缩放把整个张量的数值范围搬到FP4能表示的区间内再量化。2.2 为什么缩放因子比格式本身更关键很多人一上来就纠结“该选E2M1还是E1M2”但以我的实际经验来看格式选择对最终精度的影响远不如缩放因子大。缩放因子怎么算、按什么粒度算、存在哪、什么时候应用这四个问题才是FP4 GEMM精度工程的核心。Per-tensor scaling是给整个张量算一个统一的scale实现最简单、性能最好但也最容易出问题——因为计算scale时只要遇到一个极端大的异常值整个张量的有效量化区间就会被压缩其他本来可以精细表达的小数值全部被压到精度为零。Per-channel scaling是按权重的输出通道或激活值的token维度分别计算scale效果通常比per-tensor好一个数量级。尤其对权重来说per-channel几乎是FP4量化的标配。还有一个实战经验计算激活值的scale时最好用绝对值最大值amax并且加一个小的平滑参数防止个别异常值把量化区间带偏。注意FP4的有效有效精度大约只有1位尾数这意味着在量化区间内可区分的档位不超过16个。缩放因子一旦算错整个GEMM结果就会明显异常这种问题不是你调整rounding模式就能救回来的。2.3 FP4 vs FP8 vs FP16 的精度对比我把常用格式的参数整理成了一张表方便直接对照格式指数位尾数位动态范围大致典型用途FP16510大±65504训练/推理主力精度FP8 E4M343中±448推理/部分训练FP8 E5M252大±57344梯度/累加FP4 E2M121小±3.75左右推理权重/激活FP4 E1M212更小小范围高密度场景INT4--均匀分布特定量化模型FP4的数值表达能力就是这样信息量极其有限。所以它只适合那些“数值分布已经被训练过程约束住”的场景——典型就是量化感知训练QAT过的模型或者对激活值做了平滑处理之后的模型。指望直接拿一个FP16权重的模型转成FP4还能保持同样的表现基本不现实。3. 硬件怎么让FP4 GEMM真正跑出两倍效率3.1 4位乘法器的面积和功耗优势从数字电路的基本逻辑出发一个8×8位二进制乘法器内部需要生成多个部分积再通过压缩树把它们加到一起而4×4位乘法器的输入位宽只有一半部分积数量也明显减少逻辑门数差不多只有前者的四分之一到三分之一。面积和功耗基本呈等比例下降。所以如果一块芯片原来有512个FP8乘法器在差不多相同的面积预算下完全可以塞进1024个FP4乘法器或者保留512个但把主频往上拉。NVIDIA Tensor Core的常见做法是“一个乘法器两种模式”——FP8模式下每个MAC当作一次8位运算FP4模式下同一个MAC被拆成两个4位运算吞吐直接翻倍。这个过程可以用一个抽屉来类比一个能装4个8位数的大抽屉在FP4模式下可以装8个4位数。抽屉本身的尺寸没变但装的“东西”数量翻倍了。这个类比虽然粗糙但芯片后端的人应该一眼就能get到。3.2 稀疏性叠加FP4 × 2:4稀疏除了低精度本身还有一个翻倍因子是“结构化稀疏”。NVIDIA从Ampere开始就支持2:4结构化稀疏——每4个元素里最多2个非零稀疏模式下只需要一半的乘法器处理有效数据吞吐理论上又可以翻倍。所以我们在规格表里看到的“稀疏FP4”实际上是FP4低精度和2:4稀疏两个因子的乘法叠加而不是简单的加法。当两个翻倍因子叠在一起GEMM的理论吞吐确实能到一个非常惊人的数字。但这里有一个非常关键的前提模型权重必须经过真正的结构化剪枝并且推理引擎要能吃到稀疏格式的红利。我见过不少项目在2:4稀疏上踩坑——剪枝后精度掉得厉害反而比老老实实跑密集FP4更差。所以“FP4稀疏”听起来很美但实际落地时必须先把稀疏度对模型质量的影响验证清楚再决定要不要开这个开关。3.3 内存带宽GEMM之外的瓶颈GEMM从来不只是计算问题。A100之后Tensor Core的计算吞吐增长一直快于HBM带宽增长导致大量GEMM在真实场景里是memory-bound而不是compute-bound。FP4有一个隐性好处权重和激活在内存里如果直接用FP4格式存放存储占用减半等于同样时间内搬运的数据量翻倍直接缓解了带宽瓶颈。但这个好处有个前提就是权重的存储格式必须是真的FP4而不是FP16临时转换。很多推理框架在初期实现FP4时只是把计算内核换成了FP4版本但权重仍以FP16形式驻留显存等GEMM开始前再现场转成FP4。这种情况下计算吞吐是上去了带宽瓶颈却依然卡在原地最终端到端性能提升非常有限。Rubin这代用HBM4内存带宽比上一代大幅提高但计算侧同样堆得更高所以带宽依然是长期课题。正确的做法是让权重、激活值在显存里从加载到计算全程保持窄格式存储让“带宽减半”真正发生在数据路径上。3.4 堆栈设计从芯片到集群FP4 GEMM的影响不止在单Die里。放到整机甚至集群层面数据通路上的每个环节都可能成为瓶颈。NVIDIA在Rubin这一代把NVLink升级到了更高版本NVLink 6配合Vera CPU组成超节点架构。多卡并行跑大模型时通信量能不能减半取决于张量在卡间传输时是否用FP4压缩后再发。如果通信协议里仍然传FP16那么单卡的FP4算力再高集群效率也上不去。这种“堆栈级”的配合是低精度计算从芯片到系统落地时必须考虑的问题——很多做单卡优化的团队都容易忽略这一点导致最终集群吞吐远低于预期。4. 软件栈没有cuBLAS和工具链FP4就是废的4.1 量化感知训练 vs 训练后量化硬件规格写得再漂亮如果cuBLAS没有一个好用的FP4 GEMM接口TensorRT没有对应的量化插件开发者根本不会用。而FP4的量化误差远大于FP8完全靠训练后量化PTQ通常很难保住模型精度尤其是十亿参数级别以上的大模型。我通常的建议是这样分级小模型百万到千万级、精度要求不高可以尝试PTQ搭配per-channel缩放可能够用。大模型十亿级以上推理强烈建议QAT或者至少在权重上做多轮量化感知微调。如果只有推理部署条件、没有训练资源优先用FP8不要硬闯FP4。QAT的核心是直通估计器STEStraight-Through Estimator。前向传播时模拟量化误差反向传播时把梯度原样传过去让模型自己学着适应量化噪声。对FP4来说QAT之后的权重分布往往会自动收敛到几个可表示的小数值附近这是一个很有效的信号——说明模型真的在“用FP4能表达的语言”重新组织自己了。4.2 per-tensor还是per-channel缩放很多框架默认的FP4 GEMM API只提供per-tensor量化因为实现简单、性能也最好——scale是一个标量乘一次就完事。但精度往往不够尤其是在长上下文大模型里。我的选择逻辑大致是量化粒度适用情况性能代价Per-tensor对精度不敏感或激活分布极均匀无Per-channel权重大多数Transformer权重很小预处理阶段算好Per-token / per-head激活值波动大的场景中等需要额外kernel混合粒度大模型推理的最佳实践取决于实现质量这里有一个实操细节per-channel量化会把每个通道的scale预先算好存成一个小张量。GEMM计算时权重的反量化可以提前融合进预处理几乎不增加在线开销激活值的反量化则必须在主计算流程里做它的优化程度直接决定了最终性能。TensorRT在FP8时代已经把这套逻辑打磨得比较成熟FP4的实现基本沿用了相同的框架。4.3 TensorRT等推理引擎的适配从部署角度看推理引擎需要做三件事把FP4权重的预转换和缩放因子打包进同一份模型文件降低加载阶段的额外开销。在计算图层面自动判断哪些算子适合用FP4 GEMM哪些必须回退到FP8或FP16。激活值的量化操作尽可能延迟到进入GEMM前的最后一刻减少中间结果在窄格式和宽格式之间反复转换的精度损失。“算子融合”在这里尤其关键。比如QKV投影里的LayerNorm、量化、GEMM如果能在同一个kernel里完成就省掉一次显存往返如果做不到FP4节省下来的带宽又被中间张量吃回去了。很多工程师低估了这部分的工程量以为换一个GEMM内核就够了实际上算子融合的收益往往比GEMM本身的优化还大。4.4 框架层的自动混合精度策略PyTorch和TensorFlow都有自动混合精度机制但默认目标是FP16/FP32。FP4不太适合完全交给自动推导我倾向于在应用层自己配置哪些Linear层用FP4哪些保留FP8由一份集中管理的precision config控制而不是让框架自动决策。原因是自动推导只能看到算子类型看不到你的模型对哪一层更敏感。我碰到过一个典型案例Attention里的QKV投影用FP4完全没问题但最后一层LM Head的权重稍微量化一下就掉一个准确率点。这种层级的差异只有在跑了完整验证集之后才能暴露出来自动混合精度策略根本没法提前预判。5. 实测视角FP4 GEMM的性能与精度的真实权衡5.1 理论算力不是实际吞吐NVIDIA规格表里FP4的TFLOPS通常是FP16的4倍、FP8的2倍。但真实板卡上能跑出来的端到端性能往往只有理论值的40%到70%。我归纳过几个主要原因GEMM形状太小矩阵尺寸不够大计算阵列喂不饱。中间激活没有真正用FP4存储反量化开销或内存布局问题导致带宽没省下来。缩放因子scaling的计算和乘法开销把节省下来的cycle又吃回去一部分。batch size太小SM流式多处理器利用率上不去空转严重。所以做性能测试时不要只看峰值TFLOPS直接用真实模型的端到端推理延迟说话。大batch和连续批处理continuous batching场景里FP4的优势最明显小batch请求下FP4和FP8的差距可能非常小甚至因为反量化开销导致更慢。5.2 LLM推理场景的精度实测数据基于NVIDIA官方博客和行业社区的公开评估结果主流7B到70B级别LLM在FP4配合QAT的情况下困惑度相比BF16通常只上升0.1到0.5下游任务准确率的变化一般在1%以内。这个水平已经进入“生产可用”的区间了。但这里有一个必须强调的前提这些结果针对的是做过量化感知训练的模型。如果你拿一个公开的FP16权重直接PTQ转FP4很多情况下精度会崩掉尤其在处理长尾知识类问题时模型会开始“一本正经地胡说八道”。我的经验是评估FP4模型时一定要加几个“量化敏感型”的测试任务——数学推理、多步指令遵循、代码生成。纯语言建模的困惑度指标会掩盖部分问题。代码和数学任务对权重分布的细微扰动极其敏感是检验FP4质量的好试金石。5.3 什么场景适合FP4什么场景必须回退这是我给自己列的取舍清单分享出来供参考适合FP4大batch在线推理、部署成本敏感、模型本身参数冗余度高比如几十B的稠密模型。不适合FP4对输出质量要求极严的医疗、金融风控场景小模型容易过拟合的情况没有训练资源做QAT的场景。折中方案用FP4做KV Cache量化和部分权重层的量化保留最敏感的几个层为FP8。在7B模型上这种混合方案通常能拿到接近纯FP4的加速效果但精度损失几乎为零。6. 部署FP4 GEMM时我踩过的几个坑6.1 警惕“假FP4内核”很多框架早期实现的FP4 GEMM本质上是在FP16的GEMM里套了一层“先反量化再计算”的外壳。判断一个内核是不是真FP4不是看API名字而是看它有没有真的把4位数据直接送进4位乘法器。如果数据在进入乘法器之前先被转成了FP16那恭喜你你只享受到了带宽减半的红利计算吞吐并没有翻倍。这两个版本之间的性能差距实测可以到2倍以上非常隐蔽。6.2 缩放因子的生命周期管理QAT训练出来的模型里缩放因子是跟权重一起保存的参数。部署时如果一不小心把scale搞丢了整个GEMM结果会直接变成噪声模型输出跟随机生成差不多。我建议在模型格式设计上把scale和对应的权重绑在一起放到同一个存储块里而不是让推理引擎在加载时重新估算。重新估算的后果通常是灾难性的——推理引擎估算出的scale与训练时模型适应的量化区间不一致哪怕只差一点点FP4那16个档位就会完全错位。这种bug一旦进了线上排查起来极其痛苦因为报错不是崩溃只是生成质量悄悄劣化。6.3 给FP4推理管线加一个“质量探针”最后分享一个我认为非常值得做的防御性设计。在生产环境的FP4推理pipeline里我会额外加一个可选的质量探针定期采样一小批开放式prompt的生成结果和一个FP8的“影子模型”做对比计算语义相似度或BLEU。目标不是让两个模型输出完全一致而是及时捕捉“某个batch因为数值异常导致生成质量雪崩”的极端情况。我在一次性能压测中就是靠这个探针发现了问题有一个算子的缩放因子在某种batch size下发生了溢出导致一整条推理链路上的输出质量大幅下降而常规的loss曲线和延迟指标完全没有异常。这种事概率不高但一旦发生就是线上事故级的影响。FP4的低精度让这类数值病态风险比FP8更常见多一道保护值得。6.4 回退机制要提前设计最后一定要在系统架构里预留FP4到FP8的回退路径。不是你上线FP4之后发现某个业务场景精度不达标再改代码而是在设计时就内置一个按层、按请求粒度切换精度的开关。比如某个敏感客户的所有请求都强制走FP8算力其余走FP4。这个开关在框架层面实现起来并不复杂但等到线上出问题再临时加往往要经历一轮完整的重新部署流程代价完全不同。在真实项目中我体会最深的一点是FP4 GEMM看起来只是一个数字格式的更新本质上却是精度、带宽、吞吐三者在硬件边界上的一次重新权衡。千万别被规格表上的翻倍数字冲昏头脑拿真实负载跑一遍端到端延迟再对比几个敏感任务的精度比任何PPT都更有说服力。
