最近在做大模型推理优化的时候我发现一个很现实的问题我们租来的显卡、申请的算力配额有多少是真正花在了“影响预测结果”的特征上传统预测框架里所有特征一视同仁地走同样的网络层、同样的精度、同样的计算路径但实际情况是一批输入特征中往往只有少部分在真正决定输出剩下的要么是噪声要么信息量极低。这就直接催生了FeTS这个思路——一个特征感知预测框架核心只有一句话把算力集中到关键特征上。这篇文章想分享的就是我围绕FeTS做过的一轮完整设计与实现关键特征怎么定义、算力怎么倾斜、精度怎么分配、上线后踩了哪些坑。无论你是做推理部署、特征工程还是被算力账单困扰应该都能找到可以直接抄的作业。1. 为什么传统预测框架在变相“烧算力”很多人一聊到推理优化第一反应是量化、剪枝、蒸馏但很少回头去看一个更基础的问题计算路径本身对特征是否敏感我的经验是大量算力浪费恰恰发生在“特征不重要却仍然享受完整计算路径”这件事上。1.1 真实世界里的特征重要性极不均衡举一个最直观的例子在信用评估模型里逾期历史、收入负债比、近三个月查询次数往往对FICO评分级别的输出起着决定性作用而客户姓名长度、注册渠道这类特征虽然也进了模型但贡献接近噪声。同样的逻辑出现在图像识别里边缘、轮廓、关键点区域决定分类结果背景纹理对大部分类别的影响微乎其微。也就是说任何真实数据集里特征重要度分布都会呈现“二八定律”甚至更极端可能接近1%的特征决定了99%的变异。传统预测框架不会管这个它把所有特征拼接成统一向量灌进同一套计算图。所有特征都经过同样多的层、同样多的注意力头、同样的张量运算。这在工程上简单但在算力经济学上非常吃亏因为次要特征与噪声特征占用了和关键特征完全一样的计算开销。1.2 注意力机制暴露出的“算力浪费符号”如果你做过Transformer相关的工作一定见过注意力权重可视化。那些热力图里真正权重高的位置通常非常稀疏一大片区域几乎是零权重。注意力机制本身就在暗示模型已经“知道”哪些特征重要但我们的计算框架却没有据此调整资源投放。对GPT这样的自回归模型来说每一个token都得走一遍完整FFN、完整注意力计算哪怕这个token的注意力权重极低、对下一步预测几乎没有影响。你想想这种“无差别对待”在算力约束下是不是很奢侈尤其是当你把模型部署到在线服务里单张卡要同时支撑多路请求时算力就是按毫秒和显存计量收费的一个无意义的FFN计算都是成本。我之前做过一次统计在一批真实推荐排序请求中如果把注意力权重排名后50%的token计算路径做降级处理预测效果几乎没有变化但单请求延迟能降20%以上。这就是FeTS存在的起点。1.3 算力资源不是“无限免费供应的”做算法的人过去很少关心算力成本反正训练机在那卡是老板买的。但现在不一样了无论是自己采购A100/H100还是在autodl这类算力云上按小时租卡每一秒的GPU占用都对应真金白银。我以前就在autodl上长期租卡做实验最直观的感受是显存选大一点单价就高一大截租两张卡跑一天费用轻松上千。这就逼着你不得不认真设计资源分配策略。FeTS的整个思路其实和“用最少的卡干最多的活”这个朴素目标是一致的。它不是让你堆更贵的卡而是让你在现有卡上把计算资源留给最重要的事情。大模型推理如此传统机器学习的预测服务同样如此。2. FeTS核心设计先“感知”特征再“倾斜”算力FeTS的全称是Feature-aware-aware Prediction Framework特征感知预测框架。它的核心不再是一个静态的模型结构而是一套“感知-决策-计算”的动态管线。整条链路分三块特征重要度评估、算力分配决策、差异化计算路径。只要这三块配合好就能实现算力的按需分配。2.1 特征重要性打分用什么信号来判断“关键特征”这是FeTS里最关键的第一步。你说某个特征重要总得有个依据而且这个依据必须能在线计算不能每次都跑一遍复杂的敏感性分析。我在工程中评估过四种主流信号各有适用场景信号类型计算方法优势劣势注意力权重直接取Attention Score的均值或最大值现成、计算快、适合Transformer容易集中到特殊token需平滑处理梯度幅度特征对应输入的梯度L2范数能反映对输出的敏感度在线推理时需额外反向传播开销高信息熵特征取值分布的熵值常数级计算、稳定无法感知特征与标签的关系扰动敏感性对输入加微小扰动观察输出变化最接近真实重要度需要额外前向次数成本高实际部署中我推荐做“离线标定在线近似”。离线阶段拿一批验证集样本算出每个特征的信息熵、与标签的互信息、对预测置信度的影响综合出一个权重表甚至直接让一个小型探针模型学习打分。在线阶段只需要对这个权重表做查表或轻量计算就能把特征分成关键、普通、不关键三档。一个实用的打分公式长这样score(f) α * normalized_mi(f) β * normalized_entropy(f) γ * attention_mass(f)其中互信息抓特征与标签的关系熵抓信息量注意力质量抓模型当前对特征的依赖。α、β、γ这三项可以通过网格搜索在小验证集上调。我自己常用的起点是0.5、0.3、0.2。2.2 算力倾斜三板斧深度、精度、宽度拿到特征重要度分数之后怎么把算力真正“倾斜”过去不是简单给关键特征加大权重就行而是要从计算路径本身下手。我整理了三个最有效的维度第一斧是深度关键特征走完整的深层网络不重要特征走浅层网络甚至可以early exit直接出结果。这就好比给重要客户安排全程VIP通道普通客户走标准通道明显不重要的请求在入口就被快速处理掉。在Transformer里可以给关键token多过几层Transformer Block不关键的token只过前面几层加一个输出头。第二斧是精度关键路径用高精度比如fp16、bf16计算非关键路径用低精度int8、fp8计算。底层硬件的算力是随精度变化的同一块GPU上fp16的吞吐往往比fp32高不少int8的吞吐可能是fp16的两倍以上。把不关键的特征切到低精度路径等于用更便宜的计算单元去处理次要信息省下来的算力全部留给关键特征走高精度路径。第三斧是宽度关键特征激活更多的注意力头、更多的FFN维度不关键特征只激活其中一个子空间。类似MoE里的专家路由但按特征而不是token来路由。这样做的好处是模型表达能力仍然集中在关键区域不会因为整体剪枝而过拟合能力下降。这三斧可以单独用也可以叠着用。我建议首次落地只选精度这一项因为深度路由会改变模型结构训练期和推理期不一致很容易翻车精度切换相对独立对模型结构无侵入风险最小。2.3 精度选择的算力账本fp64、fp32、fp16、int8到底差多少很多文章讲精度区别只停留在“位数多更准确”搞得大家觉得fp64天下第一。实际上精度选择完全是个算力账本的问题精度的每一点降低都在用数值误差换吞吐和显存。精度类型位宽典型场景相对算力吞吐显存占用相对fp32fp6464bit科学计算、数值仿真最低通常为1/162倍fp3232bitCPU/GPU默认精度基准1x1倍fp16/bf1616bit深度学习训练与推理主流约2-4倍0.5倍int88bit推理量化、边缘部署约4-8倍0.25倍推理时7B模型用fp16加载权重大约14GB一张24GB显卡勉强塞得下切到int8权重只有7GB省下来的显存可以放大batch或者同时跑更多路请求。但int8不是免费的量化误差在关键特征上可能直接改变预测结果。FeTS的聪明之处就是不做全局一刀切关键特征保留fp16甚至fp32不关键特征走int8让误差发生在“错一点也不影响大局”的地方。这里要提醒一句如果层里有LayerNorm、Softmax这类对数值范围敏感的操作尽量保持fp32计算只在矩阵乘法里用低精度。我见过团队把整个模型切成int8结果AUC掉了一大截后来改成“运算低精度、归一化高精度”的混合策略效果损失才回到可接受范围。3. 实操从零搭建一个轻量级FeTS预测框架说完了思路直接进入实操环节。我会带你把一个简化版FeTS搭出来它在结构上完整保留了“特征打分-路由决策-混合精度计算”三段式适合作为你自己的项目起点。3.1 整体架构与模块划分FeTS的工程实现分两个阶段离线准备和在线推理。离线阶段用一个特征打分器对历史数据里的特征做重要度标定生成特征档案表在线阶段用这个档案表做实时路由决定每个特征向量该走哪条计算路径。项目结构可以这样规划fets/ scorer.py # 特征打分器离线训练 router.py # 在线路由查表/轻量打分 branches.py # 不同精度的计算路径 model.py # 组装FeTS主模型 config.yaml # 阈值、精度、路径配置我用一个中小规模的预测任务来举例比如用户行为序列预测模型。输入特征是128维的向量其中可能只有10维左右是关键特征。模型本身可以是一个简单的MLP或是小规模Transformer关键在于给不同特征规划不同的计算路径。3.2 特征打分器实现离线标定关键特征打分器最简单可靠的做法是用互信息加熵。互信息算起来不复杂sklearn里有现成实现。我建议先把特征分箱离散化再做互信息计算这样对小批量数据更稳健。完整流程是这样对每个特征做分箱把连续值转为离散区间。计算每个特征与标签的互信息MI(f, y)。计算每个特征的熵H(f)。计算每个特征在模型里的注意力质量可以从一个提前训练好的参考模型里提取注意力权重的均值。按上面提到的公式加权求和得到每个特征的score。对score排序用分位数划分三档前5%为关键特征5%-20%为普通特征剩下为不关键特征。这一步有几个坑要提前避开互信息对分箱数量敏感我一般默认分20箱如果特征类别型且本身基数小就按类别直接算熵对稀疏特征会偏大因为一堆0带来很高的“确定性”所以建议在计算前先做出现频率过滤出现率低于1%的特征直接归入不关键档。3.3 动态路由与混合精度计算路径路由器的核心逻辑是根据打分表和当前输入特征生成一个路由掩码。这个掩码决定哪些特征走关键路径、哪些走普通路径、哪些走低精度路径。推理时直接用硬掩码干净利落。下面是一个简化但完整的实现片段用PyTorch风格展示import torch import torch.nn as nn class FeTSBranch(nn.Module): def __init__(self, hidden_dim, depth, precision): super().__init__() self.precision precision layers [] for _ in range(depth): layers.append(nn.Linear(hidden_dim, hidden_dim)) layers.append(nn.ReLU()) self.net nn.Sequential(*layers) def forward(self, x): if self.precision fp32: x x.float() elif self.precision fp16: x x.half() elif self.precision int8: # 简化示意实际会走专门的量化算子 x x.to(torch.float16) return self.net(x) class FeTSRouter(nn.Module): def __init__(self, feature_dim, importance_thresholds): super().__init__() self.feature_dim feature_dim self.key_th importance_thresholds[key] self.normal_th importance_thresholds[normal] self.route_cache None def forward(self, feature_importance): masks torch.zeros(feature_importance.shape[0], self.feature_dim) masks[feature_importance self.key_th] 2 masks[(feature_importance self.key_th) (feature_importance self.normal_th)] 1 return masks路由掩码为2的特征走关键路径为1的走普通路径为0的走低精度路径。接下来是模型组装的思路class FeTSModel(nn.Module): def __init__(self, feature_dim, config): super().__init__() self.router FeTSRouter(feature_dim, config[thresholds]) self.key_branch FeTSBranch(config[hidden_dim], depth4, precisionfp16) self.normal_branch FeTSBranch(config[hidden_dim], depth2, precisionfp16) self.low_branch FeTSBranch(config[hidden_dim], depth1, precisionint8) self.output_head nn.Linear(config[hidden_dim], config[num_classes]) def forward(self, x, feature_importance): masks self.router(feature_importance) key_mask (masks 2).unsqueeze(-1).float() normal_mask (masks 1).unsqueeze(-1).float() low_mask (masks 0).unsqueeze(-1).float() key_out self.key_branch(x) * key_mask normal_out self.normal_branch(x) * normal_mask low_out self.low_branch(x) * low_mask out self.output_head(key_out normal_out low_out) return out这里每一步都有明确的意图掩码让不同路径的输出只在对应特征位置生效加和之后得到一个完整的特征表示再过统一的输出头。注意训练期间要保证梯度能流回各分支所以掩码用浮点数乘法而不是索引切片。3.4 训练策略与关键参数选择FeTS不能直接拿原始数据端到端瞎训那样很可能会让路由器学歪。我推荐的训练流程分两步走第一步固定特征打分器用完整计算路径训练一个教师模型作为精度基线。同时在这一步把特征打分表的“基准线”跑出来。第二步把打分表冻结只训练路由分支和输出头。此时关键特征路径可以用稍高学习率低精度路径用较低学习率因为低精度分支的梯度噪声本来就大。三个最关键的参数需要重点调关键特征阈值不要拍脑袋。我一般把验证集上特征得分画成分布图取“得分显著抬升”的拐点。比如得分分布出现明显“长尾”时取长尾起点为关键阈值。分支深度差最开始关键路径深度4层、普通2层、低精度1层先用这个结构跑通再逐步加深差距观察收益递减点。精度切换的梯度尺度fp16分支的梯度要配合loss scaler使用不关键分支的梯度可以加一个0.1到0.5的缩放因子防止噪声特征反向传播干扰主分支。如果你在训练时发现loss震荡剧烈先别急着调学习率先检查是不是路由掩码切换太频繁导致的。后面的调试章节会专门说这个问题。4. 常见问题与排查技巧实录FeTS落地过程的“坑”非常多。这部分我按真实踩坑频率排序整理成一张速查表再挑几个典型问题细说。常见问题现象排查思路解决手段路由震荡同一样本在不同batch被分到不同路径特征打分波动大EMA平滑、低更新频率低精度分支数值溢出loss出现NaN或Inf矩阵乘和归一化精度冲突LayerNorm/Softmax保持fp32加loss scaler关键特征路径过载关键分支耗时远超普通分支关键特征比例设置过高调整阈值关键特征比例控制在5%以内收益不明显延迟和显存没有显著下降不关键特征比例太低放宽不关键阈值让低精度路径覆盖更多特征训练推理不一致离线评估好、线上变差路由逻辑在推理时被简化保证训练推理逻辑完全一致禁止自定义推理预处理4.1 特征重要性抖动导致路由震荡我最初跑FeTS时遇到的最棘手问题就是特征打分器给出的分数在样本间波动太大导致同一个特征一会儿走关键路径一会儿走低精度路径。模型训练时参数一直在适应“变化的路由”直接表现为loss反复横跳。我的解决办法有三招。第一招是特征重要度分数做EMA平滑也就是用历史分数和当前分数做加权平均权重系数设为0.9第二招是降低路由更新频率每N个step才重新计算一次路由掩码并在mask更新时加一个“滞后判断”当前后两次分数差小于阈值时不切换第三招是离线阶段把打分表固化在线只查表完全杜绝在线抖动。三者结合后路由稳定性明显改善。4.2 混合精度下的数值漂移怎么压住混合精度不是简单调用. half() 就能跑。把关键分支从fp32切到fp16第一个遇到的就是梯度下溢问题小梯度在fp16里直接变0loss学不动。后来用Apex的Dynamic Loss Scaling解决每步动态调整loss缩放因子把梯度放大到可表示范围再在反传后缩小。经历多次调试后我还发现一个规律凡是涉及Softmax、LayerNorm这种归一化操作尽量保留fp32因为它们的输出分布对精度极其敏感矩阵乘法则放心用fp16。如果拿不准哪里该保精度就做一个逐层精度敏感性扫描把某一层换成fp16看输出分布的最大变化量超过1%就回退。4.3 算力评估与Batch Size适配很多人对一个模型需要多少算力没有直观概念。我自己常用一个简化的估算方法推理一个token需要的FLOPs大约等于模型参数量的两倍也就是2N。比如70亿参数的7B模型每个token大概140亿次浮点运算。显存方面fp16权重约14GBint8权重约7GB。想跑更大batch就在显存上限内做二分搜索找到最大batch不爆显存。如果你的请求序列很长需要额外注意注意力计算的复杂度是序列长度的平方O(L²)。同样是7B模型序列长度从2K增加到4K注意力部分开销要翻四倍。这时候FeTS的深度路由优势就很明显长序列里大把不关键token可以走浅路径注意力计算量可以被压掉一截。5. 适用场景与更多扩展思路FeTS不是万能药它有自己的“甜点区”。如果你正在以下场景里可以大胆试如果不在也不硬套。5.1 FeTS收益最大的场景特征高度异构的场景收益最明显。比如多模态检索、风控反欺诈、个性化推荐这些任务里特征维度动辄几十上百而且重要性差异极大。在推荐排序模型里用户实时行为特征权重极高用户画像里的低频属性可能压根不重要很适合做特征感知的算力分配。第二个高收益场景是长序列建模。像文档理解、代码生成、语音识别一条输入里有大量重复、符号性的token这些token的关键度天然低。让它们走低精度浅路径关键语义token走深路径能明显降低延迟。第三个场景是端侧推理。端侧设备本身算力受限更需要在“最贫瘠”的算力环境下聚焦关键特征。我实际测试过在一个低端推理芯片上做FeTS静态化处理后把打分结果和路由固化到模型里推理时间能缩减近一半。5.2 和现有优化手段的搭配组合FeTS完全可以和成熟优化技术叠加使用。对模型做剪枝时可以先按特征重要度做结构化剪枝保证关键特征对应通道保留更多宽度做知识蒸馏时可以让教师模型走全精度全深度路径学生模型直接用FeTS的低精度浅路径蒸馏目标让学生模仿教师的关键特征输出。另一条扩展路线是把特征感知机制搬到训练环节。现在的FeTS更多强调推理期算力分配但同样的“特征重要度”信号可以反向指导训练数据的采样权重给关键特征所在样本更多训练轮次或更高loss权重。我实验下来这样做对低资源场景的模型精度提升很有帮助。再往远一点想FeTS的“感知-决策-计算”三段式完全是一个通用架构。把它从单模型推广到集群调度就变成了“感知每个任务的特征复杂度决策给它分配多少GPU卡”。现在的算力调度平台大多按整卡分配很粗糙如果引入特征感知层就能实现更细粒度的算力复用和分配这也是我下一步想探索的方向。根据我自己实际落地的经验FeTS最大的价值不是某一项指标的暴涨而是让你重新去审视模型内部“哪些计算是必须的”。从单卡推理到集群调度这套思路上限非常高。最后再分享一个实操小技巧新项目接入FeTS时不要一上来就搞全套深度精度宽度联合优化我建议先把特征重要度的分布图画出来单看这个分布的长尾程度基本就能判断你的任务适不适合做特征感知优化。如果分布已经接近均匀说明特征都很重要这时候老老实实炼丹比强行上FeTS靠谱得多。
