从“模型多了管不过来”这个痛点说起如果你所在的团队过去只对接一个模型API比如只调GPT-4那日子其实很好过一个Key、一套SDK、一种错误码格式后端代码里封装一个callModel()函数就全搞定了。但事情往往是从“第二个模型”开始变复杂的——某个场景发现开源模型效果更好某个新来的实习生顺手接了个国产API做对比测试然后老板说“我们要支持多家模型防止供应商锁定”。等你抬头一看代码仓库里已经散落着五套HTTP调用封装、三种鉴权方式还有各写各的降级逻辑。这个阶段很多团队的共同感受是找一个解决方案来统一管理这些模型调用。这个方案就是AI网关。当时我们团队也是从原型验证一路趟到生产环境踩坑不少今天把我的完整复盘写出来从为什么需要它、怎么验证、再到落地中真正要命的细节一次讲清楚。无论你是技术负责人、后端工程师还是正在做AI应用架构选型的决策者这篇都值得花几分钟读完。1. 为什么多模型管理会成为“难题”先看清问题本质1.1 随着模型数量增长问题出现在四个层面很多团队在模型只有一两个的时候根本意识不到需要网关觉得“多写几个if分支不就完了”。但模型一多问题会同时在四个层面爆炸式涌现接口协议层面。各家模型的API设计完全不统一有的用OpenAI兼容格式有的自己定义了一套消息结构有的支持流式输出有的只支持一次性返回超时时间、错误码、重试机制全部各不相同。业务代码里如果到处是if (provider anthropic)这样的分支每新增一个模型就要把所有调用点翻一遍。密钥与权限层面。每个模型都有独立的API Key如果散落在业务服务里运维同学每年最头疼的就是“谁的服务泄露了Key”。再加上不同团队、不同环境开发/测试/生产、不同项目要用不同的配额没有统一出口权限管理基本是失控的。成本核算层面。模型是按token计费的不同模型单价还不一样。没有网关月底对账只能靠人工估算或者去每个平台的console里自己导账单。想算清楚“哪个业务线花了多少钱”几乎是不可能的。故障与降级层面。模型供应商也会出故障、会限流。没有网关业务代码里要么不做降级要么每家模型写一套降级逻辑。等真正出了线上事故你会发现故障恢复的时间大部分耗在“找到底哪里在调用模型”上。1.2 一个真实的翻车案例我印象最深的一次事故是当时我们有个服务直接在业务代码里调模型API突然某家供应商限流返回了429。我们的代码没做兜底结果上游服务的调用全卡在超时上最终导致整个接口响应从200ms飙到8秒。排查了大半天才发现是模型API的限流导致的而且因为各服务都自己调根本没有统一的降级策略。事后反思我们发现本质问题在于模型调用没有作为一个“基础设施”来治理而是被当成了普通的第三方HTTP请求。但模型的特殊性在于——它贵、它慢、它不稳定、它还会变。它需要独立的治理层。1.3 AI网关在架构中扮演的角色AI网关本质上是业务服务与模型API之间的一个反向代理层它把“模型调用”这件事从业务代码中抽离出来统一处理协议转换、密钥托管、路由分发、限流降级、计量计费、日志追踪。业务代码只需要面向一个标准化接口至于背后到底调了哪个模型、怎么调、失败了怎么办全部交给网关搞定。你可以把AI网关类比成物流转运中心商家业务服务只需要把包裹请求丢给转运中心至于哪个快递公司模型供应商来运、运费多少钱、中间怎么转运、丢了怎么赔付都不需要商家操心。没有转运中心的时候商家得和每一家快递公司单独对接那画面想想就头疼。2. 网关设计的关键决策动手前必须想清楚的几件事网上很多教程一上来就让你装个开源网关、写个配置然后“跑通了”。但真要在一个真实项目里落地动手写YAML之前有几个关键决策不做明白后面基本要返工。我按照踩坑成本从高到低逐个说。2.1 网关要拦截什么协议API形态决定一切当前主流的模型API大致分两类原生API和OpenAI兼容API。OpenAI兼容格式现在很多开源模型和国产API都提供了兼容层请求体和响应体格式基本对齐OpenAI的规范。原生API格式各家自己定义的格式比如Anthropic的messages格式、Google Gemini的contents格式各有差异。网关在设计时必须决定对外暴露的是不是统一格式内部转译怎么处理我们当时的决定是对外只暴露OpenAI兼容格式因为业务方历史代码基本都是按OpenAI格式对接的毕竟是事实标准内部适配器负责把OpenAI格式翻译成各家原生格式。这个决定大幅降低了业务侧的接入成本。但要注意流式输出SSE的协议转换是最大的坑点。各家的流式事件结构不同有些还在中间夹杂心跳包。如果你的业务强依赖流式输出建议在原型阶段就要把流式转译这块跑通不然等生产环境来适配排错成本极高。2.2 选型自研、开源还是商业产品这个决定需要结合团队的工程能力和时间窗口。自研优势是可控性最高、完全贴合自己的场景但缺点是工作量大。一个能用的AI网关至少包含路由、鉴权、限流、协议转换、可观测、管理后台这六块自研最少需要两到三个人肝一两个月。如果团队当前的核心目标是验证AI应用本身的商业化不建议一上来就自研。开源改造这个路线比较稳。开源项目帮你解决了大部分通用问题你只需要在它基础上加自己特定的适配器和管理功能。Kong这类通用API网关本身不带AI协议转换能力但可扩展性强专门的AI网关类项目在AI协议支持上做得更开箱即用。选择开源项目的关键考察点包括更新活跃度、社区规模、是否支持你需要的那些模型供应商。商业产品适合跨部门、多团队、需要强管控的中大型组织。优势是省事客服体系、审计合规都做得比较完整但要注意数据是否出域、私有化部署的成本。我们当时的判断标准就一条网关的差异化能力是否是你的业务核心竞争力。不是就少自己造轮子把精力留给上层业务。2.3 路由与降级策略网关的“大脑”网关不只是把流量转发出去它要知道往哪转、什么时候转、转不了怎么办。路由策略至少要覆盖三个维度按请求内容路由比如根据请求里的模型名modelgpt-4o映射到真实的供应商也可以定义别名比如业务方传modelcustomer-service-v2网关解析出该别名当前指向哪个具体模型。按租户/业务线路由A业务线的流量走价格便宜的模型B业务线强制走效果最好的模型。按策略路由例如当某供应商的故障率超过阈值时自动把流量切到备用的模型上这就是自动降级。我们原型阶段只实现了最基础的“按模型名映射”生产落地时加了权重路由比如10%的流量走新模型版本和熔断降级连续5个请求超时就触发切换。这些策略建议在设计之初就预留好字段不然后期加会涉及配置结构的大改。2.4 有状态还是无状态影响部署和扩展一个很容易忽略的问题网关本身要不要保存状态无状态网关所有配置在启动时从配置中心拉取运行时不在本地保存业务数据。优点是可以水平扩缩容实例挂了直接替换新实例拉起后自动加载最新配置。有状态网关配置存在本地数据库或文件中或者依赖内存中的会话数据。管理方便但多实例部署时可能出现配置不一致。我们的经验是网关调度链路要无状态管理和审计数据要持久化。也就是请求转发这个数据平面不上状态而配置、日志、计量数据这些控制面内容持久化到外部存储。这样既保证了流量链路的弹性又保住了管理数据的可靠性。原型阶段可以先用本地文件存配置但生产部署一定得切换到配置中心否则多实例一挂你就知道什么叫配置漂移。3. 原型验证阶段用最小成本跑通关键链路我强烈建议不要直接一上来就追求“全功能生产级网关”而是先花几天时间做一个原型把最大的技术风险验证掉。原型阶段的唯一目标是回答“这条路走得通吗”不是交付完整产品。3.1 原型验证要验证什么根据我们的经验优先级从高到低排列协议转换是否可行尤其是OpenAI格式到各原生格式的转换以及流式输出的兼容。端到端延迟损耗网关转发会增加延迟通常增加5-30ms是可接受的如果超过100ms就要重新审视了。配置热更新改路由规则要不要重启网关生产环境重启网关通常意味着业务中断。计量数据的准确性能否从请求里准确提取token用量并关联到对应的业务线。有团队在原型阶段就去搞管理后台的UI、多租户的权限体系纯属本末倒置。原型就是验证风险点不是做产品。3.2 我们的原型搭建过程当时我们在一个独立的代码仓库里用Go写了300来行的核心逻辑包括一个HTTP服务暴露一个/v1/chat/completions的接口OpenAI兼容一个简单的配置结构定义了三个字段路由别名、目标供应商、实际模型名两个适配器分别对接两家不同的模型API中间件式的日志打印记录每个请求的响应时间、模型名、token用量整个过程大概用了两天半。跑通后我们拿两个真实业务场景各写了100个测试请求对比“业务直连模型”和“业务走网关”的延迟差异实测增加约18ms在可接受范围内原型验证通过。3.3 原型阶段最容易踩的坑坑一忽略了SSE流式转译的复杂性。如果业务用了stream: true你会发现OpenAI的流式事件data: {choices: [...]}和某家原生的流式事件格式完全对不上而且各家对[DONE]标志的处理也不同。这块至少要留出比预期多一倍的时间。坑二把鉴权逻辑写死在核心链路里。原型为了简单直接在过滤器里写死了API Key结果生产落地时要重构出多租户的Key管理涉及接口签名、密钥轮换、权限分级牵一发动全身。原型的代码写得丑没关系但边界要清晰为后续替换留出空间。坑三没有提前定义好统一的错误码结构。模型报错时各家返回的错误体完全不同有的返回error: {type: rate_limit_exceeded}有的返回error: {code: 429}。网关必须定义自己的一套错误码得让业务方做到“只看网关返回值就知道出了什么问题”。4. 生产落地的核心关卡路由、限流、可观测性原型跑通只是拿到了“入场券”生产落地才是真正考验。这一章是重点中的重点我们一个个过。4.1 认证与租户体系别让Key裸奔生产环境第一原则密钥不能出现在业务配置文件里。网关应该接管所有密钥业务侧通过一个网关颁发的token来调用或者走更细粒度的API Key在网关层与真实供应商密钥做映射和替换。租户体系方面我们落地了“三层模型”平台级管理员管理所有配置和全局策略业务线租户每个业务线有自己的命名空间可以配置自己的模型路由和限额业务线下游应用每个应用绑定具体的API Key按应用维度做配额和账单统计这样设计后加新业务线就是“创建租户绑定模型路由分配配额”三步操作不需要再动代码。4.2 流量治理灰度、熔断和重试生产环境的模型调用流量不是“无脑转发”。有几点经验分享灰度发布。模型更新效果可能不升反降所以我们支持把同一个业务线流量按比例切给两个不同的模型版本。比如先放10%的流量给新模型观察用户的反馈指标确认没问题再逐步放大到100%。这个能力用“权重路由”实现在配置中心里改一个数字就能完成调整无需重新发布网关。熔断降级。网关需要实时统计每个上游供应商的请求成功率、平均延迟、错误率。当错误率连续N次超过阈值时自动把后续请求切到备用模型并给业务方返回一个有意义的告警。注意熔断本身也要有“半开”机制即每过一段时间放少量试探流量进去看供应商是否恢复了不能熔断了就永久降级。重试策略。模型接口的重试要格外谨慎。如果上游超时你重试一次请求量就翻倍。我们当时发生过一个事故供应商网关过载我们的重试机制疯狂加重结果把小流量放大成洪峰供应商限流更狠了最终把服务打挂。建议只对“可安全重试”的请求重试且重试次数不超过1次必须加指数退避重试务必基于有幂等标识的请求头。4.3 限流和配额防的是“不可预测”模型API比普通HTTP API更需要限流原因只有一个它贵。业务方写了个死循环或者有恶意用户刷接口普通API最多增加服务器负载模型API那可是在烧真金白银的token费。我们的限流体系分两层租户配额每个租户每分钟、每天、每月的总调用次数和总token数超了直接拒绝返回429。单Key限流某个下游应用如果调用异常频繁可以单独对这个Key限速防止一个坏应用拖垮整个租户。限流算法推荐用令牌桶Token Bucket实现简单、能应对突发流量。如果需要更细粒度的配额控制可以叠加一个全局计数器做每日总量的配额检查。原型阶段可以用内存实现生产环境务必用Redis或类似组件做分布式限流因为网关副本可能有多个各算各的等于没限。4.4 结构化日志与全链路追踪模型调用链路想排查问题日志是最重要的资产。网关里建议记录以下几类数据请求元数据请求ID、租户ID、应用Key、业务线模型信息请求模型别名、实际路由的供应商和模型、模型版本性能数据首token时间尤其流式场景、总耗时、等待时间用量账单输入token数、输出token数、估算成本错误信息错误码、供应商返回的原始错误体、重试标记这些日志必须是结构化JSON格式方便后续接入日志平台做检索和看板。成本数据能用来自动生成“按租户/按应用”的账单看板这一步做扎实后后期对账可以省掉90%的精力。全链路追踪方面网关需要透传上游的trace ID同时给每个请求生成自己的span。因为模型调用可能涉及异步回调和重试如果没有完整链路出问题只能靠猜。5. 部署与运维从“能跑”到“跑得稳”5.1 网关的部署架构与扩容机制生产部署形态上我们是把AI网关作为一个无状态服务部署在Kubernetes里Pod数按CPU和并发数自动扩缩容。为什么无状态重要因为网关副本可能会有十几个如果每个副本都维护本地配置状态改配置时必须同步所有实例想想就痛苦。在数据处理链路方面网关用Redis做限流计数和配置缓存主数据在配置中心用ClickHouse存储访问日志和计量数据用于看板和账单。网关启动时从配置中心拉全量配置运行时监听配置变更事件做热更新。5.2 配置管理与热更新没有热更新就别谈生产有个细节必须强调网关的路由配置、限流阈值、模型参数都需要支持热更新否则每次调模型权重或调整限流阈值都要重启网关。重启意味着在途请求可能断开而AI请求动辄10秒以上断一次用户感知极强。具体做法可以使用配置中心比如etcd或nacos这类组件存一个JSON或YAML配置网关内做配置watch变更后自动加载。注意配置结构一定要带版本号变更要能回溯。特别是路由别名一个别名从指向模型A切到模型B一旦出了问题要能快速回滚到上一版本配置。5.3 安全合规数据不出域与审计追踪带业务数据的模型请求管理上有两大红线问题一是请求内容会发到第三方模型API二是第三方怎么用这些数据。网关在生产落地时至少要具备屏蔽敏感字段在发送前自动识别并过滤/脱敏请求体里的手机号、身份证等个人敏感信息。数据保留策略默认不持久化请求体只保存meta信息和token用量。如需留存做模型调优必须要有明确的保留期限。审计日志记录谁在什么时间通过哪个Key调用了哪个模型调用内容概要请求来源IP用于内部合规审计。审计日志的安全级别要高于普通日志所以在网关管理后台需要对审计日志做只读权限控制普通运维人员只能看访问日志不能修改或删除审计日志。6. 网关落地后的团队协作与规范沉淀技术落地了但真正让这个网关产生长期价值的是配套起来的协作规范。这部分往往是技术出身的人最容易忽略的。6.1 模型接入的“自助服务化”我们落地网关后总共只花了两个下午就接入了五家新的模型API。为什么快因为模型管理配了一个“自助接入”流程模型供应商负责人提供API规格文档、Key、模型列表在网关注册供应商、配置路由别名、设置默认配额自动跑一轮协议一致性测试检查流式、错误码、token统计是否正确通过后自动生成接入报告同步到内部文档中心以前这个过程需要业务方开发介入反反复复沟通好几天现在全程是“填表点按钮等报告”的模式业务方自己去配置就行。这个思路对任何团队都有用工具化之后还在靠人工沟通就是浪费。6.2 不同团队的职责边界划分多团队共用网关最容易产生的问题是“谁来治理”。我们的划分方式平台组负责网关基础设施、稳定性、容量业务团队负责自己租户内的路由策略、模型选择、配额调整算法团队负责模型版本更新、效果评测、灰度决策职责边界清晰后最大的变化是“出了问题不再互相推了”。如果路由切错模型那是业务团队在配置中心的改动记录可回溯如果网关全局宕机那是平台组的稳定性问题有on-call机制。6.3 模型成本治理从“事后算账”到“事前控制”这块我们踩的坑最多多花了大概三个月的冤枉钱。没有成本控制之前一个业务团队测试时用了贵的模型跑全量数据月底账单出来直接傻眼。后来我们在网关层面加了三道防线默认模型兜底新租户默认指向成本最低的模型要做实验才可以申请切换到高价模型。超预算熔断给每个租户设置月度成本上限达到80%告警达到100%熔断新的高成本模型请求直接拒绝。成本看板按租户、按应用、按模型三个维度做每日成本看板让SAAS化程度再高的团队每个月也能几分钟内算出用了哪些模型、花了多少钱、是谁花的。落实到这一步网关的价值从“技术工具”变成了“治理能力”它的定位已经从早期的调用转发升维成整个公司AI基础设施的一部分了。7. 真实经验与最后的建议最后分享几个这段时间沉淀下来的判断希望能帮你少走弯路第一如果只有一两个模型且没有供应商锁定风险完全没必要上网关。任何抽象层都有成本网关是解决规模问题的不要为了架构好看而过度设计。第二原型阶段别贪大。先跑通最核心的链路用真实数据验证延迟和成本的增加量这两项数据是你向上汇报和推动落地的最好理由。第三协议转换一定要做好自动化测试。模型API更新频率比想象中高时不时会改字段、改错误码。我们要有定期自动回归的协议兼容性测试发现不兼容能立刻定位是上游变更还是网关适配问题。第四如果你想快速跑起来先去社区里找现成的开源方案别一上来就自己造。你一开始觉得“很特殊的需求”大概率早有人碰到过了。站在前人肩膀上把精力花在业务差异上比重复造轮子更划算。AI网关这个方向本质上解决的是“AI应用规模化之后的基础设施问题”。一个明显的趋势是未来绝大多数企业应用会同时调用多个模型而网关作为统一入口会像当年的API网关一样变成一个基础设施标配。尽早把这个能力建设起来后面应对模型生态的百花齐放会从容很多。
