Agent 跑起来 API 费暴涨工作流控成本 6 个技巧普通聊天一次请求几十个 tokenAgent 多轮对话 反复调工具一个任务轻松吃掉几千 token。上线前不控成本月底账单能吓一跳。下面 6 个技巧都是工程里踩过坑后总结的按顺序用就能把费用压下来。技巧一限制最大轮数Agent 最常见的烧钱原因是「停不下来」——模型一直调工具、一直追问。先用max_turns兜底MAX_TURNS8# 超过就强制收尾turn0whileturnMAX_TURNS:respclient.chat.completions.create(modelYOUR_MODEL,messagesmessages,toolstools)ifnotresp.choices[0].message.tool_calls:breakturn1技巧二上下文只留必要的每轮都把完整历史发给模型token 随轮数线性增长。把早轮的工具结果裁剪掉deftrim_messages(messages,keep_last6):只保留最近若干条旧的工具结果摘要化returnmessages[-keep_last:]# 大结果先摘要再入上下文messages.append({role:tool,tool_call_id:cid,content:result[:500],# 超长结果截断})技巧三分类和路由用便宜模型「这句话要不要调工具」「归到哪类任务」这类判断不需要强模型。用 gpt-4o-mini 做路由强模型只干重活routerOpenAI(api_keyYOUR_KEY,base_urlYOUR_BASE_URL)kindrouter.chat.completions.create(modelgpt-4o-mini,messages[{role:user,content:f分类{user_text}}],)# 复杂才交给 YOUR_MODEL技巧四开 Prompt Caching 命中共用前缀Agent 的系统提示、工具 schema 每轮都重复发。把它们放前面并标cache_control相同前缀命中缓存输入费大幅降messages[{role:system,content:SYSTEM_PROMPT,cache_control:{type:ephemeral}},# 缓存这段*dynamic_messages,]技巧五工具返回先截断再回传数据库查询、文件读取经常返回几千字全塞进上下文最费钱。工具侧就做裁剪返回类型处理列表只回前 N 条 总数长文本截断到 500 字JSON只回需要的字段技巧六设预算上限 实时监控给单次任务设 token 硬上限超了就中止并降级fromcollectionsimportCounter budget20000# 单任务 token 上限usedCounter()defguard(model,messages):ifused[model]budget:returnNone# 超预算降级到缓存答案rclient.chat.completions.create(modelmodel,messagesmessages)used[model]r.usage.total_tokensreturnr同时把每次调用的 token 记到日志按任务维度汇总哪类任务贵一目了然。成本对照示意做法单任务 token相对无控制~8000100%限轮数 截断~350044%再开缓存~150019%路由用便宜模型~90011%数字为示意实际取决于任务长度与工具返回大小。快速排错表问题可能原因解决方法账单暴涨无限轮数加 max_turns上下文越来越长全量历史裁剪 摘要强模型做小事没路由分类用便宜模型输入费高重复前缀开 Prompt Caching返回撑爆工具回传全量工具侧截断单任务失控无预算设 token 上限贵的任务定位难没日志按任务记 token降级无效没兜底超预算返缓存答案配置检查清单检查项怎么确认最大轮数代码有 max_turns上下文裁剪旧结果已摘要路由分层简单判断用便宜模型缓存开启共用前缀标 cache_control工具截断返回有长度上限预算上限单任务 token 封顶计量日志每次调用记 token降级路径超预算有兜底回答Agent 不是不能省钱是把「轮数、上下文、模型档位、缓存、截断、预算」六件事在工程里钉死。每一项都是实打实的降幅叠起来就能把费用压到原来的零头。
