1. Hermes Agent 长会话为什么会“越跑越贵”如果你用 Hermes Agent 写过稍大一点的项目大概率遇到过这种场面前面几十轮聊得好好的突然某一轮开始模型像失忆一样反复问“你刚才说的 auth 模块是哪个文件”或者干脆在工具调用里把同一个read_file结果读三遍。更隐蔽的情况是对话还能继续但每轮prompt_tokens从 2 万涨到 8 万账单肉眼可见地变厚。这不是模型变笨了而是上下文窗口和 Token 预算在打架。Hermes Agent 的应对方式不是让模型主动调用某个 memory 工具而是 agent 层自己跑一套自动机制运行前估算请求 Token运行后读取 API 返回的真实prompt_tokens接近阈值就调用ContextCompressor把中间历史压成 handoff summary然后结束旧 session、开一个 compression continuation session 继续对话。这套机制要真正跑顺绕不开一个现实问题你得有稳定、可切换、能统一计量的模型通道。本地开发时东一个 Key、西一个 Base URL排查 Token 异常时根本对不上账。这篇就聚焦 Hermes Agent 的 ContextCompressor 与 prompt_tokens 管理用 TaoToken 统一 Key/API 通道把整条链路接起来交付可复制的settings.json、config.toml骨架和 CC Switch 切换步骤最后验证压缩是否真的生效、Token 计量是否对得上。2. 接入前先把 TaoToken 通道准备好TaoToken 在这里扮演的角色很单纯给 Hermes Agent 以及周边 AI 工具链提供统一的 API 入口和 Key 管理。你不用在 Hermes 里硬编码某个 provider 的地址而是把 Base URL 指向 TaoToken 的 API 端点模型名按需切换。这样 ContextCompressor 触发时调用的辅助摘要模型、主对话模型走的是同一条通道prompt_tokens的统计口径也更容易对齐。官网入口在这里https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 注册后进控制台创建 Key。控制台地址https://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_contentconsoleutm_campaignrewriteAPI Key 管理页https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi-keysutm_campaignrewriteAPI 端点本身不加 UTM直接记这个https://taotoken.net/api注意Key 只创建一次就完整显示一次复制后立刻存进本地密钥管理或环境变量别写进会提交到 Git 的配置文件里。Hermes 的摘要提示词里明确要求凭据用[REDACTED]替换你自己也别把 Key 留在 transcript 里。拿到 Key 之后先确认通道可用。用 curl 打一发最小请求确认返回结构里带usage字段后面 Token 计量才有依据export TAOTOKEN_API_KEYsk-你的Key curl -s https://taotoken.net/api/v1/chat/completions \ -H Authorization: Bearer $TAOTOKEN_API_KEY \ -H Content-Type: application/json \ -d { model: claude-sonnet-4-20250514, messages: [{role: user, content: ping}], max_tokens: 16 } | jq .usage正常会看到类似{prompt_tokens: 8, completion_tokens: 3, total_tokens: 11}的结构。如果这里就没有usage后面 Hermes 的normalize_usage()拿不到数据压缩触发只能退回粗略估算精度会掉一截。3. 可复制的 settings.json 与 config.toml 配置骨架Hermes Agent 的配置分两层一层是模型通道和工具链的settings.json一层是 agent 行为含 compression 区域的config.toml。下面这份骨架可以直接抄把 Key 换成你自己的。3.1 settings.json统一模型通道{ providers: { taotoken: { type: openai-compatible, base_url: https://taotoken.net/api/v1, api_key_env: TAOTOKEN_API_KEY, models: { main: claude-sonnet-4-20250514, summary: claude-haiku-4-20250514 } } }, default_provider: taotoken, tool_chain: { cc_switch: { enabled: true, profiles_dir: ~/.hermes/profiles } } }这里有两个关键点。api_key_env指向环境变量而不是明文避免 Key 进版本库。models.summary单独指定一个更便宜的模型给 ContextCompressor 用——摘要调用很频繁用主模型跑摘要会让成本翻倍。3.2 config.tomlcompression 区域[model] name claude-sonnet-4-20250514 context_length 200000 [compression] enabled true threshold 0.50 target_ratio 0.20 protect_last_n 20 [auxiliary.compression] context_length 200000 model claude-haiku-4-20250514 [tools.budget] default_result_size 100000 turn_budget 200000 preview_size 1500threshold 0.50意味着 200K 窗口在约 100K Token 时就触发压缩而不是等快满了才动。为什么留一半余量因为下一轮还要塞进当前用户输入、工具 schema、模型输出和 tool call 结果。工具多的时候光 tools schema 就能单独占 20K–30K Token只按 messages 估算会严重低估。target_ratio 0.20决定尾部保护预算threshold_tokens * target_ratio也就是约 20K Token 的最新上下文不进摘要。这个值太小会把正在做的事压掉太大又省不下空间20% 是个稳妥起点。3.3 CC Switch 切换步骤CC Switch 用来在多个 provider profile 之间切换本地开发时特别有用——比如主对话走 TaoToken临时调试换另一个 profile。# 1. 创建 profile 目录 mkdir -p ~/.hermes/profiles/taotoken # 2. 写入 profile 配置 cat ~/.hermes/profiles/taotoken/profile.toml EOF name taotoken base_url https://taotoken.net/api/v1 api_key_env TAOTOKEN_API_KEY default_model claude-sonnet-4-20250514 EOF # 3. 切换 cc-switch use taotoken # 4. 确认当前 profile cc-switch current切换后重启 Hermes Agent让它重新加载settings.json和config.toml。如果切换后模型名报错先cc-switch current看 profile 是否真的生效再检查base_url末尾有没有多写或少写/v1。4. 验证上下文压缩生效与 Token 计量配置写完不算完得亲眼看到压缩触发、Token 对得上。下面这套验证流程我实测下来比较稳。4.1 制造一个必然触发压缩的长会话最直接的办法是灌入大量工具输出。开一个 Hermes 会话连续让它读几个大文件# 在 Hermes 会话里依次执行 read_file src/auth/session.py read_file src/auth/token.py read_file src/auth/middleware.py search_files def authenticate terminal pytest tests/ -v每轮结束后观察/usage输出。你会看到prompt_tokens逐步爬升。当它接近context_length * threshold本例约 100K时Hermes 会在进入主 tool loop 前做 preflight compression或者在一轮工具调用结束后根据真实prompt_tokens触发压缩。4.2 确认压缩真的发生了压缩成功的标志有几个任选其一确认第一会话里出现 continuation session 的提示旧 session 的end_reason变成compression。你可以查 session DBsqlite3 ~/.hermes/sessions.db \ SELECT session_id, parent_session_id, end_reason, started_at, ended_at FROM sessions ORDER BY started_at DESC LIMIT 5;看到某条记录end_reason compression且它的子 sessionstarted_at ended_at说明 compression continuation 链建起来了。第二个条件很重要它把压缩续接和 delegate subagent、branch child 区分开——后两者也可能有parent_session_id但通常是在父 session 还活着的时候创建的。第二压缩后第一轮的prompt_tokens会明显回落。压缩前可能 95K压缩后掉到 30K 左右因为中间历史被换成了 handoff summary。4.3 核对 Token 计量口径Hermes 会把不同 provider 的 usage 归一化成 CanonicalUsage再派生两个值prompt_tokens input_tokens cache_read_tokens cache_write_tokens total_tokens prompt_tokens output_tokens这里最容易踩的坑是cache_read_tokens。它可能便宜甚至免费但它仍然是本次 prompt 的一部分仍然占上下文窗口。如果你只盯着input_tokens看会以为上下文很空实际prompt_tokens已经很高了。验证方法在会话里跑一轮带 prompt cache 的请求然后对比/usage里的数字和 API 原始返回。Anthropic 风格返回cache_read_input_tokensOpenAI 兼容风格返回prompt_tokens_details.cached_tokensHermes 都会拆出来归一到cache_read_tokens。如果/usage里prompt_tokens明显小于 API 返回的原始prompt_tokens说明归一化时把 cache 部分算漏了检查normalize_usage()的 provider 分支是否匹配你实际用的 API 形态。4.4 手动压缩验证 focus topic自动压缩之外手动/compress可以指定 focus topic让摘要器优先保留某块信息/compress database schema这会引导摘要模型把 60%–70% 的摘要预算花在 database schema 相关内容上其他内容更激进地丢弃。验证方式是压缩后问一个和 schema 强相关的问题看模型能否准确答出表名、字段、约束再问一个无关的旧话题看它是否已经模糊——如果两者都答得很细说明 focus 没生效摘要器在平均用力。5. 本篇常见报错排查5.1 context_length_exceeded 与 max_tokens too large 分不清这两个错误长得很像处理方式完全相反。Prompt too long是输入超窗口解法是压缩历史max_tokens too large是输入没问题但input_tokens max_tokens context_window解法是降低本次输出上限不要去缩context_length因为窗口根本没变小。排查时先看错误信息里有没有maximum context length is N tokens这类明确数值。有的话 Hermes 会解析并更新 compressor 的context_length然后压缩重试。没有的话先手动把max_tokens调小试一轮如果错误消失就是输出预算问题别误触发压缩把历史细节丢了。5.2 压缩后模型重复执行已完成的工作典型症状压缩前已经改完的文件压缩后模型又改一遍。根因通常是## Active Task字段没更新或者最新 user message 被压进了 summary 里。Hermes 的摘要前缀明确告诉模型“只响应 summary 之后出现的最新用户消息”并且压缩器会确保最近的 user message 留在尾部。如果你发现模型把摘要里的旧请求当新任务执行检查protect_last_n和尾部 token budget 是不是设得太小导致最新消息被卷进摘要区。5.3 摘要模型不可用导致 fallback marker如果辅助摘要模型超时或报错Hermes 不会静默删历史而是插入 fallback marker告诉模型“这里发生过上下文丢失”。你会看到类似Summary generation was unavailable. N message(s) were removed的提示。排查顺序先确认auxiliary.compression.model指向的模型在 TaoToken 通道里可用再确认auxiliary.compression.context_length没设得比实际模型窗口大最后看是不是 transient error 进了 cooldown。如果配置的 summary model 不可用Hermes 会尝试回退到 main model 摘要但成本会上去。5.4 工具 schema 太多导致 Token 压力居高不下messages 很短但prompt_tokens就是降不下来八成是 tools schema 在吃预算。Hermes 用 provider 原生 tool calling工具定义走独立的tools参数不在 message content 里。工具一多schema 单独占 20K–30K Token 很正常。排查方式临时禁用一批不常用的工具看prompt_tokens掉多少。长期方案是按使用频率做动态 tool pruning或者把低频工具拆到独立 agent 里按需加载。5.5 多次压缩后摘要质量下降compression_count 2时 Hermes 会提醒Session compressed N times — accuracy may degrade。这是有损压缩的必然结果原始细节 → 摘要 1 → 摘要 2 → 摘要 3每层都丢信息。处理策略分短期和长期。短期靠结构化 handoff 模板续命Completed Actions、Active State、Remaining Work这几个字段保住了任务连续性。长期建议/new开新会话把真正稳定的信息外置到 memory 或 skills 里别指望摘要链无限续。6. 把通道和压缩链路固定下来Hermes Agent 的 Token 管理不是“压缩一下历史”这么简单它是一套分层系统工具输出先按 per-result 和 per-turn budget 落盘或截断请求前做 preflight Token 预检含 system prompt 和 tools schema请求后记录真实 usage溢出错误触发恢复长历史通过结构化 handoff summary 续接旧 session 通过 compression chain 保留可追溯性。要让这套系统在本地稳定跑通道层别留变量。把 TaoToken 的 Key 和 Base URL 固定进settings.json用 CC Switch 管好多 profile 切换摘要模型单独指定一个便宜档位然后按第 4 节的流程验证压缩触发和 Token 计量。接入文档在这里https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite如果你主要在做长期编码或 Agent 类项目压缩会反复触发建议直接上 Coding Plan把主模型和摘要模型的额度分开管https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding-planutm_campaignrewrite想先验证模型在压缩前后的表现差异用模型对话页快速对比几轮https://taotoken.net/chat?utm_sourcetaotoken_aicg_blog_endutm_contentmodel-chatutm_campaignrewrite最后留一个实用习惯每次压缩触发后先看/usage里prompt_tokens的回落幅度再决定要不要/new。回落明显说明摘要有效回落不明显说明 tools schema 或 system prompt 本身太重压缩历史救不了得从工具裁剪和 system prompt 瘦身下手。
