一、你遇到的忘不是个例写过几十轮代码的 Cursor 用户、搭过客服 Agent 的工程师、让 AI 管过产品开发流程的产品经理大概率都撞过同一件事第 2 轮你告诉 Agent项目用的是 Spring Boot 3.2第 6 轮让它写个配置类它给你吐出一个 Spring Boot 2.x 的写法——好像那句 3.2 从来没存在过。更糟的是另一种翻车第 5 轮它被你纠正后给出了正确答案第 7 轮又退回到第 4 轮的错误版本。不是它故意的也不是你 Prompt 写得差而是当前 Agent 的记忆这件事从根上就是个被误读的命题。二、先破一个最大的误会上下文窗口 ≠ 记忆厂商爱吹 128K、200K、1M token 上下文听起来像屋子大了就能囤货。但上下文窗口的本质是这一次调用里模型能看见的 token 范围不是数据库也不是长期记忆。三件事把它和真记忆区分开无状态每次推理是一次独立前向传播除非你把历史显式塞回这次请求否则模型不会凭空想起。看得见 ≠ 记得住200K token 塞进提示模型只是在读没有存。session 一断灰飞烟灭。跨会话归零真实 Agent 需要跨几周积累偏好这不是上下文窗口能解决的事。所以窗口大就不忘是个美丽误会。EMNLP 一份报告给过一个扎心数据即使检索准确率 100%一旦上下文超过 3 万 token推理准确率断崖式下跌最高跌 85%。“Context Stuffing is the new memory leak”——HN 这句热评基本把现状说完了。三、Agent 为什么说着说着就忘四层原因往下钻 第 0 层最冤枉的一种应用层根本没把历史带回来模型自己不替你存对话状态。第 1 轮用户说我用 Spring Boot 3.2第 2 轮你只传了帮我写个配置类——不是它忘是你这次没告诉它。很多健忘 bug 查到最后都是这一层。 第 1 层Lost in the Middle迷失中间Transformer 的注意力分布天然不均匀——开头和结尾权重大中间被忽略。多轮对话里早期关键信息恰好滑到中间地带[System Prompt] ← 开头高注意力 [第1轮 QA] ← 还行 [第2轮 QA] ← 开始被忽视 [第3轮 QA] ← 注意力最低区 [Tool 返回] ← 被忽视 [第4轮 QA] ← 被忽视 ... [当前用户消息] ← 结尾高注意力实测里第 2 轮告诉 Agent项目代号 Phoenix第 6 轮问它能答上来的概率明显掉下去。 第 2 层Attention 稀释 Truncation 硬切上下文越长注意力越被摊薄每新增一段都在稀释前面的信号。再叠加商业实现的一个潜规则——逼近窗口上限时多数框架会 truncate 掉最老的一段不是慢慢忘是一刀切掉整个对话线程。还有个更隐蔽的Agent 在某一轮答错了用户纠正它道歉修正写进上下文。错误版本和正确版本同时躺在上下文里后面轮次有时会被旧错误拉回去——日志里能抓到 20 例回退现象。 第 3 层Agent 独有的Tool Call 把叙事流切碎了Chatbot 的遗忘是线性的Agent 的遗忘是结构性的。一次 Agent 调用里上下文窗口通常被 System Prompt、对话历史、RAG 召回片段、工具定义 工具返回分批瓜分。工具返回往往又长又碎占了预算还把关键信息挤到中间——正好是 Lost in the Middle 的重灾区。四、为什么 RAG、向量库也救不干净业内早就在用短期上下文 长期向量检索的混合方案但实测数据有点尴尬某电商客服 Agent记忆容量从 32K 扩到 320K任务完成率只提 12%上了语义检索才提 47%。说明单纯塞窗口不解决根本问题。更深一层的判词来自港中文浙大今年那篇论文当前所有方案向量存储、RAG、Scratchpad、上下文管理本质上都是Memo备忘录不是 True Memory。备忘录的逻辑是存起来→用的时候查。人类记一件事是内化规则后能造出新句子Agent 的记忆是基于相似度的查找——你库里没类似案例它就不会处理。这就是信息量 ≠ 能力Agent 笔记越攒越多但不会产生专家那种按深层原则重组知识的质变。五、工程侧目前能做什么不展开成教程给方向业界踩坑两年共识基本收敛到这几条摘要化不要原始堆历史——每 10–20 轮跑一次轻量 summarization pass留关键事实/决策/偏好扔废话。有团队靠工具返回先摘要再入上下文把噪音砍了 ~60%、第 6 轮质量提了 31%。显式记忆结构——用户画像、会话状态进结构化 DB跨会话走语义检索别赌模型隐式记忆。关键信息放首尾——System 指令区和当前用户消息是注意力高地核心约束贴这两个边界放。Chunk 检索替代填鸭——大知识库别塞上下文每轮语义拉 3–5 段最相关的注进去这就是 RAG 的本意。三层上下文管理OpenClaw 那套思路工具输出摘要 / 定期全对话压缩 / 显式 KV 记忆分流。六、一句收尾Agent 的健忘不是 bug是当前架构的必然——Transformer 是无状态的上下文窗口是读不是存RAG 是查不是记。厂商的1M token军备竞赛掩盖了一个更根本的事实可靠 Agent 要围着限制做工程而不是假设限制已经被解决了。等到哪天模型真的长出权重级可演化记忆、而不是靠 Prompt 硬撑 Memo 那天说着说着就忘才会从结构性缺陷变成历史名词。在那之前摘要、分层、放首尾——还是得自己来。
