Spring AI 中基于 Token 优先级的上下文管理

在Spring AI Agent实际开发中绝大多数模型问答错乱、RAG检索失效、上下文超限报错、越聊越胡言乱语的问题根源都不是模型能力不足而是上下文Token管理失控。本文深度拆解LLM上下文Token四级优先级机制结合Spring AI工程实战手把手实现一套「优先级动态裁剪策略」彻底解决上下文腐烂、中间信息遗忘、窗口溢出三大经典问题适配生产级Agent开发场景。关键词Spring AI、Agent、Token裁剪、上下文管理、RAG优化、LLM工程化一、前言为什么你的Agent越用越崩很多开发者在使用Spring AI开发智能Agent、RAG问答系统时都会遇到这几个共性难题对话轮次变多后模型忘记初始任务规则输出偏离需求RAG检索到了有效资料但模型完全不引用、回答凭空捏造上下文过长触发 context window 超限报错对话累积越多模型回答质量越低、噪声越来越多。大部分人会误以为是模型参数、Prompt写法的问题实则核心原因是LLM上下文窗口容量有限但我们无脑堆积所有对话、RAG文档、工具信息没有做优先级分层和动态裁剪。LLM的上下文窗口如同固定大小的桌面堆满无效信息就会覆盖关键信息最终导致任务失效。本文将从原理到实战落地一套生产可用的Token优先级管理方案。二、核心原理LLM上下文四级Token优先级机制LLM对上下文不同位置、不同类型的内容关注度和留存优先级完全不同。我们将所有上下文内容分为四个优先级梯队窗口Token不足时从低优先级到高优先级依次裁剪核心规则永不丢失。2.1 高优先级绝对保护区包含内容系统提示词SystemPrompt、核心任务目标、安全约束、基础任务规则处理策略永久保留、不压缩、不裁剪、不删除核心意义这是Agent的“底层行事准则”。一旦丢失或被压缩模型会直接脱离任务逻辑出现乱回答、违规输出等问题是整个上下文的核心基石。2.2 中优先级可精简优化区包含内容RAG检索文档、工具调用返回结果Observation处理策略禁止全量堆积二次筛选、切片精简、保留核心有效片段核心意义这是模型本次回答的核心参考素材不能直接丢弃但原始检索内容存在大量冗余全量塞入会浪费Token、干扰模型判断。2.3 低优先级可折叠丢弃区包含内容早期历史对话、无效重复聊天记录、过期交互信息处理策略超阈值自动摘要压缩Token紧张时优先丢弃核心意义久远对话对当前任务参考价值极低是上下文噪声的主要来源也是Token裁剪的首要对象。2.4 阶段性优先级动态装卸区包含内容工具定义ToolDefinition、Schema规则、任务示例处理策略按需加载、用完即卸非当前任务工具全部移除核心意义工具Schema是Token消耗大户全部常驻上下文会占用大量窗口资源严重压缩有效内容存储空间。三、LLM上下文两大经典致命坑理解优先级后必须规避LLM天然的两个缺陷这是绝大多数Agent优化忽略的关键点。3.1 Context Rot上下文腐烂随着对话轮次增加大量无效、过期、重复的历史信息持续堆积上下文噪声泛滥。模型无法精准识别关键有效信息导致回答越来越冗余、偏离主题最终完全失效。解决方案禁止无限追加历史消息设置Token阈值自动折叠、清理老旧对话。3.2 Lost in the Middle中间信息遗忘LLM存在天然注意力缺陷对上下文头部、尾部内容记忆清晰对中间位置内容极易忽略。很多开发者将RAG文档、工具返回结果直接塞在消息列表中间导致明明传入了参考资料模型却完全不使用出现“检索失效”的假象。解决方案核心参考素材尽量靠近消息尾部增加专属标记强化注意力控制单批次参考文档数量。四、Spring AI 工程化落地Token动态裁剪策略基于上述优先级规则我们落地一套生产可用的上下文管理流程Token预检测 → 低优裁剪 → 中优精简 → 高优保护 → 动态装卸工具。4.1 核心执行流程Token数量预统计通过Token计算器统计当前上下文总Token数预留安全冗余不塞满窗口逐级裁剪降级优先压缩老旧历史对话仍超限则精简RAG素材最后卸载无效工具定义永久保护高优内容SystemPrompt全程固定不做任何修改裁剪动态刷新上下文每次Agent调用前执行裁剪保证上下文轻量化、高纯度。4.2 核心代码实现/*** Spring AI 上下文Token优先级裁剪工具类* 裁剪顺序历史对话 RAG素材 工具定义保护系统提示词*/public class ContextTokenTrimHandler {// 模型上下文窗口上限根据所用模型配置private static final int MAX_WINDOW_TOKEN 128000;// 安全预留余量避免窗口塞满报错private static final int SAFETY_GAP 8000;// 最大允许Token数private static final int MAX_ALLOW_TOKEN MAX_WINDOW_TOKEN - SAFETY_GAP;private final TokenCountCalculator tokenCalculator;public ContextTokenTrimHandler(TokenCountCalculator tokenCalculator) {this.tokenCalculator tokenCalculator;}/*** 上下文消息预处理裁剪*/public ListMessage trimContext(ListMessage messages, ListDocument ragDocs, boolean needTool) {// 1. 保护高优先级固定系统提示词不做任何处理ListMessage systemMessages filterSystemMessage(messages);ListMessage businessMessages filterBusinessMessage(messages);// 2. 阶段性优先级按需加载/卸载工具定义if (!needTool) {removeToolDefinitionMessage(businessMessages);}// 3. 中优先级二次精简RAG检索文档去除冗余内容ListDocument slimRagDocs trimRagDocument(ragDocs);businessMessages.add(buildRagDocMessage(slimRagDocs));// 4. 低优先级循环裁剪直到Token达标int currentToken tokenCalculator.countTokens(businessMessages);while (currentToken MAX_ALLOW_TOKEN) {// 优先压缩/删除最早的历史对话compressOldHistoryMessage(businessMessages);// 仍超限则进一步精简RAG内容if (tokenCalculator.countTokens(businessMessages) MAX_ALLOW_TOKEN) {trimRagContentMax(businessMessages);}currentToken tokenCalculator.countTokens(businessMessages);}// 拼接最终上下文高优系统词 裁剪后业务消息ListMessage finalMessages new ArrayList();finalMessages.addAll(systemMessages);finalMessages.addAll(businessMessages);return finalMessages;}// 精简RAG文档重排、去冗余、截取核心片段private ListDocument trimRagDocument(ListDocument ragDocs) {// 自定义RAG二次精简逻辑rerank过滤低分文档、切片去冗余return ragDocs;}// 压缩老旧历史对话多轮旧消息摘要合并private void compressOldHistoryMessage(ListMessage businessMessages) {// 自定义历史消息压缩逻辑}// 过滤系统提示词private ListMessage filterSystemMessage(ListMessage messages) {return messages.stream().filter(msg - msg instanceof SystemPrompt).toList();}}4.3 关键优化细节规避Lost in the Middle精简后的RAG核心素材、最新用户提问统一放在消息列表尾部最大化模型注意力强化内容标识为RAG参考资料添加【参考资料开始/结束】专属标记辅助模型识别有效信息工具动态卸载非当前任务场景主动清除所有工具Schema节省大量Token前置预裁剪不等超限报错再处理预留安全Token余量保证服务稳定。五、高阶优化上下文缓存在高并发生产场景下重复加载固定的System提示词、工具定义会造成大量无效Token消耗和延迟。主流大模型均支持上下文前缀缓存我们可以针对性优化缓存对象高优先级固定内容SystemPrompt、常驻工具Schema、通用任务规则核心收益大幅降低输入Token计费成本减少首字响应延迟TTFT提升接口响应速度降低模型解析固定内容的算力消耗。注意事项系统规则、工具定义变更后需手动刷新缓存避免缓存过期导致逻辑异常同时需结合业务压测验证缓存命中率。六、生产踩坑总结结合实际落地经验整理3个高频错误方案与最优实践❌ 错误无脑堆积所有历史对话、全量RAG文档、所有工具定义等待超限报错✅ 正确设置Token安全阈值按优先级主动裁剪轻量化上下文❌ 错误依赖模型自动处理上下文无人工干预管理✅ 正确Agent自主管理消息生命周期区分内容优先级❌ 错误所有工具Schema常驻上下文浪费大量Token✅ 正确工具按需加载用完即卸最大化利用窗口空间。七、总结LLM Agent的工程化核心不在于复杂的Prompt技巧而在于精细化的上下文Token管理。通过四级优先级裁剪机制我们可以彻底解决上下文溢出、模型失忆、RAG失效、上下文腐烂等生产问题让Agent长期运行稳定、输出精准。