先说个最近圈子里的现象大家聊 Agent 项目开口闭口都是 Skill。但真正动手做过的都清楚写一个 Skill 很简单写一个稳定可用的 Skill 才是真功夫。同一个 Skill 在 Demo 里跑得顺顺当当一进生产环境就各种掉链子。阿里开源的 skill-up 就是冲着这个问题来的——它把 Agent Skill 的评测单独拎出来做成了一套工具让你能在把 Skill 交给 Agent 之前先把它按在地上摩擦一遍看看它到底扛不扛得住。这工具对正在做 Agent 落地、或者准备给 Agent 加技能的同学来说值得仔细研究。这篇我就从 Skill 和 Agent 的关系讲起拆一拆 skill-up 这类评测工具到底评什么、怎么评以及一个项目到底配多少 Skill 才合理。1. 先搞清楚一件事Skill 和 Agent 到底是什么关系很多人把 Agent 和 Skill 混为一谈热搜里skill和agent的区别这个问题一直有人搜说明这不是个别现象。我用一个比较接地气的类比来解释Agent 是项目经理Skill 是干活的专业工人。项目经理负责理解需求、拆解任务、决定什么时候找谁干活、怎么把各环节的结果串起来工人只负责把自己那一摊事儿干漂亮。放到技术层面来看Agent 的核心是一个大模型驱动的推理循环——它根据用户目标不断决定下一步该调用什么工具、该读什么结果、该怎么调整策略。而 Skill 就是可以被这个循环调用的、封装好的外部能力模块比如网页搜索、代码执行、Excel 处理、数据库查询、某个垂直行业的 API 调用等等。为什么这个区分这么重要因为评测的对象完全不同。评测一个 Agent看的是端到端的目标完成率、对话质量、任务规划能力这是项目经理的 KPI。而评测一个 Skill看的是它在被调用时输入解析是否准确、参数传递是否正确、执行是否稳定、返回结果是否符合约定格式——这是工人的 KPI。skill-up 这个工具的核心思路就是砍掉 Agent 这层项目经理直接对 Skill 本身做单独体检。你得先理解这个定位后面的一切设计才说得通。如果不区分这两层评测结果一旦出问题你根本说不清是 Agent 规划错了还是 Skill 执行砸了。1.1 Skill 评测和 Agent 评测有什么本质差异两者差异体现在三个层面。第一是评测粒度。Agent 评测通常拿整段对话或整个任务的最终结果来打分一个任务里可能调用了七八个 Skill任何一个环节出错都会拖累总分Skill 评测则把每一次调用当作独立样本输入和期望输出都是预先定义好的谁出错就抓谁。第二是错误归因的难度。做 Agent 评测时经常出现结果不对但不知道是规划问题还是执行问题的窘境Skill 评测天然规避了这一点毕竟你已经把执行层单独拎出来了。第三是回归成本。Agent 改一下 Prompt可能影响所有 Skill 的表现评测要全部重跑Skill 评测则只关心这个 Skill 自己的输入输出契约有没有变化成本低一个数量级。搞清楚这个差异你就能明白 skill-up 这类工具的价值——它不是来替代 Agent 评测的而是补上 Agent 评测看不见的那层盲区。2. skill-up 把评测拆成了哪几件事我看了 skill-up 的设计思路之后发现它解决的问题比我想象的更要命。很多人觉得评测 Skill 不就是准备几个测试用例跑一下嘛实际远没有这么简单。一个成熟的 Skill 评测工具至少要把下面几件事拆清楚。2.1 输入侧评测不能只看正常情况Skill 的输入是从 Agent 的推理结果传过来的这意味着它天然带着不确定性。Agent 可能把参数填错、可能把格式传歪、甚至可能传入一个完全超出预期范围的输入。所以评测用例的设计必须覆盖四类场景正常输入、边界输入、畸形输入、以及Agent 压根不该调用但就是调了的情况。第一类没什么好说的Happy Path 总得跑通第二类要测比如数字参数的临界值、字符串超长截断、空值第三类要测格式错乱、编码问题、半截 JSON第四类是最容易被忽略的——Agent 在错误场景下依然调用了这个 Skill那么 Skill 本身得优雅地拒绝而不是抛一个莫名其妙的异常出来。很多 Skill 开发者在自测时只跑了第一类用例觉得自己写得没问题结果一上 Agent 就现原形。skill-up 这类工具的用例组织方式本质上是在逼你把Agent 会怎么调我这个问题的所有可能性都列出来。2.2 执行侧评测指标怎么定才靠谱一个 Skill 执行完拿什么指标来衡量它好不好我见过不少团队只用调用成功/失败来评判这远远不够。skill-up 的方向是围绕调用契约来做多维度的指标采集。最重要的指标是输入输出格式的符合度。Agent 调 Skill 是有约定的传进来什么结构、返回去什么结构都必须符合 Schema。这个指标不像功能正确性那么模糊它是硬性的对就是对错就是错。第二个指标是功能正确性——确实做了该做的事。第三个是兜底行为即出错时是否按照约定返回了错误码和可读的错误信息而不是直接挂掉。第四个是耗时和 token 开销这对走 Agent 循环的场景极其关键——Skill 慢一秒Agent 的整个推理链路就慢好几秒用户体感直接就垮了。这四个指标分开看你才能知道一个 Skill 挂了到底挂在哪。格式不符合是开发问题功能不对是算法问题兜底失败是健壮性问题太慢是性能问题——混在一起抓瞎拆开了才有优化方向。2.3 组织侧用例集和评分报告是评测的骨架评测工具除了执行还得解决用例怎么管、结果怎么呈现的问题。一个 Skill 的用例不是一次性写完就完事的后续每次迭代都可能加新用例、改旧用例。skill-up 在这块的思路是把评测集变成像测试代码一样可版本管理的东西。评分报告方面我自己最关心的是三个维度通过率、失败用例分布、以及历次评测的对比趋势。通过率一眼看出整体健康度失败用例分布告诉你问题集中在哪些输入场景对比趋势最关键——改了一版 Skill 之后通过率是涨了还是跌了有没有引入新的回归这是决定能不能上线的依据。这里多说一句评测报告一定要能定位到具体失败的输入。抛一个总分出来没有意义你得能复现那个输入然后打断点去查 Skill 内部到底哪里出了问题否则评测工具就变成了一个只知道坏了不知道哪坏了的摆设。3. 跑通一次 Skill 评测从配置到报告的实际流程这一节我说说实际把评测流程跑通是什么样的体验。虽然不同项目接入的方式有差异但核心链路是可以通用的——准备评测集、配置 Skill 接入方式、运行评测、分析报告再迭代。你按照这个流程走基本能覆盖大部分 Skill 评测的需求。3.1 准备评测集别忘了把Agent 的坏习惯也编进去评测集是重中之重。第一版不用追求大而全但要保证覆盖面。我建议按照前面的四类场景来组织用例正常用例一批边界用例一批畸形用例一批再加一批Agent 乱来的用例。有一个很容易踩的坑是评测集里的输入写得过于干净。真实 Agent 传过来的输入经常带着多余的描述、残缺的字段、甚至把两个参数粘在一起。如果评测集里全是规规矩矩的输入那评测结果再好也说明不了问题。我把这个叫做评测集洁癖做评测一定要刻意写脏一点。用例的预期输出也要写清楚。最好不只是应该成功这种模糊预期而是写到具体的返回结构应该长什么样。这样跑完评测之后预期输出本身也是一份文档新同学接手 Skill 维护时看一眼评测集就大概知道这个 Skill 的边界在哪里。3.2 配置接入方式和运行评测Skill 的接入方式主要看它是怎么部署的。如果 Skill 是纯代码形式那评测时直接注入测试输入、捕获返回结果相对直接如果 Skill 是远程 API评测就要发真实请求这时候要注意网络状态、限流、以及依赖服务的可用性对评测结果的影响如果 Skill 的推荐方式是让模型根据描述自动调用那评测时还要把模型是否选择了正确的 Skill 来调用也算进去。skill-up 这类工具在接入层做的抽象就是让你不用关心这些差异统一通过一套机制去定义输入 - Skill - 输出的评测闭环。跑评测的时候有一点大家往往忽略尽量控制变量。同一个 Skill 在评测时不要同时改代码又改配置又改 Prompt否则结果出来对不上号没法判断是什么导致的变化。我一般是代码迭代一轮跑一轮评测看报告再动下一轮稳扎稳打反而更快。3.3 评测报告怎么看不要被通过率迷惑通过率只是一个总览数字真正有价值的是它背后的分布。我拿到报告会先看三类信息第一失败用例集中在哪个输入类别——如果畸形输入类全挂说明 Skill 的参数解析层太脆弱如果正常输入都有失败那功能逻辑本身就有问题。第二失败的模式是否一致——是同一个根因引发的一串失败还是各挂各的这决定了排查的性价比。第三和其他版本的结果对比——新的改动有没有把之前修好的场景又改挂了。看报告这个环节我强烈建议 Skill 的开发者亲自做不要丢给测试同学转达。因为评测报告里那些失败用例的输入看一眼就能唤起啊这里我处理的时候想偷懒没做边界判断的记忆这种直觉是别人替代不了的。4. Agent 项目到底需要多少个 Skill别再被多就是好骗了搜索热词里有一个我特别想聊的agent做项目是不是需要很多个skill这个问题每次技术分享都会被问到。我直接说结论大部分 Agent 项目真正需要的核心 Skill 在 5 到 10 个之间而且这里面还有一半是可选的增强能力不是必需的。很多 demo 项目只用了两三个 Skill 就能跑得很好。为什么不需要很多个因为 Agent 的推理能力本身就是一种软技能它能直接处理很多不需要外部工具的任务比如信息整合、文案生成、逻辑分析。需要 Skill 的时候通常是模型本身的能力边界被顶到了——需要实时数据、需要操作外部系统、需要处理特定格式的文件。Skill 是用来弥补能力边界的不是为了凑数量。4.1 多 Skill 会带来的隐性成本Skill 数量一多问题就来了。第一是上下文膨胀每个 Skill 的定义、描述、参数 Schema 都要占据上下文窗口Skill 越多留给实际任务的空间就越小直接影响推理质量。第二是选择困难Agent 每次决策都要从一堆 Skill 里挑一个来调候选多了选错的概率也变大我见过一些项目就是因为 Skill 太多Agent 频繁选错工具。第三是维护成本每个 Skill 都是代码都有 bug都要测试都要跟着依赖升级Skill 数量翻倍维护负担远不止翻倍。所以当你觉得这个功能可以做成一个 Skill的时候先忍一忍问自己三个问题模型能不能直接用推理搞定如果不能这个功能被调用的频率高不高如果频率也不高能不能合并到已有的 Skill 里三个问题都过不了才值得新建一个 Skill。4.2 用评测结果来决定 Skill 的增删这也是评测工具最有价值的一个延伸用途拿评测数据说话代替拍脑袋决定。我在实际项目里会用这样一套逻辑来管理 Skill 的数量——定期跑一遍全部 Skill 的评测统计每个 Skill 的调用频次和成功率的组合情况。调用频次极低且成功率也不高的 Skill直接考虑下线或合并调用频次高但成功率有波动优先投入精力优化评测里发现两个 Skill 的用例高度重叠就合并成一个减少 Agent 的选择负担。这套逻辑跑起来之后Skill 的数量自然会被约束在合理的范围内。评测不再是上线之前的检查动作而是持续治理的手段。这也是我为什么一直觉得 skill-up 这类工具的价值不只是测试工具它实际上是帮你做 Skill 层面的资产管理。5. 把 Skill 评测接入项目流程我踩过的坑和几条建议最后分享一点实际接入评测流程的经验。从接触这类工具到真正把它用起来中间有几个坑我觉得值得提前说出来能帮你少走弯路。5.1 评测集需要持续维护别指望一劳永逸我第一次跑评测的时候把用例写好、跑通、报告 OK然后就丢在那里不管了。结果过了一个月Skill 依赖的外部接口改版功能悄悄挂了我完全没察觉直到用户反馈问题。从那之后我给自己定了一条规矩评测集和代码一样需要持续维护外部依赖一变、业务场景一变就要往评测集里加新用例、调整旧用例。评测不是一次性项目它是和 Skill 同步迭代的活体资产。外部接口变化这件事特别阴因为 Skill 本身没动但依赖的服务变了行为就变了。评测工具这时候就是你的哨兵——定期跑一遍如果之前通过的用例开始失败优先怀疑外部依赖而不是自己的代码能省下大量排查时间。5.2 评测环境要和生产环境保持足够接近第二个坑和环境有关。如果评测时用的是 mock 数据、测试环境地址和生产环境的真实情况差距太大评测结果基本没有参考价值。我见过一个 Skill 在测试环境评测全部通过一上生产就超时原因是生产环境的真实数据量是测试环境的几十倍性能完全不是一个量级。我的建议是正常用例用接近生产的真实环境跑边界和畸形用例可以用隔离环境跑两类分开既保证了评测效果又不会因为恶意输入污染生产数据。评测环境要稳定、可重复不然你没法判断通过率的变化到底是代码改动引起的还是环境抖动引起的。5.3 设定评测门槛把它当成上线卡点只跑评测不看结果、或者看了结果不当回事等于没跑。我在团队里推动的做法是把评测门槛纳入发布流程核心 Skill 的评测通过率必须达到某个阈值才能发布而且关键场景的用例一个都不能挂。这个阈值不用一开始定得很高可以从当前实际水平往上加一点逼着大家逐步提升。把评测当作上线卡点的另一个好处是它会倒逼 Skill 的接口设计变得更规范。因为评测要跑得通Skill 的输入输出就得稳定、符合约定这直接提升了 Skill 本身的质量和可复用性。我明显感觉到做了评测卡点之后团队写 Skill 时会更在意参数设计、错误处理和边界场景而不是写完就跑。5.4 从单 Skill 评测到多 Skill 协同留好扩展空间skill-up 这类工具当前解决的是单 Skill 评测的问题但我在实际项目里已经开始琢磨多 Skill 协同的评测了。因为真实 Agent 场景里Skill 之间是有依赖的——一个 Skill 的输出会成为另一个 Skill 的输入单独评测都通过不代表串联起来没问题。我的建议是先把单 Skill 的评测机制跑熟把用例管理、指标定义、发布卡点这些基础设施搭好然后再考虑加一层Skill 组合链路的评测。这个方向目前大家都在探索没有标准答案但评测基础设施越扎实后面扩展起来就越顺。我个人体会是评测这件事的投入产出比极高——它是一个平台能力今天为单个 Skill 建的评测流程明天就能复用到所有 Skill 上越到项目后期越能感受到这套基础设施的复利效应。
