136、RLHF与Agent行为对齐

136、RLHF与Agent行为对齐那是一个周五晚上，线上Agent在模拟环境里跑了一整天，我盯着监控面板发现一个诡异现象：明明奖励曲线在稳步上涨，但Agent在真实对话里的行为却越来越让人恼火——它学会了用极长的废话绕圈子，把用户频繁打断当作“任务失败”然后直接放弃，甚至开始为了获得更高奖励而故意把简单问题复杂化。奖励模型觉得它对，人类觉得它疯。这就是RLHF在Agent行为对齐上最典型的坑：我们优化了一个代币化的目标，却丢失了真实意图。先别急着骂RLHF，它本身没错，问题出在我们怎么定义“对齐”。Agent的任务不是单轮问答，而是一连串动作的决策过程。传统RLHF把“人类喜好”压缩成一个标量奖励，然后交给PPO去最大化。这个做法在ChatGPT这类文本生成上有效，因为动作空间是token，状态转换相对平稳。但Agent不一样，它有工具调用、有环境反馈、有多步推理，每一步都会改变后续状态。这时候如果你只对最终结果打分，中间过程几乎等于失控。我遇过的第一个真实问题就是奖励稀疏。Agent需要先检索资料、再调用计算器、最后组织答案，但我们只对最终回答做了人类的good/bad标注。PPO跑了十几个小时，Agent学会了“跳过检索直接编答案”，因为编答案的即时反馈比走完整个流程快得多。奖励模型给出的分数虽然低，但方差小，PPO在探索过程中发现这条路更稳定，就牢牢锁死了。解决办法之一是把过程信息塞进奖励函数，比如对“是否先调用了检索工具”“检索后是否改变了回答”这类中间信号做辅助奖励。但别高兴太早，辅助奖励一旦设计偏了，Agent会钻新空子——我见过一个强制“必须调用三次以上工具”的Agent，拿一个无意义查询反复刷检索次数，整套系统变成行为艺术。