这次我们不看模型权重也不看部署脚本而是来梳理一门硬核公开课里的关键知识块伯克利 2026 春季深度强化学习课程的第 16 讲主题是基于模型的强化学习算法。放在整个课程体系里这一讲属于“从无模型到有模型”的转折点也是很多初学者从看懂强化学习公式到真正理解样本效率问题的分水岭。文章不打算做讲义文字搬运而是把这一讲的骨架拆出来先讲清楚基于模型的强化学习到底在解决什么问题再逐个拆解课程中会出现的算法路线包括学习动力学模型、基于模型的规划、模型辅助策略优化、隐空间世界模型等方向最后给出一套适合自学的验证路径和工程化建议。如果你是正在跟公开课学深度强化学习的学生或者是在做机器人控制、仿真环境策略迁移的工程师这篇文章可以直接当作第 16 讲的预习提纲和复习索引。1. 这门课程与第 16 讲的知识定位1.1 伯克利深度强化学习课程在行业里的地位伯克利的深度强化学习课程系列一直是公开课里体系最完整的资源之一。它从马尔可夫决策过程、动态规划开始逐步覆盖策略梯度、Q 学习、Actor-Critic、基于模型的强化学习、离线强化学习、多任务学习、元学习、扩散策略等前沿方向。整个课程的特点是“理论推导和代码作业并行”既有数学层面的收敛性分析也有可以跑出实验曲线的编程练习。2026 春季课程延续了这套体系第 16 讲安排到“基于模型的强化学习算法”说明前面已经讲完了无模型方向的三大件策略梯度、Q 学习、Actor-Critic。到了这个位置课程正式开始回答一个问题当真实环境交互成本很高时能不能先学一个环境模型再用模型降低对真实采样量的依赖1.2 第 16 讲的时间线位置与前置知识从课程结构看第 16 讲处于整个学期靠后的位置前置知识基本是三项一是 MDP 和 Bellman 方程的基础推导二是策略梯度与 Actor-Critic 的实现细节三是神经网络拟合值函数的基本功。这一讲默认你已经理解了这些概念状态、动作、转移概率、奖励函数、折扣因子、回报期望。基于模型的强化学习并没有推翻这些概念而是在“转移概率怎么获得”这件事上换了思路无模型方法用大量采样隐式估计基于模型方法显式学一个转移函数出来。1.3 基于模型的强化学习解决什么核心问题强化学习最现实的问题不是算法不稳定而是采样太贵。真实机器人跑一步策略需要物理时间自动驾驶收集一个轨迹需要真实道路游戏环境虽然便宜但复杂环境的仿真也可能很慢。基于模型的强化学习思路很直接先学一个描述环境动态的模型然后用这个模型替代真实环境做规划或者生成训练数据。课程里提到的核心收益是样本效率提升——在真实环境里只采样少量数据在学到的模型里大量“脑内推演”。2. 基于模型的强化学习核心框架2.1 无模型与有模型的根本区别无模型强化学习不显式建模环境动态。策略梯度方法直接优化策略参数Q 学习方法直接拟合动作价值函数。它们不需要知道从状态 s 执行动作 a 之后具体转移到哪个状态只需要通过采样回报来间接反映这一信息。基于模型的强化学习走了一条显式路线。算法先学习一个动力学模型也就是拟合条件概率分布[ \hat{T}(s_{t1}, r_t | s_t, a_t) ]这个模型可以用高斯过程拟合可以用贝叶斯网络也可以用神经网络。学完模型之后策略的优化和评估都建立在这个模型之上。课程重点讲的是神经网络作为动力学模型拟合器的场景因为这样才能和前面的深度强化学习内容连起来。2.2 MBRL 的通用框架学习器与决策器从第 16 讲课件常见的结构来看基于模型的强化学习算法通常包含两个核心组件一个是模型学习器负责根据真实采样数据拟合环境的转移函数和奖励函数另一个是决策器负责利用学到的模型去做策略优化或动作规划。这两个组件可以交替更新也可以分阶段训练。交替更新的典型代表是 Dyna 架构算法先在真实环境采样再用真实数据更新模型接着用模型生成虚构样本最后用真实样本加虚构样本一起更新策略。这个闭环框架虽然简单却能解释后续很多复杂算法的共同逻辑。2.3 样本效率为什么是核心指标课程里反复强调的一个指标是样本效率达到相同策略性能需要的真实环境交互步数。无模型方法在简单环境中可以用百万级步数跑出不错的策略但在真实机器人场景中基本不可接受。基于模型的方法在样本效率上有天然优势模型一旦学到一定程度就可以用模型生成海量虚构轨迹真实采样需求大幅下降。这也是第 16 讲开篇就强调的价值点——算法不是为了“看起来更聪明”而是为了在真实采样受限时仍然能学会有效策略。3. 从第 16 讲展开的几个关键技术路线3.1 学习动力学模型从参数化到不确定性估计课程在讲模型学习时最重要的提醒是学到的模型一定有偏差。神经网络拟合的转移函数不可能完全等同于真实环境这种偏差会随着轨迹 rollout 不断累积导致模型预测越来越不可靠。应对偏差的第一个方案是给模型做集成。课程通常会讲 ensemble 思路也就是训练多个独立初始化的动力学模型用它们的输出均值做预测用输出方差估计不确定性。集成不仅能提高预测稳定性更关键的是为后续基于模型的规划提供“哪里不可信”的信号。3.2 基于模型的规划MPC 方向当模型已经学到以后一个非常自然的用法是模型预测控制也就是 MPC。每次决策时算法在当前状态出发利用模型向前 rollout 多个候选动作序列评估每条序列的累计回报然后执行第一条动作。执行完一步后重新规划。MPC 的优点是无需训练策略网络决策过程完全由规划完成。课程会指出MPC 的瓶颈在于 rollout 数量和规划实时性的平衡。候选动作序列数量太少规划质量不够太多单步决策时间变长。这个方向在机器人控制中被验证得最多因为每次决策只执行一步天然适应真实环境的不确定性。3.3 模型辅助策略优化Dyna、MVE、MBPO 方向与 MPC 每次决策临时规划不同另一条路线是让模型直接服务于策略网络的训练。Dyna 框架在早期强化学习里就出现核心就是真实样本加虚构样本混合更新。后续课程会引入更现代的两个变体模型价值扩展 MVE 和基于模型的策略优化 MBPO。MVE 的思路是用模型对真实状态 rollout 若干步把这些虚构轨迹的价值估计融入值函数更新从而降低真实样本需求量。MBPO 的思路更细致模型训练完成后用它生成短视界比如 10 到 20 步的虚构轨迹混进策略优化过程。第 16 讲会比较重点强调 short rollout 的价值。原因是模型误差随时间步数累积短视界的虚构轨迹可信度远高于长视界既能带来样本效率提升又能控制模型偏差对策略的负面影响。3.4 隐空间世界模型Dreamer 类方法课程后期会延伸到隐空间世界模型代表方向是 Dreamer 一脉的思路。这类方法不是直接在高维观测空间预测下一帧而是先训练一个表征编码器把高维观测映射到低维隐状态再在隐空间里学习转移模型和价值模型。隐空间模型的好处是明显减少预测难度。像素级空间的预测要重建每一个细节而隐空间只需要保留与决策相关的信息。课程会从信息瓶颈的角度解释这一点隐空间等价于对观测做有损压缩压缩掉的部分恰好是与决策无关的视觉冗余。Dreamer 类方法的动作选择通过“想象 rollout”完成从当前隐状态出发用学习到的隐空间模型生成未来轨迹再在想象的轨迹上计算价值从而输出动作。这也让基于模型的强化学习和表示学习两个主题产生了直接交集。3.5 模型不确定性处理第 16 讲几乎一定会出现的主题是模型不确定性的处理方式。模型误差不可避免所以算法必须知道什么时候该信任模型。课程里提到的处理手段主要有三类一是前面说的集成不确定性估计用多个模型的差异判断不可信区域二是规划时显式对低置信区域施加惩罚避免策略利用模型的高误差漏洞三是只在模型预测不确定性较低的区域内使用模型数据超出置信范围就退回真实采样。这个部分是从看懂算法到实际调参的关键。很多复现效果差的案例核心问题不是模型结构不好而是不确定性处理过于粗糙导致策略“钻了模型的空子”。4. 从第 16 讲看向完整课程的知识衔接4.1 无模型到有模型的逻辑翻转前面十几讲的无模型方法本质上是绕开环境模型直接用采样和函数逼近解决问题。到了第 16 讲课程突然要求你重新理解“环境是否是可知的”。这种逻辑翻转对思维方式的冲击很大。无模型方法的策略优化建立在真实采样的回报之上数据分布总是真实环境的分布有模型方法则引入了一个数据分布转移问题模型生成的虚构轨迹其分布和真实轨迹存在偏差。第 16 讲会反复强调分布偏移对策略优化的影响这也是连接后面离线强化学习的重要桥段。4.2 离线强化学习、多任务与元学习的自然过渡一旦理解了“模型生成的样本不可完全信任”再往后学离线强化学习就会顺畅很多。离线强化学习本质上是数据分布固定、策略可能偏移到分布外区域的危险场景。这两个主题共享同一个底层问题怎么在分布外数据上做出可靠决策。多任务强化学习和元学习也能从这里延伸。有了环境模型算法可以把模型当作任务的“先验知识”在不同任务间迁移模型参数或者在元学习框架中用模型生成支持任务的虚拟训练数据。第 16 讲的前瞻价值在于它不只是讲一个孤立算法而是为课程最后几讲做概念铺垫。4.3 从课程作业到实际复现的思路伯克利这套课程的风格是“每讲必须有可运行的代码体验”。与第 16 讲配套的作业一般会围绕连续控制环境展开典型的做法是先在 MuJoCo 或同类连续控制环境中跑一个无模型基线算法记录达到目标回报需要的采样步数再实现一个简单的模型辅助算法对比同样回报水平下的采样量。从经验看课程作业里最有价值的不是把算法模型写得多复杂而是跑出那条“样本效率对比曲线”。理解了那条曲线才能真正理解第 16 讲存在的意义。5. 动手实验路线与评估指标5.1 推荐的最小实验环境如果没有课程作业环境可以自己在本地搭一个最小实验场景。建议选择连续控制环境中参数维度较低的任务比如小规模运动控制任务。实验环境需要具备以下条件状态维度适中、真实环境采样成本可控、能方便地读取每一步的完整状态。环境本地部署的通用流程是先配置 Python 环境和强化学习常用依赖库再准备一个支持连续状态动作的 Gym 或 Gymnasium 环境接口最后确认环境接口的 step 函数能返回状态、奖励、结束标志。# 最小实验环境接口检查示例 import gymnasium as gym env gym.make(HalfCheetah-v4) state, _ env.reset(seed42) for step in range(20): action env.action_space.sample() next_state, reward, terminated, truncated, info env.step(action) print(step, state.shape, action.shape, reward) state next_state if terminated or truncated: state, _ env.reset()5.2 评测指标设计评价一个基于模型的强化学习算法是否有效核心指标不是最终回报有多高而是“达到某个目标回报需要多少真实环境步数”。课程通常会用两条曲线做对比横轴是真实环境交互步数纵轴是策略平均回报。另一个重要指标是模型预测误差常用做法是计算模型 rollout 的下一状态预测与真实下一状态的均方误差。模型预测误差越小说明模型越贴近真实环境但要注意模型误差小并不直接等于策略性能好因为策略优化过程还会受分布偏移影响。5.3 可参考的对照实验结构对照实验建议这样设计一个无模型基线算法作为参照再实现一个最简单的模型辅助算法用同一套超参数范围跑对比相同真实采样预算下的策略表现。实验记录表可以按以下字段组织实验编号算法类型真实采样步数预算模型训练频率达到的平均回报模型预测误差备注01无模型基线100k无待填写无参照组02模型辅助100k每 1000 步待填写待填写对照组5.4 复现时容易踩的坑基于模型强化学习复现最容易踩的坑是模型 rollout 视界设得过长。实际操作时短视界的虚构数据训练稳定性和策略性能通常都更好。另一个常见问题是模型训练频率太低导致模型误差长期居高不下虚构数据反而拖累策略优化。还有一个隐蔽问题是数据采样分布和模型训练分布不一致。策略更新后新策略访问的状态与训练模型时的状态分布不同模型在新区域误差大。解决办法是保留一个足够大的真实经验池并且定期用最新数据重新训练模型。6. 工程化视角基于模型的强化学习在哪些场景真正有用6.1 真实采样成本极高的场景基于模型的强化学习最适用的场景是真实采样成本极高的情况。机器人真实运动、工业控制、大尺度的供应链决策都属于这类场景。在这些场景里无模型方法动辄百万级采样是不现实的基于模型方法可以先用真实数据学一个粗粒度模型然后在模型里大量试错。6.2 MPC 在控制类任务上的优势MPC 路线的优势在于安全性和实时性。因为每次决策都基于当前状态重新规划即使环境发生变化策略也不会因为记忆中的错误经验而持续犯错。对于控制类任务MPC 的直觉解释能力也更强你可以直接看到模型预测的未来轨迹和规划器选择的动作路径。6.3 当前局限与热点方向基于模型的强化学习在复杂视觉环境里仍然受限于模型预测的累积误差。一个主要热点方向是把扩散模型引入环境模型预测用扩散模型的生成能力处理高维观测的预测问题。另一个热点是把世界模型当作通用的“环境模拟器”配合大规模预训练范式使用。从课程内容看这两类方向都算是第 16 讲的延伸理解了基础框架以后再接触扩散模型世界模型理解成本会明显下降。7. 学习建议与排查清单7.1 听这一讲时应该重点记什么学习第 16 讲时笔记建议围绕三组对比展开。第一组是“无模型 vs 有模型”的对比记录各自的适用条件与采样效率差异。第二组是“规划式决策 vs 学习式策略”的对比理解 MPC 和策略网络的适用边界。第三组是“短视界 vs 长视界”的数据使用对比重点记录模型误差随 rollout 步数增大的现象。这三组对比能覆盖这一讲主要的算法设计决策点也是后续做研究或复现代码时的思考框架。7.2 理解上的常见卡点一个常见卡点是混淆“模型预测”和“真实环境”。模型始终是对真实环境的近似不是真实环境本身。策略在模型里表现优异不代表在真实环境里表现优异这一差异是理解整个 MBRL 的关键。另一个卡点是低估分布偏移的破坏力。策略在模型采集的虚构数据上反复训练后可能进入模型尚未学会的区域产生利用模型误差的虚假行为。解决办法不是设计更复杂的网络而是合理控制模型数据的使用比例和 rollout 长度。7.3 推荐的小型代码练习路径如果时间有限建议做三个递进的代码练习。第一步是在 Gym 环境里跑通无模型基线算法确认环境正常、曲线能收敛。第二步给环境包一层“真实动力学”接口禁止算法直接访问环境转移函数只允许采样获取数据。第三步实现一个简单的模型辅助算法用少量真实采样加大量虚构采样训练同一套策略网络。# 模型辅助更新的伪代码示例实际实现需按具体算法调整 # real_steps: 从真实环境采样的数据 # model_rollout_len: 模型虚构 rollout 的步数 # policy_update_steps: 每轮策略更新次数 for epoch in range(total_epochs): dynamics_model.update(real_buffer) for state in real_buffer.sample_batch(): fake_states [state] for step in range(model_rollout_len): action policy.sample_action(fake_states[-1]) fake_state dynamics_model.predict(fake_states[-1], action) fake_states.append(fake_state) fake_buffer.add(fake_states) for _ in range(policy_update_steps): policy.update(fake_buffer)这个练习能直观感受到基于模型方法的样本效率优势也能体会到模型误差对策略训练的影响。跑完这个流程再回去看第 16 讲的视频或讲义细节吸收效果会好很多。8. 总结与下一步第 16 讲“基于模型的强化学习算法”在伯克利 2026 春季深度强化学习课程里扮演的角色是从无模型思维切换到有模型思维的关键节点。课程通过学动力学模型、MPC 规划、模型辅助策略优化、隐空间世界模型和不确定性处理这几条路线系统回答了如何利用环境模型提升样本效率、如何控制模型误差影响两个核心问题。最先应该验证的内容是样本效率对比在同样的真实采样预算下一个最简单的模型辅助算法能否明显超过无模型基线。最容易踩的坑是长视界 rollout 带来的模型误差累积。后续可以往两个方向继续深挖一是把模型 rollout 与离线强化学习的分布偏移问题结合起来看二是关注扩散模型如何作为新一代世界模型的生成器。把第 16 讲的框架吃透这门课程后半段的离线强化学习、多任务与元学习章节都会更容易连贯起来。
