简介这份资源面向希望用MATLAB入门强化学习的开发者与在校学生聚焦二维迷宫场景下的最优路径求解问题。压缩包共3个文件均为m脚本整体约2KB分别承担迷宫环境反馈、动作选择与主流程调度等职责结构精简便于直接阅读与二次修改。内容围绕状态、动作、奖励与策略等核心概念展开涉及Q-learning、SARSA及DQN等算法的选型思路并说明小规模迷宫与大规模迷宫在算法复杂度上的取舍。已有218人学习适合作为课程实验或自学练手素材。读者可借此理解如何定义状态空间、动作空间、状态转移规则与奖励函数掌握Q表迭代更新与策略优化的基本流程并观察智能体从试错到收敛、最终找到起点至终点最优路径的完整过程为后续迁移到更复杂环境打下基础。1. 从一份 MATLAB 强化学习二维地图源码说起它到底能跑出什么如果你手上正好有一份名为matlab源代码强化学习算法二维地图.rar的压缩包或者你正在搜「matlab 强化学习 二维地图 源代码」想找一份能直接跑通的参考实现那这篇就是写给你的。它解决的核心问题很具体让一个智能体Agent在一张用矩阵表示的二维栅格地图里从起点走到终点同时绕开障碍物并且整个过程用 MATLAB 原生代码实现不依赖 Python 环境、不依赖深度学习工具箱之外的重型框架。这类源码通常包含三块东西地图生成把二维场景离散成网格矩阵、强化学习主体Q-Learning 或 DQN 的循环、可视化把每一步的路径画出来。它适合两类人一类是刚学完强化学习理论、想找一个能改参数、能看中间过程的最小可运行例子另一类是做机器人路径规划、AGV 调度、游戏 AI 的工程师需要一个能快速验证奖励函数设计的沙盒。二维地图这个设定不是偷懒而是把状态空间压到可控范围让你能把注意力放在奖励设计和收敛判断上而不是被高维感知拖垮。我见过太多人拿到这类压缩包后第一步就翻车解压出来一堆.m文件不知道从哪个入口跑改了个学习率结果曲线直接发散。所以下面不按「源码目录介绍」那种流水账写而是按「先立住原理、再动手复现、最后讲坑」的顺序把这份二维地图强化学习源码拆成能抄作业的步骤。2. 二维栅格地图与强化学习要素怎么对应状态、动作、奖励的建模选择2.1 为什么二维地图要用矩阵而不是坐标系二维地图在 MATLAB 里最常见的表示就是一个M×N的矩阵0 表示可通行1 表示障碍物2 和 3 分别标记起点和终点。用矩阵而不是连续坐标好处是状态可以直接用行列索引(i,j)表示状态空间大小就是M*NQ 表可以开成一个M*N行、动作数列的二维数组。这比连续状态下的函数逼近简单一个量级也让你能一眼看出 Q 表哪块没更新到。常见做法是地图尺寸取 10×10 到 20×20。太小比如 5×5路径太短看不出策略差异太大比如 50×50Q 表收敛需要的回合数会明显上升调试周期变长。我一般先用 10×10 跑通再换 20×20 验证泛化。2.2 动作空间与状态转移的四种写法动作空间通常取 4 个上、下、左、右。也有取 8 个的加对角线但 8 动作会让「斜穿障碍物角落」成为一个必须额外处理的边界问题新手容易在这里写出穿墙 bug。所以源码里如果用的是 4 动作不要觉得它简陋这是刻意规避边界歧义。状态转移要处理两件事撞墙和撞障碍。撞墙时有两种策略一种是留在原地一种是反弹回上一格。留在原地更常用因为它让「撞墙」这个动作的即时奖励为负智能体会自己学会避开。撞障碍同理通常给一个较大的负奖励比如 -1而每走一步给一个小的负奖励比如 -0.01用来鼓励最短路径。% 4 动作定义上 下 左 右 actions [-1 0; 1 0; 0 -1; 0 1]; function [nextState, reward, done] step(state, action, map, goal) [rows, cols] size(map); [r, c] ind2sub([rows, cols], state); nr r action(1); nc c action(2); % 边界与障碍判断 if nr 1 || nr rows || nc 1 || nc cols || map(nr, nc) 1 nextState state; % 撞墙或撞障碍留在原地 reward -1; % 惩罚 done false; else nextState sub2ind([rows, cols], nr, nc); if nextState goal reward 10; % 到达终点 done true; else reward -0.01; % 每步小惩罚鼓励最短路径 done false; end end end这段代码里三个参数最值得调撞墙惩罚、每步惩罚、到达奖励。撞墙惩罚绝对值太小比如 -0.1智能体会反复撞墙刷负奖励但不学太大比如 -100早期随机探索时 Q 值波动剧烈收敛慢。到达奖励要明显大于「最短路径步数 × 每步惩罚」否则智能体会觉得绕路更划算。2.3 Q-Learning 更新公式里两个容易设错的参数Q-Learning 的核心更新是Q(s,a) Q(s,a) α * [r γ * max(Q(s,:)) - Q(s,a)]α 是学习率γ 是折扣因子。二维地图场景下α 取 0.1 到 0.3 比较稳γ 取 0.9 到 0.95。γ 太接近 1智能体会过度看重远期奖励在障碍密集地图里容易在局部打转γ 太小比如 0.5它会变得短视宁可撞墙也不绕远路。还有一个隐藏参数是 ε-greedy 的 ε 衰减策略。常见写法是 ε 从 1.0 线性衰减到 0.05衰减回合数取总训练回合的 60% 到 80%。如果衰减太快智能体还没探索完地图就开始贪心容易卡在次优路径衰减太慢后期还在随机走收敛曲线一直抖。3. 用 MATLAB 把 Q-Learning 在二维地图上跑通从初始化到收敛的完整命令3.1 环境准备与入口文件识别拿到压缩包后先看目录里有没有main.m或run_*.m这类文件它通常就是入口。如果没有找包含for episode 1:max_episodes循环的那个文件。MATLAB 对文件名和函数名一致性有要求如果入口是脚本script而不是函数function直接按 F5 或命令行输入文件名即可运行。运行前确认两件事当前文件夹已切换到源码所在目录且没有同名.m文件在路径上冲突。我习惯在命令行先执行clear; clc; close all;避免上一次运行的变量残留导致「明明改了参数却没变化」这种玄学问题。3.2 Q 表初始化与训练主循环下面是一个可以直接抄的最小训练主循环假设地图是 10×10起点 1终点 100。clear; clc; close all; % 1. 构建地图0 可通行1 障碍 map zeros(10, 10); map(3, 2:8) 1; % 一堵横墙 map(6:9, 6) 1; % 一堵竖墙 startState 1; goalState 100; % 2. 超参数 alpha 0.2; % 学习率 gamma 0.95; % 折扣因子 epsilon 1.0; % 初始探索率 epsilonMin 0.05; epsilonDecay 0.995; % 每个回合衰减 maxEpisodes 500; % 3. Q 表初始化 numStates numel(map); numActions 4; Q zeros(numStates, numActions); actions [-1 0; 1 0; 0 -1; 0 1]; % 4. 训练 rewardsPerEpisode zeros(maxEpisodes, 1); for ep 1:maxEpisodes state startState; totalReward 0; for step 1:200 % 单回合最大步数防止死循环 % ε-greedy 选动作 if rand epsilon a randi(numActions); else [~, a] max(Q(state, :)); end [nextState, reward, done] step(state, actions(a,:), map, goalState); % Q 更新 Q(state, a) Q(state, a) alpha * ... (reward gamma * max(Q(nextState, :)) - Q(state, a)); state nextState; totalReward totalReward reward; if done break; end end rewardsPerEpisode(ep) totalReward; epsilon max(epsilonMin, epsilon * epsilonDecay); end % 5. 画收敛曲线 figure; plot(rewardsPerEpisode); xlabel(回合); ylabel(累计奖励); title(Q-Learning 二维地图收敛曲线); grid on;这段代码里step函数就是 2.2 节写的那段需要单独存成step.m或放在同一脚本末尾MATLAB R2016b 之后支持脚本内局部函数。maxEpisodes取 500 是经验值10×10 地图通常 300 到 800 回合能收敛。step上限 200 是后悔药防止智能体在某个状态反复横跳导致单回合不结束。3.3 策略提取与路径可视化训练完后 Q 表里每个状态取max对应的动作就是贪心策略。把从起点开始按贪心策略走出来的路径画在地图上能直观判断策略是否合理。% 提取贪心路径 path startState; state startState; for k 1:100 [~, a] max(Q(state, :)); [nextState, ~, done] step(state, actions(a,:), map, goalState); if nextState state % 撞墙说明策略有问题 break; end path [path; nextState]; state nextState; if done break; end end % 可视化 figure; imagesc(map); colormap(gray); hold on; [pr, pc] ind2sub(size(map), path); plot(pc, pr, r-o, LineWidth, 2); plot(ind2sub(size(map), startState, 2), ... ind2sub(size(map), startState, 1), go, MarkerSize, 10); plot(ind2sub(size(map), goalState, 2), ... ind2sub(size(map), goalState, 1), bo, MarkerSize, 10); title(Q-Learning 学到的路径);如果路径出现来回震荡或者提前停在障碍前先别怀疑算法八成是奖励设置或 ε 衰减的问题。把rewardsPerEpisode画出来看如果曲线在 -50 附近长期不上升说明智能体根本没学到有效策略这时候优先检查step函数里撞墙判断的边界条件。4. 避坑与排查二维地图强化学习源码最常见的 5 个翻车点4.1 现象训练曲线一直震荡不收敛Q 值越来越大原因通常是 Q 更新里用了max(Q(nextState,:))但nextState是终止状态时没有屏蔽后续 Q 值。到达终点后donetrue但代码仍然把gamma * max(Q(goal,:))加进去导致终点的 Q 值被反复放大。解决在 Q 更新前判断if done, target reward; else target reward gamma*max(...); end。4.2 现象智能体学会绕远路明明有更短路径却走大圈这是每步惩罚设置过小或折扣因子过高的典型症状。每步惩罚 -0.01 时绕 10 步只多扣 0.1而 γ0.99 会让远期奖励几乎不打折智能体对「多走几步」不敏感。解决把每步惩罚调到 -0.05 到 -0.1γ 降到 0.9 到 0.95重新训练。4.3 现象换了地图尺寸后代码报索引越界常见于把地图从 10×10 改成 20×20 后sub2ind和ind2sub的维度参数没同步改或者动作数组里[-1 0]在边界行上算出nr0。解决所有涉及行列计算的地方统一用[rows, cols] size(map)动态获取不要硬编码 10。边界判断里nr 1和nr rows两个条件缺一不可。4.4 现象MATLAB 中文注释乱码尤其是 2023 之后的版本这是编码问题不是代码问题。MATLAB 2023 起默认用 UTF-8但老源码可能是 GBK。解决用feature(DefaultCharacterSet)查看当前编码或者在编辑器里「另存为」时手动选 UTF-8。如果批量文件乱码用 VS Code 打开后逐个转码再保存别在 MATLAB 里直接改容易越改越乱。4.5 现象训练时快时慢同样参数两次运行结果差很多强化学习本身有随机性rand和randi没固定种子时每次结果都不同。如果差异大到「一次收敛一次发散」先固定随机种子rng(42)再跑确认是参数问题还是随机性问题。固定种子后仍然发散才是真的参数或逻辑有 bug。5. 把二维地图 Q-Learning 用到自己场景的三个进阶技巧第一个技巧是奖励塑形Reward Shaping。原始奖励只有「到终点 10、撞墙 -1、每步 -0.01」在障碍密集地图里稀疏得可怜。我一般会加一个基于曼哈顿距离的势函数每走一步如果离终点更近额外给 0.02反之给 -0.02。这样智能体早期就能感知到方向收敛回合数通常能砍掉三分之一。注意势函数要满足「势能差」形式否则会改变最优策略。第二个技巧是用containers.Map或稀疏矩阵存 Q 表。10×10 地图 Q 表才 100×4随便开。但如果地图到 100×100Q 表就是 10000×4用普通矩阵没问题可一旦状态变成「位置朝向」的组合状态数翻几倍这时候用稀疏存储能省内存。MATLAB 里sparse对 Q 表更新支持良好max操作也兼容。第三个技巧是验证策略时不要只看一条路径。固定种子跑出来的贪心路径可能只是众多最优路径中的一条。我习惯把起点周围 5 个状态各跑一次贪心看是否都能到终点以此判断 Q 表是否真的覆盖了地图大部分区域。如果某些起点走几步就卡住说明那些状态的 Q 值还没被充分更新需要增加训练回合或调整 ε 衰减。最后说个我自己的习惯每次改完奖励函数先把maxEpisodes设成 50 跑一遍看前 50 回合的累计奖励有没有上升趋势。有趋势再放开到 500 回合没趋势就先查奖励逻辑别硬跑。这个习惯帮我省过很多次「跑了一晚上发现奖励写反了」的时间。希望帮到你。本文还有配套的精品资源点击获取
