【MicroDuck RL 12】给初学者的练习路线

:books: 《MicroDuck RL:训练机器鸭从仿真走到真机》 系列课程 · 第 12 集 / 共 14 集
上一集:【MicroDuck RL 11】命令速查表 | :open_book: 课程目录 | 下一集:【MicroDuck RL 13】实操记录与关键文件索引

给刚跑通环境的同学一条循序渐进的练习路线,按顺序做下来,对这个项目的理解会完全不一样。

1. 玩模型

用第 08 集的方法打开 MuJoCo 查看器:推倒机器人、看关节怎么动,对照 robot_walk.xml 找每个 body。目标:把"14 个关节"从数字变成你脑子里的实体。

2. 看训练

浏览器开 :8080(3D 查看器)+ :6006(TensorBoard 曲线),用 checkpoint 下拉框对比 model_250.pt 和 model_1000.pt 的差距——这是最直观的"学习在发生"。

3. 读配置

通读 microduck_velocity_env_cfg.py 的注释(它是写给后来者的),重点看奖励权重和 ENABLE_* 开关。对照第 05 集的解剖读,效率翻倍。

4. 读经验

仓库 AGENTS.md 的奖励设计一节,每条都是真实事故的教训。第 10 集讲了其中最核心的六条。

5. 动手改一个小实验(关键一步)

比如把 foot_slip 权重从 −0.1 改成 −1.0,跑冒烟测试 + 短训练(64 环境、几百迭代),对比走路风格——亲眼验证配置注释里"调强会妨碍原地转向"的说法。

改一个变量、短预算验证、对照注释复盘:这一个循环做完,你就入门了。

6. 进阶

读 mdp.py(7000+ 行,所有自定义奖励/事件/观测函数),挑一个奖励函数对照公式理解。读懂三个以上,你就具备给新任务写奖励的能力了。


:open_book: 系列课程目录:【系列课程】MicroDuck 强化学习:训练机器鸭从仿真走到真机 · 课程目录与导读