感控一体：先让深度图参与迈步

更新：2026-10-20。当前是论文与代码准备阶段，尚未在本机完成感知行走基线。主深度相机选择已有D435i，以降低复现变量；D455保留作后续对比。

当前选择的项目路线

从 Hiking in the Wild 入手，理解深度图、身体状态与速度指令如何生成关节动作。作者的 InstinctLab 提供Isaac Lab实现，InstinctMJ是项目组织下的mjlab版本。

RoboParty训练入口及其 robolab 提供RPO适配；相机处理见 roboparty_camera，控制部署见 roboparty_deploy。这些是需要分别核对的实现，不默认权重与机器人模型可互换。

怎样理解这条闭环

历史深度图经过视觉编码，和关节状态、IMU、历史动作及速度指令共同输入策略，输出关节目标，底层控制器执行。PPO学习完成运动任务，AMP为运动风格提供参考；与按时间逐帧跟踪一段舞蹈不同。

它解决的是局部地形感知与运动控制。不能从上下楼梯演示推导出已经具备语义导航、家务操作或任意上肢输入下的平衡能力。

实施顺序

1. 官方G1模型与匹配预训练权重回放，检查实际深度输入。
2. 固定上游版本，运行官方小规模训练和评估。
3. 保留基线，再接入当前小桥学习模型及相机外参。
4. 分别检查通过率、落脚边缘、拖脚、深度遮挡和时延敏感性。

InstinctMJ与现有训练环境的依赖版本不同，后续单独建立环境，不升级当前训练使用的环境。具体命令应在固定版本和资产后记录。

后续阅读

• Extreme Parkour with Legged Robots：对照教师–学生视觉学习路线。
• Deep Whole-body Parkour：研究环境感知与更复杂全身动作的结合。
• SOLO：另一项采用D455的感知行走研究，可作为后续对比，尚未复现。

这些资料是研究入口；当前没有宣称上述策略已在小桥上跑通。