Skip to content

下一项目候选:从跳舞扩展到新能力 ​

非官方学习记录:小桥模型、重定向、训练配置、策略和评估均为我们本地自制/适配,可能与实机存在很大差距。现有结果只作学习对照;后续先按官方建立基准,再扩展。详见 官方基准路线。

核查:2026-10-20。已选择 T800 AMP 作为拟人行走学习入口,完成预训练策略的本地 MuJoCo 回放,随后完成小桥自制模型AMP v3训练:前进/左右转可完成20秒,零命令站立失败,风格幅度不足,未通过整体验收。其他方向继续作为候选。已经跑通单动作跟踪,下一步优先增加一种能力,同时保持实验范围清楚。

1. HoST:躺倒后自己站起来 ​

  • 官方代码 · 论文 · 演示
  • 用途:以 RL 学习不同倒地姿态下起身,有平地、平台、斜坡等训练/评估入口,也有其他机器人迁移说明。
  • 框架:原实现使用 Isaac Gym / legged_gym / PyTorch。当前不在本地工作区,不能直接当作现有 mjlab 任务运行。
  • 对我们有趣的点:学习目标奖励、课程辅助、阶段划分、多点接触;不必先找到一条理想起身动捕。
  • 最小实验:先运行官方 G1 流程,再做小桥平地仰卧起身;成功后保持站立、统计固定测试姿态成功率,再增加侧躺/俯卧。
  • 要解决:小桥手臂支撑可达性、手/膝/躯干碰撞、起身初值、关节限制与暂定动力学。不能沿用舞蹈“躯干接地就失败”的设置。

已有更贴近现有训练栈的入口:mjlab_playground,本地 /home/z/bridge/rl/mjlab_playground/ 已含 Mjlab-Getup-Flat-Booster-T1。可以先在 T1 跑通起身,再决定移植到小桥;它与 HoST 原实现是两条不同配方,不把它称作 HoST 的 mjlab 版。

学习候选建议:下一个主题选平地起身,先比较现有 T1 getup 与 HoST 的接口和奖励,选一条入口。尚未由用户确认或启动训练。

2. HOMIE:行走、下蹲与上半身运动协调 ​

  • 官方代码 · 论文 · 演示
  • mjlab 社区移植,本地 /home/z/bridge/rl/mjlab-homierl/。
  • 用途:接受速度/身体高度命令,在上半身持续改变姿态时维持下半身运动和平衡,为遥操扩大操作空间。
  • 最小实验:先用 G1 的现成 checkpoint 或原配方验收“走—停—蹲—起”,随后给上半身扰动;再迁移小桥。
  • 本地移植与官方并非完全同配方,其 README 明确写了接触、增益、动作比例、随机化等差异。安装前核对 mjlab 版本,避免覆盖我们固定的 tracking 环境。
  • 官方 README 2026-07 还指出 GR00T-WBC 中的 Homie v2 与 SONIC;历史 HOMIE 不是所有新模型的替代名词。

这条更接近未来“蹲下取物、站起来放置”的底层能力,但学会全身协调不等于已学会识别和抓取物体。

3. Quest 3:实时双臂跟随与采数 ​

  • 宇树 xr_teleoperate · OpenTeleVision
  • Quest 3 已买,相关代码已在 /home/z/bridge/teleop/。上游明确支持 Quest 3 和 H1 四自由度手臂;H1 配置可参考,不能直接代替小桥的轴线、尺寸和限位。
  • 最小实验:先固定身体,头手数据 → 坐标变换 → 小桥臂 IK → MuJoCo;记录延迟与可达误差,再接行走/高度控制。
  • 手柄可以给夹爪开合和移动命令。仅头手跟踪不等于有了真实骨盆、膝、足姿态;不把 Quest 当作完整光学动捕。
  • 下一层:同步图像、关节和夹爪宽度,记录一个简单抓放任务,成为 ACT/Diffusion 的数据入口。

原版 TWIST2 主要按 PICO 组织流程。不能因为它也用 VR,就省略 Quest 数据适配。

4. PHP:深度视觉障碍穿越 ​

  • Perceptive Humanoid Parkour 官方代码 · 论文 · 演示
  • mjlab 社区移植,官方仓库列出的社区项目;目前未下载到本工作区。
  • 流程:离线 motion matching 组合技能 → 特权状态/地形教师策略 → DAgger + RL 蒸馏为深度图学生。
  • 公开入口:官方提供可下载校验的 depth backbone + student ONNX,以及 MuJoCo sim2sim 指南;先体验现成 G1 策略,不必先把全部教师重训一遍。
  • 最小实验:记录一条官方障碍路线的完整 rollout、策略深度输入和失败情况;核对相机位姿、内参、预处理与频率。
  • 之后再考虑小桥重定向、接触结构与 D455。不能把 G1 权重直接加载给小桥,也不能直接将任意 D455 深度图替换网络输入。

完整教师/学生训练比目前单动作 tracking 复杂很多。3090 能跑当前 4096 环境舞蹈,不等于同样规模的带相机训练也适合;先测显存、吞吐和小规模环境。

5. 多动作策略:MimicKit / AMP / ASE ​

2026-10-20 已开始 T800 AMP 官方权重学习回放,完成名义直行/左右转/停步测试;下一步先看参考与风格,再讨论重训。

  • MimicKit · AMP 说明 · ProtoMotions
  • 用途:学习动作数据集中的运动先验或技能表示,并与方向/速度等任务目标结合;从“一段动作一个策略”迈向复用技能。
  • 最小实验:先用作者提供的角色、数据与 checkpoint 理解 AMP 判别器/ASE 技能表示,再选少量可执行的小桥动作做数据集。
  • 当前三个独立 checkpoint 不能直接拼成一个已经会切换的策略。还需要定义条件、参考采样、过渡、数据一致性和任务奖励。
  • 框架、资产、依赖和本机性能先核查;不直接从全 AMASS 或大规模通用跟踪训练开始。

当前已完成 小桥 T800 风格 AMP v3 的3000轮训练和动态测试,整体未通过;先定位贴地碎步和零命令站立失稳,不直接增加训练轮数。

选择和验收原则 ​

正式小桥扩展先完成 官方基准路线;下列项目可在其他机器人或独立学习环境探索,不将当前自制小桥结果升级为官方基准。选定后仅建立一个主要实验:先把上游指定机器人的入口跑通,保存环境/代码版本,再适配小桥。项目演示、官方声明、社区移植和本机实测分别记录。

候选页不替代具体实验记录。运行后将真实结果写入 experiments/,同步 当前状态 与 路线。

dqx46 · Robotics / 算法工程项目与技术记录