外观
从已有实验继续学习
全局高优先级技术路线:所有方向均以复现为主、优先复用开源原生实现;先上游基线,再最小必要适配。模型、关节映射、物理参数与策略权重必须核对,不能盲目复用。详见 复现与复用优先。
非官方学习记录:小桥模型、重定向、训练配置、策略和评估均为我们本地自制/适配,可能与实机存在很大差距。现有结果只作学习对照;后续先按官方建立基准,再扩展。详见 官方基准路线。
更新:2026-10-20。按“能运行 → 能解释 → 能验证 → 能迁移”前进。这里记录实际阶段,论文词典与项目清单不等于待办。
第一阶段:理解 RL 闭环——已完成实际入门
我们用 mjlab 开始,从早期自配 T1 任务转到社区原配方,完成速度跟踪训练与终端控制,再进入 tracking。
已经见过的现象:随机策略摔倒复位、奖励上升却滑行、头部缺少奖励时偏离参考、训练片段存活与完整动作质量不一致。
现在带着实验回看 rl-primer.md,重点解释:观测从哪来、策略输出什么、PD 如何执行、奖励和提前终止分别限制什么。训练与验收 补充日志和收敛判断。
第二阶段:单动作跟踪——T1 和小桥均已有结果
- [x] T1 原配方 locomotion 定量检查。
- [x] T1 tracking,定位头部跟踪遗漏,并保存李小龙基线。
- [x] 从官方机械 CAD 建立本地小桥模型。
- [x] T1/G1 动作到小桥的重定向与模型差异检查。
- [x] 小桥李小龙动作自由基座动力学可行性实验。
- [x] 江南 Style v3 完整片段训练、局部手臂评估及用户验收。
- [x] 2 Phút Hơn v1 六循环训练、三组评估及用户选版。
这类 tracking 仍用 PPO/RL:策略通过物理环境中的参考误差奖励学习,不是把动捕关节直接当行为克隆标签。记录在 experiments/。
当前正式主线:先建立官方基准
现有小桥结果均归档为自制学习过程。按 official-baseline.md 获取并固定官方材料 → 原样复现官方仿真 → 按官方流程建立实机基准 → 一次一项扩展。官方材料缺失就如实记录,不能用本地估计参数补齐后称为官方。
这不否定已完成的学习,但不把当前模型上的通过率当作真实机器人能力。之后新的正式小桥结论都注明使用的官方基准版本和实际改动。
并行学习:T800 AMP 拟人行走——已开始推理验证
本次记录:官方 T800 模型/权重 → 本地 MuJoCo 直行/转弯/停步回放 → 接下来审查参考动作与目标风格 → 理解 AMP/PPO 训练。这一 T800 外部模型回放本身没有重训;随后按用户要求启动了下面的小桥自制模型 AMP 学习实验。正式实机扩展仍遵循官方基准顺序。
2026-10-20 后续:已按用户要求启动 小桥 T800 风格 AMP 学习。自制模型运动学参考通过检查,v2 新训练进行中,尚未验收行走;后续正式实机结论仍先建立官方基准。
第三阶段:官方基准后的新能力候选——尚未开始
一次选一个,有三个自然的方向:
- 起身恢复:HoST 官方机器人复现 → 小桥平地仰卧起身 → 侧躺/俯卧 → 起身后稳定站立。学习课程、奖励分组、初始姿态分布和多点接触。
- 可操控全身协调:HOMIE 原版或现有 mjlab 移植 → 小桥速度/高度命令 → 上半身运动扰动下保持平衡。为遥操和家务建立底层能力。
- 感知运动:PHP 官方 G1 MuJoCo 策略 → 理解深度输入、教师/学生和地形 → 小规模训练 → 评估小桥适配。
项目公开程度、代码框架与首次验收条件见 next-projects.md。也可选择多动作 tracker;已有单动作结果是它的基础,不需要机械地等到真机操作全部结束才学习。
第四阶段:Quest 与操作数据
Quest 3 已买,尚无小桥实时遥操验收记录。建议逐步打通:
- 头显/手柄位姿进入主机,核对坐标、比例、延迟和丢帧。
- 固定身体的小桥双臂 IK;4-DoF 臂跟踪位置和可达的姿态分量。
- 接速度/高度控制与全身平衡;IK 输出作为参考,不和底层策略争夺关节。
- 加平行夹开合、图像与时间戳,记录一个简单抓放任务。
头手追踪不等于测到了全身真实姿态。TWIST2 的原版入口以 PICO 为主,Quest 优先用已有 xr_teleoperate;设备支持不能想当然互换。
第五阶段:视觉模仿学习与家务
先做固定场景、少量硬物抓放,定义成功/失败与留出测试;再选 ACT 或 Diffusion Policy 建立基线。记录图像、关节、夹爪宽度、动作时序与标定。
之后可研究 OpenPI/GR00T 适配、行走操作、擦桌子和叠衣服。选择模型依据公开代码/权重、数据接口与本机资源;不因视频演示就假定可直接复现整套家务系统。
腕部相机与镜头、夹爪标定/辨识可按操作实验需求提前准备。系统辨识要在实际机械装配、驱动接口和可测信号明确后设计,不能靠换一个辨识库补齐不可观测的参数。
真机路线可并行准备,单独验收
独立仿真学习可以继续;小桥策略上机以官方部署流程为先,仿真与实机分别建立基准。需要核对:编码器零位/正向、并联踝映射、力矩/速度/热限制、质量与负载、驱动延迟、通信和急停。先完成受控关节测试,再逐步放开动态任务。
当前的小桥舞蹈结果只证明暂定模型下的仿真控制可行性。固定种子模拟扰动通过,也不等于已完成域随机鲁棒训练或真实抗推验证。
每次实验的最小闭环
写目标和成功标准 → 固定代码/模型/参考 → 短流程检查 → 正式训练 → 独立完整回放 → 查全局与局部误差 → 用户观看 → 记录采用或放弃原因。
旧学习参考保留,正式官方基准另建记录,之后扩展建独立 run。是否从头训练、只加载 actor 或完整 resume 必须写清;当前两项小桥舞蹈基线均为从头训练。