外观
重定向与遥操:实际做到哪里
非官方学习记录:小桥模型、重定向、训练配置、策略和评估均为我们本地自制/适配,可能与实机存在很大差距。现有结果只作学习对照;后续先按官方建立基准,再扩展。详见 官方基准路线。
更新:2026-10-19。术语见 glossary.md,实验见 小桥动作记录。
重定向、跟踪、遥操各管什么
- 重定向:把源动作转换成目标机器人参考。可用 IK、尺度/坐标调整、限位、避碰与时间正则。
- 动态跟踪:策略和 PD 在物理仿真或真机里跟参考,处理惯性、重力、接触和平衡。
- 遥操:持续接收人的输入,形成实时参考或任务命令;需要另外解决时序、延迟、丢帧与控制权。
参考预览可以通过逐帧设置 qpos 得到,不能证明动态平衡。一个运动片段可跟住,也不等于已经具备任意输入的实时通用控制器。
已有工具
GMR 是人体动作到机器人参考的工具链,底层使用 mink 与 MuJoCo。机器人适配需要模型、命名、对应关系、尺度和偏置;“换 --robot”建立在该机器人已登记的前提下。
GMR_autoik 可辅助估计尺度和 offset,不保证任意 CAD/URDF 零配置完成。mink 可独立做实时 IK,不等于完整动态 WBC。三者本地在 /home/z/bridge/retargeting/。
小桥本地已有模型,但当前已采用动作主要由 /home/z/bridge/rl/bridge_tracking/ 的专用脚本完成;不把它们记成已完成 GMR 通用 zeroth_bridge 登记。
已走过的三条输入链
- T1 李小龙:机器人参考 → 按实际轴线检查的关节/关键点映射 → 小桥腿/手臂约束 → 动态训练。
- 江南 Style:G1 机器人参考 → 小桥手臂姿态分支、肘/手 IK → 平滑与避碰 → 从头训练 v3。
- 2 Phút Hơn:VaM 场景控制器曲线 → 解码/坐标变换/50 Hz 重采样 → 小桥参考 → 循环接缝处理 → v1 六循环训练。
VaM 的控制器目标不是完整人体骨架;源包没有 BVH,不能仅改文件后缀后喂给 GMR。控制器绝对方向也不能直接等同于机器人 link 方向。
小桥适配中已经踩过的坑
关节名称不等于转轴功能
小桥手臂是肩三轴+肘一轴。T1 某些 Elbow 命名对应实际的上臂轴向旋转,必须依据模型/几何核对;左右符号也不能默认相同。模型页 记录了当前映射依据。
无腕与固定头部
四个手臂关节通常无法同时严格满足任意 6D 手部姿态。跟踪位置和选定姿态分量,并记录无法表示的部分。小桥没有主动颈部,腰只有 yaw;人体骨盆与胸/头独立反向侧倾无法完整表达。
2 Phút Hơn v1 保留了用户认可的舞蹈表现,但头部方向相对人体参考存在取舍。v2/v3 侧重人体头/胸方向,v4 增强 v1 腰 yaw,均未获采用;当前仅 v1 有正式训练基线。
连续性要看整段
逐帧 IK 可能切换肩部解分支,即便每帧都在限位内也会跳变。需要源姿态先验、时间连续性、速度/加速度检查和局部可视化。修参考后要重算 FK、关节/身体速度,不能只改 qpos 留下旧标签。
循环动作还要检查端点姿态和速度。训练时动作结束重采样会掩盖接缝,Phut v1 因此展开六循环进行动态测试。
Quest 3 路线
Quest 3 已买,相关代码已拉;尚无本机小桥实时遥操通过记录。
- xr_teleoperate:明确支持 Quest 3、手柄/手势与 H1 四自由度臂,是输入和 IK 工程参照。
- OpenTeleVision:浏览器 Vuer、第一人称画面和位姿传输的上游参考。
- TWIST2:全身遥操、GMR 与低层策略/采数整合参照,原版按 PICO 流程组织;不假定能直接换 Quest。
dex-retargeting面向灵巧手,当前平行夹只需要明确定义的开合宽度映射。
最小闭环建议:头手位姿 → 检查坐标/比例/延迟 → 固定身体的双臂 IK → 全身平衡与移动命令 → 同步图像和夹爪数据。
H1 模板同为 4-DoF 只是结构参考,小桥的 link、轴、零位和可达域仍需适配。Quest 的头和双手测量也不等于全身各关节真值。
采数准备
当前复现主相机选择已有 D435i,D455 保留;腕 RGB 模组和镜头仍待选,P100R 是历史候选。不要在数据格式里写死已装好双 P100R。
每条 episode 至少记录机器人关节、目标动作、夹爪宽度、图像时间戳、可选基座命令、控制模式和成功标签;校准/延迟/丢帧情况单独保存。先建立简单抓放闭环,再考虑 ACT/Diffusion 或 VLA 适配。
2026-10-20:Quest适配顺序
复用本地xr_teleoperate、TeleVuer和teleimager。先检查Quest头/双手柄位姿与按键,再复现H1原模型IK显示;同为四自由度不等于可直接复制运动学。小桥固定身体双臂IK验证后,到货时接实际官方SDK和模型,再扩展到支持上肢输入的站立/行走控制器。
坐标轴、初始原点、工作空间比例、手柄到夹爪TCP偏移、暂停/重新对中和断流行为都要定义。小桥没有主动颈部,头手位姿也不是全身关节测量;当前AMP行走策略不能默认支持任意VR双臂动作。
基础浏览器链路优先按作者HTTPS/WebXR流程验证,不把蓝牙、侧载APK、开发者模式或完整Isaac仿真当作纯输入阶段的必需条件。现有两个TeleVuer示例都默认连接相机服务,做纯输入测试需关闭该调用。尚未建立本机Quest连接验收记录。