dqx46 / Robotics

外观

名词：GMR、LAFAN、Quest、PICO、TWIST2、UFO ​

这一页只解释「是什么、在栈里干什么、我们用哪条」。细节仍看 retargeting-teleop.md 和 frontier-wbc.md。

先前把社区口头里的 UFO 误写成 UFC / UHC。UHC 是 Luo 2022 的跟踪控制器，谱系里还在；UFO 是 RoboParty 2026 开源的无监督 RL 框架，和跟踪线并行。

它们怎么串起来 ​

人的动作（LAFAN BVH / VR 头显）
        ↓
GMR（运动重定向：人骨骼 → 机器人关节）
        ↓
全身策略（GMT / SONIC 跟踪，或 UFO 无监督）
        ↓
真机

VR 头显两条货：Quest 3（我们买） vs PICO（TWIST2、UFO deploy、小桥官方草稿更偏这条）
名字一句话链接
GMR人的动作转到机器人关节的 IK 工具github.com/YanjieZe/GMR
LAFANUbisoft 的一批人体 mocap BVH，拿来喂 GMRgithub.com/ubisoft/ubisoft-laforge-animation-dataset
QuestMeta 的 VR 头显；我们买 Quest 3 做遥操Meta Quest 3 · 软件 xr_teleoperate
PICO字节跳动的 VR 头显；TWIST2 / UFO 真机遥操 / 小桥官方草稿走这条PICO
TWIST2用 PICO、不用光学动捕的全身采数系统；在线重定向就是 GMRgithub.com/amazon-far/TWIST2 · 项目页
UFORoboParty 的无监督全身控制框架（FB / TeCH），不是跟踪模仿github.com/Roboparty/UFO · 项目页

GMR — General Motion Retargeting ​

干什么： 把人的运动（BVH / SMPL-X / FBX）变成某台人形机器人的关节角。人 1.8 m、小桥 0.85 m、G1 1.3 m，骨骼也不一样，不能把 mocap 关节角直接灌进电机。GMR 用 mink 做实时 QP IK（位置 + 姿态约束），CPU 上就能跑，所以离线做数据集和在线跟 VR 都能用。

论文 / 代码：

  • 代码：YanjieZe/GMR（ICRA 2026，MIT）
  • 论文：arXiv:2510.02252 Retargeting Matters: General Motion Retargeting for Humanoid Motion Tracking
  • 自动对齐身高 / offset：HUST-3W/GMR_autoik
  • 本机：/home/z/bridge/retargeting/GMR/

它不是控制器。输出是参考轨迹；真正让机器人不摔倒的是 GMT / SONIC / UFO 这类策略。TWIST / TWIST2 的在线全身遥操，重定向这一层就是 GMR。

LAFAN — Ubisoft La Forge Animation ​

干什么： 一套人体动作捕捉数据，不是软件。Ubisoft La Forge 公开的 LAFAN1：多演员、走路 / 跑 / 转 / 坐等，常见是 77 条 BVH。人形跟踪论文（GMT、BeyondMimic、GMR 示例）几乎都会用它当第一批参考运动。

链接：

  • 数据集：ubisoft/ubisoft-laforge-animation-dataset
  • 论文：Harvey et al., Robust Motion In-betweening, SIGGRAPH 2020
  • 本机：/home/z/bridge/motions/lafan1/bvh/
  • 许可：CC BY-NC-ND（学习 / 论文可以，不能直接进商用产品）

和 GMR 的关系：LAFAN 是「人怎么动」，GMR 是「把它变成小桥怎么动」。没有官方 URDF 之前，用 GMR 内置的 G1 跑通一条 walk BVH，工具链就算熟了。

下一档更大的人体库是 AMASS（要申请许可）。

Quest — Meta Quest ​

干什么： VR 头显。我们买的是 Quest 3：头的 6D 位姿 + Touch Plus 手柄（或手势）。浏览器走 HTTPS/WebRTC（Vuer），把头和手腕位姿送到电脑，再 IK / 重定向到机器人。

链接：

Quest 不是研究算法名。它只是输入设备。官方 Tele_Bridge 未必先接 Quest（见下条 PICO）。

PICO — 字节跳动 VR ​

干什么： 另一家 VR 头显（PICO 4 / 4 Ultra / 论文里的 PICO4U）。用法和 Quest 一样：头 + 手柄位姿。2025–2026 开源全身采数里 PICO 比 Quest 更常见，因为 TWIST2、UFO 真机遥操、以及不少国内机型的官方 VR 都按 PICO 写。

链接：

Quest 和 PICO 可以同时存在：Quest 走社区 xr_teleoperate；若官方 SDK 只认 PICO，再加一台或改输入端。虽然都可提供头手输入，坐标、追踪能力、运行时与接口仍需逐项适配，不能只换驱动名。

TWIST2 — Teleoperated Whole-body Imitation System 2 ​

干什么： 一套 全身遥操 + 采数 系统，不是单纯的 IK 仓库。目标：不用光学动捕棚，戴 PICO 就能让人形全身跟着人动，并且把演示存成数据集，上面再训 visuo-motor。

拆开看三层：

  1. PICO 按该系统的采集/估计流程提供人体参考（头手直接测量与全身估计需区分）
  2. GMR 在线重定向到机器人
  3. 学生跟踪策略（TWIST 训好的 WBC）在真机上跟上这些参考，保持平衡

TWIST（第一代）还靠 MoCap；TWIST2 改成便携 PICO，论文写 15 分钟能采约 100 条成功演示。数据和代码已开源。官方高层次 visuo-motor 另仓，当时还没全部放完。

链接：

和我们的关系：小桥官方遥操若走 PICO，TWIST2 是最接近的开源整包（GMR 我们已经拉了）。Quest 线先用 xr_teleoperate 的 4-DoF 臂模板，不要把两套 VR 协议混在一个启动脚本里。

UFO — RoboParty 无监督全身控制 ​

干什么： RoboParty（上海萝博派对）开源的人形 无监督强化学习 框架。全称按项目页：Unsupervised reinforcement learning Framework for humanoid cOntrol。

它和 GMT / SONIC 不是一类：

跟踪线（GMT / RGMT / SONIC）UFO
学什么跟一条参考运动（mocap / 重定向后的 qpos）先学行为表征，再按目标 / 奖励组合技能
算法PPO 跟踪误差FB（Forward-Backward / BFM-Zero）和 TeCH（对比学习时间距离）
数据先要 GMR 把人动作转到本机要已经是本机 RobotState 的运动；自己不做重定向
仿真Isaac 居多MJLab（MuJoCo）
真机各家自有部署deploy 分支，G1 最熟，带 Pico 遥操

项目页强调：跟踪仍是主流；无监督是另一条路，抗扰动、技能组合、数据效率是卖点，但工程门槛高，所以他们把训练、导数据、推理、ONNX、真机遥操作打成一套。G1 最完整；也演示过 RPO、H1、X2。换小桥需要自己的 MJCF + 已经重定向好的运动，checkpoint 不能跨本体直接用。

链接：

不要和 UHC 混： ZhengyiLuo/UHC 是 2022 仿真角色跟踪（residual force），SONIC 作者线的起点。UFO 是 2026 RoboParty 的 URL 框架。

本机实验状态（2026-10-19） ​

Quest 3 已购买；小桥实时 VR 遥操尚未验收。当前舞蹈训练使用本地 PPO tracker，不是 GMR 控制器或 SONIC/TWIST2 checkpoint。GMR/IK 产生参考，动态跟踪负责物理执行，VLA/行为克隆属于后续视觉操作学习。详见 当前进度。

dqx46 · Robotics / 算法工程项目与技术记录

小桥：非官方派生模型 · 当前结果仅在仿真中验证