外观
全身控制前沿
本页主要是 2026-10-05~06 的论文理解与索引,2026-10-19 同步本机进度。不是逐项重新核查的实时排行榜,也不代表下列方法已本机复现。实际学习结果见 实验记录,新候选见 next-projects.md。
人形 2025–2026 的主线:把「跟参考运动」做成可扩展的行为先验,再当全身 WBC 给遥操和 VLA 用。下面按谱系记,不是按字母表。
UFO 是 RoboParty 的无监督全身控制框架(代码 · 项目页),和跟踪线并行,名词见 glossary.md。UHC 仍是 Luo 2022 的跟踪控制器,不要和 UFO 混。
NVIDIA 文档里还有一对容易混的词:
| 名字 | 是什么 |
|---|---|
| Decoupled WBC | 下身 RL + 上身 IK,用在 GR00T N1.5 / N1.6 |
| GEAR-SONIC | 统一全身跟踪策略,当行为基础模型,N1.7 路线 |
| MotionBricks | 同仓库里的实时潜空间运动生成,偏交互 / 动画 |
代码与文档:NVlabs/GR00T-WholeBodyControl,文档 nvlabs.github.io/GR00T-WholeBodyControl。
谱系(跟踪 → 真机人形)
UHC (2022, MuJoCo, residual force)
→ PHC (2023, 去掉外力, PMCP 扩容量)
→ 仿真角色跟踪成熟
GMT (2025, UCSD) 真机单策略通用跟踪;Adaptive Sampling + Motion MoE
BeyondMimic / Any2Track 对照:单条或小集合 mimicing
RGMT (2026) 更鲁棒的广义跟踪
Extreme-RGMT RGMT 的极限运动 / 扰动向
PGMT (2026) 跟踪 + 地形感知
SONIC (2025–2026, NVIDIA) 把跟踪规模做成 foundation;Science Robotics 2026
ASAP / TWIST / HOVER 并行:真机敏捷、遥操全身、统一神经 WBC
UFO (RoboParty, 2026) 并行:无监督 RL(FB / TeCH),不是跟踪
官方 FlowMimic 小桥论文线:稀疏指令 + 蒸馏(代码未放)必读表
| 工作 | 年份 | 一句话 | 链接 |
|---|---|---|---|
| UHC | 2022 | 一帧参考 → 物理人形;靠 residual force 站住 | github.com/ZhengyiLuo/UHC · arXiv:2206.09286 |
| PHC | 2023 | 去掉外力、可恢复摔倒、扩到大规模 clip | github.com/ZhengyiLuo/PHC · arXiv:2305.06456 |
| GMT | 2025 | 真机通用运动跟踪;采样不均 + MoE | gmt-humanoid.github.io · arXiv:2506.14770 |
| RGMT | 2026 | Robust Generalized Motion Tracking | arXiv:2601.23080 |
| Extreme-RGMT | 2026 | RGMT 向更极端运动 / 扰动 | 跟 RGMT 作者线,补项目页 |
| PGMT | 2026 | 地形观测注入通用 tracker | arXiv:2609.08511 |
| SONIC | 2025–26 | 超大规模跟踪 → 自然全身控制;可挂 VLA / VR | nvlabs.github.io/GEAR-SONIC · arXiv:2511.07820 · 代码在 GR00T-WBC |
| BeyondMimic | 2025 | 高质量单运动 / 重训成多运动的对照 | SONIC 论文基线 |
| TWIST | 2025 | 全身模仿遥操(MoCap → 真机跟踪) | yanjieze.com/humanoid-foundation |
| TWIST2 | 2025 | 无 MoCap、PICO 全身采数;和 GMR 同一条工具链 | github.com/amazon-far/TWIST2 · arXiv:2511.02832 · 数据 twist-data.github.io |
| HOVER | 2024 | 统一神经全身控制器,多技能 | hover-versatile-humanoid.github.io |
| ASAP | 2025 | 仿真–真机物理对齐,敏捷全身技能 | arXiv:2502.01143 |
| OmniRetarget | 2025 | 交互保持的大规模重定向数据工厂 | 给 tracker 供数,不是控制器本身 |
| FlowMimic | — | 小桥官方:稀疏指令全身控制 | 未公开 |
| UFO | 2026 | RoboParty 无监督 RL 全身控制(FB / TeCH);G1 最熟,自带 Pico 遥操 | github.com/Roboparty/UFO · roboparty.github.io/UFO · Lab |
论文中的比较必须连同模型规模、数据量、重定向、动作集和评估协议一起读,不能把某个结果推广为所有任务的强弱排序。复杂地形还需要感知与环境适应;PGMT/PHP 等可作为不同配方的研究入口。
训练配方(记在这里,避免每次重翻论文)
通用骨架几乎一样,差在数据规模、采样、网络、域随机:
- 参考:SMPL / BVH → 重定向到机器人 keypoint 或关节。
- 任务:最小化跟踪误差;倒地 terminate 或单独 recovery。
- 采样:GMT 的 Adaptive Sampling 解决「走路太多、空翻太少」。
- 网络:普通 MLP → Motion MoE(GMT)→ 更大容量 / 更多数据(SONIC)。
- 真机:观测延迟、电机模型、外脚接触;ASAP 专门打这一层。
- 部署:多速率。SONIC 真机示例量级:电机环 ~500 Hz,WBC 几十到 100+ Hz,VLA ~10 Hz。
小桥落地时不要一上来复现 SONIC 的数据规模。正确顺序:
- 一条 LAFAN walk 在仿真里跟住(BeyondMimic 量级)。
- 几十条 LAFAN 单策略(GMT 量级想法)。
- 再考虑 MoE、感知、和官方 FlowMimic 对照。
和「传统 locomotion」的关系
LocoWiki 里大量的 velocity-tracking 步态(legged_gym 那套)仍然有用:
- 官方如果只给速度命令接口,那就是下层。
- 速度命令任务与时序参考跟踪有联系,但目标接口不同;动作库包含走路,不自动得到任意速度指令控制能力。
- 不要把「再训一个能走的 PPO」当成 2026 的研究问题,除非是为了验证 URDF / 电机模型。
感知 locomotion 可以采用地形输入、技能组合、教师—学生等不同设计。新核查的 PHP 实现包含深度学生与 MuJoCo demo,具体入口见 候选项目。
待补条目
| 代号 | 状态 |
|---|---|
| Extreme-RGMT | 项目页 / 代码仍缺,跟 RGMT 作者线 |
| AMO、HOMIE、KungfuBot、FALCON、OpenHLM | 开源对照,有空补一行 |
| FlowMimic | 等 Zeroth Skill / Sim Hub |
与我们已有实验的连接(2026-10-19)
已经完成的是单动作 PPO tracking:T1 李小龙、小桥江南 Style v3 和 2 Phút Hơn v1 等。尚未完成通用 SONIC/GMT/UFO 训练。模型和单动作链路已有结果后,可按目标选择 HoST 起身、HOMIE 协调或 PHP 感知运动,不再等待一个笼统的“官方模型到来”。