Skip to content

全身控制前沿 ​

本页主要是 2026-10-05~06 的论文理解与索引,2026-10-19 同步本机进度。不是逐项重新核查的实时排行榜,也不代表下列方法已本机复现。实际学习结果见 实验记录,新候选见 next-projects.md。

人形 2025–2026 的主线:把「跟参考运动」做成可扩展的行为先验,再当全身 WBC 给遥操和 VLA 用。下面按谱系记,不是按字母表。

UFO 是 RoboParty 的无监督全身控制框架(代码 · 项目页),和跟踪线并行,名词见 glossary.md。UHC 仍是 Luo 2022 的跟踪控制器,不要和 UFO 混。

NVIDIA 文档里还有一对容易混的词:

名字是什么
Decoupled WBC下身 RL + 上身 IK,用在 GR00T N1.5 / N1.6
GEAR-SONIC统一全身跟踪策略,当行为基础模型,N1.7 路线
MotionBricks同仓库里的实时潜空间运动生成,偏交互 / 动画

代码与文档:NVlabs/GR00T-WholeBodyControl,文档 nvlabs.github.io/GR00T-WholeBodyControl。


谱系(跟踪 → 真机人形) ​

UHC (2022, MuJoCo, residual force)
  → PHC (2023, 去掉外力, PMCP 扩容量)
    → 仿真角色跟踪成熟
GMT (2025, UCSD)           真机单策略通用跟踪;Adaptive Sampling + Motion MoE
BeyondMimic / Any2Track    对照:单条或小集合 mimicing
RGMT (2026)                更鲁棒的广义跟踪
Extreme-RGMT               RGMT 的极限运动 / 扰动向
PGMT (2026)                跟踪 + 地形感知
SONIC (2025–2026, NVIDIA)  把跟踪规模做成 foundation;Science Robotics 2026
ASAP / TWIST / HOVER       并行:真机敏捷、遥操全身、统一神经 WBC
UFO (RoboParty, 2026)      并行:无监督 RL(FB / TeCH),不是跟踪
官方 FlowMimic             小桥论文线:稀疏指令 + 蒸馏(代码未放)

必读表 ​

工作年份一句话链接
UHC2022一帧参考 → 物理人形;靠 residual force 站住github.com/ZhengyiLuo/UHC · arXiv:2206.09286
PHC2023去掉外力、可恢复摔倒、扩到大规模 clipgithub.com/ZhengyiLuo/PHC · arXiv:2305.06456
GMT2025真机通用运动跟踪;采样不均 + MoEgmt-humanoid.github.io · arXiv:2506.14770
RGMT2026Robust Generalized Motion TrackingarXiv:2601.23080
Extreme-RGMT2026RGMT 向更极端运动 / 扰动跟 RGMT 作者线,补项目页
PGMT2026地形观测注入通用 trackerarXiv:2609.08511
SONIC2025–26超大规模跟踪 → 自然全身控制;可挂 VLA / VRnvlabs.github.io/GEAR-SONIC · arXiv:2511.07820 · 代码在 GR00T-WBC
BeyondMimic2025高质量单运动 / 重训成多运动的对照SONIC 论文基线
TWIST2025全身模仿遥操(MoCap → 真机跟踪)yanjieze.com/humanoid-foundation
TWIST22025无 MoCap、PICO 全身采数;和 GMR 同一条工具链github.com/amazon-far/TWIST2 · arXiv:2511.02832 · 数据 twist-data.github.io
HOVER2024统一神经全身控制器,多技能hover-versatile-humanoid.github.io
ASAP2025仿真–真机物理对齐,敏捷全身技能arXiv:2502.01143
OmniRetarget2025交互保持的大规模重定向数据工厂给 tracker 供数,不是控制器本身
FlowMimic—小桥官方:稀疏指令全身控制未公开
UFO2026RoboParty 无监督 RL 全身控制(FB / TeCH);G1 最熟,自带 Pico 遥操github.com/Roboparty/UFO · roboparty.github.io/UFO · Lab

论文中的比较必须连同模型规模、数据量、重定向、动作集和评估协议一起读,不能把某个结果推广为所有任务的强弱排序。复杂地形还需要感知与环境适应;PGMT/PHP 等可作为不同配方的研究入口。


训练配方(记在这里,避免每次重翻论文) ​

通用骨架几乎一样,差在数据规模、采样、网络、域随机:

  1. 参考:SMPL / BVH → 重定向到机器人 keypoint 或关节。
  2. 任务:最小化跟踪误差;倒地 terminate 或单独 recovery。
  3. 采样:GMT 的 Adaptive Sampling 解决「走路太多、空翻太少」。
  4. 网络:普通 MLP → Motion MoE(GMT)→ 更大容量 / 更多数据(SONIC)。
  5. 真机:观测延迟、电机模型、外脚接触;ASAP 专门打这一层。
  6. 部署:多速率。SONIC 真机示例量级:电机环 ~500 Hz,WBC 几十到 100+ Hz,VLA ~10 Hz。

小桥落地时不要一上来复现 SONIC 的数据规模。正确顺序:

  1. 一条 LAFAN walk 在仿真里跟住(BeyondMimic 量级)。
  2. 几十条 LAFAN 单策略(GMT 量级想法)。
  3. 再考虑 MoE、感知、和官方 FlowMimic 对照。

和「传统 locomotion」的关系 ​

LocoWiki 里大量的 velocity-tracking 步态(legged_gym 那套)仍然有用:

  • 官方如果只给速度命令接口,那就是下层。
  • 速度命令任务与时序参考跟踪有联系,但目标接口不同;动作库包含走路,不自动得到任意速度指令控制能力。
  • 不要把「再训一个能走的 PPO」当成 2026 的研究问题,除非是为了验证 URDF / 电机模型。

感知 locomotion 可以采用地形输入、技能组合、教师—学生等不同设计。新核查的 PHP 实现包含深度学生与 MuJoCo demo,具体入口见 候选项目。


待补条目 ​

代号状态
Extreme-RGMT项目页 / 代码仍缺,跟 RGMT 作者线
AMO、HOMIE、KungfuBot、FALCON、OpenHLM开源对照,有空补一行
FlowMimic等 Zeroth Skill / Sim Hub

与我们已有实验的连接(2026-10-19) ​

已经完成的是单动作 PPO tracking:T1 李小龙、小桥江南 Style v3 和 2 Phút Hơn v1 等。尚未完成通用 SONIC/GMT/UFO 训练。模型和单动作链路已有结果后,可按目标选择 HoST 起身、HOMIE 协调或 PHP 感知运动,不再等待一个笼统的“官方模型到来”。

dqx46 · Robotics / 算法工程项目与技术记录