ASAP：提高仿人机器人在复杂运动中的敏捷性和协调性

0 80

ASAP简介

ASAP（Aligning Simulation and Real-World Physics for Learning Agile Humanoid Whole-Body Skills）是由卡内基梅隆大学和英伟达联合开发的两阶段框架，旨在解决仿真与现实世界之间动态不匹配的问题，使仿人机器人能够学习敏捷的全身技能。该框架通过在仿真环境中预训练运动跟踪策略，并在现实世界中收集数据以训练增量动作模型来补偿动态差异。ASAP显著提高了仿人机器人在复杂运动中的敏捷性和协调性，并成功实现了从仿真到现实世界的技能迁移，为开发更具表现力和敏捷性的仿人机器人提供了新的方向。

ASAP主要功能

解决仿真与现实之间的动态不匹配：ASAP通过学习和补偿仿真与现实世界之间的动态差异，使在仿真环境中训练的控制策略能够更好地适应现实世界的物理特性。
实现敏捷的全身运动控制：该框架能够使仿人机器人执行复杂的全身运动，如跳跃、平衡、踢腿等，这些动作在以往的研究中难以实现。
提高运动跟踪精度：ASAP显著降低了运动跟踪误差，提高了机器人在执行各种动态任务时的准确性和稳定性。
支持从仿真到现实的无缝迁移：通过增量动作模型，ASAP能够有效地将仿真中训练的策略迁移到现实世界中，减少了在现实世界中重新训练的需求。
增强策略的泛化能力：ASAP不仅提高了策略在训练任务上的表现，还增强了其对未见过动作序列的泛化能力。

ASAP技术原理

两阶段训练框架：
- 预训练阶段：在仿真环境中使用重新定位的人类运动数据预训练运动跟踪策略，确保策略能够学习到复杂的全身运动模式。
- 后训练阶段：在现实世界中部署预训练策略，收集数据，并训练一个增量动作模型以补偿动态差异，然后将该模型集成到仿真器中以对齐现实世界的物理特性，并微调预训练策略。
增量动作模型（Delta Action Model）：
- 该模型通过学习仿真状态和现实世界状态之间的差异，输出纠正动作，以补偿仿真与现实之间的动态不匹配。
- 在仿真环境中集成该模型后，可以更准确地模拟现实世界的物理特性，从而为策略微调提供更真实的训练环境。
强化学习（Reinforcement Learning, RL）：
- 在预训练阶段，使用强化学习训练运动跟踪策略，通过优化奖励函数来提高策略的性能。
- 在后训练阶段，使用强化学习微调策略，使其更好地适应现实世界的物理特性。
非对称演员-评论家框架：
- 在预训练阶段，采用非对称演员-评论家框架，其中评论家网络可以访问特权信息（如全局位置和根线速度），而演员网络仅依赖于本体感知输入和时间相位变量。这种设计提高了策略在仿真中的训练性能，并简化了从仿真到现实的迁移过程。
终止容忍度课程（Termination Curriculum）：
- 在预训练阶段，通过逐步调整运动误差容忍度，引导策略逐步提高跟踪性能，从而更好地学习复杂的动态行为。
参考状态初始化（Reference State Initialization）：
- 在预训练阶段，通过随机采样时间相位变量，随机化参考运动的起始点，使策略能够并行学习不同运动阶段，而不是仅限于顺序学习。
多仿真器训练和评估：
- 为了验证ASAP的泛化能力和迁移性能，开发团队在多个仿真器（如IsaacGym、IsaacSim和Genesis）中进行训练和评估，确保策略能够在不同的仿真环境中表现出色。
现实世界验证：
- 在Unitree G1仿人机器人上进行现实世界验证，证明ASAP能够有效地将仿真中训练的策略迁移到现实世界中，并实现复杂的全身运动控制。