HOMIE：上海人工智能实验室等推出的人形机器人遥操作系统

HOMIE简介

HOMIE（Humanoid Loco-Manipulation with Isomorphic Exoskeleton Cockpit）是由上海人工智能实验室和香港中文大学多媒体实验室联合开发的人形机器人遥操作系统。该系统通过创新的强化学习框架和低成本的同构外骨骼硬件，实现了人形机器人全身的精确控制，使其能够在复杂环境中完成行走、下蹲和操作任务。开发团队突破了传统遥操作的限制，引入上肢姿态课程、高度跟踪奖励和对称性利用等技术，显著提升了机器人的操作能力和任务完成效率。同时，HOMIE的硬件系统设计巧妙，包括同构外骨骼手臂、15自由度运动感应手套和脚踏板，不仅降低了成本，还提高了控制的精度和响应速度。这一成果不仅为机器人遥操作领域带来了新的突破，也为未来人形机器人的广泛应用奠定了坚实基础。

HOMIE主要功能

1. 全身遥操作：HOMIE通过低成本的同构外骨骼硬件系统，使单人操作员能够同时控制人形机器人的上肢操作和下肢行走，实现复杂的全身任务，如抓取、搬运、下蹲和行走等。
2. 快速任务执行：系统利用同构外骨骼和运动感应手套，直接映射操作员的动作到机器人关节，避免了逆运动学计算，显著提高了任务执行速度和精度。
3. 高度适应性：通过强化学习训练框架，HOMIE能够使机器人在任意上肢姿态下完成行走和下蹲任务，适应不同高度的操作需求，扩大了机器人的操作空间。
4. 数据收集与自主学习：HOMIE支持在遥操作过程中收集高质量演示数据，并用于训练自主导航策略，使机器人能够在没有人类干预的情况下完成任务。
5. 虚拟与现实环境通用：该系统不仅适用于真实世界的人形机器人操作，还可无缝迁移到虚拟环境中，支持在模拟场景中进行任务训练和验证。

HOMIE技术原理

1. 强化学习训练框架
   • 采用课程学习技术，逐步增加上肢姿态的复杂性，使机器人能够在动态变化的上肢姿态下保持平衡并完成任务。
   • 引入高度跟踪奖励，通过膝关节的弯曲和伸展引导机器人达到目标高度。
   • 利用对称性增强数据效率，通过数据增强和对称性损失函数确保策略的左右对称性。
2. 同构外骨骼硬件系统
   • 设计与人形机器人手臂同构的7自由度外骨骼，通过高精度伺服电机直接映射操作员的关节角度到机器人。
   • 开发15自由度的运动感应手套，利用霍尔效应传感器捕捉手指关节角度，实现对灵巧手的精细控制。
   • 脚踏板用于控制机器人行走和下蹲，通过高精度电位器将操作员的踩踏动作转化为运动指令。
3. 直接关节映射技术
   • 通过同构外骨骼和手套直接设置机器人关节位置，避免了逆运动学计算的复杂性和误差，提高了控制精度和响应速度。
4. 数据收集与自主学习
   • 在遥操作过程中，系统实时记录操作员的动作和机器人状态，生成高质量的演示数据。
   • 使用端到端的视觉运动控制策略（如Seer模型），结合多视图图像和机器人本体感知信号，训练自主导航策略。
5. 虚拟与现实环境的无缝迁移
   • 在Isaac Gym中训练的策略可以直接迁移到Isaac Sim等虚拟环境中，通过调整关节顺序和四元数格式，实现模拟场景中的任务执行。
   • 在真实环境中，系统通过Wi-Fi或有线网络与机器人通信，实时传输操作指令和接收反馈数据，支持高效的任务部署。

HOMIE应用场景

1. 物流与仓储：机器人可在仓库中搬运货物、从货架上取物并重新摆放，提高物流效率。
2. 工业生产：执行复杂的装配任务，协助生产线上的精细操作，减少人工劳动强度。
3. 家庭服务：帮助老人或行动不便者完成家务，如打扫、整理物品、拿取高处物品等。
4. 灾难救援：在危险环境中执行搜索与救援任务，如地震后的废墟清理或火灾现场的物资搬运。
5. 医疗辅助：协助医护人员搬运重物、传递医疗器械，或在康复训练中辅助患者。
6. 公共服务：在机场、商场等人流密集场所提供引导、搬运行李等服务，提升公共设施的便利性。

HOMIE项目入口

• 项目主页：https://homietele.github.io/
• GitHub代码库：https://github.com/OpenRobotLab/OpenHomie
• arXiv研究论文：https://homietele.github.io/static/HOMIE.pdf