HMA：麻省理工学院等推出的新型机器人学习框架

HMA简介

Heterogeneous Masked Autoregression（HMA）是由麻省理工学院（MIT）、伊利诺伊大学厄巴纳-香槟分校（UIUC）和Meta（FAIR）的研究团队共同开发的一种新型机器人学习框架。HMA旨在通过处理异构数据来建模动作视频动态，以生成高质量的视频数据并评估机器人策略。该框架利用掩码自回归技术，结合动作异构性处理，能够高效地生成具有高视觉保真度和可控性的视频。HMA支持多种机器人体现和任务设置，能够实时响应动作输入，显著提升了机器人学习的可扩展性和效率。开发团队通过大规模的异构数据预训练，展示了HMA在视频模拟、策略评估和合成数据生成等应用中的广泛潜力，为机器人学习领域带来了新的突破。

HMA主要功能

1. 视频模拟：HMA能够生成高质量的动作视频，用于模拟机器人在不同任务中的表现。这些视频可以用于训练和评估机器人策略。
2. 策略评估：通过生成模拟视频，HMA可以在不需要实际部署机器人的情况下评估不同策略的有效性，从而节省时间和资源。
3. 合成数据生成：HMA可以生成大量的合成数据，这些数据可以用于增强训练数据集，提高机器人学习的性能。
4. 实时交互：HMA能够以高速度（超过20Hz）生成视频，支持实时交互应用，使其适用于实际机器人操作中的即时反馈和调整。
5. 动作预测：HMA不仅能生成视频，还能预测未来的动作序列，支持更复杂的任务规划和执行。

HMA技术原理

1. 掩码自回归（Masked Autoregression）：
   • HMA使用掩码自回归技术来生成视频和动作预测。掩码自回归通过逐步取消掩码来预测下一个时间步的内容，从而生成连续的视频和动作序列。
   • 这种方法结合了掩码自编码目标和随机顺序的训练方式，使得模型在推理时能够逐步生成高质量的输出。
2. 动作异构性处理：
   • HMA处理不同机器人体现的异构数据，包括不同的动作空间、动作频率和动作维度。通过将动作序列分解为固定频率的块，并为不同体现使用不同的解码器头，HMA能够统一处理这些异构数据。
   • 这种方法确保了数据的一致性，并提高了模型的泛化能力。
3. 模块化架构：
   • HMA的架构包括多个模块化的动作输入（“stem”）和动作输出（“head”），以及共享的核心时空变换器（“trunk”）。这种模块化设计使得模型可以灵活地适应不同的任务和数据集。
   • 时空变换器通过空间和时间上的注意力机制处理视频和动作序列，确保高效的特征提取和预测。
4. 预训练和微调：
   • HMA通过在大规模异构数据集上进行预训练，学习到通用的动作视频动态模型。预训练后的模型可以在特定任务上进行微调，以提高在特定应用中的性能。
   • 这种预训练和微调的策略使得HMA能够在处理新的任务和数据集时快速适应，并保持高性能。
5. 损失函数：
   • HMA使用交叉熵损失和均方误差回归损失来训练模型。交叉熵损失用于离散图像令牌的预测，而均方误差回归损失用于连续动作的预测。
   • 这种组合的损失函数确保了模型在生成视频和预测动作时都能保持高精度。

HMA应用场景

1. 机器人策略评估：通过模拟机器人在不同任务中的表现，评估策略的有效性，无需实际部署机器人，节省时间和资源。
2. 合成数据生成：生成大量合成数据，增强训练数据集，提高机器人学习的性能和泛化能力。
3. 实时交互模拟：支持实时交互应用，如人机协作任务，提供即时反馈和调整，提升交互效率。
4. 动作预测与规划：预测未来的动作序列，支持复杂任务的规划和执行，提高机器人在动态环境中的适应性。
5. 虚拟环境训练：在虚拟环境中模拟各种场景，帮助机器人学习复杂任务，减少对真实环境的依赖。
6. 故障模拟与测试：模拟机器人可能遇到的故障场景，测试其应对能力，优化策略以提高鲁棒性。

HMA项目入口

• 项目主页：https://liruiw.github.io/hma
• GitHub代码库：https://github.com/liruiw/HMA
• HuggingFace：https://huggingface.co/liruiw/hma-base-disc
• arXiv技术论文：https://arxiv.org/pdf/2502.04296
• 在线体验：https://huggingface.co/spaces/liruiw/hma