RDT-1B：清华大学推出的机器人双手臂操作的基础模型

RDT-1B简介

RDT-1B是由清华大学的研究团队开发的机器人双手臂操作的基础模型，它基于扩散模型，能够有效地表示多模态性，并采用创新的可扩展Transformer架构来处理多模态输入的异质性。RDT-1B通过引入物理可解释的统一动作空间，实现了在多机器人数据上的预训练，并在自建的多任务双手臂数据集上进行微调，展现出在真实机器人任务中的卓越性能，包括零样本泛化、理解语言指令、少样本学习新技能以及处理复杂灵巧任务的能力。

RDT-1B主要功能

1. 双手臂操作： RDT-1B能够控制机器人的两个手臂执行复杂的双手臂操作任务。
2. 多模态动作分布捕捉： 模型能够捕捉和表示多种可能的动作模式，处理双手臂操作中的高维动作空间。
3. 零样本泛化： 能够在未见过的物体和场景中执行任务，无需额外的训练数据。
4. 语言指令理解： 能够理解自然语言指令并将其转化为机器人操作。
5. 少样本学习： 通过极少量的演示（1至5次）快速学习新技能。
6. 复杂任务处理： 有效执行需要精细操作的复杂任务，如控制机器狗行走。

RDT-1B技术原理

1. 扩散模型： 利用扩散模型来模拟和学习连续的条件动作分布，允许生成多模态的动作样本。
2. Transformer架构： 采用Transformer作为骨干网络，处理多模态输入并捕捉机器人数据的非线性和高频变化。
3. 物理可解释的统一动作空间： 引入一个统一的动作空间，将不同机器人的动作表示统一化，便于跨机器人学习。
4. 预训练与微调： 在大规模多机器人数据集上进行预训练，然后在特定任务的数据集上进行微调，以提高模型的泛化能力。
5. 多模态输入编码： 将文本、图像和动作等多模态输入编码到统一的潜在空间中，以便模型可以处理和学习。
6. 迭代去噪： 通过迭代去噪步骤，从噪声中恢复出清洁的动作样本，这是扩散模型的核心过程。
7. 条件注入： 模型使用交替条件注入技术，平衡不同条件信息（如图像和语言）对模型决策的影响。
8. 大模型和大数据： 利用大规模参数化和大量训练数据，增强模型的学习能力和泛化性能。

RDT-1B应用场景

1. 家庭服务： RDT-1B能够执行日常生活中的双手臂任务，如收拾家务、准备食物，提供家庭服务机器人所需的灵活性和智能。
2. 工业装配： 在制造业中，该模型可以用于精确的装配线工作，通过双手臂协调操作提高生产效率和准确性。
3. 医疗辅助： 机器人在医疗领域可以辅助进行手术或递送医疗工具，RDT-1B的精确控制和灵巧操作在此领域尤为重要。
4. 灾难救援： 在复杂或危险的灾难现场，RDT-1B可以操控双手臂执行救援任务，如清除障碍物或进行精细操作。
5. 实验室自动化： 在科学实验室中，RDT-1B可以执行需要精确控制的实验操作，如化学实验中的试剂混合和样本处理。

6. 物流分拣： 在物流中心，该模型能够进行物品的分拣和包装，利用双手臂提高处理速度和减少人工劳动。

RDT-1B项目入口

• 项目主页：https://rdt-robotics.github.io/rdt-robotics
• GitHub代码库：https://github.com/thu-ml/RoboticsDiffusionTransformer
• HuggingFace：https://huggingface.co/robotics-diffusion-transformer/rdt-1b
• arXiv技术论文：https://arxiv.org/pdf/2410.07864