Open-TeleVision：实现远程对机器人手臂和手部动作的精确控制

0 11

Open-TeleVision简介

Open-TeleVision 是由加州大学圣地亚哥分校和麻省理工学院的联合研究团队开发的一款沉浸式遥操作系统。该系统通过立体视觉反馈技术，使操作者能够以三维立体的方式直观感知机器人周围环境，实现对机器人手臂和手部动作的精确控制。它不仅支持长时序、高精度的复杂任务，还允许通过互联网进行远程操作，极大地扩展了遥操作的应用范围和灵活性。Open-TeleVision 的开发团队注重用户体验和操作的直观性，致力于推动机器人学习与远程操作技术的发展。

Open-TeleVision

Open-TeleVision主要功能

1.沉浸式视觉反馈：通过立体视觉技术，操作者能够在虚拟环境中以第一人称视角看到机器人视角的实时3D视图，增强空间感知能力。
2.实时动作映射：操作者的手臂和手部动作被实时映射到机器人上，实现精确的远程控制。
3.多机器人交互：支持多个操作者同时控制多个机器人，进行协同作业。
4.远程控制：通过互联网，操作者可以在世界任何地方控制机器人，实现跨地域的遥操作。
5.数据收集与学习：用于收集机器人操作数据，支持模仿学习策略的训练，以提高机器人的自主操作能力。

Open-TeleVision技术原理

1.虚拟现实(VR)设备：使用VR设备捕捉操作者的手部、头部和手腕姿势，实现对机器人动作的精确跟踪。
2.动作重定向：通过服务器将人类姿势重新定向到机器人，将关节位置目标发送给机器人，实现动作的镜像。
3.立体视频流：机器人头部配备的立体相机提供立体视频流，增强操作者的空间理解。
4.逆运动学(IK)：使用逆运动学算法将操作者手部根部的位置转换为机器人手臂末端执行器的位置。
5.动作块变换器：采用动作块变换器编码器和解码器来训练模仿策略，编码器捕捉图像和本体感知令牌之间的关系，解码器输出特定块大小的动作序列。

Open-TeleVision

和以往远程操作系统的比较

以往的远程操作系统虽然在特定应用场景下表现出色，但往往存在一些局限性。例如，系统如OPEN TEACH和HATO提供了直观的操作界面，但它们通常需要操作者与机器人在同一物理空间内，限制了操作的远程性。此外，依赖于RGB摄像头的系统如AnyTeleop和Telekinesis，虽然成本较低，但可能因视觉跟踪的不稳定性而影响控制精度。一些系统，比如ALOHA，通过关节复制技术实现了精确控制，但这种技术往往受限于特定的硬件配置，并且可能不支持多指灵巧手的操作。

与之相比，Open-TeleVision通过集成VR技术和立体视觉反馈，提供了一种沉浸式的遥操作体验，允许操作者在远程位置以第一人称视角控制机器人。这种系统不仅支持双手操作，还能够通过互联网实现真正的远程控制，克服了以往系统在远程操作和深度感知方面的局限。Open-TeleVision的另一个显著优势是其开源性，这促进了技术的普及和社区的创新。然而，这种系统可能需要相对较高的硬件配置和对VR技术的熟悉度，这可能在一定程度上增加了用户的入门门槛。

Open-TeleVision应用场景

1.远程手术：医生可以在远程操作机器人进行精细手术。
2.灾难救援：在危险环境中，如火灾现场，机器人可以代替人类进行救援。
3.深海探索：用于深海作业，如水下设备维护或生物样本收集。
4.太空任务：宇航员控制机器人进行太空站外的维修和建设工作。
5.工业自动化：自动化生产线上，机器人进行精确的装配和包装任务。
6.农业监测：机器人在田间进行作物监测和维护作业。
7.建筑施工：在建筑工地上进行材料搬运和结构组装。
8.实验室研究：进行危险化学品处理或精密实验操作。
9.教育演示：在教学环境中演示复杂操作，提供实践学习机会。
10.家庭服务：执行家庭清洁、物品整理等日常服务任务。