Surgical RT：通过模仿学习实现机器人手术操作的潜力

Surgical RT简介

Surgical RT（Surgical Robot Transformer）是由约翰霍普金斯大学和斯坦福大学的研究团队共同开发的一项创新研究，旨在通过模仿学习技术，提升达芬奇手术机器人执行复杂手术任务的能力。该研究通过引入相对运动策略，解决了因关节测量不精确导致的前向运动学不一致问题，并通过实验验证了使用腕部摄像头对提高手术精度和泛化能力的重要性。这项工作不仅展示了在不依赖精确运动学数据的情况下，通过模仿学习实现机器人手术操作的潜力，也为未来自主手术系统的开发奠定了基础。

Surgical RT主要功能

1. 模仿学习手术任务：通过模仿专家的手术操作，使达芬奇机器人能够学习并执行基本的手术任务，如组织提升、针头拾取与传递以及结扎。
2. 相对运动策略：利用机器人的相对运动一致性，克服了因关节测量不精确导致的前向运动学问题。
3. 腕部摄像头应用：在手术流程中使用腕部摄像头，提高策略性能，特别是在需要精确深度估计的阶段。
4. 泛化能力：模型能够泛化到新的、未见过的场景，如动物组织和3D缝合垫，显示出未来扩展到临床研究的潜力。

Surgical RT技术原理

1. 相对动作公式：提出一种相对动作公式，允许机器人使用其近似的运动学数据成功训练和部署策略。
2. 动作表示：研究了三种动作表示方法：以相机为中心、以工具为中心和混合相对动作，以设计最有效的动作表示。
3. 模仿学习算法：使用模仿学习算法，通过相对运动公式展示对机器人配置变化的鲁棒性，即使在工具重新安装或关节自由移动的情况下。
4. 临床数据利用：利用大量包含近似运动学的临床数据，直接用于机器人学习，无需进一步校正。
5. 手术工作流中的腕部摄像头：评估腕部摄像头在提高手术精度和促进模型泛化到不同工作场景中的作用。
6. 端到端的模仿学习：通过端到端的模仿学习，简化了手术任务的学习过程，只需高质量的机器人演示数据。
7. 实验验证：通过一系列实验验证了相对运动的一致性，腕部摄像头的重要性，以及模型对新场景的泛化能力。

Surgical RT应用场景

1. 组织牵引：在手术中提升和移动组织，以便于操作和访问手术区域。
2. 针头操作：自动拾取、传递和操作手术针，用于缝合或其他针刺任务。
3. 结扎技术：执行复杂的结扎操作，特别是在需要精细操作的手术中。
4. 腹腔镜手术：在腹腔镜手术中控制内窥镜和手术工具，提高手术精度。
5. 微创手术：通过小切口进行的手术，利用机器人的精确控制减少创伤。
6. 机器人辅助手术：在需要机器人辅助的各类手术中，提高手术的自动化和精确度。

Surgical RT项目入口

• 官方项目主页：https://surgical-robot-transformer.github.io/
• arXiv研究论文：https://arxiv.org/abs/2407.12998