NVIDIA与学术研究人员联合开发手术机器人

利用 NVIDIA Isaac Sim 和 NVIDIA Omniverse 开发的 ORBIT-Surgical 正在 ICRA 机器人大会上展出。

NVIDIA 与学术研究人员正在联合开发用于手术的机器人。

ORBIT-Surgical 是一个由多伦多大学、加州大学伯克利分校、苏黎世联邦理工学院、佐治亚理工学院和 NVIDIA 研究人员共同开发的机器人训练仿真框架。它所训练的机器人可以在提升手术团队技术水平的同时，减轻外科医生的认知负荷。

该框架支持十多种操作，这些操作灵感来源于腹腔镜手术（又称微创手术）训练课程，例如抓取针头等小物件、将它们从一只机械臂传递到另一只，并高度精准地放置针头等。

这个基于物理学的框架是使用NVIDIA Isaac Sim（一个用于设计、训练和测试 AI 机器人的仿真平台）构建而成的。研究人员在NVIDIA GPU上训练了强化学习和仿真学习算法，并使用NVIDIA Omniverse（一个用于开发和部署基于通用场景描述 OpenUSD 的高级 3D 应用程序和管线的平台）进行逼真的渲染。

在下面的视频中，ORBIT-Surgical 研究团队演示了如何在实验室环境中将仿真训练中的数字孪生移植到实体机器人上。该团队使用的是由机器人手术领导者 Intuitive Surgical 支持的非营利组织 Intuitive Foundation 所提供的社群支持型“达芬奇”研究套件。

ORBIT-Surgical 已在 ICRA（IEEE 国际机器人与自动化会议）上进行展示，开源代码包现已在 GitHub 上发布。

AI 以一抵九

ORBIT-Surgical 的基础是Isaac Orbit，这是一个基于 Isaac Sim 构建的模块化机器人学习框架。Orbit 支持各种用于强化学习和仿真学习的程序库，可以让 AI 智能体进行模拟真实专家示例的训练。

借助该手术框架，开发者能够利用在NVIDIA RTX GPU上运行的强化学习和仿真学习框架训练像“达芬奇”研究套件机器人（dVRK）这样的机器人，来操纵刚性和柔性物体。

ORBIT-Surgical 引入了十多项用于手术训练的基准任务，包括单手任务和双手任务，单手任务包括拿起一块纱布、将分流管插入血管或将缝合针举到特定位置等；双手任务包括将针从一只机械臂递给另一只、将穿好线的针穿过环形杆、以及在避开障碍物的同时将两只手臂伸到特定位置等。

ORBIT-Surgical 的基准测试之一是插入分流器——

左图为真实世界中的机器人，右图为仿真机器人。

通过开发一种利用 GPU 加速和并行化优势的手术仿真器，该团队能够将机器人的学习速度提升一个数量级，相比于现有的外科手术框架。他们发现在单个 NVIDIA RTX GPU 上，机器人数字孪生可以在两小时内完成插入分流管和举起缝合针等任务的训练。

凭借在 Omniverse 中进行渲染所实现的视觉逼真度，研究人员还可使用 ORBIT-Surgical 生成高保真合成数据，这有助于训练 AI 模型完成各种感知任务，例如在手术室拍摄的真实世界视频中区分手术工具等。

该团队的一项概念验证表明，将仿真和真实数据相结合，可显著提高 AI 模型区分图像中手术针头的准确性，这有助于减少在训练此类模型时对昂贵的大型真实世界数据集的需求。