用于在超声图像中对毫米尺度机器人胶囊进行2D姿态估计的方法

具有移动能力和采样机构的可口服机器人胶囊在胃肠道无创诊断和介入治疗方面具有巨大的潜力。实时跟踪胶囊位置和运行状态对于临床应用是必要的，但这仍然是一个重大挑战。

据麦姆斯咨询报道，近日，加拿大多伦多大学（University of Toronto）和美国范德堡大学（Vanderbilt University）的研究人员组成的团队在Scientific Reports期刊上发表了题为“Capsule robot pose and mechanism state detection in ultrasound using attention-based hierarchical deep learning”的最新论文，提出了一种基于注意力的分层深度学习方法，以用于在超声图像中对毫米尺度机器人胶囊进行2D姿态估计和机构状态检测。实验结果表明，胶囊状态分类的准确率为97%，方位和质心位置的平均估计误差为2.0°和0.24mm（胶囊体长的1.7%）。提出的方法有望推进无线胶囊机器人技术的发展。

无线胶囊机器人在靶向给药、活检取样和胃肠道（GI）局部诊断等任务中显示出巨大的潜力。尽管内窥镜手术通常被用于胃肠道的诊断和治疗，但内窥镜检查需要麻醉，并存在肠道破裂的风险。基于微创胶囊机器人的技术有望替代内窥镜。对于使用无线胶囊机器人进行活检或靶向治疗等手术，需要准确和实时地跟踪胶囊位置和运行状态。

磁定位技术作为一种用于无线胶囊内窥镜（WCE）姿态估计的无遮挡跟踪方案已被广泛研究。典型的配置是将一个或多个小永磁体封装在胶囊中，并使用外部传感器根据感测到的磁场数据确定胶囊的姿态。现有方法以高定位精度实现了实时精度，但是由于执行器对定位系统的干扰，因此无法实现对胶囊的同步磁驱动。

为了解决这个问题，研究人员已经提出了一种约束在3 x 3平面内的线圈系统，以最小化执行器对传感器的影响。Y. Xu等实现了WCE的同步磁驱动和定位，并通过使用积分滤波器消除了磁干扰。然而，这种系统受限于相对较低的姿态更新频率（约0.5~1.0Hz）。此外，磁跟踪无法对胃肠道生理学方面进行定位，而这对于许多应用（例如靶向取样、活检或治疗递送等）来说是必需的。超声引导的胶囊机器人将通过使用安全、无创成像模式跟踪胶囊来解决这些障碍，该成像模式还有潜力定位胶囊的胃肠道位置。

与磁共振成像（MRI）和X射线等其他医学成像技术相比，超声成像技术因其结合了高时间分辨率和无电离辐射成像，成本较低，且更容易实现，因此受到人们青睐。尽管超声成像已在许多临床应用中使用，但使用GI超声成像胶囊仍存在一些挑战。胃肠道由5个管状组织层组成，这些组织层是交替产生回声和消声的材料，在超声B模式扫描中表现为亮层和暗层。此外，胃肠道内部充满了空气、水和消化物质的混合物，这在超声B模式图像中表现为许多斑点和明暗对比的区域。在这种环境下，胶囊机器人的精确检测和跟踪是非常具有挑战性的。

虽然超声成像被熟练的超声医师手动使用作为诊断工具，但仍需要对胶囊机器人进行基于计算机的自动跟踪，因为（1）具有移动或机构驱动能力的胶囊机器人必须同时被跟踪和控制，这对操作员来说是一个重大的挑战，因为这要求操作员对胶囊和超声系统的动力学和操纵具有良好的了解；以及（2）在B模式图像中，通过手动从背景组织中识别设备和胶囊机载机构状态来进行精确的图像判读是特别困难的。研究人员提出了一种自动检测方法用于帮助临床医生进行胶囊操纵，可在无需超声医师持续关注的情况下进行胶囊跟踪，并提供更标准化的反馈。这种自动跟踪将使临床医生通过解剖工作空间指定的路径实现完全闭环控制。

在本论文中，作者们提出了一种基于注意力的分层深度学习方法，并在非医学数据集上采用训练有素的CNN模型，以在离体猪胃肠道中使用超声成像对毫米级机器人胶囊进行2D姿态估计和机构状态检测。该胶囊机器人由封装在软弹性体样品室中的两个永磁体构成。它具有一个磁力驱动的取样机构，当被施加磁场时，该机构会使胶囊打开以进行取样或治疗给药。胶囊的直径和长度分别设计为8mm和14.5mm。在临床使用期间，胶囊在口服给药后通过胃肠道，并在移动期间保持关闭，只有在到达目标位置时才被激活以打开进行取样或药物释放。最后，胶囊可以通过常规的粪便通道取回。

他们考虑了胶囊机器人的三种可能的机构状态：闭合、打开和消失在视场（FOV）中（由于周围组织引起的离面运动或闭塞），如图1b–d所示。胶囊机器人在超声图像坐标系U中的2D姿态定义为（xU，yU，θU），超声成像平面内的质心位置和方向如图1b所示。

图1 胶囊机器人的三种可能的机构状态

为了训练神经网络，他们在离体猪胃内生成了机器人胶囊的代表性数据集。实验结果表明，在测试集上，胶囊状态分类的准确率为97%，方位和质心位置的平均估计误差为2.0°和0.24mm（胶囊体长的1.7%）。在猪胃和结肠中通过外部磁体操纵胶囊机器人时，对胶囊的精确检测也得到了证实。结果表明，通过在临床场景中提供胶囊机器人的精确检测，提出的方法有望推进无线胶囊机器人技术的发展。

图2 离体猪胃实验设置

图3 胶囊机器人的离体姿态估计和机构状态检测结果

本论文研究工作的主要贡献包括：

（1）这项研究工作演示了在离体猪胃肠道超声B模式成像下对无线胶囊机器人的姿态和运行状态的检测。这允许将超声引导的临床手术整合到常规工作流程中，以协助临床医生使用胶囊机器人。

（2）这项研究工作提出了一种新的基于注意力的分层深度学习方法，以增强特征表示能力，并首次将在非医学数据集上预训练的CNN模型应用于目标跟踪任务的临床数据集。基于离体超声图像开发的训练模型具有很大的临床价值，可以作为超声引导的医疗器械在体内跟踪的预训练模型。

（3）这项研究工作提供了一个在离体临床相关环境中的超声图像的大型标记数据集，用于对微尺度胶囊机器人跟踪算法的开发进行基准测试。

审核编辑：刘清