传感器融合可实现机器人抓握

新加坡国立大学的研究人员最近展示了使用神经形态传感器融合来帮助机器人抓取和识别物体的优势。

这只是他们一直在从事的许多有趣项目之一，包括开发用于传输触觉数据的新协议、构建神经形态触觉指尖以及开发新的视觉触觉数据集以开发更好的学习系统。

由于该技术使用地址事件和尖峰神经网络，因此它非常节能：使用英特尔 Loihi 神经形态芯片之一的功率比 GPU 高 50 倍。然而，这项工作特别优雅的地方在于，它为神经形态技术指明了道路，作为一种有效集成并从中提取意义的手段，用于功率受限系统中的复杂任务的许多不同传感器。

他们使用的新型触觉传感器NeuTouch由 39 个taxel（触觉像素）阵列组成，并且使用基于石墨烯的压阻层来转换运动；你可以把它想象成机器人指尖的前面。它覆盖着一种名为 Ecoflex 的人造皮肤，有助于放大刺激，并由 3D 打印的“骨头”支撑。然后可以将指尖添加到夹具中。

但这些传感器的新颖之处在于它们传达信息的方式。这不是连续完成的，每个传感器在给定的时间步长中顺序报告其状态，因为这太慢了。传感器阵列也不是网状布置的，因为——尽管对许多电子系统来说很好——但对于他们试图创造的健壮的机器人皮肤来说风险太大了；如果皮肤受损，它可能会占用太多传感器。

相反，Benjamin Tee 和他的同事开发了异步编码电子皮肤，或 ACES。

这使用单个导体从（可能）数万个受体携带信号。该技术与地址事件表示 (AER) 有一些相似之处，因为传感器确实使用事件。本质上，如果传感器上的压力变化超过某个阈值，则每个传感器都会发出正或负尖峰信号。与 AER 一样，这些峰值仅根据现实世界中发生的情况异步发送；没有时钟来调节它们。但是，它不是点对点路由，而是多对一网络。每个传感器的“尖峰”实际上是唯一的代码（一系列尖峰），因为尖峰既是异步的又是相对备用的，它们可以沿着单根导线传播，然后再去相关成单独的尖峰序列。

五味杂陈

在他们去年发表的实验中，该小组能够将来自触觉阵列内的压力和温度传感器的数据结合起来，但从那时起，他们就能够展示出更复杂的传感器融合。具体来说，Harold Soh 的小组将 NeuTouch 指尖与基于 Prophesee 事件的视觉传感器结合起来，并使用生成的数据（单独和一起）来训练近似反向传播的基于尖峰的网络 [2]。

图 1. 配备 Prophesee 摄像头和 NeuTouch 增强型夹持器的机器人准备拿起下方的豆浆盒。额外的摄像机跟踪实验，但它们的数据不用于分类任务。（来源：新加坡国立大学）

在经过训练可以拾取装有不同数量液体的各种容器（例如罐头、瓶子和图 1 中所示的豆浆）后，机器人不仅能够确定它所举的东西，而且能够确定（在 30 克以内）有多少它称重。

您可以在下面看到该作品的精彩视频（并且非常安全！）。

视觉传感器数据能够比研究人员预期的更成功地自行对物体进行分类：由于容器的透明度和它们的变形方式，物体的重量是可见的。尽管如此，触觉数据确实提高了准确性。

然而，也许更重要的是，两个传感器的组合在进行所谓的滑动测试时为机器人提供了真正的优势。在这里，机器人被制造的压力不足以安全地承受物体的重量，因此它有下降的趋势。在这里，触觉和视觉数据的使用似乎确实有助于快速识别滑倒（见图 2）。

图 2. 滑倒任务中组合视觉/触觉数据的加权尖峰计数（物体掉落是因为没有用足够的力握住它）提高了机器人在早期阶段（大约 0.03 秒）发生滑倒的确定性）。这可能会提高机器应对任何后果的机会。（来源：新加坡国立大学）

这部分归功于他们在模型中使用的称为加权尖峰计数的数量，以鼓励早期分类。从功能上讲，这可以提高机器的反应时间，使其有更好的机会将物体掉落的可能性和后果降至最低。

该小组已将他们的数据集提供给可能想要改进所用学习模型的其他研究人员。

电源优势

对于这些实验，训练是使用传统技术完成的，但网络随后在英特尔 Loihi 芯片上运行。公布的结果显示能效提高了 50 倍，但已经有所改进。

根据新加坡国立大学的 Harold Soh 的说法，自从论文发表以来，“……我们一直在微调我们的神经模型和分析。与 GPU 相比，我们最新的滑动检测模型在神经形态硬件上运行时使用的功率降低了 1900 倍，同时保持推理速度和准确性。我们现在的重点是将这种低级性能转化为更高级别任务的更好机器人行为，例如对象拾取和放置和人机切换。更广泛地说，我们相信事件驱动的多感官智能是迈向值得信赖的机器人的重要一步，我们觉得使用它很舒服。”

参考

[1] WW 李等人。, “用于可扩展电子皮肤的受神经启发的人工周围神经系统”，Sci。机器人。, 卷。4，没有。2019 年 3 月 32 日，doi：10.1126/scirobotics.aax2198。

[2] F. Gu、W. Sng、T. Taunyazov 和 H. Soh，“TactileSGNet：用于基于事件的触觉对象识别的尖峰图神经网络”，2020 年，[在线]。可用：http://arxiv.org/abs/2008.08046。

审核编辑 黄昊宇