弥合人工视觉和触觉之间的差距

使用创新手套的物体操纵从而获得详细压力图的大型数据库。这些数据可能会导致机器人感应的进步以及我们对触摸在操纵中的作用的理解。

人类感知能力的研究和复制，例如视觉，听觉和触觉（基于触摸）的感知，取决于合适数据的可用性。通常，数据集越大越丰富，模型越能模仿这些功能。人工视觉和语音系统的进步依赖于强大的模型，称为深度学习模型，并且由无处不在的数字图像和语音音频数据库推动。相比之下，触觉传感器的发展（将物理接触刺激转换为可测量信号的设备）的进展受到限制，这主要是因为难以将电子设备集成到柔性材料中。在Nature的一篇论文中，Sundaram 等报告了他们使用低成本触觉手套来解决这个问题。

作者的手套由一个手形传感套管组成，该传感套管连接在针织手套的手掌侧（图1）。套筒包含力敏膜，在该膜上缝制64个导电线网络：沿手套的一个方向32个，沿垂直方向32个。这些螺纹重叠的548个点中的每一个是压力传感器，因为当按压这些点时，交错膜的电阻减小。手套的输出可以作为32×32灰度像素阵列处理，其中每个像素的颜色表示从低（黑色）到高（白色）的施加压力。这些压力图以每秒约七帧的速度记录。

图片来源：Subramanian Sundaram

图1 |一种低成本的人造手套。Sundaram 等人描述了一种手套，其由附接到针织手套（黄色）的手形感测套筒（黑色）组成。套筒包含力敏膜，在该膜上缝制导电线（银）网络。这些螺纹重叠的点形成压力传感器。作者表明，在对象操作期间由这些传感器收集的压力图使机器学习模型能够学习识别单个对象，估算对象的权重并区分不同的手部姿势。

在Sundaram及其同事的研究中，手套被用来记录几个压力图的视频，这些视频是在3-5个单独操作26个日常物品的过程中进行的。这个程序产生了一个详细的压力图数据库，据我所知，这是最大的数据集之一。作者发现，尽管制造成本仅为10美元左右，但手套具有柔韧性，坚固性和对小压力变化的敏感性。

为了证明手套捕获手与每个物体的不同相互作用，Sundaram 等人。使用记录的数据进行自动对象识别。他们展示了最初设计用于大规模图像分类的最先进的深度学习模型如何从聚集的压力图中学习，以便在盲目操作期间重新识别26个物体。大量的地图及其空间分辨率对于成功识别物体至关重要。

接下来，作者使用手套拾取物体，并表明类似的深度学习模型可以估计未知物体的重量。在不同的手部姿势下也佩戴手套，并且传感器读取的信号足够详细以区分每个姿势。最后，Sundaram及其同事通过观察信号相关性分析了在物体抓取过程中不同手套区域之间的协作。

除了提供人类掌握的充分研究原理的实验证据之外，这种数据驱动的探索可以提高我们对物体操纵过程中触摸功能的理解。深度学习模型极大地提高了我们对视觉对象识别的神经机制的认识。在这方面，类似的方法可以应用于解释大脑中的触觉信息处理。

Sundaram及其同事在物体操纵过程中同时产生压力图和相应的手部照片，产生大量同步的视觉和触觉信息。多种形式的感官知觉的数据集是不常见的，并且代表了多感觉整合系统发展的基本步骤，以及对大脑如何形成对环境的连贯感知的理解。

这种柔性传感装置可具有各种应用。例如，在医疗诊断，个人健康护理和运动中。但它也可能影响主动（外部动力）假肢和机器人手的发展。触觉反馈在控制手部运动至关重要的作用和施加的力，使得缺乏这些信息使得它具有挑战性的人类和机器人实现稳定的抓取。此外，触觉直接实现了针对物体识别和定位的触觉探索。众所周知，提供具有触觉反馈的主动假体可以有助于减轻幻肢痛（从肢体缺失的感觉），增加对假体的主人翁感并减少控制装置所涉及的认知压力，实现更自然的行动。

触觉传感器可以被并入包围假肢的手套，或直接固定到机械部件。在这方面，Sundaram及其同事的设备技术可以适应各种形状，以便整合到机器人或假肢中。目前，主要限制是手套所需的密集传感器覆盖的缺点。一个缺点是广泛的布线，尽管作者使用行和列的设计来保持这种布线合理的约束。另一方面是记录压力图的速率，根据应用可能需要更高（例如，如果触觉反馈用于控制机器人手）。尽管如此，我认为目前形式的手套或其改进版本为机器人应用提供了令人兴奋的前景。

一种新兴的机器学习模型已经被证明在模仿人类学习从经验中执行行动的能力方面是有效的，这一过程称为强化学习。在过去的几年里，研究人员在物体操纵过程中使用了特殊的手套来记录手部姿势数据，并将这些记录的经验输入到一个模型中，该模型从这些数据中学习以产生成功的操作。这种将人类经验转化为机器人的方法可以从使用Sundaram及其同事的数据采集手套中受益。

最后，目前的研究为几种计算机视觉模型重新用于触觉信号处理铺平了道路，允许应用数十年的计算机视觉研究。这种方法提供了许多好处，例如消除了涉及模型选择的各种问题，这些问题在早期阶段减缓了深度学习的进展。因此，Sundaram及其同事的手套可以导致触觉传感的快速发展。我相信手套的低成本将有助于复制和共享用于制造设备和数据采集设置的方法。这将促进在触觉传感研究中使用大型和标准数据集，而这目前是计算机视觉的主要限制因素。