通过将类似皮肤的电子设备与计算机视觉结合起来来识别手势

新加坡南洋理工大学（NTU新加坡）的科学家开发了一种人工智能（AI）系统，该系统通过将类似皮肤的电子设备与计算机视觉结合起来来识别手势。

在过去的十年中，人工智能系统对人的手势的识别已成为一项有价值的发展，并且已被高精度的外科手术机器人，健康监测设备和游戏系统采用。

通过整合可穿戴式传感器的输入，改进了最初仅用于视觉的AI手势识别系统，这种方法称为“数据融合”。可穿戴式传感器可重建皮肤的感知能力，其中之一被称为“体感”。

但是，手势识别精度仍然受到可穿戴式传感器提供的数据质量低的困扰，这通常是由于它们的体积大，与用户的接触不良以及视觉上受阻的物体和光线不足的影响。视觉和感官数据的集成带来了进一步的挑战，因为它们代表了不匹配的数据集，必须分别处理然后在最后合并，这效率低下，导致响应时间变慢。

为了应对这些挑战，NTU团队创建了一个“生物启发”的数据融合系统，该系统使用由单壁碳纳米管制成的类似于皮肤的可拉伸应变传感器，以及一种类似于皮肤的感知和视觉处理方式的AI方法。大脑。

NTU科学家通过在一个系统中结合三种神经网络方法来开发他们的生物启发式AI系统：他们使用了“卷积神经网络”，这是一种用于早期视觉处理的机器学习方法，是一种多层神经网络，用于早期的体感信息处理，和“稀疏神经网络”将视觉和体感信息融合在一起。

结果是该系统可以比现有方法更准确，更有效地识别人的手势。

该研究的主要作者，南大材料科学与工程学院的陈晓东教授说：“我们的数据融合架构具有其自身独特的生物启发特征，其中包括类似于人体感觉-视觉融合层次的人工系统。大脑。我们相信这些功能使我们的架构对于现有方法而言是独一无二的。”

“与刚性穿戴式传感器相比，刚性穿戴式传感器与用户之间无法形成足够紧密的接触以准确收集数据，我们的创新技术使用可拉伸的应变传感器，可舒适地贴附​​在人体皮肤上。这可实现高质量的信号采集，这对于高强度采集至关重要精确识别任务”，同时也是南大柔性设备创新中心（iFLEX）主任的陈教授说。

由NTU新加坡和悉尼科技大学（UTS）的科学家组成的团队于6月在科学期刊《自然电子》上发表了他们的发现。

为了从手势捕获可靠的感官数据，研究团队制造了一种透明的，可拉伸的应变传感器，该传感器附着在皮肤上，但在相机图像中看不到。

作为概念证明，该团队使用通过手势控制的机器人测试了他们的生物启发式AI系统，并引导其通过了迷宫。

结果表明，与基于视觉的识别系统产生的六个识别错误相比，由生物启发的AI系统提供动力的手势识别能够以零错误引导机器人穿越迷宫。

当新的AI系统在恶劣条件下（包括噪音和不利的照明条件）进行测试时，也保持了较高的准确性。人工智能系统在黑暗中有效工作，识别准确率高达96.7%。

该研究的第一作者，新加坡南大材料科学与工程学院的王明博士说：“我们的体系结构的高精度背后的秘密在于，视觉和体感信息可以相互作用并相互补充。因此，该系统可以合理地收集具有较少冗余数据和较少感知模糊性的连贯信息，从而提高准确性。”

德国马克斯·普朗克胶体与界面研究所所长Markus Antonietti教授发表了独立的见解，他说：“本文的发现使我们向更智能，更受机器支持的世界迈出了一步。就像智能手机的发明一样这场革命给社会带来了革命，这项工作使我们寄希望于我们有一天能够通过手势以极大的可靠性和精确性来物理控制我们周围的整个世界。”

“在市场上，支持这种未来的技术只是无穷无尽的应用。例如，从对智能工作场所的远程机器人控制到老年人的外骨骼。”

NTU研究团队正在寻求基于开发的AI系统构建VR和AR系统，用于需要高精度识别和控制的领域，例如娱乐技术和家庭康复。