具有多模态感知能力的智能软体机械手研究

研究背景

基于人工智能物联网（AI of things，AIoT），数字孪生（digital twin）在近几年得到飞速发展，它是指利用各种传感器的信息将物理系统复制到云端，在云端对系统进行监控和优化，在智能制造领域有重大意义。数字孪生一个重要的应用是无人工厂中的零件分拣和产品组装，由于制作成本低且具有非常高的灵活性，软体机械手受到越来越多的关注。如何使机械手上的传感器提供多维度的信息并且杨氏模量与其相匹配，是提升机械手性能需要考虑的主要问题。

文章概述

电子科技大学集成电路科学与工程学院（示范性微电子学院）“微波电路与微系统集成研究室”张晓升教授团队与新加坡国立大学电子与计算机系“智能传感与微机电系统中心”Chengkuo Lee教授团队合作，开展了“具有多模态感知能力的智能软体机械手”的研究工作并取得重要进展。该成果以“Intelligent Soft Robotic Fingers with Multi-Modality Perception Ability”为题发表在iScience（26, 107249，2023）期刊上。

该研究以探究TENG在数字孪生场景下的应用为目标，提出了一种基于TENG的具有两种类型传感器的软体机械手。该系统由9个作为触摸传感器的single-layer TENG（SL-TENG）和3个作为弯曲传感器的comb-shaped TENG（CS-TENG）组成，灵敏度达到110V/kPa，经过20000次按压测试后仍能维持稳定输出。最后结合一维卷积神经网络，该仿生传感系统实现了实时物体识别功能。

这项工作的成果可以概括为以下三个方面：（1）针对触摸传感器，设计了两种结构：金字塔结构和半球结构。经过测试，采用半球结构的SL-TENG灵敏度相较于金字塔结构提升了7%。（2）针对弯曲传感器，特殊设计的固定梳状电极使研究人员可以轻易从CS-TENG产生的信号中分辨出机械手弯曲的角度，分辨率可以达到5°，具有优异的精度和准确度。（3）三个由3D打印机打印的软体手指组成了机械手，可以通过控制输入气体的压力对机械手的抓握力度进行精确控制。（4）引入一维卷积神经网络，使用机械手抓握不同物体时12个传感器（9个SL-TENG和3个CS-TENG）产生的信号生成数据集，训练和测试神经网络，再调用训练后的网络进行物体实时识别，准确率达到98.96%。

图1 软体机械手设计研究简介。使用9个SL-TENG作为触摸传感器和3个CS-TENG作为弯曲传感器，最后结合一维卷积神经网络，实现物体实时识别功能。

图2 智能传感系统的数据采集和识别响应。(A) 软体机械手的图片。(i) 机械手未充气状态。(ii) 机械手的充气状态。(B) 机械手抓握不同物体时产生的输出响应对应的3D瀑布图。(C) 一维卷积神经网络（1D-CNN）的结构。(D) 学习曲线。(E) 混淆矩阵。

工作小结

本研究开发了一套由基于TENG的软体手指组成的仿生传感系统。提出并测试了SL-TENG的两种新结构。与小尺寸的金字塔微结构相比，具有半球形微结构的SL-TENG的灵敏度提高了7%。并且SL-TENG的输出在20000次按压后仍能保持稳定。提出了几种CS-TENG的结构用于检测机械手的弯曲角度，其中使用固定梳状电极的模型具有最好的性能，该结构具有稳定的信号，可以通过波峰的数量来表示曲率。三根软体手指采用TPU材料进行3D打印，并与其他传感器组装成一体作为传感系统，该系统可以通过气压精确控制。传感器生成的数据被发送到计算机并保存为数据集。最后搭建并训练了1D-CNN 模型，并验证了实时物体识别的能力，显示了该系统应用于数字孪生领域的潜力。

审核编辑：刘清