香港科技大学（HKUST）：用小数据集实现大尺度触觉传感，有望应用于以手为中心的健康、运动、机器人和虚

近日，由香港科技大学（HKUST）电子与计算机工程学系申亚京教授领导的研究团队，提出了一种基于数字通道的触觉交互系统，可以实时测量来自手不同部位的分布力，有望在医学评估、体育训练、机器人和虚拟现实（VR）等多个领域实现应用。

经过数百万年的生物进化，手已成为人类意识最直接的延伸之一。我们日常使用的许多交互设备，如手柄、鼠标、键盘和触摸板，都是为了方便手的使用而设计。然而，尽管手在我们的生活中起着至关重要的作用，但我们对手产生的力知之甚少。例如，抓握时每跟手指产生的力有何不同？手掌的力如何分布？这一知识空白极大地阻碍了包括精准医疗、体育训练、机器人技术、虚拟现实操作等多个领域的发展。

图1 基于液压、气压和机械弹簧原理的握力计 近几个世纪，基于液压、气压和机械弹簧原理的握力计是评估人手施加的力的常用方法，但它们只能提供最大力的信息，缺乏空间和时间的细节分布（图1）。柔性触觉仿生皮肤的发展为测量力的分布提供了新的机会，按其原理，可大致分为两类：基于电信号的阵列式传感（压阻式、电容式、压电、摩擦电等）和基于视觉的传感技术（Gelsight、Tactip、TacLINK、Insight等）。基于电信号的传感器在单点力测量时精度非常高，但存在大面积复杂接触变形时引起的串扰问题，出现精度下降。基于视觉的方法可以避免电信号的串扰问题，提供更高的鲁棒性，但其量程范围通常较小（通常<10N），且同样面临多点大面积接触时精度不足的问题。此外，其标定常需要大量数据集（通常>1GB）。简而言之，现有的柔性触觉传感方式获得的信息，本质上是来自多个未知负载源耦合的复杂模拟信号，这使得分布力的解码非常复杂，特别是对于多点大面积复杂接触的力分布，如手部的握力。

在最近的一项研究中，香港科技大学申亚京团队通过引入“数字通道”的概念，在分布力的接触位置上生成可辩别的时序数字信号，解决了多点大面积复杂接触问题，并提出了一种以手为中心的触觉交互系统（PhyTac，图2与图3）。PhyTac由带有标记点阵列的仿生外壳、偏振线性光源和运动捕捉摄像头组成。当PhyTac受到手部施加的力时，其外壳会发生变形，同时摄像头会捕捉到每个标记点的运动。随后，利用所有标记点的位移作为输入，物理模型增强神经网络（FEM-NN）能够准确建立标记点位移与手部力分布之间的映射关系。因此，系统能够重建手部丰富的触觉力学信息，与现有的设备相比增加了至少两个数量级的信息量，从而在新一代的人机交互中可获得广泛的应用（图4）。

图2 两个尺寸的PhyTac

图3 A. PhyTac的整体结构和组件。B. 受TrkB+启发的数字通道。C. 受螺旋女王芦荟启发的螺旋式标记点排列方法

图4 PhyTac的工作机制及潜在的广泛应用。 “数字通道”概念的引入，可以准确识别复杂接触的位置，从而准确解码大面积接触问题中的分布力。当标记点的阈值开关被激活时，它们被表示为逻辑“1”，而其他标记被表示为逻辑“0”，从而形成一个代表关键力空间分布的数字通道。此数字通道不仅能过滤掉来自周围刺激的不必要干扰，还能以较少的计算资源提供具有物理意义的高质量数据（图5）。通过将物理模型融入人工智能模型训练，数据集的大小可显著减少到仅45 KB，远小于传统方法（通常需要超过1 GB的数据集）。因此，即使使用极小的数据集，该设备也能从多重耦合的模拟信号中准确识别出高达368个区域的多点刺激，对于力的重建精度也高达97.7%。

图5 引入数字通道后，分布力的位置与幅度均可精确重建。

“针对大规模分布式触觉传感技术，‘数字通道’的概念能够为解码力的位置提供一个新的维度，从而仅通过极小的数据集就可实现高精度和高鲁棒性。”申教授解释了这项研究的背景。

自然界中，螺旋女王芦荟的旋转叶序能够避免叶子互相遮挡，从而来最大化得捕获阳光（图3C）。受此启发，研究者将标记点以类似的螺旋结构排列以优化光路，使得PhyTac避免了由标记点互相遮挡引起的精度下降，并显著提高了标记点的分布密度，这最终提高了力的传感范围和分辨率。

图6展示了物理模型增强神经网络（FEM-NN）的原理及其在小数据集上的优势和高精度。FEM-NN的输入是由数字通道得到的关键节点(key nodesof interest, KOI)和位移矩阵,输出为增广刚度矩阵，其仅需要一个很小的数据集(45KB)。引入的物理模型建立了一个力学框架（FEM），将标记位移和力大小联系起来，并提供了包含PhyTac材料、几何和力学性能的宝贵先验知识。FEM-NN模型既采用了此力学先验知识，并得益于神经网络的强大拟合能力，有效地弥补了有限元模型与现实世界模型之间的物理缺失。结果表明，FEM-NN在整个量程范围（0.5 ~ 25 N）内均保持了较高的精度，力的平均绝对误差为0.11 N，平均相对误差仅为2.3%，优于传统基于纯物理模型的方法和基于卷积神经网络的方法（图6C）。

PhyTac可直接应用于握力分布的测量，这将有益于多种疾病（中风、类风湿性关节炎等）的评估和治疗。与其他潜在的解决方案（如触觉手套）相比，此方法更加鲁棒、易用和无束缚。如视频S2所示，它可精确地识别不同握持姿势下握力分布的动态变化。

图6物理模型增强神经网络（FEM-NN）的原理


研究者进一步将PhyTac安装在网球拍上，并测量了击打网球时手部的力量分布（如视频S3所示）。“我们发现正手击球时，力量主要集中在食指、中指和无名指上。相比之下，反手击球时的力量分布则有所不同，其中拇指、无名指和小指贡献了更多的力量。”本研究的第一作者唐一峰说道。

图7 正反手击球时力分布的对比

PhyTac还能通过将现实世界中的分布力投射到虚拟世界中，实现精确的虚拟现实（VR）操控。使用者可以用拇指和食指小心翼翼地托住一个鸡蛋而不将其捏碎，或者当总力量超过一定阈值时用三根手指捏碎它。同样地，作者还展示了用握力捏碎花瓶，以及如何用不同的分布力精确操控软球的变形（图8和视频S4）。“此外，得益于PhyTac在三维空间中的灵活性，它可以作为遥控操作界面，控制机器人手拿起、握住并传递一个薄塑料杯，而不会将其捏坏。”唐一峰补充道。详细视频于视频S5中展示。

图8 在虚拟世界中精确操控鸡蛋、花瓶和软球（上图）。遥控机器人手抓取、握住和传递物体（下图）。

对于下一步的研究工作，团队计划将“数字通道”概念应用于其他几何形状的视触觉传感器上。他们认为，当克服干扰问题时，其他类型的分布式软触觉传感器，如电阻式和电容式传感器，也将从这项研究中获益。

“我们的目标是为物理世界、虚拟世界和机器人之间建立智能交互的桥梁。PhyTac是实现这一目标的重要一步。它加深了我们对手部动作的理解，我们期望它能成为一种以手为中心的媒介，在医学评估、体育训练、机器人和虚拟现实（VR）等多个领域实现应用。”该项目的负责人申亚京教授说道。

这项工作的其他共同作者包括来自香港科技大学的博士后研究员李根博士、张铁山博士以及研究助理教授杨雄博士，来自香港城市大学的任豪和郭栋，以及来自南开大学的杨柳教授。此研究成果已发表在《科学进展》（Science Advances）期刊上，论文标题为Digital Channel-enabled Distributed Force Decoding via Small Datasets for Hand-centric Interactions.

来源：高分子科学前沿