港科大/港城大：提出PhyTac系统突破触觉传感瓶颈

在人类数百万年的生物进化历程中，手作为感知细微触觉的主要器官，不仅是我们与物理世界互动的智能工具，更成为了人类意识向外延伸的直接桥梁，使我们能够从周围环境中获取丰富的触觉信息。诸如手柄、鼠标、键盘以及触摸板等以人手为核心设计的交互设备，被视为连接人类与虚拟世界的重要纽带，极大地拓展了我们的交互边界。尽管手在日常生活中扮演着至关重要的角色，但我们对手部在抓握等动作中产生的力量分布和特性仍知之甚少。例如，每根手指在抓握时产生的力量差异、手掌力量的具体分布模式等，这些知识的缺失成为了精准医疗、体育训练、机器人技术、虚拟现实操作等多个领域发展的瓶颈。▍开发触觉交互系统PhyTac，实现手部分布力实时测量长久以来，基于液压、气压和机械弹簧原理的握力计一直是评估人手施加力量的主要工具。然而，这些传统方法只能提供关于最大力量的信息，缺乏对于力量在空间和时间上的详细分布数据，这大大限制了其应用范围和精度。
图1 基于液压、气压和机械弹簧原理的握力计近年来，柔性触觉仿生皮肤的发展为测量手部力量的分布提供了新的契机。这类技术大致可以分为两类：一类是基于电信号的阵列式传感技术，包括压阻式、电容式、压电式、摩擦电式等多种原理；另一类则是基于视觉的传感技术，如Gelsight、Tactip、TacLINK、Insight等。基于电信号的传感器在单点力量测量方面表现出高精度，但在面对大面积复杂接触变形时，容易出现串扰问题，导致测量精度下降。而基于视觉的传感技术虽然能够避免电信号的串扰问题，提供更高的鲁棒性，但其量程范围通常较小（一般小于10牛），并且在多点大面积接触时同样面临精度不足的挑战。此外，这类技术的标定过程往往需要大量的数据集支持（通常超过1GB）。针对以上问题，来自香港科技大学（HKUST）电子与计算机工程学系的申亚京教授研究团队进行了深入研究，并通过引入一种基于“数字通道”的手部力传感和处理策略，成功地在分布力的接触位置上生成了可辨别的时序数字信号，有效解决了这一技术难题。同时，研究团队也受触觉神经系统的解码原理以及芦荟等莲座植物叶子中的螺旋结构启发，开发了一种以手为中心、基于数字通道的触觉交互系统——PhyTac。
图2 两个尺寸的PhyTacPhyTac系统在设计上有效防止了标记重叠，能够准确地从耦合信号中识别出多达368个区域的多点刺激。值得一提的是，研究团队通过将物理学原理集成到模型训练中，成功将数据集大小缩减至仅45千字节，远低于传统方法通常所需的超过1千兆字节的数据集大小。实验结果表明，PhyTac系统在0.5至25牛顿的传感范围内具有高达97.7%的保真度，展现出了令人瞩目的性能。这一技术的突破有望在医学评估、体育训练、机器人以及虚拟现实（VR）等多个领域实现广泛应用。
图3 PhyTac的工作机制及潜在的广泛应用。该研究不仅加深了人类对以手部为中心的动作的理解，还强调了物理和数字领域的融合对于推动基于人工智能的传感器技术进步的重要性，为相关领域的未来发展奠定了坚实基础。目前，该研究成果的相关论文已以“Digital Channel-enabled Distributed Force Decoding via Small Datasets for Hand-centric Interactions”为题发表在《Science Advances》期刊上。论文共同作者包括来自香港科技大学的唐一峰、博士后研究员李根博士、张铁山博士、研究助理教授杨雄博士，来自香港城市大学的任豪和郭栋，以及来自南开大学的杨柳教授。通讯作者则由香港科技大学申亚京教授担任。▍引入“数字通道”，解决大面积复杂接触难题“数字通道”概念的引入，能够精确识别复杂接触的位置，并对大面积接触问题中的分布力进行准确解码。通过标记点的阈值开关，“数字通道”可以实现逻辑判断，当开关被激活时，标记点被表示为逻辑“1”，其他标记则为逻辑“0”。这一过程形成了一个代表关键力空间分布的数字通道，该通道不仅能够有效过滤周围刺激带来的不必要干扰，还能在节约计算资源的同时，提供具有物理意义的高质量数据。值得注意的是，通过将物理模型融入人工智能模型训练，数据集的大小得到了显著缩减，仅需45KB，远低于传统方法所需的超过1GB的数据集。这一突破意味着，即使面对极小的数据集，该技术也能从多重耦合的模拟信号中准确识别出多达368个区域的多点刺激，且力的重建精度高达97.7%。对此，申亚京教授表示，“针对大规模分布式触觉传感技术，‘数字通道’的概念为解码力的位置提供了一个全新的维度，使得仅通过极小的数据集就能实现高精度和高鲁棒性。”
图4 引入数字通道后，分布力的位置与幅度均可精确重建。▍结合力学模型与神经网络，实现小数据集分布力重建此外，下图详细阐述了物理模型增强神经网络（FEM-NN）的原理及其在小数据集上的优势和高精度表现。FEM-NN的输入包括由数字通道获取的关键节点（key nodes of interest, KOI）和位移矩阵，输出则为增广刚度矩阵，且仅需一个45KB的小数据集。
图5物理模型增强神经网络（FEM-NN）的原理该技术中引入的物理模型建立了一个力学框架（FEM），将标记位移和力大小相互关联，并提供了涵盖PhyTac材料、几何和力学性能的宝贵先验知识。FEM-NN模型既采纳了这一力学先验知识，又得益于神经网络的强大拟合能力，有效弥补了有限元模型与现实世界模型之间的物理差异。研究结果显示，FEM-NN在整个量程范围（0.5 ~ 25 N）内均保持了较高的精度，力的平均绝对误差仅为0.11 N，平均相对误差也仅为2.3%，这一表现优于传统基于纯物理模型的方法和基于卷积神经网络的方法（上图C）。▍由旋转芦荟和触觉神经系统启发的硬件结构设计自然界中，螺旋女王芦荟的旋转叶序能够避免叶子互相遮挡，从而来最大化得捕获阳光。受此启发，研究团队将标记点以类似的螺旋结构排列，优化了光路设计，使得PhyTac系统有效避免了由标记点互相遮挡引起的精度下降问题，并显著提高了标记点的分布密度。这一创新设计最终提升了力的传感范围和分辨率。
图6 A. PhyTac的整体结构和组件。B. 受TrkB+启发的数字通道。C. 受螺旋女王芦荟启发的螺旋式标记点排列方法PhyTac系统由带有标记点阵列的仿生外壳、偏振线性光源和运动捕捉摄像头三大组件构成。当手部对PhyTac施加力时，其外壳会发生变形，同时摄像头会精准捕捉到每个标记点的运动轨迹。随后，系统利用所有标记点的位移数据作为输入，通过物理模型增强神经网络（FEM-NN）准确建立标记点位移与手部力分布之间的映射关系。因此，该系统能够重建手部丰富的触觉力学信息，与现有设备相比，信息量增加了至少两个数量级，为新一代人机交互提供了广泛应用的可能性。▍在机器人、虚拟现实、医学和运动科学等领域的广泛应用PhyTac系统可直接应用于握力分布的测量，这对于中风、类风湿性关节炎等多种疾病的评估和治疗具有重要意义。与其他潜在解决方案（如触觉手套）相比，PhyTac系统更加鲁棒、易用且无束缚感。如视频所示，该系统能够精确识别不同握持姿势下握力分布的动态变化。研究团队还进一步将PhyTac系统安装在网球拍上，并测量了击打网球时手部的力量分布。该研究成果相关论文的第一作者唐一峰表示：“我们发现正手击球时，力量主要集中在食指、中指和无名指上；而反手击球时的力量分布则有所不同，其中拇指、无名指和小指贡献了更多的力量。”
图7 正反手击球时力分布的对比此外，PhyTac系统还能将现实世界中的分布力投射到虚拟世界中，实现精确的虚拟现实（VR）操控。使用者可以用拇指和食指小心翼翼地托住一个鸡蛋而不将其捏碎，或者当总力量超过一定阈值时，用三根手指捏碎它。
图8 在虚拟世界中精确操控鸡蛋、花瓶和软球（上图）。遥控机器人手抓取、握住和传递物体（下图）。同样的，研究团队也展示了用握力捏碎花瓶，以及如何用不同的分布力精确操控软球的变形。唐一峰补充道：“得益于PhyTac在三维空间中的灵活性，它还可以作为遥控操作界面，控制机器人手拿起、握住并传递一个薄塑料杯，而不会将其捏坏。”▍关于未来对于未来的研究方向，研究团队计划将“数字通道”这一概念拓展应用至其他几何形状的视触觉传感器上。他们认为，在如何有效克服干扰等问题上，电阻式、电容式等其他类型的分布式软触觉传感器也将能够从这项研究中获得显著益处。项目负责人申亚京教授则表示，团队致力于构建物理世界、虚拟世界与机器人之间的智能交互桥梁。PhyTac作为这一愿景实现过程中的重要里程碑，不仅深化了团队对手部动作机制的理解，更被团队寄予厚望，希望未来其能成为以手为核心的交互媒介，在医学评估、体育训练、机器人技术以及虚拟现实（VR）等多个领域发挥广泛应用价值。参考文章https://www.science.org/doi/10.1126/sciadv.adt2641审核编辑 黄宇