宾夕法尼亚州立大学，厦门大学：可拉伸、可充电、多模式混合电子设备，用于情绪检测的解耦传感-电子发烧友网

背景介绍

凭借软柔性/可拉伸传感器和商用刚性但小型化的高性能设备组件的共同优势，柔性混合电子设备可以为健康监测、人机界面和机器人提供完全集成的设备系统。在健康监测中，多模态传感对于表征生理和心理健康至关重要。鉴于现代社会压力水平的上升，实时情绪监测对于早期发现和及时干预抑郁、焦虑或恐慌发作等心理问题变得越来越重要。虽然面部表情可以提供一些关于潜在情绪的见解，但仅依赖于面部表情的指标往往会导致不准确的分类和检测，因为许多人可能由于个体差异和社会因素而无法明显表达自己的感受。因此，将面部表情分析与其他生理参数相结合，对于全面理解和提高预测精度至关重要。

从皮肤温度、湿度、心率和SpO2水平的变化中可以获得对情绪状态的宝贵见解。例如，当一个人感到惊讶或愤怒时，皮肤温度会升高，而在快乐、恐惧或悲伤时则会降低。通过主要反映出汗水平，皮肤湿度在出汗引起的恐惧期间会上升。心率通常会随着快乐、惊讶、恐惧或愤怒等情绪而增加，而悲伤通常会导致心率下降。对于厌恶，温度、湿度和心率反应可能因所经历的特定厌恶类型而异。同时，监测SpO2水平是有价值的，因为引发恐慌发作的情绪可能会导致与SpO2水平下降相关的呼吸困难等症状。因此，通过将生理信号与面部表情相结合的多维数据，可以更准确地识别情绪。

尽管柔性传感器已被广泛报道用于实时跟踪应变、温度、湿度、心率和血氧，但在没有串扰的情况下同时高精度检测这些信号仍然具有挑战性。最小化耦合的努力始于直观的策略。例如，通常用于增强可拉伸性的蛇形等可拉伸结构可以自然地减轻应变效应。将具有正温度系数和负温度系数的材料结合起来可以实现温度不敏感，而透气或封装传感器可以降低对湿度的敏感性。另一方面，基于多孔离子膜的湿度传感器在一定温度范围内表现出离子迁移稳定性，多孔结构在压力下抵抗显著变形。因此，它们可以在广泛的温度和压力范围内保持稳定的性能。尽管取得了这些进步，但现有的研究大多集中在测量两个输入信号的单个传感器上。因此，迫切需要开发能够有效解耦两个以上信号的先进传感器，以精确可靠地感知情绪识别。

本文亮点

1. 本工作介绍了一种完全集成的可拉伸、可充电、多模式混合设备，该设备将解耦的传感器与灵活的无线供电和传输模块相结合，用于情感识别。

2. 通过优化的结构设计和材料选择，传感器可以提供双轴应变、温度、湿度、心率和SpO2水平的连续实时解耦监测。通过传感器和柔性电路的堆叠双层，可充电系统展示了减少的设备占地面积和提高的舒适度。

3. 神经网络模型也被证明可以实现高精度的面部表情识别。通过将实时测量数据传输到移动设备和云端，该系统可以让医疗保健专业人员评估心理健康，并在需要时通过远程医疗提供情感支持。

图文解析

图1.（a）可充电可拉伸混合无线传感设备系统的分解图，其中（b）以多层布局排列的内部制造传感器的布局信息。（c）集成传感装置系统在机械变形（如20%拉伸（左）、150°弯曲（中）和60°扭曲（右））下的有限元分析（FEA，上图）和照片（下图）之间的比较。（d）显示设备组件和数据流的示意图。（e）多模态生理传感装置系统与神经网络分析相结合在情绪监测和分析中的应用。

图2.（a） X轴应变传感器的归一化相对变化，作为（i）X轴拉伸应变、（ii）温度和（iii）湿度的函数。（b） Y轴应变传感器的归一化相对变化，作为（i）Y轴拉伸应变、（ii）温度和（iii）湿度的函数。（c）温度传感器的归一化相对变化，作为（i）温度、（ii）湿度和（iii）应变的函数。（d）湿度传感器的归一化相对变化，作为（i）湿度、（ii）温度和（iii）应变的函数。

图3. （a）（i）光学图像，（ii）示意图，以及（iii）传感器的横截面SEM图像。（b）（c）（i）在水蒸气密度为0.7626kg/m3的环境中传感器的湿度分布和（ii）碳纳米管的SEM和孔隙率分析图像。（d）传感器蛇形电极中的应变分布（i）在20%X轴拉伸下没有PET应变隔离，（ii）在等效拉伸应力下有PET应变隔离；以及（iii）蛇形电极的SEM图像（没有PET引起的裂纹）。（e）应变传感器在沿（i）X和（ii）Y方向拉伸时的应变分布，其中（iii）SEM图像显示了裂纹模式随拉伸应变的演变：5%（左）、40%（中）和80%（右）。

图4. （a）用于训练和分类不同面部表情的机器学习算法的示意流程图。（b）（i）损失和（ii）训练（蓝色）和验证（红色）集在训练过程的100次迭代/迭代中的准确率。（c） 100次迭代后情绪识别的混淆矩阵。（d）六种面部表情沿（i）X和（ii）Y方向的代表性应变测量值，标记为1至6表示快乐、惊讶、恐惧、悲伤、愤怒和厌恶，以及相应的（e）K-means聚类图。（i）温度和（ii）湿度传感器在（f）静止/运动状态和（g）不同情绪下的响应变化。