印第安纳大学：多模态可穿戴生物传感技术与多领域人工智能的融合，通往去中心化医疗之路-电子发烧友网

可穿戴生物传感器已成为连续、实时健康监测的平台，能够以非侵入性或微创的方式从人体不同部位采集生理、生化和环境信号。凭借小型化设计、组织贴合外形和良好的舒适性（图 1a），这些设备可以融入日常生活，以接近传统临床设备的性能采集多模态生物信号（图 1b）。除了即时诊断之外，它们正在推动医疗服务向非侵入式、分散式居家监测方向发展（图 1c），支持持续监测、早期检测和精准干预，同时减轻临床负担。

尽管传感性能强大，但瓶颈在于解读：高容量、异构的数据流难以手动解析，且无法扩展。多领域人工智能通过联合学习多种模态并注入结构化领域知识来解决这一问题。多传感器融合（图 1d）将互补信号对齐成共享表示；知识图谱（图 1e）对精心整理的临床关系进行编码，以增强推理能力并降低脆弱性。跨域迁移（图 1f）则重用在数据丰富的环境中学习到的抽象概念，以指导探索不足的情况，从而在数据稀疏时提高系统的鲁棒性，推动系统从传感器向决策者转变。大型语言模型（LLM）为这一技术栈增添了对话层，将复杂的输出转化为清晰的、面向患者和临床医生的指导，并支持对不确定性和偏好的交互式探索（图 1g）。结合连续传感技术，这些智能体能够引导系统从原始信号向决策者转变，触发决策、分析风险并提出后续步骤建议，而无需面对面咨询，从而支持患者自我管理，同时减轻医护人员的工作负担。

在本综述中，我们概述了多模态生物传感和多领域人工智能的最新进展，并探讨了它们的融合如何实现去中心化的、以患者为中心的医疗服务。我们首先概述了多模态可穿戴生物传感技术的最新进展，以展示其对生理过程的互补覆盖，并重点介绍具有代表性的诊断和筛查研究。然后，我们着重探讨数据融合，阐述如何将第一手传感器数据流与电子健康记录和医学文献相结合，从而支持更精准的个体特征分析、鉴别诊断和决策支持。最后，我们讨论了尚存的挑战、可互操作数据集成的标准、隐私和治理、通用性和信任问题，并展望了闭环系统在生命体征层面提供全面评估的机遇。

本文亮点

1. 本工作提出了一种将多模态可穿戴生物传感与多域人工智能相结合的去中心化医疗保健路径。

2. 回顾了可穿戴传感模式的最新进展，并总结了多传感器融合如何改善患者画像、增强诊断区分度以及实现更早期的风险预测。

3. 随后描述了将生物传感器测量数据与电子健康记录、精选医学文献和知识图谱整合的人工智能流程，以支持循证决策。

4. 最后讨论了尚存的挑战，包括数据质量和跨模态数据对齐、跨域数据共享的隐私和治理，以及在真实世界异构性条件下的稳健泛化能力。

图文解析

图1. 可穿戴生物传感器与多领域人工智能的协同作用。(a) 具有皮肤/器官贴合设计的代表性可穿戴设备形态（例如，植入物、纺织品、贴片、手表、鞋类、隐形眼镜）。(b) 指示生物信号采集解剖目标的体位“传感器图谱”。(c) 可穿戴设备可实现的传感模式：生物化学、物理/机械、电生理和成像。(d) 将医学文本、图像和时间序列信号对齐到共享表示的多模态融合流程。(e) 基于知识图谱的医学推理，连接临床记录、公共卫生和领域知识。(f) 跨领域表示学习，可在任务和模态之间迁移信息，以提高数据稀疏环境下的鲁棒性。(g) 可穿戴设备和多领域人工智能可实现从描述性到预防性的分层临床决策支持，推进去中心化、个性化医疗，并改善治疗效果。

图2. 从设备到智能的分层集成。多模态可穿戴设备集成于三个层面：(i) 物理层面，将生化、电学（心电图/脑电图/肌电图）、机械和成像传感器集成于柔性平台上，该平台采用可拉伸材料、微流控技术、混合界面和柔性电源；(ii) 信号层面，提供同步多通道读出，并具备噪声滤波和信号融合功能；(iii) 数据层面，利用人工智能驱动的融合和解读，提供情境感知、自适应的诊断和临床见解。

图3. 多模态可穿戴生物传感中的跨模态协同效应。(A) 生化-电学混合贴片，将葡萄糖传感器和电生理传感器集成于柔性微流控平台上，用于同时进行代谢和心脏监测。(B) 微流控可穿戴设备，将汗液代谢物分析、心电图和温度传感集成于单一柔性架构中，以揭示电代谢相关性。(C) 用于感染伤口护理的可拉伸无线生物电子敷料，结合了多重生化传感（pH值、葡萄糖、尿酸）、热监测和电刺激，用于闭环治疗。(D) 生物粘附性超声弹性成像贴片，将主动机械激励与成像相结合，用于连续、可穿戴地绘制组织弹性图。(E) 无线机械声弹性成像平台，将应变传感与剪切波成像同步，以跟踪运动过程中的组织力学特性。 (F) 多模态皮瓣监测器，集成机械（应变、温度）、光学（SpO2）和湿度传感，用于定量评估移植片的灌注和活力。(G) 三模态软贴片，将化学、光学和机械模态融合于同一平台，实现自调节、情境感知的表皮电子器件。

图4. 医疗保健领域的多领域人工智能工作流程。(a) 患者画像：在数据/特征层面融合多模态生理数据（生化、影像、电生理、机械），构建综合画像。(b) 临床评估：将该画像与涵盖症状、检查、人口统计学信息、治疗、结果和处方等的群体规模电子健康记录 (EHR) 进行对比，以增强诊断和预测能力。 (c) 治疗推理：基于文献、公共卫生数据库和临床试验结果构建的领域知识图谱支持跨领域表征学习和推理，从而推荐合适的治疗方案。

图5. 多模态医学融合模型。(a) 医学整体人工智能 (HAIM) 框架通过模态特定的特征提取器（例如，循环神经网络 (RNN)/Transformer/卷积神经网络 (CNN) 或统计模型）统一表格、时间序列、文本和图像流，生成嵌入，用于下游分类器/回归器（线性、SVM/聚类、基于树的神经网络）。因组学）与后期整合相结合来缓解数据稀疏性，从而生成用于结果预测和亚型发现的跨模态特征。子模型从不同的数据模态中提取单模态特征，然后进行多模态整合以生成跨模态特征。 (c) 使用 Transformer 主干网络进行痴呆症鉴别诊断，该网络可接收数值、类别和图像输入；每个特征在进行跨特征注意力机制和预测之前，都嵌入了模态感知方案。

图6. 利用可穿戴设备和多领域人工智能实现医疗保健民主化。传统医疗保健流程（黑色箭头）。(a) 蓝色箭头：人工智能赋能的流程，其中上下文数据和可穿戴生物传感器为连接到电子健康记录/知识库的多模态人工智能系统提供数据，并向智能个人健康助手和临床医生返回指导信息，涵盖描述性报告、处方治疗计划、预测性预后和预防性风险管理。黑色箭头：传统工作流程。灰色箭头：传统路径和人工智能增强路径之间的交互。 (b) 患者特定助手的展望：从确定性（是/否任务决策）到信息性（优缺点选项排序），再到解释性系统，后者将患者价值观、生活质量权衡和风险纳入考量，从而提出行动建议。