友思特应用 FantoVision边缘计算：多模态传感+AI算法=新型非接触式医疗设备-电子发烧友网

导读

基于多模态传感技术和先进人工智能技术可有效提升乳腺癌检测的精准性、性价比和效率。友思特 FantoVision 边缘计算机则为其生物组织数据的高效传输和实时分析提供了坚实基础。

乳腺癌的新型医疗检测方式

乳腺癌是女性面临的最令人担忧的健康问题之一，早期发现和积极的患者监测对生存至关重要。在早期发现和治疗时，治愈的机会很高。而乳腺X线摄影、超声波和 MRI 等标准乳腺癌诊断方法存在各种局限性，例如电离辐射、高假阳性率和高昂的治疗/检查费用。

ThermoMind 利用最新的多模态传感技术和先进的人工智能，来追踪与癌细胞引起的代谢异常相关的数字生物标志物，从而实现了高效的乳腺癌检测。这种创新的辅助生理成像技术采用最先进的红外传感器和复杂的计算机处理来创建数字皮肤，监测与癌细胞活动相关的代谢和血管变化相关的 300 多个数据点。

FantoVision：高带宽图像采集和AI处理

实现多模态传感器技术与先进的 AI 分析精度相结合的医疗设备，其主要挑战在于：如何在捕获多个高分辨率图像数据流的同时实时处理图像。而传统的嵌入式视觉系统在相机高带宽数据传输场景下，则需要解决如何实现与嵌入式系统的高速实时数据的吞吐、嵌入式设备的负载消耗、以及采用云部署的高成本开发等问题。

友思特 & Gidel 的 FantoVision 是解决上述困境的理想的解决方案。FantoVision 是一款专为高带宽成像而设计的紧凑型嵌入式计算机，其架构使用 NVIDIA Jetson 嵌入式计算机，将高端图像采集与实时图像处理和/或压缩结合起来，并使用英特尔 Arria 10 FPGA 进行可选的预处理/压缩 IP。支持最流行的高带宽相机接口 10GigE、CoaXPress 和 Camera Link。由于其紧凑型嵌入式平台的特征，FantoVision 的尺寸仅为 134 × 90 × 60 mm，因此可以轻松集成到医疗设备外壳中。最高可达 50Gb/s 的速度进行图像采集和处理，15 个数据流同时以每秒 30-60 帧的速度捕获高分辨率图像，通过在 FantoVision 边缘计算机上集成专有的压缩算法，实现数据流的压缩，然后传输到 AI 模组/云端进行 AI 处理。

应用案例

ThermoMind 开发的 Vision One，利用先进的多模态传感技术作为数据源，在设计时充分考虑了患者的舒适性和隐私性。其独特的结构特点是在胸部高度有一个大环，连接到控制台，装有多个红外和深度传感器，针对患者的胸部和腋窝，以捕捉全面的 180° 视图。

Vision One（图片来源：ThermoMind）

这些图像通过部署在 FantoVision 上复杂的 AI 算法进行实时分析，提供可操作的见解，例如血管映射和代谢异常检测，从而显着增强临床决策。该设备集成了长波红外 （LWIR）、近红外 （NIR）和 3D 成像，以收集有关乳腺组织中热、血管和结构变化的详细数据。由 FantoVision 边缘计算机上提供的专有图像压缩算法进行数据流的压缩，然后传输到人工智能组件/云端分析捕获的数据以识别癌症的数字生物标志物，从而协助风险评估并简化诊断过程。

诊断与成像示意图（图片来源：ThermoMind）