使用Clara Holoscan SDK增强AI医疗设备流式处理工作流

近年来，边缘计算、摄像机、实时处理和人工智能的进步帮助医疗设备发生了变革。 NVIDIA 开发了 NVIDIA Clara Holoscan 支持软件定义 AI 医疗设备开发的平台。平台包括 NVIDIA Clara 开发工具包 这个 NVIDIA Clara Holoscan SDK 和 NVIDIA Clara Holoscan MGX 用于生产就绪部署。

NVIDIA Clara Holoscan SDK 0.2 的最新版本为医疗设备中的高性能流应用程序提供了实时 AI 推理功能和快速 I / O 。这包括内窥镜检查、超声波、外科机器人、显微镜和基因组测序仪器。

该版本还包括：

NVIDIA Graph eXecution Framework （ GXF ）与 GStreamer 的核心后端。

内窥镜 AI 应用示例。

一个可定制的 AI 管道，用于添加您自己的模型。

支持带有 Jetson AGX Jetson 和 NVIDIA Xavier 6000 的 Jetson AGX 开发工具包，以及带有 Jetson AGX Orin 和 NVIDIA RTX A6000 的 RTX Holoscan 开发工具包。

支持 NVIDIA JetPack 5.0 SDK ，其中包括 Ubuntu 20.04 。

图形执行框架处理流数据

Clara Holoscan SDK 0.2 中最重要的变化是核心后端从 GStreamer 转移到了 NVIDIA GXF 。 GXF 是一个支持流数据处理管道基于组件编程的框架。它是为非常高效的数据摄取、数据传输和 AI / ML 工作负载而构建的。

有了 GXF ，开发人员可以创建可重用的组件，并将它们组合成图形，以便快速为不同的产品构建应用程序。 GXF 支持视频和 AU 流的处理，以及用于医疗设备（如原始超声、放射成像扫描仪和显微镜）的用户定义流数据类型。

最近在 1080p 视频流上使用 NVIDIA 延迟显示分析工具 进行的测试表明，与以前的解决方案相比， GXF 提供了显著的加速。在测试中，与 Clara Holoscan SDK 0.1 中类似的基于 GStreamer 的管道相比， GXF 将 AI 推断应用程序的开销减少了近 3 倍。

图 1 ： Clara Holoscan SDK 0.2 中的 GXF 与之前 SDK 0.1 中的 GStreamer 相比

此外， GXF 支持用户自定义组件，以支持通用数据处理管道。 GXF 通过两个重要组件处理构建高性能应用程序的关键部分。

第一个是确定组件何时执行的调度器。调度器支持单线程或多线程执行，以及条件执行、异步调度和其他自定义工具。

其次， GXF 有一个内存分配器，它为系统提供了一个大型连续内存池的预先分配，并根据需要重用区域。为了确保组件之间的零拷贝数据交换，可以将内存固定到设备上。

图 2 ：通用管道的一个示例，开发人员可以在其中自定义工作流，包括数据处理、模型推理、存储和可视化

内窥镜 AI 样本在 Clara Holoscan 上的应用

数字内窥镜已经发展成为医学筛查和微创手术的关键技术。使用实时人工智能平台来处理和分析内窥镜摄像头产生的视频信号的情况越来越多。

这项技术有助于异常检测和测量、图像增强、警报和分析。 Clara Holoscan SDK 0.2 包括一个支持 AI 的内窥镜示例应用程序，展示了 GXF 的端到端功能，并支持与具有 HDMI 输入的 AJA 接口的设备。

内窥镜 AI 示例应用程序具有深度学习模型，可在内窥镜视频流上实时执行目标检测和工具跟踪。

该应用程序使用多个 NVIDIA 功能来最小化总体延迟，包括：

GPUDirect RDMA 视频数据传输，消除向系统内存复制或从系统内存复制的开销。

用于 CUDA 的 NVIDIA 性能原语库在 AI 推理之前加速了 2D 图像转换。

TensorRT 用于优化 AI 推理和加速的运行时。

CUDA 和 OpenGL 互操作性，在 GPU 上为可视化提供高效的资源共享。

带上您自己的模型 AI 应用程序

开发人员可以将自己的 AI 模型引入 Clara Holoscan 参考管道，以快速创建自己的流式工作流。通过更新一个配置文件并将数据导出为 GXF 本机数据格式，可以完成从一个模型到另一个模型的交换。以便携式 ONNX 保存的模型以及 NVIDIA 性能优化的 TRT 格式可以在 GXF 的内置推理引擎上运行。

支持 Clara 开发工具包

Clara AGX 和新的 Clara Holoscan 显影剂套件 。 下一代 Clara Holoscan 开发工具包采用高性能 NVIDIA Orin 模块、功能强大的 RTX A6000 GPU 以及 ConnectX SmartNIC 的连接性能。

该套件是开发下一代软件定义医疗设备的理想解决方案。 Orin 适用于支持多个传感器的高速接口的自主机器，其性能是上一代多个并发 AI 推理管道的 8 倍。

使用 Ubuntu 20.04 更新 JetPack 5.0HP1

NVIDIA JetPack SDK 包含 Clara Holoscan SDK 的基本操作系统。对于版本 0.2 ， JetPack SDK 正在从版本 4.5 升级到版本 5.0HP1 。这将操作系统升级到 L4T rel-34 ，与使用 LTS 内核 5.10 的 Ubuntu 20.04 相当。

Clara Holoscan SDK 入门

这个 Clara Holoscan SDK 0.2 现在可以在 GitHub 上使用 Apache 2.0 许可证访问源代码。

关于作者

Vanessa Braunstein 在 NVIDIA 的医疗团队从事产品营销工作。此前，她在基因组学、医学成像、制药、化学和诊断公司从事产品开发和营销。她学习分子和细胞生物学、公共卫生和商业。

Marc Edgar 是 NVIDIA 的医疗设备高级联盟经理，帮助各种规模的医疗保健公司发展，以提高质量、可负担性和获得医疗保健的机会。在加入 NVIDIA 之前，他在 General Ele CTR ic 工作了超过 25 年。他开发并商业化了许多 AI / ML 算法，并在医疗保健和工业领域拥有 16 项专利。

审核编辑：郭婷