使用Clara Holoscan加速AI推理和图形可视化

NVIDIA Clara Holoscan 为开发人员提供了一个可扩展的医疗设备计算平台，以创建人工智能微服务并实时提供见解。该平台优化了数据管道的每个阶段：从高带宽数据流和基于物理的分析到加速 AI 推理和图形可视化。

目前可用的 NVIDIA Clara AGX Developer Kit 将 AGX Xavier SoC的高效基于Arm的嵌入式计算与 NVIDIA ConnectX-6 network processor 强大的 NVIDIA RTX 6000 GPU 和100GbE连接相结合。这为下一代智能、软件定义的嵌入式医疗设备带来了实时AI加速。开发者使用 Clara AGX开发者工具包进行外科视频应用，如AI增强内窥镜检查、腹腔镜检查或其他微创手术，需要在其视频处理路径中尽可能减少端到端延迟。客户今天可以在 Clara AGX开发工具包上使用 Clara Holoscan SDK v0.1 ，2022年下半年可以在下一代开发工具包上使用 Clara Holoscan SDK v0.1 。

手术视频的需求要求内窥镜捕获的图像与投影到监视器上的图像之间具有一致且可靠的低延迟。这为外科医生提供了对工具的实时控制和对患者的监控。

在典型的内窥镜系统中，图像在内窥镜中的摄像机传感器处数字化，由 FPGA 或 ASIC 序列化，并传输到视频处理器，在视频处理器中写入输入帧缓冲器，进行处理，写入输出帧缓冲器，然后串行传输到监视器。每个步骤都会给视频管道增加延迟。希望添加高级 GPU – 加速 AI 处理的开发人员会面临额外的传输延迟，因为需要将数据从视频捕获卡写入系统内存，然后通过 CPU 传输和 PCIe 总线连接到［ZFBB］。

GPU 计算性能是英伟达 NTV2 SDK 16.1 全息扫描平台的一个关键组成部分。为了优化基于 GPU 的视频处理应用程序， NVIDIA 与 AJA Video Systems 合作，将其视频捕获卡系列与 Clara AGX 开发工具包集成。 AJA 提供了一系列经验证的专业视频 I / O 设备。 NVIDIA 和 AJA 之间的合作关系导致自 Clara 发布以来， AJA NTV2 SDK 和设备驱动程序中增加了 Clara AGX 开发工具包支持。

AJA 驱动程序和 SDK 现在为 NVIDIA GPU 提供 GPUDirect 支持。此功能使用远程直接内存访问（ RDMA ）将视频数据直接从捕获卡传输到 GPU 内存。这大大减少了 GPU 视频处理应用程序的延迟和系统 PCIe 带宽，因为从处理管道中消除了 GPU 拷贝的系统内存。

AJA 设备现在还将 RDMA 支持合并到 AJA GStreamer 插件中，以实现零拷贝 GPU 缓冲区与 DeepStream SDK 的集成。 DeepStream 应用程序现在可以处理整个管道中的视频数据，从初始捕获到最终显示，无需留下 GPU 内存。

NVIDIA Clara Holoscan SDK v0 。 1 构建于先前 Clara AGX SDK 的功能之上，并添加了允许详细测量视频 I / O 卡、 CPU 和 GPU 之间视频传输延迟的工具。这将使用户能够通过各种配置测量延迟，使他们能够专注于改善瓶颈和优化工作流程，以实现最小的端到端延迟。

数据传输延迟是使用 Clara AGX 开发工具包和使用内部 PCIe Gen3 x8 连接的 AJA 捕获卡测量的。下表演示了使用 GPU Direct 可以实现的延迟减少。

然后，在启用和不启用 GPU Direct 的情况下，测量与 GPU 之间的视频数据传输的总时间，以及在 GPU 中处理的剩余时间：

请注意， GPU Direct 通过消除写入系统内存的需要，将传输时间缩短了约一半。 GPU Direct 允许以 60 fps 的速度传输和处理 4K UHD RGBA 输入。现在可以在 16 。 666 毫秒帧时间下传输，而没有 GPU Direct ，该格式无法以 60 fps 的速度传输。这使得未压缩的高分辨率视频能够与 AI 工作流中的叠加进行本地 alpha 混合。不需要从 YUV 格式转换为 RGBA 格式，并且在 60 fps 的帧速率上也没有任何折衷。

关于作者

Yaniv Lazmy 是 NVIDIA 医疗团队的技术产品经理，专注于医疗设备的加速计算和连接解决方案。在加入 NVIDIA 之前， Yaniv 是 NeuWave Medical 和 Johnson and Johnson 的嵌入式系统工程师。

Ian Stewart 是 Clara Holoscan 团队的软件工程师，专注于 GPU 加速医疗设备的优化和部署。 Ian 在 NVIDIA 工作了十多年，跨越了各种图形、图像和嵌入式开发团队。

审核编辑：郭婷