支持 4K 和 8K 视频处理的 FPGA 技术

视频处理是现代世界的一项关键技术；它使电子系统能够捕获、处理和提取视频中包含的数据。因此，视频处理是许多应用的基础技术，从智能城市交通管理到广播。

所有这些应用程序都需要处理高分辨率帧的能力——例如，帧速率为每秒 60 帧或更高的 4K 或 8K 分辨率。这相当于在 4K 分辨率下每秒处理 5 亿像素或在 8K 分辨率下每秒处理 19.9 亿像素。对于仅显示接收到的视频的简单视频捕获和显示管道，这些是具有挑战性的性能数据。当需要额外的处理步骤时——例如，检测和分类对象或执行转码——实现帧速率所需的处理要求是相当大的。如果视频分析对时间至关重要，例如在智能城市交通监控部署中，高级算法使用人工智能和机器学习预测和平滑交通流，则尤其如此。

创建复杂的视频处理系统超出了对纯处理能力的需求，还需要高 I/O 数量以连接各种外部传感器、相机和执行器。对于智能城市交通管理系统，这种接口可能意味着支持多个视频传感器，同时使用 JPEG XS 提供高性能网络接口和关键事件的本地存储/记录。再举一个例子，考虑一种依赖视频处理的医疗外科机器人系统。该系统必须与传感器接口，同时控制照明，并提供对一系列电机和执行器的精细控制。对于这两种应用程序，接口挑战都非常大。行业对具有支持多个高速传感器并提供与广泛的网络和工业接口进行通信所需的接口功能的性能的设备存在很高的需求。

FPGA 在视频处理中的作用

系统设计工程师用来应对这些性能和接口挑战的领先技术之一是现场可编程门阵列 (FPGA)。FPGA 提供了可用于实现高度并行流水线处理结构的设计器逻辑资源。与内部架构的灵活性一样，FPGA 的 I/O 结构也非常灵活，可以实现高速和低速接口的连接。这种灵活性使 FPGA 能够支持多种高性能视频传感器和网络接口，并实现用于控制执行器、传感器、电机和其他外部设备的低带宽工业、传统和自定义接口。

在逻辑中实现视频处理算法可以创建深度并行化的实现。这些并行实现增加了确定性并减少了延迟，因为可以消除处理系统中的瓶颈。

选择 FPGA

当然，FPGA 的选择会因应用而异，以确保最有效的解决方案。设计工程师根据逻辑容量和性能、接口功能以及专门的硬宏来选择设备。例如，Intel ® Arria ® 10 系列的设备通常被选择用于医疗和专业 A/V 视频处理应用，而Stratix ® 10系列的设备则非常适合广播解决方案。除了高性能逻辑，Arria ® 10 系列还为开发人员提供了一系列与 GT 和 GX 系列的高带宽互连解决方案，而 SX 系列则提供了 Arm ®能够实现顺序处理的 A9 处理器，例如人机界面 (HMI)、GUI、通信协议等。

英特尔® Stratix ® 10 家族在功能上提供了重大的进步，在 SX 设备中提供嵌入式 Arm ® A53内核，在 GX 设备中提供高性能浮点和吞吐量解决方案，并在 NX 设备中支持 AI/ML。可供选择的器件种类繁多，允许开发人员为手头的应用选择最合适的 FPGA。

无论选择何种设备，设计工程师都需要范围广泛的生产就绪 IP 来满足日益苛刻的项目时间表。

在英特尔® Quartus ® Prime 设计软件中，开发人员可以使用英特尔全面的视频和图像处理套件。该套件具有 20 多个高度优化的、可直接用于生产的 IP 块，它们提供了实施视频和图像处理管道所需的核心功能。为了实现 VIP 套件内核之间的高性能集成和连接，IP 块使用英特尔的Avalon ®流接口进行连接。这实现了使用视频 IP 块的混合匹配方法，根据需要将块插入视频处理管道。视频 IP 为设计工程师提供了一系列功能，包括：

接口：支持从 HDMI 到 SDI、DisplayPort、MIPI 和以太网 (GigE Vision) 的一系列不同的相机和传感器接口

捕获、校正和处理：能够根据处理需要格式化视频——例如，颜色空间转换、去隔行、伽马校正、剪辑、色度重采样、同步——并使用 2D 过滤器从视频中去除时间和光谱噪声和视频流清洁器。

格式化：使用 Alpha 混合、缩放和隔行扫描来格式化输出视频的能力。

缓冲：支持在 DDR 中读取和写入帧缓冲区。这使开发人员能够更改输入和输出帧速率，并使处理后的视频可用于处理器系统进行高级视频处理。

分析和测试：支持动态视频统计和测试模式生成，以在没有传感器/摄像头的情况下启用视频处理路径。

虽然视频和图像处理套件功能广泛，但可能需要其他专业 IP 功能。在这种情况下，开发人员可以利用范围广泛的合作伙伴生态系统 IP。此类 IP 合作伙伴包括提供一系列压缩 IP（包括 JPEG-XS）的 IntoPIX、提供 MIPI 接口解决方案的 Rambus（前身为 Northwest Logic）以及提供一系列 IP 视频解决方案的 Macnica。

广泛的英特尔®和合作伙伴生态系统 IP 使开发人员能够快速轻松地开发自定义视频处理应用程序。对于自定义算法实现，开发人员可以利用英特尔的 HLS 编译器。HLS 编译器允许开发人员使用更高级的语言定义算法，与寄存器传输级实现相比，进一步减少了设计和验证时间。

结论

创建能够支持 4K 和 8K 分辨率的现代视频处理应用程序需要强大的处理和接口功能。广泛的英特尔和合作伙伴生态系统视频处理和连接 IP 允许设计人员挑选功能，而高性能 FPGA 结构是处理高分辨率视频流的理想选择。这些功能与强大的软件设计流程一起，为下一代智能视频应用程序的快速开发提供了条件。

审核编辑黄昊宇