嵌入式视频处理器内核的软件基础架构

借助物联网、机器学习和人工智能等新时代技术，公司正在通过以创新方式融合物理现实和数字信息来重新构想和创建智能多媒体应用程序。多媒体解决方案涉及音频/视频编解码器、图像/音频/视频处理、边缘/云应用，在少数情况下还包括 AR/VR。本博客将讨论任何多媒体解决方案中嵌入式视频处理器内核所涉及的软件基础架构。

视频处理器是基于 RTL 的硬化 IP 块，可用于领先的 FPGA 板。借助这个嵌入式内核，用户可以原生支持视频会议、视频流以及基于 ML 的图像识别和面部识别应用，具有低延迟和高资源效率。但是，在部署视频处理器之前可能会出现与操作系统支持、H.264/265 处理、驱动程序开发等相关的软件级别问题。

让我们从视频处理器的概述开始，看看如何为半导体公司解决这些问题，使最终用户能够获得其产品优势。

嵌入式视频处理器内核

视频处理器是一个多组件解决方案，由视频处理引擎本身、DDR4 块和同步块组成。这些组件一起专用于支持分辨率高达 4k UHD （3840x2160p60） 的 H.264/.265 编码和解码，对于该 FPGA 器件系列的最高速度等级，最高可达 4096x2160p60。支持的级别和配置文件包括用于 HEVC 的最高 L5.1 高级层和用于 AVC 的 L5.2。这三款产品都是基于 RTL 的嵌入式 IP 产品，它们部署在目标 FPGA 器件系列的可编程逻辑结构中，并经过优化/“强化”以实现最大的资源效率和性能。

视频处理器引擎能够同时编码和解码多达 32 个视频流。这是通过将 2160p60 带宽拆分到所有预期通道来实现的，支持 480p30 分辨率的视频流。H.264 解码支持在 L5.2 2160p60 高 4:2：2 配置文件 （CAVLC） 上高达 960Mb/s 的比特流和高达 533Mb/s L5.1 2160p60 Main 4:2：2 比特流的 H.265 解码10b 内部配置文件 （CABAC.）

视频处理器引擎还内置了显着的多功能性。速率控制选项包括 CBR、VBR 和恒定 QP。在较低帧速率下支持比 2160p60 更高的分辨率。该引擎可以处理 8b 和 10b 色深以及 4:0：0、4:2：0 和 4:2：2 的 YCbCr 色度格式。

微架构包括独立的编码器和解码器部分，每个部分由嵌入式 32b 可合成 MCU 通过单个 32b AXI-4 Lite I/F 从属主机 APU 管理。每个 MCU 都有由专用 32b AXI-4 主控器支持的 L1 指令和数据缓存。系统内存的数据传输通过一个 4 通道 128b AXI-4 主 I/F 进行，该 I/F 在编码器和解码器之间分离。还有一个嵌入式 AXI 性能监视器，可直接测量总线事务和延迟，无需为每个 MCU 锁定固件以外的其他软件开销。

DDR4 块是一个组合的内存控制器和 PHY。控制器部分通过 SDRAM 优化 R/W 事务，而 PHY 执行 SerDes 和时钟管理任务。还有一些额外的支持模块提供系统内存的初始化和校准。五个 AXI 端口和一个 64b SODIMM 端口提供高达 2677 MT/s 的性能。

第三个块同步视频处理器引擎编码器和 DMA 之间的数据事务。它可以缓冲多达 256 个 AXI 事务并确保低延迟性能。

该公司的集成开发环境 （IDE） 用于根据比特流数量、所选编解码器和所需配置文件来确定给定应用所需的视频处理器内核数量以及用于编码或解码的缓冲区配置。通过工具链，用户可以选择 AVC 或 HEVC 编解码器、I/B/P 帧编码、分辨率和级别、每秒帧数颜色格式和深度、内存使用以及压缩/解压缩操作。IDE 还提供带宽要求和功耗的估计值。

嵌入式软件支持

任何硬件到视频处理的嵌入式软件开发支持可分为以下几类：

视频编解码器验证和功能测试

Linux 支持，包括内核开发、驱动程序开发和应用程序支持

工具和框架开发

参考设计开发和部署

根据需要使用和贡献开源组织

视频处理器上的 AVC 和 HEVC 编解码器的验证非常广泛。它必须以 3840x2160p60 性能级别执行，以便在裸机和 Linux 支持的环境中进行编码和解码。从原型设计到全面生产，低延迟性能也得到了验证。

Linux 工作专注于多媒体框架和级别，以定制内核和驱动程序。这包括 v4l2 子系统、DRM 框架和用于同步块的驱动程序，以确保低延迟性能。

编解码器和 Linux 项目有效地引导自己代表客户开发各种参考设计。编码和解码的边缘设计、从低延迟视频会议到 32 通道视频流、基于感兴趣区域的编码和 ML 人脸检测的开发，所有这些都可以通过使用经过仔细考虑的开放式选择来完成源工具、框架和功能。在下面找到这些产品的摘要：

GStreamer – 一个开源的多操作系统多媒体组件库，可以以流水线方式组装，遵循面向对象的设计方法和插件架构，用于多媒体播放、编辑、录制和流式传输。它支持多媒体应用程序的快速构建，并在 GNU LGPL 许可下提供。GStreamer 产品还包括各种非常有用的工具，包括 gst-launch（用于构建和运行 GStreamer 管道）和 gsttrace（一个基本的跟踪工具。）

StreamEye – 一种开源工具，为深入分析视频流提供数据和图形显示。

Gstshark – 作为 Ridgerun 的一个开源项目提供，该工具提供了用于分析和调试 GStreamer 多媒体应用程序构建的基准测试和跟踪功能。

FFmpeg 和 FFprobe – 都是 FFmpeg 开源项目的一部分，它们是面向多媒体软件开发人员的与硬件无关的多操作系统工具。FFmpeg 允许用户在多种格式之间转换多媒体文件、更改采样率和缩放视频。FFprobe 是多媒体流分析的基本工具。

OpenMAX – 通过 Khronos Group 提供，这是一个 API 和信号处理函数库，允许开发人员使多媒体堆栈可跨硬件平台移植。

Yocto – 一个 Linux 基金会开源协作，它创建工具（包括 SDK 和 BSP）和支持功能，为嵌入式和物联网应用程序开发 Linux 自定义实现。社区及其 Linux 版本与硬件无关。

Libdrm - 一组用于支持 DRM 的开源低级库。Direct Rendering Manager 是一个 Linux 内核，它代表用户程序管理基于 GPU 的视频硬件。它通过命令队列以仲裁模式管理程序请求，并管理硬件子系统资源，特别是内存。libdrm 库还包括支持 Intel、AMD 和 Nvidia 的 GPU 的函数。Libdrm 包括 modetest 等工具，用于测试 DRM 显示驱动程序。

Media-ctl – 一种广泛可用的开源工具，用于在 Linux v4l2 层中配置媒体控制器管道。

PYUV 播放器——另一个广泛使用的开源工具，允许用户播放未压缩的视频流。

Audacity – 免费的多操作系统音频编辑器。

上述工具/框架有助于在视频处理、流媒体和会议下设计高效和优质的多媒体解决方案。

审核编辑：郭婷