RK3588四摄+AI模型，助力安防网关从“看见”向“看懂”进化

在智慧城市与工业4.0加速发展的背景下，安防监控系统正经历从"看得见"到"看得懂"的智能化升级。尤其在智慧交通、智能楼宇及公共安全领域，实时视频分析与快速决策能力已成为保障运营效率的核心需求。

针对多路视频监控场景对实时性、智能化提出的双重挑战，飞凌嵌入式推出了基于RK3588核心板的智能多路安防网关解决方案，凭借板载的视频编解码硬件加速单元VPU和神经网络处理单元NPU实现多路视频数据实时编解码和多种AI模型的推理，构建起从视频采集到智能分析的全流程闭环。

1、FET3588-C核心板性能解析

我们先来看一看主控设备的核心配置。搭载瑞芯微RK3588旗舰级处理器，采用4×Cortex-A76@2.4GHz+4×Cortex-A55@1.8GHz的大小核架构，为多任务处理提供强劲动力；内置瑞芯微自研三核NPU，可协同或独立工作，从而灵活分配算力，避免冗余，综合算力可达6TOPS，为边缘侧AI提供充沛的算力支持；还引入了新一代4800万像素ISP3.0，可实现镜头阴影校正, 2D/3D降噪，锐化去雾，鱼眼校正，伽马校正，宽动态对比度增强等效果，大幅提升图像质量；此外，丰富的高速数据通讯接口也配备齐全，可以满足用户多样化的需求。

2、系统数据流向

FET3588-C核心板、多路网络摄像头和PC处于由交换机组成的局域网中——FET3588-C核心板负责对网络摄像头输入的视频流进行拉流解码、AI推理、编码推流的全流程；经处理后的视频流被推送至指定的流媒体服务器；PC从该流媒体服务器上拉流播放相应的视频。

3、方案亮点

01. 实时视频高效处理

FET3588-C核心板采用瑞芯微第四代编解码技术，除支持主流的8K@60fpsH.265解码器和8K@30fps的H.264解码器外，还支持8K@60fps VP9解码器及4K@60fps AV1解码器.

全流程中的视频编解码和AI推理均依靠核心板进行编解码处理。在多路摄像头输入的情况下，每帧视频数据解码耗时在15ms左右，推理耗时在30-200ms左右，通过抽帧操作，可以满足对20fps左右的多路摄像头视频数据进行实时处理。

02. 多种AI模型实时推理

FET3588-C核心板引入了INT4/INT8/INT16/FP16混合运算，MAC利用率提升28%以上同时升级2.0 RKNN TOOLkit2套件，具备强大兼容性，满足绝大多数终端设备边缘计算的需求。

该解决方案支持部署多种AI模型，可满足不同的应用场景需求。如一路视频流使用目标检测模型，同时另一路视频流使用关键点检测模型等。目前已支持YOLOv8目标检测模型、关键点检测模型、图像分割模型。

03.通过程序外界的配置文件灵活配置

通过独立于程序之外的配置文件可以直接配置摄像头的RTSP地址，对应的AI模型的路径和种类等信息。不需要修改或重新编译程序，方便用户调整和使用。

4、应用实例

FET3588-C核心板、四路网络摄像头和PC通过网线和交换机连接。摄像头采集的画面输出为H.264编码的RTSP码流，1080P分辨率，20fps，所有设备处于同一网段；PC端可通过FFplay、VLC等播放器拉流播放四路视频流。

播放效果演示

【画面1】为人体关键点检测模型；

【画面2】是目标检测模型；

【画面3】为图像分割模型；

【画面4】为区域预警检测（当有目标进入红框区域时，区域框的颜色由绿色变为红色）。

5、总结

总体而言，基于飞凌嵌入式FET3588-C核心板的智能网关解决方案实现了从多路视频输入解码、AI实时推理到编码推流至媒体服务器的全流程技术闭环，能够为工业视频监控提供高效的边缘计算支持。