基于NOVATEK NT98336 结合搭载 Hailo-8 的后端智能影像分析解决方案

在智能影像视频分析的广泛应用下，多重识别是现今影像监控系统中的一个重要应用，在此过程中会使用多个影像视频流来做分析识别，这有助于数据分析以及安全上的操作。而多重识别则需要有较高性能的计算与使用深度学习来将多重识别功能付诸实现。基于此一原则下, 国内IC设计领导厂商联咏科技 Novatek 提供使用自家高性能芯片 NT98336 透过 PCIe Gen3 界面结合搭载拥有每秒高达26兆次运算(TOPS)的 Hailo-8人工智能处理器，以开发具有高效能的后端智能影像视频分析解决方案。

联咏科技 Novatek NT98336 是一款专为多路 H265 高清 DVR/HVR 系统设计的专业 SoC 芯片。它内置 ARM Cortex CA53 四核 CPU、H.264/H265 编解码器、MJPEG 编解码器、Novatek CNN Gen2.5 - 2.25T 硬件加速器、2D 图形加速引擎、多通道高清视频采集、4K 超高清显示控制器、RGMII 以太网控制器、USB3.0 和 USB2.0 端口、PCIe Gen3、SATA3.0 端口和 AMBA 总线架构为用户提供高性能高清 DVR/HVR。NT98336 还提供视频预处理和后处理，并支持多格式视频输入应用于高视频质量高清 DVR/HVR 的应用。

(Novatek NT98336 Evaluation Kit)

Hailo-8人工智能处理器则是选用 Hailo-8 M.2 模块，它是一款适用于 AI 应用的 AI 加速器模块。该 AI 模块基于每秒26兆次运算(TOPS)的 Hailo-8人工智能处理器，具有高能效。M.2 AI 加速器具有完整的 PCIe Gen-3.0 2通道接口，能提供前所未有的 AI 性能，并为广泛市场提供低功耗深度神经网络推理。利用 Hailo 的综合数据流编译器及其对标准 AI 框架的支持，可以轻松移植其神经网络模型 Hailo-8，提供高性能人工智能产品。

(Hailo-8 M.2 AI Acceleration Module)

(Hailo-8 M.2 AI Acceleration Module + PCIe adapter board)

应用板使用方式

连接应用板和周边相关装置 (ex. 12V电源、HDMI屏幕、摄像机)

从 HDMI port 输出开启智能影像视频分析显示，以画框方式来标示人或物体。

►场景应用图

►展示板照片

►方案方块图

►核心技术优势

(1) 影像监控结合 AI 运算动作更加精确

(2) 支援 DVR/HVR 混合应用

(3) 支持多种影像显示输出界面 HDMI/VGA/CVBS

(4) 实现实时、低延迟、高效率的人工智能推理

(5) 专有的新型结构驱动数据流架构

(6) 通过芯片级联提供可扩展功能

(7) 实现多流和多模型的同时处理

(8) 高精度同时处理多人与高质量的影像视频识别分析

(9) 改进视频分析并具有成本效益

(10) 与现有解决方案相比，成本效益最高（TOPS/$）

►方案规格

(1) ARM Cortex-CA53 Quad Cores NT98336 核心芯片

(2) 4CH、8CH、16CH Multi-channel encoding up to 1080p@300fps

(3) 每秒26兆次运算 (TOPS) Hailo-8 M.2 的 AI 加速器模块

(4) Hailo-8 支持框架 TensorFLow、TensorFlow Lite、ONNX、Keras、Pytorch

(5) 完整的 PCIe Gen-3.0 2通道接口

(6) Linux OS系统

(7) 电源输入使用 12V/2A

Q&A

Q1. 解决方案所支援的操作系统？

A：NT98336 支援 Linux，联咏 HDAL 系统框架，保持一致 API 接口，跨平台/芯片通用

Q2. 解决方案可支援到多大的影像格式输出？

A：NT98336 HDMI 最大可输出 4K2K，VGA 最大可输出 1080P/60fps

Q3. 解决方案是否有提供储存装置界面？

A：NT98336 有提供支援2个 SATA 3.0 的储存装置界面

Q4. 解决方案中人工智能处理器支持框架有哪几种?

A：Hailo-8 支持框架有 TensorFLow、TensorFlow Lite、ONNX、Keras、Pytorch

Q5. 解决方案中人工智能处理器的温度范围?

A：Hailo-8 支持 -40°C 至 85°C 的扩展温度范围

Q6. 解决方案中人工智能处理器的功耗为多少?

A：Hailo-8 一般功耗为2.5瓦

Q7. 解决方案中人工智能处理器的优势?

A：Hailo-8 具有高达26 TOPS和一流的能效