基于瑞芯微RK3562 四核 ARM Cortex-A53 + 单核 ARM Cortex-M0工业评估板—

前言

本文主要介绍基于创龙科技TL3562-MiniEVM评估板的NPU开发案例，适用开发环境如下。

Windows开发环境：Windows 7 64bit、Windows 10 64bit

虚拟机：VMware16.2.5

开发环境：Ubuntu20.04.6 64bit

U-Boot：U-Boot-2017.09

Kernel：Linux-5.10.209

LinuxSDK：rk3562-ubuntu20.04-sdk-[版本号]（基于rk3562_linux_release_v1.2.0）

无特殊说明情况下，本文默认使用USB TO UART0作为调试串口，使用系统启动卡（Micro SD方式）启动系统，通过路由器与PC机进行网络连接，请确保PC机、Ubuntu系统可正常访问互联网。

NPU(Neural network Processing Unit)，即神经网络处理器。RK3562内部已集成高能效神经网络处理器NPU，支持神经网络推理硬件加速，能够流畅运行AI 算法。主要参数如下：

（1）支持INT4/INT8/INT16/FP16等；

（2）支持多种框架，如TensorFlow、MXNet、PyTorch、Caffe等；

（3） 1TOPS算力。

备注：更多详细信息请查看“6-开发参考资料数据手册核心板元器件CPU”目录下的文档。

NPU开发流程如下：

（1）模型训练：用户根据需求自行训练模型或使用官方提供的模型；

（2）模型转换：使用RKNN-Toolkit2将预训练模型转换为RK3562 NPU可使用的RKNN模型；

（3）应用开发：基于RKNN API开发应用程序。

图 1 NPU开发流程图

我司提供的NPU开发案例位于产品资料“4-软件资料Demoplatform-demos”，具体说明如下。

关于RKNN-Toolkit2环境搭建、模型转换使用说明、混合量化、精度问题排查的详细介绍，可查看yolov5_object_detect案例"toolrknn-toolkit2doc"目录下的"02_Rockchip_RKNPU_User_Guide_RKNN_SDK_V2.0.0beta0_CN.pdf"文档。

关于RKNN-Toolkit2模型转换API接口说明，可查看yolov5_object_detect案例"toolrknn-toolkit2doc"目录下的"02_Rockchip_RKNPU_User_Guide_RKNN_SDK_V2.0.0beta0_CN.pdf"文档。

关于RKNN API的详细使用说明，可查看yolov5_object_detect案例"toolrknn-toolkit2doc"目录下的"04_Rockchip_RKNPU_API_Reference_RKNNRT_V2.0.0beta0_CN.pdf"文档。

评估板简介

创龙科技 TL3562-MiniEVM 是一款基于瑞芯微 RK3562J/RK3562 处理器设计的四核 ARM Cortex-A53 + 单核 ARM Cortex-M0 国产工业评估板，主频高达 2.0GHz。评估板由核心板和评估底板组成，核心板 CPU、ROM、RAM、电源、晶振等所有元器件均采用国产工业级方案，国产化率 100%，评估底板大部分元器件亦采用国产工业级方案，国产化率约 99%（按元器件数量占比，数据仅供参考）。核心板经过专业的 PCB Layout 和高低温测试验证，支持选配屏蔽罩，质量稳定可靠，可满足各种工业应用环境要求。

评估板引出 2 路 Ethernet、2 路 USB、Micro SD、UART 等通信接口，同时引出 2 路 M IPI CSI、LVDS LCD、MIPI LCD、HDMI OUT、MIC IN、SPK OUT、HP OUT 多媒体接口，支

持 1080P@60fps H.264 视频编码、4K@30fps H.265 视频解码。

评估板体积小巧，尺寸为 85x130mm，可作为卡片式电脑使用，且便于产品集成，方便用户快速进行产品方案评估与技术预研。

评估板硬件资源图解 1

评估板硬件资源图解 2

案例说明

本案例基于RKNN API实现对图片中目标对象的识别，并将识别结果以加水印的方式添加至图像，并保存成图片文件。案例循环测试10次，统计出推理的平均处理耗时。

备注：本案例基于瑞芯微官方例程实现，进行了目录的重构及编译的简化,功能逻辑未进行修改。

程序处理流程图如下：

图 2

案例测试

请通过网线将评估板千兆网口ETH0 RGMII连接至路由器。

图 3

请将案例bin目录下的所有文件拷贝至评估板文件系统任意目录下。

图 4

在可执行文件所在目录，执行如下命令，对图片目标对象进行模型推理。

备注：模型运行的时间会有抖动。

Target# ./yolov5_object_detect yolov5s-640-640_rk3562.rknn car.jpg

图 5

从输出信息可知，本案例程序识别出测试图片包含person、car、bus、truck等对象，运行1次模型耗时为73.843000ms；循环运行10次模型平均耗时为47.365303ms。

案例程序对测试图片的目标对象标记成功后将输出名称为out.jpg的标记图片至当前目录，请将out.jpg文件拷贝至Windows下，并使用PC端相关软件对比查看car.jpg与out.jpg，测试结果如下所示。

图 6

图 7 car.jpg

图 8 out.jpg

从out.jpg图片可知，案例程序能正确框选出人物、汽车等物体，同时显示person、car文字标签和置信度，标记对象的数量及信息等与程序打印信息一致。

本程序能够支持识别的目标数据集类型说明位于bin目录下的coco_80_labels_list.txt文件，用户可根据相关目标类型进行测试验证。

图 9

案例编译

将案例src源码目录拷贝至Ubuntu工作目录下，请先确保已参考《Ubuntu系统使用手册》文档安装LinuxSDK。进入源码目录，执行如下命令配置环境变量，并修改CMake配置文件CMakeLists.txt，请根据实际情况修改为LinuxSDK源码路径。

Host# source /home/tronlong/RK3562/Ubuntu/rk3562-ubuntu20.04-sdk-v1.0/environment

Host# vim CMakeLists.txt

图 10

图 11

新建一个build目录，用于存放编译过程产生的相关文件。

Host# mkdir-p build

图 12

进入build目录，执行如下命令进行案例编译，编译完成将会在build目录下生成编译过程产生的相关文件，并在src目录下生成install目录，该目录下存放案例相关文件。

Host# cd build

Host# cmake ../

Host# make -j8

Host# make install

图 13

图 14

build目录存放编译过程产生的相关文件，install目录存放案例相关文件，包括测试图片car.jpg、类别数据集coco_80_labels_list.txt、RKNN模型yolov5s-640-640_rk3562.rknn和可执行程序yolov5_object_detect等文件，如下图所示。