瑞芯微RK3588 RKNN模型推理环境部署与功能测试技巧（下）

本文将介绍瑞芯微RK3588原厂RKNN端侧模型的测试验证方法，而关于开发环境搭建可以查看先前文章。

【测试环境说明】

开发板系统：Ubuntu22.04

开发环境：Ubuntu22.04虚拟机

演示设备：触觉智能RK3588开发板EVB3588，开发板基于核心板+底板设计，用户可通过核心板二次开发。

RKNN

RKNN，全程Rockchip Neural Network)是瑞芯微专为自家 NPU (神经网络处理单元) 开发的端侧神经网络计算框架，提供完整的 "模型转换 - 部署 - 推理" 解决方案。瑞芯微官方软件栈可以帮助用户快速地将AI模型部署到Rockchip芯片，整体的框架如下。

RKNN-Toolkit2是用户模型转换、推理与性能评估的开发套件。使用 RKNPU 时，需先通过该工具将训练好的模型转为 RKNN 格式，再借助 RKNN C API 或 Python API 在开发板上部署。其 Python 接口可快速实现模型转换、量化、推理、性能与内存评估、量化精度分析、模型加密等功能。。

RKNN Runtime 负责加载 RKNN 模型并调用 NPU 驱动完成推理，推理流程包含输入预处理、NPU运算、输出后处理，并根据模型输入格式与量化方式，提供通用 API 和零拷贝 API 两种处理流程。：

• 通用API推理

提供一套简洁易用的推理 API，流程如图所示。数据归一化、量化、格式转换、反量化等在 CPU 上运行，模型推理在 NPU 上执行。

• 零拷贝API推理

优化了通用 API 数据处理流程，归一化、量化与模型推理均在 NPU 上执行，数据排布与反量化可在CPU或NPU完成；零拷贝 API 的输入处理效率高于通用 API。

示例测试

开始介绍测试方法之前，对开发环境搭建不了解可以看上集：瑞芯微RK3588 RKNN模型推理环境部署与功能测试技巧（上）

• RKNN Model Zoo介绍

RKNN Model Zoo提供了示例代码，旨在帮助用户快速在Rockchip瑞芯微的开发板上运行各种常用模型，整个目录结构如下：

. ├── 3rdparty # 第三方库 ├── asset ├── build-android.sh ├── build-linux.sh # Linux构建脚本 ├── datasets # 数据集 ├── docs ├── examples # 示例代码 ├── FAQ_CN.md ├── FAQ.md ├── LICENSE ├── py_utils ├── README_CN.md ├── README.md ├── scaling_frequency.sh └── utils # 常用方法，如文件操作，画图等

其中，examples目录包括了一些常用模型的示例，例如MobileNet 和 YOLO等。每个模型示例提供了Python 和 C/C++ 两个版本的示例代码。

以yolov5为例：

rknn_model_zoo ├── examples │ └── yolov5 │ ├── cpp # C/C++ 版本的示例代码 │ ├── model # 模型、测试图片等文件 │ ├── python # 模型转换脚本和Python版本的示例代码 │ └── README.md └── ...

• RKNN Python Demo 使用方法

准备模型，执行脚本下载onnx测试模型。

# 进入 rknn_model_zoo/examples/yolov5/model 目录 cd Projects/rknn_model_zoo/examples/yolov5/model chmod a+x download_model.sh # 运行 download_model.sh 脚本，下载 yolov5 onnx 模型 ./download_model.sh

转换模型，执行以下命令将onnx模型转换为rknn模型。

rknn_model_zoo/examples/yolov5/python 目录 cd Projects/rknn_model_zoo/examples/yolov5/python # 运行 convert.py 脚本，将原始的 ONNX 模型转成 RKNN 模型 python convert.py ../model/yolov5s_relu.onnx rk3588 i8 ../model/yolov5s_relu.rknn

连板调试，RKNN-Toolkit2的连板调试功能依赖板端的RKNN Server程序，该程序是一个运行在开发板上的后台代理服务，用于接收PC（测试使用Ubuntu虚拟机）通过USB传输过来的命令和数据，然后调用相应的运行时接口，并返回相应结果给PC。所以在做连板调试前需要确认开发板是否已启动RKNN Server程序。

adb shell ps | grep rknn_server

执行如下命令，进行连板在线调试：

# 如果带上 --img_show 参数，则会显示结果图片 python yolov5.py --model_path ../model/yolov5s_relu.rknn --target rk3588 --img_show

效果如图：

• RKNN C Demo 使用方法

完整运行一个RKNN C Demo，需要先将C/C++源代码编译成可执行文件，然后将可执行文件、模型文件、测试图片等相关文件推送到板端上，最后在板端运行可执行文件。

在rknn_model_zoo工程下的build-linsx.sh 本中指定前面下载的GCC交叉编译器路径。

GCC_COMPILER=/home/ido/rknn/Projects/gcc-linaro-6.3.1-2017.05-x86_64_aarch64-linux-gnu/bin/aarch64-linux-gnu

执行如下命令编译测试Demo，以yolov5为例：

# 运行 build-linux.sh 脚本 # 用法:./build-linux.sh -t -a -d [-b ] [-m] # -t : target (rk356x/rk3588) # 平台类型，rk3568/rk3566 都统一为rk356x # -a : arch (aarch64/armhf) # 板端系统架构 # -d : demo name # 对应 examples 目录下子文件夹的名称，如yolov5、mobilenet # -b : build_type(Debug/Release) # -m : enable address sanitizer, build_type need set to Debug chmod a+x build-linux.sh ./build-linux.sh -t rk3588 -a aarch64 -d yolov5

编译后的安装目录如下：

打包安装目录生成的文件部署到开发板系统：

tar -xf rknn_yolov5_demo.tar.gz cd rknn_yolov5_demo/ chmod a+x rknn_yolov5_demo # 执行一下命令进行测试 ./rknn_yolov5_demo model/yolov5s_relu.rknn model/bus.jpg

命令执行完后会生成预测结果图片out.png，从板端拉取到本地查看，在本地电脑的终端中查看效果。

• 常见问题规避

在线调试报错：

解决方法-更新板端系统的adb工具：

https://github.com/airockchip/rknn-toolkit2/blob/master/doc/rknn_server_proxy.md

wget -O adbd.zip https://ftzr.zbox.filez.com/v2/delivery/data/7f0ac30dfa474892841fcb2cd29ad924/adbd.zip unzip adbd.zip adb push adbd/linux-aarch64/adbd /usr/bin/adbd

瑞芯微RK3588原厂RKNN模型详细测试方法与常见问题已讲解完毕。本文相关资料请关注深圳触觉智能