RK3576平台RKNN模型部署实操（上）-电子发烧友网

本文介绍瑞芯微原厂RKNN端侧模型的开发环境搭建方法，后续还将带来详细测试方法。基于触觉智能RK3576开发板Purple Pi OH2演示。

RKNN

RKNN(Rockchip Neural Network) 是瑞芯微专为自家 NPU (神经网络处理单元) 开发的端侧神经网络计算框架，提供完整的 "模型转换 - 部署 - 推理" 解决方案。RK官方提供了RKNN软件栈可以帮助用户快速地将AI模型部署到Rockchip芯片，整体的框架如下。

RKNN-Toolkit2是为用户提供在计算机上进行模型转换、推理和性能评估的开发套件，RKNN-Toolkit2的主要框图如下。为了使用RKNPU，用户需要首先在计算机上运行RKNN-Toolkit2工具，将训练好的模型转换为RKNN格式模型，之后使用RKNN C API或Python API在开发板上进行部署。该工具提供的Python接口可以便捷地完成模型转换、量化、模型推理、性能和内存评估、量化精度分析、模型加密等功能。

RKNN Runtime负责加载RKNN模型，并调用NPU驱动实现在NPU上推理RKNN模型。推理RKNN模型时，包括原始数据输入预处理、NPU运行模型、输出后处理三项流程。根据不同模型输入格式和量化方式，RKNN Runtime提供通用API和零拷贝API两种处理流程：

通用API推理流程

提供一套简洁、无门槛的推理API，易于使用，流程如图所示。其中对数据的归一化、量化、数据排布格式转换、反量化等均在CPU上运行，模型本身的推理在NPU上运行。

零拷贝API推理

优化了通用API的数据处理流程，归一化、量化和模型推理都会在NPU上运行，NPU输出的数据排布格式和反量化过程在CPU或者NPU上运行。零拷贝API对于输入数据流程的处理效率会比通用API高。

另外对RK3576端侧性能感兴趣的朋友们，可点击触觉智能相关实测视频：

https://www.bilibili.com/video/BV1T8UqBMErn/?spm_id_from=333.1387

开发环境搭建

RKNN-Toolkit2安装

首先，执行如下命令进行安装Miniforge Conda：

wget -c https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-Linux-x86_64.sh chmod 777 Miniforge3-Linux-x86_64.sh bash Miniforge3-Linux-x86_64.sh

进入Conda base环境，创建一个RKNN-Toolkit2 Conda环境，命令如下：

source ~/miniforge3/bin/activate conda create -n RKNN-Toolkit2 python=3.8

进入RKNN-Toolkit2 Conda环境：

conda activate RKNN-Toolkit2

激活RKNN-Toolkit2 Conda环境后，可通过 pip 源安装RKNN-Toolkit2：

pip install rknn-toolkit2 -i https://pypi.org/simple

验证RKNN-Toolkit2，若执行以下命令没有报错，则安装成功。

python3 >>> from rknn.api import RKNN

下载RKNN相关仓库

执行如下命令从github上拉群RKNN相关仓库，后续编译、测试会用到。

mkdir Projects cd Projects # 下载 RKNN-Toolkit2 仓库 git clone https://github.com/airockchip/rknn-toolkit2.git --depth 1 # 下载 RKNN Model Zoo 仓库 git clone https://github.com/airockchip/rknn_model_zoo.git --depth 1

安装编译工具

执行如下命令安装cmake工具：

sudo apt install cmake

下载GCC 交叉编译器工具链：

https://releases.linaro.org/components/toolchain/binaries/6.3-2017.05/aarch64-linux-gnu/gcc-linaro-6.3.1-2017.05-x86_64_aarch64-linux-gnu.tar.xz

下载后拷贝到Ubuntu虚拟机并解压软件包，建议将GCC软件包解压到 Projects的文件夹中，后面编译RKNN C Demo时会用到：

安装板端RKNPU环境

开发板硬件连接如下图所示，烧录网盘固件：

IDO_PurplePiOH2_V1B_Ubuntu22.04_HDMI4K_250907R.img。

注意：OTG接口需要连接到Ubuntu虚拟机，Ubuntu虚拟机需要安装adb命令：

sudo apt install adb

接下来，确认板卡系统支持的RKNPU驱动版本，开发板上电进入系统，执行以下命令查询NPU驱动版本：

adb shell dmesg | grep -i rknpu

默认出厂固件已支持NPU驱动，若以上命令查询不到NPU驱动版本，在内核源中使能如下配置以集成NPU驱动：

CONFIG_ROCKCHIP_RKNPU=y

RKNN-Toolkit2的调试功能要求板端安装RKNPU2环境，并启动

rknn_server服务。以下是RKNPU2 环境中的两个基本概念：

RKNN Server：一个运行在开发板上的后台代理服务。该服务的主要功能是调用板端 Runtime 对应的接口处理计算机通过USB传输过来的数据，并将处理结果返回给计算机。

RKNPU2 Runtime 库（librknnrt.so）：主要职责是负责在系统中加载 RKNN 模型，并通过调用专用的神经处理单元（NPU）执行RKNN模型的推理操作。

如果能够启动 rknn_server 服务，则代表板端已经安装 RKNPU2 环境。

# 进入板端 adb shell # 启动 rknn_server restart_rknn.sh

检查rknn_server、librknnrt.so版本是否一致，命令如下：

# 查询rknn_server版本 strings /usr/bin/rknn_server | grep -i "rknn_server version" # 查询librknnrt.so库版本 strings /usr/lib/librknnrt.so | grep -i "librknnrt version"

如果出现以下输出信息，则代表rknn_server版本为x.x.x，librknnrt.so的版本为x.x.x。