国产 ARM 平台硬核实测！RK3568 赋能人工智能机械臂手部检测案例演示

一、产品简介

TL3568-PlusTEB人工智能实验箱

国产高性能处理器

64 位 4 核低功耗

2.0 GHz超高主频

1T 超高算力 NPU

兼容鸿蒙等国产操作系统

二、实验目的

1、了解MediaPipe开发框架的用途及流程；

2、掌握基于MediaPipe Hands实现手部检测的方法。

三、实验原理

MediaPipe

MediaPipe是⼀款由Google开发并开源的数据流处理机器学习应⽤开发框架。

MediaPipe是跨平台的，可以运⾏在嵌⼊式平台，移动设备(iOS和Android)，⼯作站和服务器上，并⽀持移动端GPU加速。

MediaPipe 的核⼼框架由 C++ 实现，并提供 Java 以及 Objective C 等语⾔的⽀持。

MediaPipe 的主要概念包括：

数据包（Packet）

数据流（Stream）

计算单元（Calculator）

图（Graph）

⼦图（Subgraph）

MediaPipe特点

（1）端到端加速：内置的快速ML推理和处理即使在普通硬件上也能加速。

（2）⼀次构建，随时随地部署：统⼀解决⽅案适⽤于Android、iOS、桌⾯/云、web和物联⽹。

（3）即⽤解决⽅案：展⽰框架全部功能的尖端ML解决⽅案。

（4）免费开源：Apache2.0下的框架和解决⽅案，完全可扩展和定制。

MediaPipe Hands

MediaPipe Hands是⼀款⾼保真的⼿和⼿指跟踪解决⽅案。

它利⽤机器学习（ML）从⼀帧中推断出21个⼿的3D坐标。该模型学习⼀致的内部⼿姿势表⽰，甚⾄对部分可⻅的⼿和⾃我遮挡也具有鲁棒性。

为了获得地⾯真实数据，⽤了21个3D坐标⼿动注释了约30K幅真实世界的图像（从图像深度图中获取Z值，如果每个对应坐标都有Z值）。

四、实验设备

实验软件

本实验中使用的软件为.VMware17+Ubuntu18.04.4 和串口调试工具Xshell。

实验硬件

本实验中使用的是TL3568-PlusTEB实验箱，所需的配件为Micro SD卡、Type-C线、电源和网线。

五、实验步骤

硬件连接

（1）将Ubuntu系统启动卡插至Micro SD卡槽。

（2）使用Type-C线连接USB TO UART2调试串口到PC机。

（3）将实验箱ETH0 RGMII网口（COM21）通过网线连接至路由器。

（4）连接实验箱电源，先不要上电。

（5）将USB摄像头连接到实验箱的USB2.0 HOST。

软件操作

（1）先在设备管理器查看串口的端口号；

（2）再设置串口调试工具，波特率设置为1500000，点击连接，在Xshell调试终端会显示连接成功。

（3）连接成功后，拨动实验箱的电源开关，将实验箱上电。

（4）系统启动成功后，输入账户密码登录即可（账密均为：tronlong）

（5）登录成功后，查询实验箱的网口地址。

拷贝文件

我们先打开Ubuntu，将Demo文件夹拷贝到RK3568目录下。

"Ctrl+Alt+T"打开控制台，执行命令将文件拷贝至实验箱文件系统（根据实验箱实际IP地址修改命令）。

运行程序

在串口调试窗口执行命令，启动开发环境

在网页输入地址，即可打开登录界面 （根据实际IP地址修改网页地址）。

输入密码：tronlong，登录。

在程序目录，双击打开程序，点击重新运行程序。

等待右上角的进度饼图变白，程序运行完成。

在程序最下方，会显示运行结果。

实时显示摄像头采集的图像信息。对采集的图像进⾏⼿掌检测。