一颗1GHz MCU 全搞定：网络摄像头 + NPU 人脸识别 + 手写数字 方案

本文介绍基于瑞萨 RA8P1（Titan Board Mini）开发板，围绕多核间通信、以太网实时网络摄像头、基于 Ethos-U55 NPU 的人脸识别、手写数字识别等主题展开的技术方案，其中三个可完整演示的工程覆盖了边缘视觉产品从采集、存储、传输到端侧推理的完整链路，涉及 RT-Thread 多线程、双核通信、SDRAM 内存规划、以太网传输与 NPU 模型部署等关键技术点。

一. 网络摄像头（以太网实时视频传输）

实验简介：

本实验实现「摄像头采集 → SDRAM 帧缓冲 → 以太网 TCP → 上位机显示」的完整视频链路：

OV5640 传感器通过 MIPI CSI 把图像传入 MCU；

VIN（图像采集外设）用 DMA 把整帧写入 SDRAM 的 no-cache 帧缓冲；

RT-Thread 摄像头线程做后处理并发布帧到 TCP 三级队列；

TCP 线程通过千兆以太网把帧发送给 PC 上位机。

组成

说明

OV5640

500 万像素 CMOS 传感器，本工程输出 YUV422，经 MIPI CSI 2 lane 回传

MIPI CSI

摄像头串行接口，D-PHY，2 lane

VIN（图像采集）

RA8P1 图像采集外设，DMA 直接把帧写入 SDRAM

SDRAM

Winbond W9825G6KH，32 MB，16 位总线，时钟约 200 MHz

RT-Thread

摄像头线程（优先级 8）+ TCP 线程（优先级 7）协作

以太网

RMAC + RTL8211 千兆 PHY（FPC 转 RJ45）

上位机

PySide6 程序，TCP 9000 端口接收 RGB565 帧并显示

摄像头数据路径与数据量：

OV5640→ MIPI CSI → VIN（DMA 写 SDRAM）→ 摄像头线程后处理 → camera_tcp_frame_publish（memcpy 到3级 stage）→ TCP 线程 → lwIP/RMAC/RTL8211 → 上位机显示

涉及的技术点：

MIPI CSI 与 VIN 采集

内存规划与缓存一致性

多线程协作

网络传输调优

二.基于 NPU 的实时人脸识别

实验简介：

本实验在 Titan Mini 上实现基于 MIPI CSI 摄像头的实时人脸检测：

OV5640 通过 MIPI CSI 接入，VIN 采集图像；

Arm Ethos-U55 NPU 执行 YOLO-Fastest 人脸检测模型推理；

CPU 负责预处理与后处理，检测结果以绿色人脸框叠加显示在 RGB565 LCD 上；

组成

说明

OV5640

500 万像素摄像头，MIPI CSI 接入，640×480 RGB565

VIN

图像采集外设，DMA 把帧写入 SDRAM no-cache 缓冲

CPU（M85）

预处理（灰度/缩放/量化）+ 后处理（解码/NMS）+ 显示调度

Ethos-U55 NPU

执行 YOLO-Fastest 卷积推理

D/AVE2D + GLCDC

在 framebuffer 叠加人脸框并输出到 LCD

LCD

800×480 RGB565 实时预览

数据流：

OV5640→ MIPI CSI → VIN 帧缓冲（SDRAM） → CPU 预处理（缩放 + 灰度化 + INT8 量化，192×192） → Ethos-U55 推理（YOLO-Fastest） → CPU 后处理（反量化 + 解码 + NMS） → D/AVE2D 叠加人脸框 → GLCDC → RGB565 LCD

涉及的技术点：

模型部署链路

YOLO-Fastest使用

预处理与后处理

内存管理

三.手写数字识别

功能：摄像头对准纸面手写数字，板端实时识别 0–9 并将结果叠加显示，识别结果经多帧平滑保持稳定。

数据通路：

涉及的技术点：

ROI 提取

图像预处理

轻量 CNN + INT8 量化

结果平滑与旋转适配

四.应用场景

RA8P1 这类「1 GHz MCU + NPU」的形态，正好覆盖对成本、功耗与实时性敏感的端侧视觉场景：

机器视觉与机器人：目标检测、定位抓取、视觉导航；

安防与门禁：人脸检测/识别、人员统计、异常行为预警；

工业缺陷检测：在产线边缘完成表面缺陷分类，无需把图像全部上传云端；

智能家居与 IoT：摄像头、可视门铃、家电视觉交互。

端侧推理的核心优势是低延迟（无需上传等待）、隐私安全（图像不出设备）与低功耗。培训中演示的「摄像头 + NPU」组合，正是这些应用的最小可复现原型。

五.活动人群

活动人群：希望上手瑞萨 RA8 系列与 Ethos-U55 NPU 的嵌入式工程师；对 RTOS、边缘 AI 与网络传输完整链路感兴趣的开发者和学生；正在评估端侧 AI 落地的团队。

六.活动安排

形式：线下动手实操，一人一板，边讲边做

时长：1330

场次

地址

上海(9月5日)

徐汇区裕德路126号

氪空间3楼3039会议室

深圳(9月5日)

深圳科技工业园·金融科技

大厦A栋5楼多功能厅

北京(9月12日)

中国农业大学东校区

工院楼-259

武汉(9月12日)

武汉大学

立即报名：

培训福利

专家问诊：在本问卷提交你在不限于RT-Thread使用，或对于嵌入式AI中的困惑。技术专家将在现场“问诊”环节优先解答你的疑惑，让难题不落地。

组团有礼： 3人成团，组团报名并到场参加，获得实物礼品。（需自带电脑参与，现场完成实验。）

如何组队：确定一个属于你们的小组名（如“AI先锋”），在报名表单中“组团”处填写统一的小组名。

硬件折扣：线下购买开发板，立即带走，享培训当天限时优惠。

七.场地支持

本次深圳场培训由深圳科技工业园(集团)有限公司协办。

深圳科技工业园由深圳市政府与中国科学院于1985年共同创立，是中国大陆第一家科技园区、首批国家级高新技术产业园区。园区以新一代信息技术、半导体与集成电路、人工智能为核心产业集群，是中国科技产业资源最密集的区域之一。本次Workshop落地于此，我们希望借这个技术高地，与更多工业控制、嵌入式开发领域的工程师面对面交流。