人形检测的移动追踪云台摄像机 | 技术集结

本项目是基于FH8626V300L的人形检测的移动追踪云台摄像机，12月27日深圳南山，免费培训，我们带你半天上手，人形检测模型部署+优化全流程，三人（工程师）成团赠送开发板哦！

扫码报名：

目录

项目背景与功能

硬件使用

硬件设计

开发环境

软件设计

视频演示

调试过程中所遇到的问题

展望

1 项目背景与功能

随着高性能嵌入式芯片以及人工智能技术与视觉神经网络的高速发展，智能检测技术已在智能安防、智慧医疗、智能驾驶、工业检测等领域得到广泛应用。

本作品主要依赖FH8626V300L nna模块结合sdk提供人形检测模型实现人形检测功能，辅以二维云台进而实现人形追踪功能。

2 硬件使用

使用双镜头cv2005做双目输入

使用pwm6、pwm7两路pwm驱动云台舵机

使用网口连接网络以实现rtsp推流

3 硬件设计

fh8626v300Ldemo板有pwm接口引出通过跳线帽选择对应的线路连接，原理图如下这里将跳线帽拔下直接将舵机pwm控制脚直接接到jp18以及jp20座子的2脚连接芯片。

所使用的二维云台如下，使用舵机为：LD-1501MG pwm舵机，因其需要6-7.4v供电 因此又单独加了一个电源模块为其供电。

4 开发环境

fh8626v300sdk要在linux环境下进行开发，我这里为方便开发 在windows下安装的虚拟机 搭配samba 以及ssh在windows下进行的操作。

交叉编译链 安装以及sdk编译及使用 这部分参照富瀚sdk提供的手册即可迅速完成。

本作品是在sdk的media_demo基础上进行的基本操作按照手册配置即可 只是习惯于使用sd卡进行固件加载指令如下：

fatload mmc 0 10000000 media_demo.bin

go 10000000

除加载方式之外其余操作跟手册流程是一样的。

5 软件设计

1、pwm复用

要确保内核pwm设备驱动打开 在sdk/rt-thread目录内 make menuconfig进行配置 如下图所示：

2、配置io复用

修改sdk/rt-thread/platform/fh8626v300/app_board/appboard_iopad.h文件

pin脚复用需要注意不能冲突，否则会导致复用不生效

pin脚功能可查看pin_mux表格，或者直接从fh8626v300_iopad.h文件中查看

3、配置生效后在板子上/dev下会出现设备文件

pinctrl -l可查看pin脚复用信息

cv2005双目出图可参照 sdk中测试固件cv2005常电模式文档说明进行配置即可

fh码流通道数据格式如下图所示

nna模块所需数据为rgb888格式，因此在使用nna人形检测功能时需要使能通道2，这里用的是sensor0做人形检测 通道2幅面跟通道0幅面保证横纵比相同 就是缩放而来的数据检测结果可以直接映射过去进行osd画框。幅面如下图配置所示

nna模块检测结果及通道0映射如下图所示

6 人形追踪逻辑

目标：让监测到的目标中心点落于整个幅面的中心（1920/2，1080/2），为防止摄像头抖动故此将中心扩大到一块范围，只要目标中心在画面中间范围内就无需驱动云台转动，像素点与角度的关系示意图如下所示，简单的映射关系即可得到两个像素点之间所对应的角度后续只需要根据目标中心距离幅面中心点像素差值即可计算出需要转动的角度

7 视频演示

人形检测画框可通过vlc rtsp拉流进行查看

因目前没有合适的架子，担心开发板架上云台导致短路故而只演示了人形在画面不同方位云台转动的方向示意，后续再进行更新板子架上云台的效果。

8 调试过程中所遇到的问题

画面色彩发黄

ircut问题，将镜头ircut接口接到j20座子，jp27跳线帽短接1，2脚 复用GPIO4之后直接上电即可切ircut，gpio4默认电平为高 查过硬件发现ircut芯片到另一个控制脚gpio29中间的R69没贴，所以可以直接把ircut弄掉，画面色彩就是正常的。只是在室内测试具体情况还是要具体分析以确定ircut状态，需要打开ircut的话短接R69并将GPIO29拉高 GPIO4拉低即可

9 展望

目前走的双目方案，可以主镜头做绊线检测，副镜头做人形追踪。以做到主镜头做固定范围的监测副镜头联动。当有人进入特定范围后报警并且副镜头进行追踪 做到类似现在摄像头枪球联动的效果。

工程链接：

通过网盘分享的文件：rt-thread.tar

链接:https://pan.baidu.com/s/1nGO9-9ONg_Lf2KOyhpVTHQ?pwd=bph2提取码: bph2

工程是在media_demo基础之上开发的 可以直接将文件解压到sdk中直接编译

链接：https://gitee.com/lkqqf/lkq_project/tree/master

如果您有项目需求获取同款芯片，可以扫码申请试用。

如果您有项目需求获取同款芯片，可以扫码申请试用。

扫码申请试用：

或前往淘宝购买：https://e.tb.cn/h.SDz8fmbdZoxn8fI?tk=w2b6fn2xZpQ

RT-Thread Github 开源仓库，欢迎撒个星(Star)支持，更期待你的代码贡献：https://github.com/RT-Thread/rt-thread

添加小师弟微信↓，拉你进RT-Thread技术交流群，找到组织！