模型案例之帐篷检测模型

导读

2023年以ChatGPT为代表的大语言模型横空出世，它的出现标志着自然语言处理领域取得了重大突破。它在文本生成、对话系统和语言理解等方面展现出了强大的能力，为人工智能技术的发展开辟了新的可能性。同时，人工智能技术正在进入各种应用领域，在智慧城市、智能制造、智慧医疗、智慧农业等领域发挥着重要作用。

柴火创客2024年将依托母公司Seeed矽递科技在人工智能领域的创新硬件，与全球创客爱好者共建“模型仓”，通过“SenseCraft AI”平台可以让使用者快速部署应用体验人工智能技术！

RT-DETR

目标检测一直面临着一个重大挑战-平衡速度和准确性。像YOLO这样的传统模型速度很快，但需要一个名为非极大值抑制（NMS）的后处理步骤，这会减慢检测速度。NMS过滤重叠的边界框，但这会引入额外的计算时间，影响整体速度。

RT-DETR 实时端到端目标检测器，旨在解决现有目标检测方法在速度和精度上的问题。该方法在保持较高检测精度的同时，显著提升了推理速度，为实时目标检测提供了新的解决方案。

RT-DETR是基于DETR架构的端到端对象检测器，完全消除了对NMS的需求。通过这样做，RT-DETR显着减少了之前基于卷积神经网络（CNN）的对象检测器（如YOLO系列）的延迟。它结合了强大的主干、混合编码器和独特的查询选择器，可以快速准确地处理特征。

RT-DETR 架构的关键组成

骨干网络：提取特征，文中实验了 ResNet 和可缩放的 HgNetV2 两种骨干网络，选择其最后三个阶段的特征输入到编码器。

高效混合编码器：通过解耦尺度内交互和跨尺度融合来高效处理多尺度特征，它由两部分组成：

·AIFI（Attention-based Intra-scale Feature Interaction）：仅在上使用单尺度 Transformer 编码器进行层内特征交互，以捕获更丰富的语义概念，降低复杂度并提高整体精度。

·CCFF（CNN-based Cross-scale Feature Fusion）：基于跨尺度融合模块进行优化，在融合路径中插入多个由卷积层组成的融合块，用于融合相邻尺度的特征。融合块包含两个 1×1 卷积调整通道数，使用 RepConv 组成的 N 个 RepBlocks 进行特征融合，通过元素相加融合两条路径的输出。

Transformer 解码器：解码器通过不确定性最小查询选择模块，从编码器输出的特征序列中选择固定数量的特征作为初始对象查询，然后利用辅助预测头迭代优化对象查询，生成类别和边界框。

此外，RT-DETR 支持灵活调整推理速度，通过调整解码器层数实现，而无需重新训练。同时，它还支持通过控制编码器和解码器的参数来实现模型的缩放。

RT-DETR特点

高效混合编码器：采用高效混合编码器，通过解耦尺度内交互和跨尺度融合来处理多尺度特征。这种基于 Vision Transformers 的独特设计降低了计算成本，允许实时物体检测。

IoU 感知查询选择：利用 IoU 感知查询选择改进了对象查询初始化，使模型能够专注于场景中最相关的对象，从而提高检测准确性。

推理速度可调：支持通过使用不同的解码器层灵活调整推理速度，无需重新训练。这种适应性有助于在各种实时目标检测场景中的实际应用。

实时性能：实现了实时目标检测速度，相比许多基于 Transformer 的模型，其推理速度更快。

无锚框设计：不依赖于锚框，直接预测物体的边界框和类别，提高了模型的灵活性和检测效率，减少了超参数调优的工作量，提升了小目标检测的性能。

端到端训练：采用端到端的训练方式，不需要像传统的检测方法那样经过复杂的后处理步骤，如非极大值抑制（NMS），提高了训练效率并减少了推理的复杂度。

高精度：在速度和精度方面均超过了 YOLO 系列等其他实时检测器，例如 RT-DETR-R50 在 COCO val2017 上达到 53.1% 的 AP 和 108 FPS，RT-DETR-R101 达到 54.3% 的 AP 和 74 FPS。

可扩展性：支持模型的缩放，通过控制编码器和解码器的参数，如调整宽度（嵌入尺寸和通道数）和深度（Transformer 层数和 RepBlocks），以适应不同场景的需求。

高效处理多尺度特征：集成了多尺度特征融合模块，能够同时处理大中小不同尺寸的目标，在检测小目标时表现优异。

帐篷检测模型

该 AI 模型利用先进的 Swift yolo 算法，专注于帐篷识别，可以在实时视频流中准确检测和标记帐篷。它特别适用于 Seeed Studio Grove Vision AI （V2） 设备，提供高兼容性和稳定性。

露营场景应用

营地管理与布局优化：

- 帮助营地主动监控帐篷的分布情况，可以分析不同区域的帐篷数量，优化露营地的布局，确保合理利用空间，避免拥堵。

安全与防灾：

- 在天气突变或出现自然灾害时（如暴风雨、洪水等），可以实时检测帐篷所在地的环境变化，警告营地管理者采取相应措施，保障露营者的安全。

资源分配与监控：

- 管理者可以根据检测到的帐篷数量和分布，合理分配营地的水、电及其他资源，更高效地满足露营者的需求。

数据收集与分析：

- 通过持续监测帐篷的数量和动态变化，营地管理者可以收集露营高峰期的数据，从而为未来的活动策划和资源配置提供参考。

客户体验提升：

- 通过分析帐篷的分布及活动情况，管理者可以为露营者提供个性化的建议，如推荐适合的露营区域、活动和服务，提升整体体验。

野生动物监测与管理：

- 利用帐篷检测技术，营地管理人员可以监控露营区域对当地生态环境的影响，合理安排活动，以保护野生动物栖息环境。

应急响应：

- 在紧急情况下，例如露营者的失踪或事故发生时，模型可以帮助定位帐篷位置，快速调派救援力量。

智能化露营服务：

- 在自动化和智能化露营平台中，帐篷检测模型可以与其他智能设备和系统集成，为露营者提供实时信息和服务，如天气预报、急救指引等。

在Grove-VisionAIV2上部署模型

1、打开SenseCraft AI平台，如果第一次使用请先注册一个会员账号，还可以设置语言为中文。

平台地址：https://sensecraft.seeed.cc/ai/#/model

2、在顶部单击【预训练模型】菜单，在公共AI模型列表9中找到【帐篷检测】模型，单击此模型图片，如下图所示。

3、进入【帐篷检测】模型介绍页面，单击右侧的“部署模型”按钮，如下图所示。

4、进入部署帐篷检测模型页面，按提示步骤先连接摄像头，再连接设备到电脑USB接口上，最后单击【连接设备】按钮，如下图所示。

5、弹出部署模型窗口，单击“确定”按钮，如下图所示。

6、弹出连接到串行端口窗口，选择端口号后单击“连接”按钮，如下图所示。

7、开始进行模型部署、固件下载、设备重启等过程，完成后在预览中即可看到当前摄像头视频内容，将摄像头对准露营中的帐篷图片查看预测效果，如下图所示。

预测效果视频演示

Grove Al视觉模块 V2套装介绍

Grove Al视觉模块 V2

OV5647-62摄像头

Grove - Vision Al Module V2是一款拇指大小的人工智能视觉模块, 配备Himax WiseEye2 HX6538处理器, 该处理器采用 ArmCortex-M55双核架构。

它具有标准的CSI接口, 并与树莓派相机兼容。它有一个内置的数字麦克风和SD卡插槽。它非常适用于各种嵌入式视觉项目。

有了SenseCraft Al算法平台, 经过训练的ML模型可以部署到传感器, 而不需要编码。它兼容XIAO系列和Arduino生态系统, 是各种物体检测应用的理想选择。

Arm Ethos-U55 嵌入式神经网络处理器（NPU）

嵌入式神经网络处理器（NPU）是一种特别设计用于执行神经网络计算的高效率处理器。它主要基于数据驱动并行计算架构，特别擅长处理视频、图像等大量的多媒体数据。NPU模仿了生物神经网络的架构，与CPU、GPU相比，它能够通过更少的指令（一条或几条）完成神经元的处理，因此在深度学习的处理效率方面具有明显优势。

它具有标准的CSI接口, 并与树莓派相机兼容。它有一个内置的数字麦克风和SD卡插槽。它非常适用于各种嵌入式视觉项目。

有了SenseCraft Al算法平台, 经过训练的ML模型可以部署到传感器, 而不需要编码。它兼容XIAO系列和Arduino生态系统, 是各种物体检测应用的理想选择。

主要硬件配置

- 板卡基于WiseEye2 HX6538处理器, 采用双核ARM Cortex-M55架构 。

- 配备集成Arm Ethos-U55微神经网络加速单元, 兼容的树莓派相机

- 板载PDM麦克风, SD卡插槽, Type-C, Grove接口, 丰富的外设支持样机开发 。

- Seeed Studio XIAO的可扩展性, SenseCraft Al的现成AI模型用于无代码部署。

- 支持各种有效的模型, 包括MobilenetV1、MobilenetV2、 Eficientnet-Lite、Yolov5和Yolov8。

写在最后

SenseCraft-AI平台的模型仓数量还很少，但是好消息是它支持自定义模型上传并输出推理结果，平台会逐渐增加模型仓的数量和分享有爱好者设计的模型仓原型，敬请关注！