小于50ms！IEEE'24最新，高效低延迟UVA检测系统！

0.这篇文章干了啥？

这篇文章介绍了一种名为F-UAV-D的嵌入式系统，旨在利用事件到帧输入来检测无人机。文章首先介绍了无人机在各种领域中的应用，并指出了对于保护隐私和安全，对无人机进行预防和检测至关重要的重要性。然后，文章讨论了目前用于无人机检测的两种主要方法：主动扫描和被动扫描。接着，文章介绍了动态视觉传感器（DVS）作为一种替代方案，其利用时间戳像素级亮度变化，适应于低延迟的对象检测。随后，文章提出了F-UAV-D系统，它利用DVS作为实时低功耗配置中的RGB摄像头的替代方案，并展示了该系统的性能优势。最后，文章总结了实验结果，并提出了未来工作的计划，包括扩展数据集、深入研究提出的设置以及尝试不同的神经网络架构。

下面一起来阅读一下这项工作~

1. 论文信息

论文题目：Towards Real-Time Fast Unmanned Aerial Vehicle Detection Using Dynamic Vision Sensors

作者：Jakub Mandula, Jonas K¨uhne等

作者机构：瑞士苏黎世联邦理工学院

论文链接：https://arxiv.org/pdf/2403.11875.pdf

2. 摘要

无人机(Unmanned Aerial Vehicles, UAVs)在民用和军事应用中越来越受欢迎。然而，对受限区域的未经控制的访问威胁到隐私和安全。因此，预防和检测无人机对于保证机密性和安全至关重要。尽管主要基于雷达的主动扫描是最精确的技术之一，但它可能比被动检查，例如对象识别，更昂贵且不太灵活。动态视觉传感器(Dynamic Vision Sensors, DVS)是一种受生物启发的基于事件的视觉模型，利用了快速移动场景中的时间戳像素级亮度变化，很好地适应于低延迟目标检测。本文提出了一种名为F-UAV-D (Fast Unmanned Aerial Vehicle Detector)的嵌入式系统，可实现快速移动无人机的检测。具体而言，我们提出了一种利用DVS作为RGB摄像头的替代方案的设置，实现实时和低功耗配置。我们的方法利用了DVS的高动态范围(HDR)和背景抑制，在训练了各种快速移动无人机后，在低照度和快速移动场景等次优环境中优于RGB输入。我们的结果显示，F-UAV-D可以(i)平均使用<15W的功率检测无人机，并且(ii)通过利用边缘计算机的CPU和GPU节点进行实时推理(即<50ms)。

3. 效果展示

RGB和事件到帧重叠的示例。

AprilTag 网格在 RGB 和事件到帧视图中的示例。

4. 主要贡献

设计和开发用于能效高和低延迟无人机检测的嵌入式系统

数据集收集和地面真实创建，用于机器学习训练和评估

在边缘不同批大小的YOLOv8的功耗消耗的实证评估。

5. 基本原理是啥？

这篇文章的基本原理是利用事件驱动的视觉传感器（DVS）和传统的RGB摄像头相结合，实现在边缘设备上实时检测快速移动的无人机。传统的RGB摄像头每隔一定时间（帧率）返回一帧图像，而DVS则在感知到亮度变化时立即生成事件，每个事件包含有关一个像素的信息（受到亮度变化影响的像素）以及时间戳和亮度变化的极性。

文章介绍了构建系统所使用的硬件和软件设置。硬件方面，系统基于商用DVS摄像头、CMOS RGB阵列传感器和低功耗计算节点构建。软件方面，系统基于实时目标检测算法和事件到帧转换的组合。事件到帧转换是一个关键步骤，将DVS生成的事件流转换为传统计算机视觉算法所需的帧格式。为了实现这一转换，事件被累积到一个2D矩阵中，生成人工帧，其中正亮度变化的事件生成白色，负亮度变化的事件生成蓝色。

在数据收集方面，文章介绍了创建一个包含不同无人机的公开可用数据集的过程。为了标记数据集，作者使用了YOLO检测器对传统摄像头帧进行标记，并将标签转换为事件相机帧以用作先验。

最后，文章通过对系统性能的定量和定性分析，展示了系统在实时检测无人机方面的可行性。文章还提出了一个研究问题，即不同批次大小对功耗和推断延迟的影响，为未来的研究提供了方向。

6. 实验结果

本文旨在评估所提出的基于事件的计算机视觉算法在低端计算系统上实时检测快速移动的无人机的性能。以下是实验的关键内容：

数据集收集和标记：使用硬件收集数据集，并使用Label Studio进行标记，标记人员可以在RGB和DVS输入同步的情况下检查两者之一以进行视觉确认。

事件到帧转换：DVS生成对亮度变化的响应的事件流，但传统计算机视觉算法支持帧作为输入。因此，需要将事件流累积以生成人工帧，以便适应传统计算机视觉算法。作者采用了一种简单的累积过程，将事件聚合成为2色帧，其中白色代表正事件，蓝色代表负事件。

摄像头同步和校准：应用图像变换来对齐RGB和事件到帧的视角，以便手动标记无人机，并在RGB空间运行检测器并将标签传输到事件空间。

数据集标签：使用自动生成的标签候选项，在Label Studio中绘制围绕目标的边界框，以创建YOLO训练所需的地面真实数据集。

YOLOv5训练：采用YOLOv5-nano算法，将其调整为接受与事件到帧累积相对应的二维、2通道矩阵，并使用默认的训练代理和参数进行训练。

功耗测量：使用Keysight N6705C DC功率分析仪测量F-UAV-D在推断期间的总功耗，发现批次大小为4时功耗最低，每帧需求约为146mJ。

7. 总结 & 未来工作

在本文中，我们介绍了F-UAV-D，这是一个由硬件和软件组件组成的嵌入式系统，可实现使用事件到帧输入来检测无人机。我们展示了一个硬件设置，包括传统的RGB摄像头、新颖的DVS传感器和低功耗嵌入式系统。我们展示了如何使用现有的机器学习工具如YOLO来自动化创建新的事件摄像头数据集的标记过程。此外，我们公开提供了我们的数据集，其中包括27分钟的静止和快速移动无人机录像（即49,000帧）。我们通过测量功耗和延迟初步验证了上述数据集。所测得的性能（即0.53 mAP）显示出了实时推断的现场可部署性，其每帧只需150mJ。我们计划通过以下方式扩展这项工作：（i）扩展数据集（例如，包括更具挑战性的条件）、（ii）对所提出的设置进行更深入的研究（例如，包括RGB和DVS帧之间的同步和校准过程的挑战和限制）、（iii）尝试不同的神经网络架构。