资料介绍
描述
动机与背景
传统的基于视觉的野生动物监测方法受到天气条件、相机的视野、目标生物的大小及其接近程度的限制。可以通过其他渠道更可靠地监测野生动物的替代技术有很大的空间:如声学监测。
声学监测为监测野生动物提供了一种可靠、低成本且可扩展的替代方案,并具有检测有害人类活动的额外好处:虽然偷猎和伐木可能无法看到,但它们更容易听到。
当然,声学监测并不是一个新概念。但是,大多数产品只记录;他们不分析。这会产生大量原始数据,超出研究人员单独分析的人力。目前,保护组织经常求助于大型科技公司来处理他们的原始数据。这不仅使保护主义者处于被动状态,将重点放在历史数据上,而且还为小规模的地方保护工作构成了重大障碍。此外,这也阻碍了声学监测系统充当警报的潜力。
Agouti:我们的产品
鉴于这些考虑,Agouti 是一款智能、防风雨的声学监测设备,可以轻松部署用于音频数据的记录和分析。
我们使用 edgeML 来自动标记关键事件类的麦克风数据,例如昆虫声音和鸟鸣、人类活动(例如车辆)和日志记录(例如电锯噪音),并将这些标签与其各自的音频一起存储以供人工检查。我们还记录温度、湿度和光传感器的读数,以将音频与现实世界联系起来,准确量化环境如何影响物种的行为。
Agouti 广泛涉及“挑战 2:野生动物/生物多样性保护”。具体来说,我们同时解决两个问题:
- 对濒临灭绝的野生动物进行非侵入式监控:我们的声学记录系统会定期对其周围的音景进行 5 秒的录音,然后对其进行分析并与音频一起存储。
- 人类与野生动物冲突预防/缓解:通过检查音频中的可疑活动声音(如伐木或运输噪音),我们可以检测对环境有害的非法活动。
简而言之,刺豚鼠
因此,如上所示,Agouti 使用 Wio 终端来收集数据和显示预测,而 Raspberry Pi 用于处理和存储数据。我们决定使用 Raspberry Pi 有两个原因
1. 我们尝试的一些更简单的模型根本无法以合理的准确度进行音频分析。所以我们不得不使用一个太大而无法在 Wio 上运行或运行的 AI 模型,但又足够小以适应 RPi。
2. RPi 可以写入容量远大于 Wio 16GB SD 卡槽的 USB 存储设备。
现在,让我们来看看我们是如何创建 Agouti 的。此处引用的所有代码和其他支持文件都可以在我们的GitHub存储库中访问,其中包含设置我们系统每个部分的详细说明。
第 1 部分:人工智能训练
这是最难的一点。我们尝试了许多各种规模的模型架构,最终我们坚持的方法是迁移学习。与训练新模型相反,迁移学习显着减少了所需的训练时间和资源。通过利用预训练模型的高级模型架构,它还可以提高准确性。
对于我们的训练,我们使用了谷歌的预训练模型YAMNet 。YAMNet 分析输入音频数据的 Mel Spectrogram,这是一个根据人类听觉对不同频率的敏感度有偏差的频谱图。它是一个主要由卷积层组成的模型,在 Google 的 AudioSet 数据集上进行训练,并输出对应于 521 个预定义类中的每一个的分数数组。
然后我们选择了另一个数据集ESC-50 ,它主要包含环境噪声,因此更适合我们的目的。这里的音频数据为 5s 16khz。YAMNet 从音频生成嵌入,我们在这些嵌入上训练最终分类器。因为 YAMNet 将音频数据切成 0.96 秒的帧,所以我们 5 秒的记录产生了一个嵌入数组。为了解决这个问题,我们采用了一个 128 单元的 LSTM 模型,该模型对这个数据数组进行循环操作。
为了进一步提高我们模型的鲁棒性,我们添加了音频增强:时间轴的拉伸/压缩、频率调制、随机噪声的混合、谐波失真等。这不可避免地会降低训练时的准确性,但会在训练中获得更好的性能应用。
为了使模型的最终预测更加直观,我们还创建了模型混合内容的混淆矩阵。如下所示:
一旦最终的分类器层被训练出来,我们就对其进行量化并将其转化为可以在 Pi 上轻松运行的 TFlite 模型。
您可以在此处使用我们在 Google Colab 上的实际实现。
以下是人工智能分析 YouTube 音频的一些片段:
第 2 部分:Wio + RPi 串行
我们非常感谢 Seeed Studios 为我们提供免费的 SenseCAP K1100 传感器原型套件。我们使用 Wio 终端从其内置的光传感器和 microhpone 以及附加的 Grove SHT40 温度和湿度传感器中获取读数。
您会记得,Wio 终端负责所有传感器数据并通过其麦克风记录音频,而 Raspberry Pi 运行大型 AI 声学模型(太大而无法安装在 Wio 上)并使数据能够存储到 USB具有大存储空间的驱动器。两者之间的通信是通过串口实现的:
- Raspberry Pi 在启动时向 Wio 发送命令
- Wio 抓取传感器数据并记录 16k 帧音频数据,然后将其发送回 Pi。然后 Pi 做了一些事情:
- Pi 测量 Wio 获取音频数据所需的时间,自动校准每帧之间的延迟,以便 Wio 每秒准确返回 16000 帧。
- Pi 将原始音频数据转换为介于 -1 和 1 之间的 numpy 数组,然后将其传递给 YAMNet 以提取 YAMNet 预测和嵌入
- 然后将 YAMNet 嵌入通过我们的自定义模型传递以提取更高级别的音频信息
- 来自 YAMNet 和我们的自定义模型的预测结合起来给出最终的音频标签
- 如果自上次存储音频以来已经过去了足够长的时间,或者如果音频被标记为危险,则 Pi 将音频数据及其预测标签(作为 JSON)一起写入 USB
- Pi 将预测的音频标签和校准的延迟时间发送回 Wio
- Wio 显示预测的音频标签,再次记录音频数据(这次使用新的延迟值),然后循环继续
同样,我们的 GitHub 存储库中提供了设置RPi和 Wio 的完整说明。
第 3 部分:外壳
为了保护硬件免受外部环境的破坏,我们在 Onshape 上设计了一个防水外壳,使用 3mm 透明亚克力板,使用激光切割机成型。
我们决定使用亚克力板,因为它们耐用且重量轻,并且具有易于激光切割的额外好处。外壳也是完全透明的,以确保屏幕可见。此外,外壳设计中包含一个小窗口,用于将温度和湿度传感器(位于外部)连接到 Wio(位于内部)。保护壳的所有底座部分均采用指接设计,具有很强的稳定性和强度,并最大限度地提高了用于连接和形成整个盒子的丙烯酸水泥的粘合性。
而且……我们做到了!
最终产品
这是一段 Agouti 在行动中的视频,它用背景中的飞机检测人类噪音:
下面是链接到音频文件的 JSON 文件的示例:
{
"category": "chainsaw", # Final audio tag
"class": "sawing", # Big class that tag falls into
"humidity": 51.6, # Humidity value
"light": 170, # Light sensor value
"original": "chainsaw", # Prediction from our model
"temperature": 20.09, # Temperature value
"yamnet": [ # YAMNet prediction at each frame
"Engine",
"Breathing",
"Vehicle",
"Vehicle",
"Vehicle",
"Vehicle",
"Frying (food)",
"Breathing",
"Rattle",
"Engine"
]
}
并且...所有音频文件都已正确存储到 USB 上:
未来的改进
未来,我们设想进行以下更改以改进 Agouti:
- 支持通过 LoRaWan 发送分析的音频标签和传感器数据,因此可以立即刷新数据和警告(我们确实有准备好通过 Lora 将传感器数据发送到 Helium 的代码,但连接存在问题,可能与 Lora 覆盖有关)
- 太阳能电池板可实现更长时间的连续运行
- 使移植的 ML 模型更准确,并且能够识别更多的音频类
- 使用更好的麦克风并以更高的速率采样
学分
感谢我来自 Team Enigma 的其他 3 位队友,他们参与了这个项目的开发:
Dylan Kainth主要用于处理硬件的 Wio 方面,建议使用 Pi 以及许多其他事情
Alex Yi主要用于帮助人工智能,研究不同的算法,并提出不同的音频增强
Mark Zeng设计了机箱并对 Edge Impulse 进行了一些研究
- 2023可穿戴设备行业技术与市场分析 10次下载
- 基于Eagle的Caracal Evo板生物声学监测定位平台 0次下载
- Arduino Nano纳米防风雨罩开源 0次下载
- 《监测系统中智能信息处理技术》pdf 0次下载
- 基于ZigBee的无线智能家居系统环境监测 39次下载
- 4184型防风雨麦克风的产品说明书免费下载 1次下载
- 可穿戴医疗电子智能设备技术特征作说明详细资料免费下载 20次下载
- 如何利用地震传感器来进行石油勘探、地震探测和钻井作业的应用概述 7次下载
- 智能输变电设备状态监测系统研究 14次下载
- 光伏电站的挡风墙和挡风板及防风抑尘网的设计 9次下载
- 基于无线传感器在医学监测中的性能要求 6次下载
- [建筑声学与音响工程——现代建筑中的声学设计].王峥.陈金京.扫描版 0次下载
- 心理声学模型及其在MP3编码中的应用 35次下载
- AD8310在网箱声学监测中的应用 24次下载
- 新型防风雨自动窗 68次下载
- 基于WIFI网络的车间设备监测与控制系统设计 326次阅读
- 规划实时声学处理的成功 456次阅读
- 声学多普勒流量计测量原理、技术特点和应用研究 4767次阅读
- 2019黑科技之智能饮水机水位监测方案 3158次阅读
- 基于振动信号的机械设备故障监测实现步骤 1.1w次阅读
- 听懂声音——ADI公司的人工智能如何大幅延长设备的正常运行时间 646次阅读
- 光传感器在盐密在线监测系统中应用 1662次阅读
- 智能测酸在线监测系统的原理及设计 1057次阅读
- 浅析声学滤波器的技术发展趋势 7935次阅读
- 声学传感器如何诊断机器健康 3257次阅读
- 如何在微型声学设备的拓扑优化中加入热粘性损耗? 4045次阅读
- PLC在消防风机巡检装置中的控制应用 2410次阅读
- 智能穿戴设备心率监测实现的几种方法及原理 4704次阅读
- 利用BB-Black设计的远程医疗监测智能硬件 1555次阅读
- 基于DSP的电能质量在线监测设备在电网中的应用 816次阅读
下载排行
本周
- 1山景DSP芯片AP8248A2数据手册
- 1.06 MB | 532次下载 | 免费
- 2RK3399完整板原理图(支持平板,盒子VR)
- 3.28 MB | 339次下载 | 免费
- 3TC358743XBG评估板参考手册
- 1.36 MB | 330次下载 | 免费
- 4DFM软件使用教程
- 0.84 MB | 295次下载 | 免费
- 5元宇宙深度解析—未来的未来-风口还是泡沫
- 6.40 MB | 227次下载 | 免费
- 6迪文DGUS开发指南
- 31.67 MB | 194次下载 | 免费
- 7元宇宙底层硬件系列报告
- 13.42 MB | 182次下载 | 免费
- 8FP5207XR-G1中文应用手册
- 1.09 MB | 178次下载 | 免费
本月
- 1OrCAD10.5下载OrCAD10.5中文版软件
- 0.00 MB | 234315次下载 | 免费
- 2555集成电路应用800例(新编版)
- 0.00 MB | 33566次下载 | 免费
- 3接口电路图大全
- 未知 | 30323次下载 | 免费
- 4开关电源设计实例指南
- 未知 | 21549次下载 | 免费
- 5电气工程师手册免费下载(新编第二版pdf电子书)
- 0.00 MB | 15349次下载 | 免费
- 6数字电路基础pdf(下载)
- 未知 | 13750次下载 | 免费
- 7电子制作实例集锦 下载
- 未知 | 8113次下载 | 免费
- 8《LED驱动电路设计》 温德尔著
- 0.00 MB | 6656次下载 | 免费
总榜
- 1matlab软件下载入口
- 未知 | 935054次下载 | 免费
- 2protel99se软件下载(可英文版转中文版)
- 78.1 MB | 537798次下载 | 免费
- 3MATLAB 7.1 下载 (含软件介绍)
- 未知 | 420027次下载 | 免费
- 4OrCAD10.5下载OrCAD10.5中文版软件
- 0.00 MB | 234315次下载 | 免费
- 5Altium DXP2002下载入口
- 未知 | 233046次下载 | 免费
- 6电路仿真软件multisim 10.0免费下载
- 340992 | 191187次下载 | 免费
- 7十天学会AVR单片机与C语言视频教程 下载
- 158M | 183279次下载 | 免费
- 8proe5.0野火版下载(中文版免费下载)
- 未知 | 138040次下载 | 免费
评论
查看更多