边缘的鸟声分类器开源分享

描述

背景

全球已发现大约 18000 种鸟类，仅在印度，就有超过 15000 名已知的鸟类爱好者。这为收集数据和提供服务提供了足够大的基础。

该项目试图通过 Nano 33 BLE Sense 的板载麦克风连续收听音频来识别不同的鸟叫。听到的鸟叫声将被模型消耗，以将其归类为受过训练的鸟类之一。

如果没有听到鸟叫，那么音频将被归类为背景噪声，因为我们在训练期间也包括了背景噪声。这个项目可以帮助那些对观鸟感兴趣并想了解鸟叫的栖息地或模式的人。

概述

• 将 Arduino Nano 33 BLE Sense 与 Edge Impulse 连接
• 构建机器学习模型
• 将模型部署到设备

将 Arduino Nano 33 BLE Sense 与 Edge Impulse 连接

Edge Impulse 完全支持 Arduino Nano 33 BLE Sense，这是一款包含 Cortex-M4 微处理器、运动传感器、麦克风和 BLE 的紧凑型开发板。该工作室支持对原始数据进行采样、模型开发和部署训练有素的机器学习模型。它的价格约为 30 美元，可从 Arduino 和各种分销商处购买。

这可以通过从Edge Impulse docs安装系统上的所有依赖项来轻松实现。

使用 Edge Impulse 框架配置闪存 Nano 33 BLE 感应后，我们可以继续下一步。

构建机器学习模型

我们需要大量鸟类数据，要找到数量和质量都高的数据是不切实际的，我们从Xeno-Canto获取特定鸟类的数据，这是一个致力于分享来自世界各地的鸟类声音的大型数据库.

我们挑选了我们地区常见的 4 只鸟。

• 亚洲科尔
• 笑翠鸟
• 方尾卷龙
• 玫瑰环鹦鹉

构建数据集

我们为每只鸟下载了大约 20-25 个音频文件，并使用名为 Audacity 的软件进行预处理。然后继续增加数据，同时注入噪音。这帮助我们为上述所有四个标签以及单独的噪声标签生成了 200 个 10 秒的文件。

我们现在有一个平衡的数据集，其中每个标签的训练数据为 33 分 20 秒，测试数据为 8 分 20 秒。

 

 

设计冲动

一旦培训到位，您就可以产生冲动。脉冲获取原始数据，将其切割成更小的窗口，使用信号处理块提取特征，然后使用学习块对新数据进行分类。信号处理块用于通过为相同的输入返回相同的值来使原始数据易于处理，而学习块则从以前的经验中学习。

经过一些实验，我们确定了以下参数：

• 窗口大小 = 2500 毫秒
• 窗口增加 = 1250 毫秒

我们可以通过设置小于窗口大小的窗口增加来构建重叠窗口。每个重叠窗口都是传达样本标签的独特音频示例，尽管它们可能包含可比较的数据。我们可以通过使用重叠窗口来充分利用训练数据。

现在，选择块：

• 处理模块 - 音频 (MFE)
• 学习块 - 神经网络 (Keras)

 

 

配置 MFE 块

在探索了 Mel-filter-bank 能量特征参数的一些变化之后，我们确定默认值是最好的。

 

 

配置神经网络模型

Edge Impulse 工作室中神经网络模型的默认值给出了最好的结果。

 

 

分类新数据

为了确保模型在新数据和以前未见过的数据上的工作效果与在训练数据上一样好，我们可以使用工作室提供的“实时分类”选项。

单击左侧菜单中的实时分类。您的设备应显示在“分类新数据”面板中。通过单击开始采样捕获 5 秒的背景噪音。

我们使用我们的智能手机和 Arduino Nano 33 BLE Sense 对数据进行了实时分类。

模型测试

除了训练数据外，每个 Edge Impulse 项目都有一个测试数据集。测试数据集立即与 Live 分类中采集的样本一起保存，模型测试页面显示所有测试数据。

要使用为测试而捕获的样本，应相应地编辑预期结果。单击⋮图标并选择编辑预期结果，然后输入相关标签，如下所示。

 

 

现在，使用表格左侧的复选框选择样本，然后单击 Classify selected。

我们可以观察到模型的准确性已经根据测试数据进行了评级。

模型故障排除

正如预期的那样，模型的性能在第一次尝试时并不总是很好，这可能是由于几个因素。一些有助于提高模型准确性的修改是：

• 搜索异常/低质量数据的数据集。
• 改变窗口大小和窗口增加等参数。
• 学习和处理模块的参数变化。或者如果有更合适的块，请更改块。（例如，在 MFCC 和 MFE 之间切换）。
• 采样时间的变化。
• epoch数的调整。

将模型部署到设备

• Edge Impulse 项目>部署。
• 创建包含冲动和所有外部所需库的完整库。选择 Arduino library 并单击 Build 创建库

 

 

• 下载并解压 .zip 文件。
• 打开 Arduino IDE > 选择 Sketch > Include Library > Add.ZIP library。
• 找到文件夹（不要进入文件夹），然后选择选择。
• 然后，通过转到文件 > 示例 > 项目名称 - Edge Impulse > static_buffer 来加载示例。

示例应用程序现在将加载脉冲。

 

 

。

Edge Impulse 公共项目

Bird 声音分类器可作为 Edge Impulse 上的公共项目使用，其中包含所有数据集和模型。你可以自己测试一下。