如何使用Sensortile.box实现乐器检测

Funpack9活动板卡是来自ST的SensorTile.box，本期活动也顺利于6月20日截止了，朋友们使用之后最大的感受便是：“这期板卡太有意思了”、“这期板卡太优秀了！”是的，能满足大家的需求也是我们一直追求的方向。若是你还没发现Funpack活动，现在还来得及，下面还有三期，快来参加Funpack活动吧。

本期活动是从三个任务中任选其一完成，尤其最后一个任务：使用神经网络系统，实现特定声音检测功能，如：口哨、咳嗽、鸟叫等，可参考官方提供的婴儿啼哭检测。既有挑战性，又涉及机器学习，完成也很有成就感。

本期我们有好几个小伙伴都选择完成任务三，为他们的选择点赞。本次分享的是来自中国科学技术大学的同学【氢化脱氯次氯酸】使用Sensortile.box的麦克风实现对钢琴、吉他、小提琴的声音检测，并在Qeexo AutoML平台上完成模型训练。

项目分享：https://www.eetree.cn/project/detail/392

1 平台介绍1.1 SensorTile.box开发板STEVAL-MKSBOX1V1（SensorTile.box）是具有无线物联网和可穿戴传感器平台的即用型套件盒，无论您的专业水平如何，均可帮助您使用和开发基于远程运动和环境传感器数据的应用程序。

这款超低功耗蓝牙低功耗解决方案由运行频率为120 MHz的ARM Cortex-M4（STM32L4R9）提供支持，具有环境，音频和运动传感器功能。

环境传感器，例如温度（STTS751），湿度（HTS221）和压力（LPS22HH）传感器用于监视货物状态和库存管理，例如环境阈值检测可用于激活条件或除湿系统容器。

运动传感器，如加速度计（LIS2DW12），用于检测运动，方向，振动，碰撞/震动事件，自由落体。此外，ST传感器可以将机器学习核心功能（LSM6DSOX）嵌入传感器内部，并结合更高的精度，它们提供了低功率解决方案，可以监控更复杂的车辆运动，跟踪船只，以进行飞机模式检测。

机上的气压计压力传感器（LPS22HH）也可用于检测高度变化或检测飞机的起飞和降落，例如在飞行过程中用于打开和关闭无线电传输。

1.2 Qeexo AutoMLQeexo AutoML是一个一键式自动化机器学习平台，让用户可以利用传感器数据针对高度受限的环境快速创建机器学习解决方案。使用AutoML创建的机器学习引擎，具有轻量级的特点，专为在边缘设备上本地化运行而设计，无需访问云端。

对于需要低耗能和低延迟的应用来说，比如移动、物联网、可穿戴设备、汽车等行业，AutoML模型是理想的选择。 2 任务及实现方案2.1 本期任务任务三：使用神经网络系统，实现特定声音检测功能，如：口哨、咳嗽、鸟叫等，可参考官方提供的婴儿啼哭检测。

2.2 方案简介我的实现方案是运用SensorTile.box的麦克风实现乐器声音（钢琴、吉他、小提琴）的检测，由iPad上的库乐队应用模拟乐器的声音，模型的训练在Qeexo AutoML平台上完成。 3 实现过程3.1 传感器配置新建工程，创建新环境并命名为mic，选择麦克风传感器。

3.2 采集数据可以采集的数据有两种格式：连续时间数据和事件。由于我们需要检测时间持续的声音，这里选择连续数据，以乐器名作为标签，并设置采集时间为60s。

分别采集4组训练集数据，分别为无音乐、小提琴、钢琴和吉他。可以在data选项卡中检查数据，并以图像方式呈现。

录入训练集后，继续录入测试集，并将测试集数据与对应的训练集数据进行链接。

3.3 模型训练点击start new training，并设置模型与训练参数开始训练。等待其训练结束后可以查看各模型的训练结果

选择在测试集准确度最高的模型Artificial Neural Network，将其下载到SensorTile.box中，点击右侧的LIVE TEST可以进行在线测试。 3.4 模型测试对于SensorTile.box，可以选择USB连接和蓝牙连接。

选择连接方式后，即可开始测试。播放音乐，屏幕中央会显示当前识别到的乐器。

4 心得体会本次任务不需要编写任何代码，数据采集、模型训练等都是在Qeexo AutoML平台上完成，操作容易，且不需要了解机器学习的各种原理，极大降低了机器学习的入门门槛。同时SensorTile.box配有许多传感器，且有着很高的性能，是一个进行入门机器学习的理想平台。

编辑：jq