基于Nano 33 BLE Sense的数字魔杖

描述

我们构建了一个数字“魔杖”，可以挥动它来铸造各种字母。它以多维传感器数据作为输入数据，其输出将是一个简单的分类，以指示运动所属的类别。我们利用深度学习的魔力将普通的数字数据转化为有意义的信息！

魔杖通过点亮 LED 对每个咒语做出反应。此外，它还会向其串口输出信息，可以在终端上观察到。

魔术从这里开始！

序幕

手势识别是计算机视觉中的一个主题，旨在通过数学算法解释人类手势。手势可以源自任何身体动作或状态，但通常源自面部或手部。

在计算机界面中，可以区分两种类型的手势。我们首先考虑在线手势，也可以将其视为缩放和旋转等直接操作。相比之下，离线手势通常在用户与对象交互之后进行处理。在这个项目中，我们专注于离线手势。

我们的神奇模型

我们的手势检测模型是一个卷积神经网络，重量约为 20 KB，它接受原始加速度计值作为其输入。每个值都是一个 32 位浮点数，表示该方向的加速度量。

该模型接受了由许多人执行的四种手势的训练。它输出四个类的概率分数：一个代表每个手势，如下图所示。

三个可识别的手势

魔法工厂

我们的魔法棒基于 Nano 33 BLE Sense（无接头）的魔法工厂。Nano 33 BLE Sense（不带接头连接器）是 Arduino 的 3.3V 人工智能开发板，具有最小的可用外形尺寸：45x18mm！

Nano 33 BLE Sense（无接头）

魔术表演

我们基本上按照《Tinyml：在 Arduino 和超低功耗微控制器上使用 TensorFlow Lite 进行机器学习》一书第 12 章和第 13 章中的过程构建应用程序。我们最终在 RHEL 7 平台上实现了奇迹！

我们的实验是在配备主频为 3.50GHz 和 32 GB 内存的英特尔(R) 至强(R) CPU E3-1245 v5 的台式机上执行的。

结语

一个有趣的方向是尝试使用阈值来使手势更容易或更难执行（以更多的误报或漏报为代价）。我们还将玩不同手势的模型，例如Squid Game系列中的“星形”、“圆形”、“三角形”甚至“伞形”！