使用计算机视觉为工业工人进行跌倒检测

描述

在制造业和建筑业，工人每天都面临着严重的健康和安全风险。工地或生产车间的工人可能会被材料和设备绊倒或被掉落的物体击中。如果不及早发现跌倒，可能会造成严重伤害。作为解决方案，我们正在开发一种设备，可以快速检测监控区域的跌倒情况，并向特定区域的指定人员发出警报。该设备由 Raspberry Pi 4 和一个运行 FOMO 的摄像头模块组成，能够实时检测跌倒。每个事件都可以写入数据库并显示在网络仪表盘中，因此安全管理员可以轻松检查受监控设施中的当前安全状态。在执行层面，

数据采集​​和标记

数据收集是每个机器学习项目的第一步。正确收集数据是影响模型性能的主要因素之一。为您收集的项目提供广泛的视角和缩放级别会很有帮助。您可以从任何设备或开发板获取数据，或上传您自己的数据集，进行数据采集。因为我们有自己的数据集，所以我们使用“数据采集”选项卡上传它们。首先，我们将 Raspberry pi 与 Edge Impulse 连接起来，并通过将摄像头安装在建筑物的屋顶上来捕捉图像。要将 Raspberry pi 与 Edge Impulse 链接起来，请按照本教程进行操作。神经网络访问的数据越多，它们识别物体的能力就越好。

 

收集完图像后，我们通过移至标记队列对其进行标记。在我们的例子中，我们只有两个标签 - Standing 和 Fall。令人惊讶的事实是，Edge Impulse 将尝试通过在后台运行对象跟踪算法来自动执行此过程，以使此标记过程更容易。然后我们将图像拆分为测试集和训练集，这对于验证我们的模型非常重要。在那里我们保持 78/22 的比例，最好保持这样的比例。

冲量设计

这是我们的冲动。如您所见，我们使用 96x96 图像并将调整大小模式设置为“适合最短轴”，因为在此设置中，FOMO 表现非常好。

 

在图像选项卡中，我们使用灰度作为颜色深度。然后我们为我们的图像生成特征。即使对象相同，特征也可以区分。

 

模型

现在是时候开始训练机器学习模型了。从头开始生成机器学习模型需要花费大量时间和精力。相反，我们将使用一种称为“迁移学习”的技术，该技术使用我们数据上的预训练模型。这样我们就可以用更少的数据输入创建一个准确的机器学习模型。然后我们调整训练参数以获得精度更高的模型，最后我们得到了这个。

 

我们使用FOMO (MobileNet V2 0.35)作为神经网络。这是我们的训练输出。我们得到了 98% 的准确率。

 

通过检查混淆矩阵，很明显该模型运行良好，但我们需要检查是否存在过度拟合的可能性。这是我们在模型测试选项卡下的模型测试结果，它也适用于测试数据。

 

测试

为了进行测试，我们使用了测试和训练中未提供的图像。在这里，我们正在测试 2 个样本图像，让我们看看我们的模型的表现如何。

 

 

在我们所有的测试样本中，该模型的表现都非常好，因此我们可以继续将其部署到设备上。

Linux Python 开发工具包

 

通过使用这个库，我们可以使用 Python 在 Linux 机器上运行我们的机器学习模型。为此，我们需要遵循此安装指南。然后我们从 Edge Impulse 下载模型并修改示例代码，使我们的项目活跃起来。