低功耗AIoT智能相机开源分享

48095 2023-06-15 | zip | 0.00 MB | 次下载 | 免费

资料介绍

描述

基于 Raspberry Pi Zero W 和 Google Coral EdgeTPU 的低功耗（'ish）AIoT 智能相机（3D 打印）

https://github.com/ricardodeazambuja/Maple-Syrup-Pi-Camera

曾几何时，我开始了一个项目，我们想了解游客在参观景点时的行为。传统上，研究人员会去那些地方并手动记笔记，以了解访问者最喜欢什么，他们在哪里度过的时间等。但是，我是一名电气工程师，所以我觉得有必要将任务自动化。起初，我考虑使用“哑”传感器，这些传感器只能计数，或者在最好的情况下，只能告诉人们移动的方向，但这会限制我们可以回答的问题类型。

我真正想要的是一个工具，它可以做与研究人员手动注释事物相同的工作。研究人员将使用她/他的眼睛和人体中最复杂的器官：全能的大脑来完成这项任务！我们仍然没有人类大脑（甚至是苍蝇大脑......），但至少我们有深度学习！

很明显，这个项目需要一个能够使用视觉来理解世界的传感器。这可以通过摄像头和基于深度学习的算法来解决（对于通常意味着深度卷积神经网络的图像）) 就像一个物体检测器。尽管如此，就在不久前，过去的做法是保存图像（或发送到某个地方）并使用强大、耗电的 GPU 处理它们。但是，保存（或传输）图像会引发一些与隐私相关的严重问题。避免这种情况的一种方法是“在边缘”处理所有内容，以使结果不包含任何个人信息。对于普通人来说，带有网络摄像头的游戏笔记本电脑就足以证明概念，但我已经在思考，因为我记得我以前使用笔记本电脑运行演示的经历，周围有很多人，被电缆绊倒，设备掉到地面，电池变平的速度比预期的快，等等。

已经有相当多的智能相机允许您在边缘运行深度神经模型（例如JeVois 、OpenMV 、OpenCV OAK等），但是将我自己的系统放在一起会给我更多的自由和灵活性。因此，我决定使用Raspberry Pi Zero W 、Raspberry Camera V2和Google Coral USB 加速器. 我不会躺在这里，我选择这套特殊工具的原因之一是很平凡的：我有使用它们的经验，当我们处于另一次封锁期间时，我把它们放在家里。但是这种设置的杀手锏是它的功耗非常低且体积小，让我可以用普通的移动电源为它供电一整天，并且由于体积小，它可以轻松部署在任何地方。

人们问我为什么选择在这个项目中使用 Raspberry Pi Zero，因为它不是一个强大的单板计算机。正如我所提到的，我本可以尝试现成的智能相机，但 Raspberry Pi 是有史以来最畅销的通用计算机之一（击败了 Commodore 64，4 年前的数字！），因此它拥有一个庞大的社区。当您需要寻找驱动程序或如何解决问题时，这让生活变得更加轻松。除此之外，去年我发布了关于灵活、抗碰撞、四轴飞行器的工作，它的大脑...... Raspberry Pi Zero W！因此，我对使用 Zero 非常熟悉，我希望Raspberry Pi 基金会很快会进行升级（也许在 RPI Zero PCB 中添加一个 RP2040？）。

如何建立自己的

硬件

树莓派零 W
树莓派相机（+ RPI 零扁平电缆）
珊瑚 USB 加速器
USB-C 转 micro USB 数据线（或适配器）
Micro SDCard（如果您想使用我们的图像，建议使用 8GB）
3D打印零件

软件

简单的方法

这个 repo 中可用的图像预先安装了许多有趣的东西，它的默认用户是pi和密码maplesyrup（是的，我喜欢 maplesyrup）。另一个有趣的东西是 Jupyter Notebook Server。它在测试事物时有很大帮助。您可以通过运行来启动它/home/pi/launch_jupyter.sh（它有时很慢，但非常有用）并且再次输入密码maplesyrup（您的浏览器会抱怨说它不是安全连接，因为服务器使用的是自签名证书）。

在此处下载可用的图像，并使用Raspberry Pi Imager将其闪存到您的卡中。

艰难的路（为什么你不能走简单的路？！？！哈哈）

您至少需要安装libedgetpu 和 tflite_runtime 。请注意，此 tflite_runtime 版本是为 Python 3.7 编译的。
除了上面的软件，你还需要安装Picamera 、Pillow ...

额外说明

USB 连接器由 Coral USB 加速器使用，因此如果您使用 Maple-Syrup-Pi-Camera无头相机会更容易。此处提供了 wifi 配置文件的完整示例（您只需对其进行修改并复制到将 SDCard 连接到计算机时出现的引导分区）。
该图像已启用 SSH，您可以在此处了解有关如何使用 SSH 进行连接的更多信息。
如果您是 Unix 用户，您甚至可以在您的计算机上挂载 RPI 文件系统并远程使用 VSCode 。

速度

RPI 零 W 具有 USB 2.0 连接，理论速度为 480Mbit/s (50MB/s)，但它永远不会接近这个速度，因为 RPI0 有一个单核 ARMv6 CPU（没有免费的午餐！）。因此，Google Coral USB 加速器经常受到 USB 带宽或 RPI0 与其交换数据的能力的限制。不过，这一事实在保持低平均功耗方面发挥了作用。需要后处理或使用自定义 OP（EdgeTPU 编译器在主机中运行这些操作）的模型也会受到 USB 带宽小和 ARMv6 单核薄弱的影响。

能量消耗：

RPI Zero W 在其 5V 输入端没有保护电路，因此它将 USB 电源直接连接到电源。这意味着 Coral USB 加速器将直接连接到电源，使其能够在 microUSB + PCB 走线的电源和阻抗允许的范围内消耗尽可能多的电流。根据Google Coral USB 加速器数据表，仅加速器就可以消耗高达 900mA（峰值）的电流。RPI 零 W 的典型功耗为 150mA 。在我的实验中，Maple-Syrup-Pi-Camera 在空闲时（800mW）在 5V 时消耗大约 160mA。