使用人工智能和物联网帮助在偏远的温室种植粮食

描述

我们试图解决什么问题？

社区支持农业 (CSA) 计划使用温室或塑料大棚种植时令有机蔬菜。由于他们使用的是不使用杀虫剂或除草剂的再生农业技术，植物病害和提高作物质量是一项巨大的挑战。这些温室通常也位于没有电源或有线互联网接入的地区。

我们想要做的是构建一个可以轻松安装在温室中的解决方案，使用基于图像的机器学习来执行植物病害检测。

现有的解决方案主要集中在室外种植的玉米、小麦、水稻和大豆等作物上，使用 UAV（无人驾驶飞行器）收集图像。为温室创建的解决方案假设主电源可用性和/或 WiFi 访问。

我们的解决方案

该装置安装在温室顶部，这样就可以使用 Spresense 摄像头板拍摄温室中的植物图像。Sony Spresense 和摄像头传感器使我们能够在电池供电的微控制器上捕获图像并执行嵌入式机器学习 (ML)，而无需将图像发送到云端进行处理。相反，我们可以使用带有 LTE-M 或 NB-IoT 的 Spresense LTE 扩展板来发送 ML 算法的观察结果。结果和照片也保存到机载 SD 卡中。

该项目使用 Edge Impulse 在新植物病害数据集中近 23,000（！） 幅番茄植株图像上训练和验证分类器。该分类器可以检测番茄植株上的 9 种不同植物病害。

设置固件

该固件基于Edge Impulse 提供的4G LTE Con​​nected Smart Wildlife Camera 。

• 创建Edge Impulse帐户
• 安装Arduino IDE
• 安装Spresense Arduino 库
• 在Tools->Board选择Spresense设备中，然后在Tools->Memory选择下1536(kB)。
• 从 GitHub 克隆我们的greenhouse-ai仓库
• 从 Edge Impulse，克隆我们的植物病害库
• 在克隆的 Edge Impulse 项目中，选择Arduino Library并单击build。按照说明将此库添加到您的 Arduino IDE
• 在 Arduino IDE 中，单击 File->Open，然后导航到您之前克隆的greenhouse-ai存储库文件夹，并打开plant-sketch.ino该文件夹中的文件firmware。
• 构建项目以验证它是否正确编译
• 在该4g_camera.ino文件中，使用您的 SIM 卡详细信息配置 APN。
• 还要4g_camera.ino,指定 Web 服务器的详细信息。
• 现在，重建并上传草图。

设置索尼 Spresense

• 将 2 针 JST-PH 连接器焊接到主板
• 记得在主板上的 IC4 上安装遮光密封
• 将迷你垫片插入 LTE 扩展板并连接主板，确保板对板连接器正确就位
• 将摄像头模块连接到主板
• 将 SD 卡插入 SD 卡槽
• 将 IoT SIM 卡插入 SIM 插槽
• 安装电池
• 将 Sony Spresense 推入外壳底座，电池位于扩展板下方
• 将摄像头模块推入外壳盖，然后将盖子推入外壳底座
• 使用 25 毫米（1 英寸）M5 螺栓和螺母将夹具连接到外壳底座
• 使用 Arduino 在 Spresense 上编程固件

打印 Spresense 并将其安装到外壳中

外壳的设计使所有东西都能压合，不需要螺丝。需要使用 25 毫米（1 英寸）M5 螺栓和螺母将夹具连接到外壳。如果需要，可以在 OpenSCAD 中编辑设计。

使用以下设置在 Prusa i3 MK3 打印机上打印：

• 灯丝：PETG
• 0.20 毫米速度
• 填充物：20%
• 支持：无

打印外壳大约需要 2 小时，打印夹子需要 30 分钟。

将 Spresense 压入外壳底座，电池位于底部

 

将摄像头模块压入外壳盖

 

将外壳盖压入外壳底座

 

使用 1 英寸（25 毫米）M5 螺栓和螺母将夹具连接到外壳

 

设置网络服务器

当前固件使用 HTTP POST 请求将分类结果作为 JSON 发送，格式如下：

{
    "date": "2022/07/15",
    "time": "16:16:19",
    "observation: "tomato-healthy_",
    "battery": 4030
}

我编写了一个小的 RESTful API（主要基于Rob Kendal的教程）获取 JSON 对象并将其存储为 JSON 文件，这样您就可以在基本的 Web 服务器上运行它而无需数据库。

我使用 DigitalOcean 来托管我的服务器，但您可以将它放在任何支持 Node.js 的地方。按照 DigitalOcean 上的步骤在 Ubuntu VPS 上设置 Node.js 生产环境，并在您的服务器上克隆https://github.com/gniezen/greenhouse-ai存储库。运行npm install以安装所有依赖项，并npm start检查它是否有效。如果它在工作，请按Ctrl-C停止服务器，然后使用 PM2 启动它，而不是运行pm2 start server.js.

真实世界的用例

我在Summit Good安装了这个装置，这是一个当地的 CSA 计划，在城市的郊区有一个远程温室/塑料隧道。

多隧道中成排的番茄植株显示了该单元的位置

 

该装置通过金属横杆上的夹子安装

 

该装置具有以下启动顺序：

• 初始化相机
• 安装SD卡（保存观察照片）
• 启动 GPS 模块（以获取准确的观测时间戳）
• 连接LTE/NB-IoT网络（发送观测结果）
• 启动相机

显示程序进程的单元串行输出

 

当 ML 算法检测到植物时，当检测到植物时，它会在设备上分类为以下之一：

• 健康植物
• 细菌斑
• 早疫病
• 晚疫病
• 叶霉菌
• 叶斑病
• 花叶病毒
• 叶螨
• 目标点
• 黄曲叶病毒

结果与本地日期和时间以及电池电量一起被转换为 JSON 格式。然后将观察结果发送到网络服务器，并以表格形式显示如下：

网站上的观察结果

 

只有当设备通过 GPS 获得准确的时间戳时，结果才会被保存，并且当蜂窝网络不可用时，它仍会将结果保存到 SD 卡中。发送结果后，设备将关闭蜂窝和 GPS 模块并进入深度睡眠状态 3 小时以节省电池电量。

结论

在这个项目中，我们实施了一个电池供电的解决方案，用于在没有接入有线互联网的情况下遥感温室中的番茄植物病害。ML 分类发生在设备上，只有观察结果通过 LPWAN 网络发送到 Web 服务器。

这个项目可以很容易地修改以识别其他类型的植物病害，或者可以使用多个单元来覆盖更大的区域。该装置还可以安装在育苗盘上方，使用Edge Impulse 上的新 FOMO 算法来尝试检测发芽的幼苗数量。另一个想法是尝试检测育苗盘是湿的还是干的并需要浇水。

我期待看到您如何修改和构建此设计！