使用手势识别的游戏控制

描述

项目介绍

在这个项目中，我们将创建一个简单的游戏并使用手势检测来控制玩家的移动。使用手部界标分析每一帧的手势。如果检测到手势，则对其进行分析以查看它是“HI”手势还是“FIST”手势。所有的手势都有一个特定的编号，这个编号通过套接字连接传输。如果发送编号为“HI”的手势 5，则发送闭合的“FIST”手势编号为 0。传输是实时完成的。在 Wiznet EVB PICO W5100s 中接收到坐标后，它会检查是否存在 5 或 0。如果接收到 5，则玩家篮子向下移动，如果接收到 0，则向下移动。游戏显示在 OLED SSD1306 显示屏上。

电路图说明

VCC、GND[Pin 36、Pin 38]连接到SSD1306 OLED Display的VCC和GRD。OLED 显示器的 SDA 引脚连接到用作数据引脚的 GPIO4 引脚 [引脚 6]。OLED 显示器的 SCL 引脚连接到用作时钟引脚的 GPIO5 引脚 [引脚 7]。USB 连接用于为 Wiznet EVB PICO W5100S 和 OLED 显示器供电。连接以太网以建立套接字以太网 UDP 通信。使用的显示器是一个 i2c 显示器，它使用 4 个引脚并在 3v 范围内工作。SDA 引脚用于数据，SCL 是同步显示的时钟信号。

如何整合AI？

在这个项目中，OpenCV 和 Mediapipe 用于手势检测。我们在这个项目中使用手势来移动球员篮筐。手势检测代码将识别每个手指的界标并分析手指的位置。“HI”手势将沿 Y 轴向下移动球员篮筐，“闭拳”手势将沿 Y 轴向下移动球员篮筐。Wiznet EVB PICO W5100s板与AI之间的通信是通过套接字UDP连接建立的。在检测到手势时，每个手势都会被赋予一个特定的数字，并将该数字传递给套接字连接。游戏停止控制信号“STOP”也通过这个插座连接传递。

Arduino 代码说明

所有库和变量都在第 [13-36] 行初始化。这将初始化以太网库、SSD1306 显示以及套接字绑定地址和端口。行号 [41-63]。启动以太网连接并用零初始化屏幕。ethstart() 函数启用以太网端口并设置 IP 地址变量。这将可用 10000 秒/10 秒。必须将此 IP 地址复制并键入到 python 控制台。无效循环从行号 [66-75] 开始，它重复调用 main_menu() 函数并更新显示，不断将更改呈现在屏幕上。main_menu() 函数行号 [202-214] 有 5 个函数。read_input() 函数行号 [98-121] 将通过信号读取控制信号并设置 current_input 变量。在调用 read_input() 函数后调用 action() 函数。将设置玩家篮子的 Y 坐标，基本上上下移动它以接住传入的苹果。移动是实时完成的。move_basket 函数将根据坐标显示球拍。enemy_fire() 函数行号 [163] 将从 y 坐标随机发射苹果。当苹果沿 X 坐标移动时，它的速度会增加。当篮子 X 和苹果 X 坐标发生排序时，会添加一个分数，并且还会在屏幕上显示“HIT”消息。一旦它到达设定的 X 坐标。子弹会将其位置重置为随机的 Y 坐标。在第 [110] 行中，为游戏结束屏幕启用了控制信号条件。这是通过在玩游戏 1 分钟后收到“停止”信号来完成的。这将触发 game_over() 函数行号 [81] 的激活。这将打印一个“游戏结束”屏幕和分数。这是通过在玩游戏 1 分钟后收到“停止”信号来完成的。这将触发 game_over() 函数行号 [81] 的激活。这将打印一个“游戏结束”屏幕和分数。这是通过在玩游戏 1 分钟后收到“停止”信号来完成的。这将触发 game_over() 函数行号 [81] 的激活。这将打印一个“游戏结束”屏幕和分数。

游戏玩法

该游戏是单人游戏，玩家必须在 60 秒内捕获尽可能多的苹果。苹果在屏幕上的任意位置随机生成，每毫秒都会快速移动。玩家必须使用手势移动篮筐。每次捕获苹果将奖励 1 分。篮子只能上下移动。玩家可以使用“CLOSED FIST”手势将篮筐向下移动，使用“HI”手势将篮筐向上移动。到 60 秒结束时，捕获将停止，并且将出现游戏结束屏幕并投影比分。