人工智能强化学习开源分享

描述

强化学习是人工智能的一个分支，计算机通过与问题直接交互来了解问题。该项目使用强化学习来尝试学习在旧 iPhone 上玩 Doodle Jump 游戏。相机每秒从 iphone 拍摄 30 张图像。对这些图像进行分析，然后一个简单的机器人通过旋转 iPhone 并按下屏幕上的按钮来操纵 iPhone。

硬件

该项目的“智能”部分是运行机器人操作系统 (ROS) 和 TensorFlow 的 Nvidia Jetson。机器人包括：

• 用于旋转 iPhone 的步进电机。
• 用于按下 iPhone 屏幕上的按钮的伺服电机和螺线管。
• Ximea 相机用于捕捉 iPhone 屏幕的图片，并通过 USB3 将它们提供给 Jetson。
• EIBot 板驱动步进器和伺服系统。
• 复古外观的盒子中还有一个电源，可为 Jetson 提供 12 伏电压，为 EIBot 板提供 19 伏电压，为 USB 集线器提供 5 伏电压。
• 用于运行 Linux 和控制事物的键盘、鼠标和显示器。

软件

ROS 是构建此类项目的绝佳方式。使用 ROS，我可以将系统构建为一组使用标准消息传递系统进行通信的独立进程。该项目包括 C++ 和 Python 进程。消息编译器以两种语言构建存根，因此可以轻松传递消息。ROS的主要模块包括：

• 从相机接收图像的相机驱动程序。
• 从屏幕上读取分数的简单神经网络。
• 一个更大的、基于 TensorFlow 的神经网络，用于分析从相机接收到的图片。这是通过与机器人交互训练的网络。
• 一个存档过程，负责将操作和屏幕图像保存在 sqlite 数据库中以供以后训练使用。
• EIBot 板驱动程序。
• 屏幕驱动程序。

强化学习

人工智能的强化学习分支是最活跃的领域之一。该系统使用一种称为模仿学习的变体。我使用机器人操纵 iPhone 玩了数百场 Doodle Jump 游戏。系统存档图像和我采取的行动。这些图像和动作被用作神经网络的训练集。在系统开始做任何有意义的事情之前，它需要数千张训练图像。目前该系统可以玩一个基本的游戏。它不会疯狂​​地按下按钮或随机摇动屏幕。作为学习的一部分，我会尽可能及时地纠正错误的决定。这些游戏和修正，以及随机选择的最后 20K 张图像，在每次运行后用作训练。

这个过程比我预期的要慢得多。我希望通过采用更复杂的学习模型来改进事情，我希望让系统松散以自行学习。