0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

如果我们想让AI通过观察人类行为学会打游戏,我们该怎么做?

zhKF_jqr_AI 来源:未知 作者:李倩 2018-04-08 09:03 次阅读

为了创建游戏中的AI机器人,游戏开发者通常会根据规则手工编写一系列代码。在大多数情况下,这种方法能使机器人在模仿人上做到极尽逼真,但它们本质上和人还是有较大区别,大部分玩家还是一眼就能分辨出这个队友/敌人究竟是真人还是AI。

那么,除了手动写规则,或是写一些硬编码,我们还有别的方式能使游戏AI更仿真吗?如果我们想让AI通过观察人类行为学会打游戏,我们该怎么做?

为了探索这些问题,我们首先需要一个能提供大量比赛数据的游戏,比如《FIFA》。所以接下来我们就以《FIFA》系列的最新版《FIFA 18》为例,用记录了玩家行为和决定的大量游戏录像训练一个端到端的深度学习机器人。需要注意一点是,我们不会针对单个游戏规则编写硬编码。

Github地址:github.com/ChintanTrivedi/DeepGamingAI_FIFA.git

玩游戏的机制

因为我们不能访问游戏的内部代码,所以为机器人构建基本的游戏机制是一个首要任务。这其实也是种优势,这个项目的一个前提就是不依赖任何游戏内部信息。因此,我们的机器人只会看到简单的游戏窗口屏幕截图,玩家看到的是什么,它看到的就是什么。它会通过处理这些视觉信息输出想要采取的动作,并用手柄模拟器把指令传达给游戏。之后不断刷新图像,重复循环。

如上图所示,现在我们建立了一整个为机器人提供输入,并由它输出操控游戏角色的指令的框架。这时我们就来到了一个有趣的环节:学习游戏智能。它可以被分为两个步骤:(1)用卷积神经网络理解截图;(2)用长短期记忆网络理解图像内容并做出决策。

第1步:训练卷积神经网络(CNN)

CNN以其能高精度检测图像中物体的能力而闻名。在它的基础上,我们辅之以高性能的GPU、更智能的神经网络架构,我们就能获得一个可以实时运行的CNN模型。

为了让我们的机器人了解输入的图像,我们可以使用这个名为MobileNet的轻量级、高速CNN。该网络能在高度理解截图的前提下从图中抓取特征图,例如玩家或玩家关注的角色在屏幕上的位置。之后再结合物体检测模型SSD检测球场上的球员、球以及球门。

第2步:训练长期短期记忆网络(LSTM)

现在我们已经理解了图像,也就是说机器人拥有了进行决策的能力。但是我们不希望只让它看到一个个检测框然后采取行动,我们希望它能看到图像的短序列。这就是为什么引入LSTM的原因——它们能够模拟视频数据中的时间序列。我们把连续的帧用作时间步长,并用CNN模型从每一帧中提取特征映射,再把这些同时馈入两个LSTM网络。

第一个LSTM负责了解玩家需要做什么动作,因此,这就是一个多类分类模型。第二个LSTM得到的输入和第一个相同,但它必须决定采取什么动作来实现横传、直塞、短传、射门:另一个多类分类模型。我们把这两个分类问题的输出转换为按键,以此达到控制游戏的目的。

评估机器人的性能

除了让AI机器人直接上赛场,其实我们也找不出任何测试性能的方法。在训练了400分钟后,机器人学会了向对方球门靠近、向前方传球并在发现球门时射门。在《FIFA 18》的新手模式下,我们的机器人在6常比赛中打进了4粒球,比17/18赛季的Paul Pogba还多出1球。

(口音听不太清,请自己练听力)

小结

这只是一种创建机器人的方法,就结果来看,它还是挺积极的。训练中也曾出现两个问题,一是机器人分不清敌我双方,另一个则是它把球踢过半场就开始往回跑。关于第一点,作者的解决方案是把截图和按键信息作为监督学习的训练数据,并始终用相同的主队和不同的客队比赛,久而久之,机器人就能分出哪些是自己人,哪些是对手。而关于第二点,一位网友提出了一种更为简单的解决方案,就是以中线为界把球场分为两部分,翻转一侧的截图并调整方位,起到事半功倍的效果。

在有限的训练下,机器人已经掌握了基本的比赛规则:朝球门移动并把球踢进网里。如果再经过一段时间的训练,相信它能比现有的游戏AI更接近人类,而且更容易创建。此外,如果我们能扩展一下这个实验,用真实的比赛数据来训练它,相信机器人的行为能更自然和现实。所以也许游戏开发商们可以换种方式来做AI了,你说对吗,EA?

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 机器人
    +关注

    关注

    206

    文章

    26820

    浏览量

    201025
  • 神经网络
    +关注

    关注

    42

    文章

    4538

    浏览量

    98425
  • AI
    AI
    +关注

    关注

    87

    文章

    26129

    浏览量

    263712

原文标题:自制AI队友:创建一个会玩《FIFA 18》的深度神经网络

文章出处:【微信号:jqr_AI,微信公众号:论智】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    不寒而栗:机器人只需看看 就能模仿人类

    研发了通过观察人类就能够了解自然系统和人工系统运行规律的机器人。通过图灵测试的原理,我们可以探究一个系统是如何工作的。终有一天,新一代的机器人能够
    发表于 09-05 09:12 634次阅读

    教你如何通过打游戏边学编程

    经常听到有朋友说,学习编程是一件非常枯燥无味的事情。其实,大家有没有认真想过,可能是我们的学习方法不对?比方说,你有没有想过,可以通过打游戏来学编程?
    的头像 发表于 07-13 12:01 1145次阅读

    家里的电灯照度可调 应该怎么做

    家里的电灯照度可调 应该怎么做
    发表于 01-20 18:34

    我们谈论机器人的时候,我们到底谈什么?

    ,「人工智能」就是给机器赋予人类的智能,机器能够像人类那样独立思考;而「机器学习」通俗的说就是机器自己去学习,然后通过学习到的知识来指导
    发表于 01-11 14:16

    通过VISA怎么做兼容

    想问下,一台设备有串口、网口,我们通过VISA兼容,直接调用,大致怎么做啊,求指教一下
    发表于 07-22 08:13

    程序员之我们学会正确的失败

    程序员毒鸡汤我们学会正确的失败
    发表于 07-08 16:53

    如何在基于Arm的设备上运行游戏AI

    在本系列的第 2 部分中,我们展示了游戏 AI 代理是如何设计的。我们还展示了为 Dr Arm 的 Boss Battle 演示生成的神经网络 (NN) 模型的外观。第 3 部分着眼于
    发表于 08-15 15:43

    首款经济行为学游戏化实验上线了

    AlchemyGod是第一款经济行为学游戏化实验,由Oathom区块实验室开发完成。可以说,这是一款革命性、系统性、能够产生价值的经济学游戏,具有丰富的自由度和高度的发展空间。无论站在游戏
    发表于 04-03 07:19 740次阅读

    西悉尼大学已推出网络安全与行为学

    未来的网络安全将取决于人类是否能够尽快创新解决方案,努力确保公司、国家与个人的数据安全。西悉尼大学的网络安全与行为学位是澳大利亚与亚太地区第一个网络安全学位,该学位同时分析技术与人类行为
    的头像 发表于 12-28 14:52 2824次阅读

    AI终会读懂我们人类

    终有一天AI将能真正读懂人类的语言、动作、情绪等各类因素。届时,如何处理好其间可能存在的问题,还需我们提前进行思考。
    发表于 11-04 15:10 477次阅读

    如何通过观察来检查出工控主板出现的问题

    在工控主板的常用检修方法中,有一种较为便捷的方法就是观察法,只需要通过观察工控主板就能知道故障问题出现在哪里了。那么,应该怎样观察才能找出问题所在呢?下面,就由联智通达小编为大家详细介绍工控主板
    发表于 12-25 15:58 517次阅读

    真菌毒素检测我们怎么做

    真菌毒素检测我们怎么做?推荐南京微测真菌毒素检测仪,采用时间分辨荧光定量检测技术,结果准确可靠,与国标法高度符合,前处理简便,操作步骤简易,通过ID卡导入标准曲线,样品随到随检。
    发表于 10-13 15:45 358次阅读

    真菌毒素检测我们怎么做

    真菌毒素检测我们怎么做?推荐上海飞测真菌毒素检测仪,采用时间分辨荧光定量检测技术,结果准确可靠,与国标法高度符合,前处理简便,操作步骤简易,通过ID卡导入标准曲线,样品随到随检。
    发表于 10-13 15:49 396次阅读

    真菌毒素检测我们怎么做

    真菌毒素检测我们怎么做?推荐南京微测真菌毒素检测仪,采用时间分辨荧光定量检测技术,结果准确可靠,与国标法高度符合,前处理简便,操作步骤简易,通过ID卡导入标准曲线,样品随到随检。
    发表于 10-14 16:19 379次阅读

    真菌毒素检测我们怎么做

    真菌毒素检测我们怎么做?推荐南京微测真菌毒素检测仪,采用时间分辨荧光定量检测技术,结果准确可靠,与国标法高度符合,前处理简便,操作步骤简易,通过ID卡导入标准曲线,样品随到随检。
    发表于 10-14 16:20 318次阅读