侵权投诉

腾讯宣布其人工智能球队获首届谷歌足球Kaggle竞赛冠军

2020-12-30 15:58 次阅读

12月30日,腾讯宣布其人工智能球队摘得了首届谷歌足球Kaggle竞赛冠军。这是一场由Google Research与英超曼城俱乐部在Kaggle平台上联合举办的足球AI比赛,经过多轮角逐,腾讯AI Lab研发的绝悟WeKick版本以1785.8的总分成为冠军球队。

创立于2010年的Kaggle是全球最大的数据科学社区和数据科学竞赛平台,今年,也是Kaggle首次针对足球AI领域发布赛题。

比赛使用Google Research Football强化Learning环境,基于开源足球游戏Gameplay Football开发,采取11vs11的赛制,参赛团队需要控制其中1个智能体与10个内置智能体组成球队。

腾讯宣布其人工智能球队获首届谷歌足球Kaggle竞赛冠军

WeKick的比赛场景该赛事发布后,吸引了来自世界顶级院校和研究机构的1100多支队伍参加,而腾讯此次派出的队伍其实是11月底刚刚升级为完全体的“绝悟”,当时,腾讯“绝悟”首次精通了王者荣耀所有英雄的所有技能,此次参加足球赛,就是在其基础上进行了一些针对足球的调整。

AI如何踢足球?

Google Football(on Kaggle)以流行的足球游戏为模型,就像是一款由AI操作的FIFA游戏,智能体控制足球队中的一个或所有足球运动员,学习如何在他们之间传球,并设法克服对手的防守以进球。其竞赛规则与普通足球比赛类似,比如目标都是将球踢入对方球门以及越位、黄牌和红牌规则。

不同于常见足球视频游戏的统一调控式NPC球队,在本次Kaggle竞赛中,每个球员都各由一个单独的智能体控制,而参赛的AI模型则根据比赛情况控制其中一个智能体,与其他10个内置智能体配合。这要求每个球员不仅需要观察对手的行为,还需要留意己方队员的情况,背后需要非常复杂的团队协作和竞争策略作为支撑。

比如,当对方球员控球时,己方智能体不仅要根据球场上双方球员的分布位置预测控球球员的下一步动作,还需要与己方其他球员协同如何合规地夺取足球的控制权。且由于球场动态瞬息万变,因此高速的实时决策能力也是必需的。

此外,从零开始完全采用强化学习方法来训练完整的足球AI实际上也相当困难。与MOBA游戏中不断有经济、血量、经验等实时学习信号不同,足球的游戏激励非常稀疏,基本只能依靠进球,而稀疏激励一直是目前强化Learning一大难题。

“绝悟”的冠军之路

据腾讯方面介绍,绝悟WeKick版本首先采用了强化学习和自博弈(Self-Play)来从零开始训练模型,并部署了一种异步的分布式强化学习框架。虽然该异步架构牺牲了训练阶段的部分实时性能,但灵活性却得到显著提升,而且还支持在训练过程中按需调整计算资源,使其能适应 11 智能体足球游戏训练环境。

由于MOBA游戏和足球游戏任务目标的差异,绝悟WeKick版本还采用了生成对抗模拟学习(GAIL)与人工设计的奖励结合,在特征与奖励设计上进行了扩展和创新。

该方案利用了生成对抗训练机制来拟合专家行为的状态和动作分布,使得绝悟WeKick版本可以从其它球队学习。然后,再将 GAIL 训练的模型作为固定对手进行进一步自博弈训练,进一步提升策略的稳健性。

但这种通过自博弈强化学习得到的模型有一个天然的缺点:很容易收敛到单一风格。在实际比赛的时候单一风格的模型很容易发生由于没见过某种打法而表现失常,最终导致成绩不佳的情况。因此,为了提升策略的多样性和稳健性,绝悟还采用了针对多智能体学习任务的League(若干策略池)多风格强化学习训练方案。

这种League多风格强化学习训练方案的主要流程可简单总结为先专精后综合。

首先训练一个具备一定程度竞技能力的基础模型,比如运球过人、传球配合、射门得分;

接着基于基础模型训练出多个风格化模型,每个模型专注一种风格打法,在风格化模型训练的过程中会定期加入主模型作为对手,避免过度坚持风格,丢失基本能力;

最后基于多个基础模型训练一个主模型,主模型除了以自己的历史模型为对手以外,还会定期加入所有风格化对手的最新模型作为对手,确保主模型能够适应风格完全不同的对手。

最终,基于绝悟完全体的架构迁移,定制化的框架改进,加上关键性的生成对抗模拟学习(GAIL)方案和 League (若干策略池)多风格强化学习训练方案,使得绝悟实现了优于其它竞争AI球队的优势,成就了冠军之路。
责任编辑:pj

收藏 人收藏
分享:

评论

相关推荐

工信部印发新一代人工智能产业创新重点任务揭榜优胜单位名单

2019年底,凭借在人工智能算法和芯片上的过硬实力,云天励飞 “金榜题名”且“花开两朵”,分别挂帅“....
的头像 云天励飞资讯 发表于 04-15 15:27 142次 阅读
工信部印发新一代人工智能产业创新重点任务揭榜优胜单位名单

华夏芯获选“2021年度中国IC设计成就奖之年度技术突破IP公司”

2021年3月18日,由ASPENCORE旗下《电子工程专辑》、《电子技术设计》和《国际电子商情》三....
的头像 华夏芯 发表于 04-15 14:53 343次 阅读
华夏芯获选“2021年度中国IC设计成就奖之年度技术突破IP公司”

未来人工智能计算力发展的5个重要趋势

英特尔公司曾表示,其开发机器编程的愿景是:只要你能以机器可理解的方式表达你的“意图”——可能是用自然....
的头像 beanxyy 发表于 04-15 14:45 216次 阅读
未来人工智能计算力发展的5个重要趋势

奥比中光获颁吴文俊人工智能科技进步奖

今日,吴文俊人工智能科学技术奖十周年颁奖盛典暨2020中国人工智能产业年会在北京举行。奥比中光获颁吴....
的头像 奥比中光 发表于 04-15 14:35 357次 阅读
奥比中光获颁吴文俊人工智能科技进步奖

如何把西门子的S7-200PLC连接到EMCP物联网云平台

前言:西门子S7-200PLC广泛应于工业控制领域,是一款性能高,运行稳定的控制器。此次我们要把西门....
发表于 04-15 11:54 43次 阅读
如何把西门子的S7-200PLC连接到EMCP物联网云平台

上海国资-达闼机器人全面战略合作签约仪式在上海市城投控股大厦举行

据了解,“云端智能机器人”的概念率先由达闼创始人&CEO黄晓庆(BillHuang)提出,其原理通俗....
的头像 高工机器人 发表于 04-15 11:22 229次 阅读
上海国资-达闼机器人全面战略合作签约仪式在上海市城投控股大厦举行

人工智能系统助力工业流程型生产制造领域应用展示

发表于 04-15 10:19 0次 阅读
人工智能系统助力工业流程型生产制造领域应用展示

人工智能和自动化有着什么样的区别?

麦肯锡全球研究所最近的一项研究表明,到2030年,自动化行业可能会损失多达8亿个工作岗位。尽管这个数....
的头像 PLC技术圈 发表于 04-15 10:11 63次 阅读
人工智能和自动化有着什么样的区别?

一种新型的神经网络——受大脑结构启发的机器学习系统

天文学家花了几个世纪才弄明白的规律,如果从头交给机器学习算法去领悟,能重现被发现吗?
的头像 电子发烧友网工程师 发表于 04-15 09:41 97次 阅读
一种新型的神经网络——受大脑结构启发的机器学习系统

科技部一行莅临汉威科技集团调研人工智能发展情况

4月10日上午,国家科技部战略规划司规划处调研组一行莅临汉威科技集团调研人工智能发展情况,省科技厅发....
的头像 电子发烧友网工程师 发表于 04-15 09:41 147次 阅读
科技部一行莅临汉威科技集团调研人工智能发展情况

选择电机型号时,工程师要考虑的三个首要因素资料下载

电子发烧友网为你提供选择电机型号时,工程师要考虑的三个首要因素资料下载的电子资料下载,更有其他相关的....
发表于 04-15 08:48 8次 阅读
选择电机型号时,工程师要考虑的三个首要因素资料下载

新的机器学习方法,能够将能源消耗减少20%以上

人工智能(AI)工程师拥有机器学习方面的实践经验,通过促进基于数据的决策和构建新的数据驱动的商业模型....
的头像 beanxyy 发表于 04-14 17:35 133次 阅读
新的机器学习方法,能够将能源消耗减少20%以上

浅谈深度学习如何推动新兴技术的发展

诸如大数据和人工智能之类的新兴技术正以惊人的速度发展,并且在深度学习方面取得了令人难以置信的进步,这....
的头像 beanxyy 发表于 04-14 17:20 224次 阅读
浅谈深度学习如何推动新兴技术的发展

未来人工智能对运输行业的运用及建议

随着物流和货运组织变得越来越数字化,企业将能够收集越来越多的关于其客户、供应链、交货、车队、司机等方....
的头像 beanxyy 发表于 04-14 17:13 158次 阅读
未来人工智能对运输行业的运用及建议

浅析为什么机器学习胜过人工智能?

人工智能、数据科学和机器学习都属于同一个领域。问题是,在这种情况下,它们中的哪一个能达到正确的目的。....
的头像 beanxyy 发表于 04-14 17:06 204次 阅读
浅析为什么机器学习胜过人工智能?

从中国企业进入IEC最高决策机构 看科技领先的产业价值与用户价值

提到中国科技自立自强,我们第一时间想到的是人工智能、自动驾驶、云计算这样的大国重器,以及冲锋在最前端....
的头像 脑极体 发表于 04-14 17:04 435次 阅读
从中国企业进入IEC最高决策机构 看科技领先的产业价值与用户价值

简述安防行业的发展趋势、历程以及现状

近年来安防行业高速发展,作为核心领域的视频监控经历了从“看得见”到“看得清”,再到“看得懂”的转变。....
的头像 Les 发表于 04-14 15:17 287次 阅读
简述安防行业的发展趋势、历程以及现状

5G技术不断成熟 通信行业未来将会逐渐明朗

常听通信人劝谏即将进入职场的新人:你们别来通信行业,这里已经没有机遇了。总之就是通信行业已经是“最美....
的头像 Les 发表于 04-14 15:00 425次 阅读
5G技术不断成熟 通信行业未来将会逐渐明朗

新型光学传感器有望带来图像识别、人工智能等领域重大突破

目前的信息处理算法和体系结构变得越来越像人的大脑,但信息接收的方式仍是为传统计算机设计的。为了发挥其....
的头像 新机器视觉 发表于 04-14 14:18 226次 阅读
新型光学传感器有望带来图像识别、人工智能等领域重大突破

企业如何用人工智能、虚拟现实等现代技术提高客户的保留率

企业正在实施诸如人工智能(AI)、物联网(IoT)、增强现实(AR)、虚拟现实(VR)、区块链和大数....
的头像 Les 发表于 04-14 11:45 308次 阅读
企业如何用人工智能、虚拟现实等现代技术提高客户的保留率

通用知识图谱构建技术的应用及发展趋势

知识图谱的概念由谷歌于2012年提出,随后逐渐成为人工智能领域的一饣研究热点,已在信息搜索、自动问答....
发表于 04-14 11:37 11次 阅读
通用知识图谱构建技术的应用及发展趋势

星纵智能LoRa解决方案在农业中的不同应用

随着LoRa等物联网技术日益成熟,传统农业与现代信息通信技术相结合形成智慧农业,从而实现无人化、自动....
发表于 04-14 11:15 570次 阅读
星纵智能LoRa解决方案在农业中的不同应用

谷歌自研SoC即将现身 微软将收购语音识别巨头Nuance

谷歌自研SoC即将现身 据报道,在今年晚些的时候,谷歌自研SoC芯片将会现身在谷歌Pixel 6智能....
的头像 璟琰乀 发表于 04-14 10:04 209次 阅读
谷歌自研SoC即将现身 微软将收购语音识别巨头Nuance

PCB设计:机器人核心算法板资料下载

电子发烧友网为你提供PCB设计:机器人核心算法板资料下载的电子资料下载,更有其他相关的电路图、源代码....
发表于 04-14 08:53 8次 阅读
PCB设计:机器人核心算法板资料下载

腾讯人为智能科创共同体于成都高新区建立了人工智能共同体

近日,腾讯人为智能科创共同体正式落地成都高新技术产业开发区。将来,该共同体将进一步助力成都人为智能革....
的头像 电子发烧友网工程师 发表于 04-13 18:36 203次 阅读
腾讯人为智能科创共同体于成都高新区建立了人工智能共同体

人工智能将带来新一轮的技术变革和社会经济变革

目前人工智能正在从感知智能走向认知智能,将带来新一轮的技术变革和社会经济变革。 4月7日,百分点科技....
的头像 电子观察说 发表于 04-13 16:49 179次 阅读
人工智能将带来新一轮的技术变革和社会经济变革

中美之间的科技博弈打的是企业牌还是国家牌?

从历史视角看,任何一个新兴大国的崛起都是在技术封锁、贸易封锁中不断成长起来的。——刘元春(经济学家)....
的头像 智谷趋势 发表于 04-13 15:19 459次 阅读
中美之间的科技博弈打的是企业牌还是国家牌?

中国电子信息产业发展研究院发布《2021年信息产业十大技术趋势》

报告发布 在中国电子信息产业发展研究院(赛迪研究院)主办的首届赛迪产业经济论坛上,中国电子信息产业发....
的头像 CPCA印制电路信息 发表于 04-13 15:02 297次 阅读
中国电子信息产业发展研究院发布《2021年信息产业十大技术趋势》

麦肯锡报告预测2030年将8亿人被机器取代!

纵观人类技术的发展历程,往往遵循一个固定的规律,即先是概念萌芽,然后经历市场炒作,资本蜂拥,结果潮水....
的头像 悟空智能科技 发表于 04-13 14:10 234次 阅读
麦肯锡报告预测2030年将8亿人被机器取代!

人工智能居然是一个大谎言?

或者往轻了说,它是一个混淆概念。往重了说,是用来欺骗大众的流行语,并且流行度非常高。 其实真正的内涵....
的头像 悟空智能科技 发表于 04-13 12:01 159次 阅读
人工智能居然是一个大谎言?

阿里等巨头制造的市场集中是提高经济效率还是损害社会福利?

近期,市场监管总局发布了《关于平台经济领域的反垄断指南(征求意见稿)》。媒体圈结合蚂蚁暂停上市事件,....
的头像 半导体界 发表于 04-13 11:34 248次 阅读
阿里等巨头制造的市场集中是提高经济效率还是损害社会福利?

飞行汽车有望成为未来智慧出行的重要方式

佐思汽研发布《2020-2021年全球及中国飞行汽车产业研究报告》,报告以eVTOL(电动垂直起降飞....
的头像 佐思汽车研究 发表于 04-13 10:10 333次 阅读
飞行汽车有望成为未来智慧出行的重要方式

聪明的公司都在走智能制造的道路

随着 5G、物联网、人工智能等新一代信息技术不断与制造业深入融合,“智能 + 制造” 带来了颠覆性的....
的头像 DeepTech深科技 发表于 04-13 10:05 244次 阅读
聪明的公司都在走智能制造的道路

嵌入式系统与人工智能资料下载

电子发烧友网为你提供嵌入式系统与人工智能资料下载的电子资料下载,更有其他相关的电路图、源代码、课件教....
发表于 04-13 08:42 22次 阅读
嵌入式系统与人工智能资料下载

浅谈工业之父的畅想与工业4.0的下一个十年

我们的主要思想是,把虚拟空间和现实空间连接在所谓的“网络-实体生产系统”中,以便利用数字化的进步建设....
的头像 工业4俱乐部 发表于 04-12 18:33 455次 阅读
浅谈工业之父的畅想与工业4.0的下一个十年

Imagination和北京大学宣布建立奖学金合作项目

Imagination将提供为期5年的奖学金资助,以奖励北京大学在边缘人工智能学习和研究方面具有天资....
的头像 西西 发表于 04-12 17:39 580次 阅读
Imagination和北京大学宣布建立奖学金合作项目

浅谈基于边缘智能协同的工业互联网体系

为了推动基于工业互联网的智慧工厂快速发展,边缘智能技术相关研究与应用获得广泛关注。针对边缘节点计算资....
的头像 工业IoT 发表于 04-12 17:21 381次 阅读
浅谈基于边缘智能协同的工业互联网体系

关于机器学习通俗易懂的讲解

我决定写一篇酝酿已久的文章,对那些想了解机器学习的人做一个简单的介绍。不涉及高级原理,只用简单的语言....
的头像 Imagination Tech 发表于 04-12 15:30 174次 阅读
关于机器学习通俗易懂的讲解

一文详解数字化经济到行业智能过程

最近十四五规划突然之间被刷屏,其中数字经济被频繁提起,那么数字经济究竟是何方神圣?数字经济(Digi....
的头像 工业4俱乐部 发表于 04-12 15:12 254次 阅读
一文详解数字化经济到行业智能过程

创通联达解决方案获第九届中国电子信息博览会创新奖

4月9日,以“创新驱动 高质量发展”为主题的第九届中国电子信息博览会(CITE 2021)盛大开幕,....
的头像 Thundersoft中科创达 发表于 04-12 15:03 150次 阅读
创通联达解决方案获第九届中国电子信息博览会创新奖

苹果拒绝参加反垄断听证会

苹果的诉讼一直就没有断过。 你想在App Store、Play Store上下载APP那没有问题,但....
的头像 inr999 发表于 04-12 12:07 2434次 阅读
苹果拒绝参加反垄断听证会

一家专注3D机器视觉和人工智能领域的高新技术企业

身为的卢深视CEO的户磊和其他联合创始人开始思考着3D结构光在其他场景落地的前景。在对市场有足够的了....
的头像 MEMS 发表于 04-12 11:49 621次 阅读
一家专注3D机器视觉和人工智能领域的高新技术企业

如何利用AI分析蒙娜丽莎面部情绪?

日常生活中,我们可以通过观察人的说话方式和脸色来揣摩别人的心思,因为每个人的音容相貌都隐藏着巨大的信....
的头像 IDG资本 发表于 04-12 11:18 198次 阅读
如何利用AI分析蒙娜丽莎面部情绪?

人工智能芯片初创公司——爱芯科技宣布接连完成Pre-A、A两轮融资

成立近两年以来,爱芯科技得到众多知名产业及投资机构的大力支持。与此同时,公司在技术攻坚、产品开发和人....
的头像 MEMS 发表于 04-12 11:17 432次 阅读
人工智能芯片初创公司——爱芯科技宣布接连完成Pre-A、A两轮融资

人工智能赋能的查询处理与优化技术

数据查询处理与优化作为数据管理中最具挑战性的问题之直受到广泛关注。传统的查询处理与优化技术在实际使用....
发表于 04-12 10:55 17次 阅读
人工智能赋能的查询处理与优化技术

AI制药公司冰洲石生物科技宣布完成数千万美元新一轮融资

近日,AI制药公司Accutar Biotechnology(冰洲石生物科技)宣布完成数千万美元的新....
的头像 IDG资本 发表于 04-12 10:51 397次 阅读
AI制药公司冰洲石生物科技宣布完成数千万美元新一轮融资

未来机器人柔性物流无人化解决方案与应用案例

凭借着独特的技术路线和优秀的物流无人化方案,未来机器人逆势增长,以惊人的速度完成多领域项目落地和刚需....
的头像 机器人大讲堂 发表于 04-12 10:32 441次 阅读
未来机器人柔性物流无人化解决方案与应用案例

机器人运动控制系统的选型资料下载

电子发烧友网为你提供机器人运动控制系统的选型资料下载的电子资料下载,更有其他相关的电路图、源代码、课....
发表于 04-12 08:52 11次 阅读
机器人运动控制系统的选型资料下载

企业上云一张网 华为将在分析师大会上亮出哪些大招

一切坚固的东西都烟消云散了,这句话所描绘的,原本是19世纪工业革命时期的欧洲人。用来形容当下人们对不....
的头像 脑极体 发表于 04-11 23:30 746次 阅读
企业上云一张网 华为将在分析师大会上亮出哪些大招

半导体塑封成型工艺中出现的封装厚度相关缺陷的原因是什么?

采用人工智能如何预防与封装厚度相关的所有缺陷,如何控制模具停机时间?...
发表于 03-11 07:51 101次 阅读
半导体塑封成型工艺中出现的封装厚度相关缺陷的原因是什么?

iTOP-3399 开发板人工智能测试资料-智能回复

配套资料在网盘资料的“iTOP-3399 开发资料汇总(不含光盘内容)\04_iTOP-3399 开发板人工智能测试资料\智能回复配套资料....
发表于 03-05 14:34 909次 阅读
iTOP-3399 开发板人工智能测试资料-智能回复

如何构建人工智能的未来?

创建Kynisys平台:我们如何构建人工智能(AI)的未来?...
发表于 03-03 07:06 101次 阅读
如何构建人工智能的未来?

自动驾驶车辆中AI面临的挑战

自动驾驶车辆中采用的AI算法 自动驾驶车辆中AI面临的挑战 ...
发表于 02-22 06:39 101次 阅读
自动驾驶车辆中AI面临的挑战

2021年的人工智能产业预测

2020年是充满动荡的一年,组织面临着众多挑战。进入2021年,人工智能行业将会快速发展。为了对2021年的重要新趋势有所了解,行业...
发表于 02-19 07:40 101次 阅读
2021年的人工智能产业预测

鸿蒙2.0兼容安卓,为什么开机不提示安卓,谷歌应该告华为吗?

发表于 02-18 14:32 810次 阅读
鸿蒙2.0兼容安卓,为什么开机不提示安卓,谷歌应该告华为吗?

2021第四届人工智能大会

发表于 02-01 10:32 303次 阅读
2021第四届人工智能大会

2021第五届人工智能技术与应用论坛

发表于 02-01 10:12 303次 阅读
2021第五届人工智能技术与应用论坛

如何提高人工智能应用开发的生产效率

让AI无处不在,Arm中国“周易”人工智能平台有何绝招...
发表于 02-01 07:10 101次 阅读
如何提高人工智能应用开发的生产效率