0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

科学家可以在一台计算机上解决最先进的AI问题

IEEE电气电子工程师 来源:IEEE电气电子工程师学会 2020-08-17 10:47 次阅读

训练先进的人工智能系统所需的巨大计算资源意味着,经验丰富的科技公司将学术团队置于尘埃中。但是一种新方法可以帮助平衡规模,使科学家可以在一台计算机上解决最先进的AI问题。

OpenAI 2018年的一份报告发现,用于训练最强大的人工智能的处理能力正以惊人的速度增长,每3.4个月翻一番。最需要数据的方法之一是深度强化学习,其中AI通过遍历数百万次仿真来通过反复试验来学习。电子游戏如《星际争霸》和《Dota2》的最新进展都依赖于装有数百个CPUGPU的服务器。

诸如Cerebras System的Wafer Scale Engine之类的专用硬件有望用完美优化用于训练AI的单个大型芯片来取代这些机架式处理器。但是,由于价格高达数百万美元,对于资金不足的研究人员来说,这并不是什么安慰。

现在,来自南加州大学和英特尔实验室的一个团队已经发明了一种在学术实验室中常用的硬件上训练深度强化学习(reinforcement learning,RL)算法的方法。在近日举行的2020国际机器学习大会(International Conference on Machine Learning,ICML)上发表的一篇论文中,他们描述了如何能够使用一个高端工作站来训练人工智能,在第一人称射击游戏Doom上拥有最先进的表现。他们还使用一小部分正常计算能力来解决DeepMind提出的30种多样化3D挑战套件。

德州大学奥斯汀分校(University of Texas at Austin)专门研究深度RL的教授Peter Stone说:“发明对商品硬件进行深度RL的方法是一个了不起的研究目标。并且,除了将较小的研究小组抛在身后之外,进行此类研究通常所需的计算资源也会产生大量的碳足迹。”

USC研究生的主要作者Aleksei Petrenko说,该项目的灵感来自于必须成为发明之母的经典案例。随着在英特尔的暑期实习期结束,Petrenko失去了进入该公司的超级计算集群的权限,这使尚未完成的深度RL项目陷入危险之中。因此,他和同事决定找到一种方法来继续进行简单系统的工作。

使用一台配备36核CPU和一个GPU的机器,研究人员能够在接受Atari视频游戏和Doom训练时每秒处理大约14万帧图像,或者是次优方法的两倍。

Using a single machine equipped with a 36-core CPU and one GPU, the researchers were able to process roughly 140,000 frames per second while training on Atari videogames and Doom, or double the next best approach.

“根据我的经验,很多研究人员无法接触到尖端的、花哨的硬件,”Petrenko说。“我们意识到,只要重新考虑如何最大限度地提高硬件利用率,实际上就可以接近通常从大型集群中挤出的性能,即使是在单个工作站上。”

深度RL的主要方法是将AI代理置于一个模拟环境中,该环境为实现特定目标提供奖励,agent将此作为反馈来制定最佳策略。这涉及三个主要的计算工作:模拟环境和代理;根据学习到的规则(称为策略)决定下一步要做什么;以及使用这些操作的结果来更新策略。

Petrenko说,培训总是受到最慢流程的限制,但这三个工作通常在标准的深层次RL方法中交织在一起,因此很难单独优化它们。研究人员的新方法被称为“样本工厂(Sample Factory)”,将它们分开,这样就可以投入资源让它们都以峰值速度运行。

Petrenko解释说,进程之间的管道数据是另一个主要瓶颈,因为这些数据通常会分布在多台机器上。他的团队利用在一台机器上工作的优势,只需将所有数据塞进共享内存中,所有进程都可以即时访问这些数据。

与领先的深度RL方法相比,这形成了显著的加速。使用一台配备36核CPU和一个GPU的机器,研究人员能够在接受Atari视频游戏和Doom训练时每秒处理大约14万帧图像,或者是次优方法的两倍。在三维训练环境DeepMind实验室中,他们每秒的帧数为40000帧,比第二名高出15%。

为了检查帧速率是如何转化为训练时间的,研究小组将样本工厂(Sample Factory)与谷歌大脑(Google Brain)在3月份开源的一种算法进行了比较,该算法旨在显著提高深度RL的效率。研究小组还在DeepMind实验室用一台功能更强大的36核4-GPU机器,对30个挑战进行了测试。由此产生的人工智能的性能明显优于DeepMind用来应对挑战的原始人工智能,后者是在大型计算集群上训练的。

虽然论文中使用的计算机仍然是为人工智能研究而设计的高端工作站,但Petrenko说,他和他的合作者也一直在更简单的设备上使用样品工厂。他说,他甚至可以在他的中档游戏笔记本电脑上进行一些高级的深度RL实验。“这是前所未闻的。”

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 计算机
    +关注

    关注

    19

    文章

    6617

    浏览量

    84034
  • AI
    AI
    +关注

    关注

    87

    文章

    26141

    浏览量

    263716
  • 人工智能系统

    关注

    0

    文章

    37

    浏览量

    10482

原文标题:现在可以在一台计算机上训练强大的AI啦

文章出处:【微信号:IEEE_China,微信公众号:IEEE电气电子工程师】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    诺和诺德基金会将联手英伟达打造丹麦AI超级计算机

    诺和诺德基金会携手英伟达,共同宣布在丹麦打造一台领先的AI超级计算机。这台超级计算机将致力于推动医疗保健、生命科学以及绿色转型等领域的科研与
    的头像 发表于 03-21 13:43 112次阅读

    量子梦

    计算机可以通过量子并行性质,更快速地破解这些加密算法。因此,量子计算机的出现可能会对网络安全和信息安全带来重大影响,促使我们研发更加安全的加密方法。 另个重要应用是
    发表于 03-13 18:18

    【量子计算机重构未来 | 阅读体验】+ 了解量子叠加原理

    )。通过逻辑门来执行操作二进制数据,逻辑门是种基本电路,它可以个或多个输入转换为输出。逻辑门包括与门、或门、非门等等,将许许多多逻辑门组合起来就可以构建复杂的电路来执行各种操作,
    发表于 03-13 17:19

    NVIDIA首席科学家Bill Dally:深度学习硬件趋势

    Bill Dally于2009年1月加入NVIDIA担任首席科学家,此前在斯坦福大学任职12年,担任计算机科学系主任。Dally及其斯坦福团队开发了系统架构、网络架构、信号传输、路由和同步技术,在今天的大多数大型并行
    的头像 发表于 02-25 16:16 287次阅读
    NVIDIA首席<b class='flag-5'>科学家</b>Bill Dally:深度学习硬件趋势

    Tesla 计划斥资 5 亿美元建造一台由 NVIDIA 的 AI GPU 提供支持的 Dojo 超级计算机

    ABSTRACT摘要Tesla计划斥资5亿美元建造一台由NVIDIA的AIGPU提供支持的Dojo超级计算机,因此该公司正在加大基于AI的开发力度。JAEALOT2024年1月27日Tesla计划
    的头像 发表于 02-19 12:45 287次阅读
    Tesla 计划斥资 5 亿美元建造<b class='flag-5'>一台</b>由 NVIDIA 的 <b class='flag-5'>AI</b> GPU 提供支持的 Dojo 超级<b class='flag-5'>计算机</b>

    CY8CPROTO-063-BLE为什么无法打开CMSIS-DAP端口?

    ,我只有个 COOLDIM_PRG_BOARD。 它在一台计算机上编程,而不是一台计算机上
    发表于 01-22 07:28

    新型全光开关可提高计算机处理器速度

    由于电子开关的局限性,传统的计算机处理器几乎已经达到了它们的“时钟速度”(衡量它们可以打开和关闭的速度的指标)。希望改进计算机处理器的科学家已经对全光开关的潜力产生了兴趣,全光开关使用
    的头像 发表于 12-25 14:55 290次阅读
    新型全光开关可提高<b class='flag-5'>计算机</b>处理器速度

    cuQuantum 与 PennyLane 推动超级计算机上的量子模拟大幅加速

    借助 NVIDIA cuQuantum 和 Xanadu 的 PennyLane,科学家们首次实现了超算规模的量子模拟加速。 有很多研究人员都致力于借助新的软件,快人一步在超级计算机上运行量子计算
    的头像 发表于 10-27 09:40 150次阅读
    cuQuantum 与 PennyLane 推动超级<b class='flag-5'>计算机上</b>的量子模拟大幅加速

    中国科学家成功研制“九章三号” 255个光子的量子计算原型机

           中国科学家再立新功,中国科学技术大学潘建伟、陆朝阳、刘乃乐等组成的研究团队与中国科学院上海微系统与信息技术研究所、国家并行计算机工程技术研究中心成功研制“九章三号”量子
    的头像 发表于 10-11 17:06 864次阅读

    【昉·星光 2 高性能RISC-V单板计算机体验】二: VisionFive2 上如何更快的向 nvme 硬盘安装操作系统

    配置网络从而可以访问另一台计算机 般的,另一台计算机和 VisionFive2 接入
    发表于 09-04 02:06

    NVIDIA 首席科学家 Bill Dally 将在 Hot Chips 大会发表主题演讲

    这位著名计算机科学家将分享来自 NVIDIA Research 最新研究成果,这些研究正在推动加速计算AI 的进步。 Bill Dally 是全球最知名的
    的头像 发表于 08-22 19:20 366次阅读

    计算机组成与设计

    计算机组成与设计 计算机组成与设计是计算机科学中最基础的课程之一,它主要阐述了计算机的组成原理和设计方法。随着
    的头像 发表于 08-17 12:37 860次阅读

    NVIDIA Cambridge-1 AI 超级计算机通过云让更多研究人员能够访问

    进行开创性的药物研究、探索替代能源还是寻找预防金融欺诈的新方法,访问先进AI 计算资源都是推动创新的关键。这种新的计算模式可以解决生成式
    的头像 发表于 06-19 19:05 282次阅读

    有没有办法打开和读取存储Linux计算机上些文件?

    有没有办法打开和读取存储 Linux 计算机上些文件? ESP8266 使用 Arduino,Ubuntu 12.04.2 我想根据家庭自动化计算机上某些文件的状态打开
    发表于 05-12 08:19

    caam-keygen如果密钥是用相同的明文生成的,那么一台设备上解密数据?

    caam-keygen 支持从明文生成黑密钥。是否有可能: 1. 如果密钥是用相同的明文生成的,那么一台设备上解密数据?(OTPMK 不同) 2. 使用此明文作为 dmsetup 的密钥并
    发表于 04-28 08:33