0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

如何使深度学习系统在超级计算机上测试运行?

EdXK_AI_News 来源:未知 作者:胡薇 2018-09-18 16:57 次阅读

机器学习是一种人工智能技术,在商业应用中取得了前所未有的成功。但是,机器学习在科学高性能计算中应用却很有限。原因何在?高级机器学习工具不是专为大数据集设计,例如用于研究恒星和行星的工具。英特尔、美国国家能源研究科学计算中心(National Energy Research Scientific Computing Center, NERSC)及斯坦福大学的联合团队改变了这一情况。他们研发出一套深度学习系统,可在15千万亿次每秒(petaflop)的计算机上工作。通过在超级计算机科里(Cori)上测试运行,该系统表现出了处理大型数据集的能力。

在超级计算机上使用机器学习技术,科学家就能从大型复杂数据集中得到更多信息。加速器等强大仪器能产生巨型数据集。这款新软件可以让世界上最大的超级计算机将这类数据用于深度学习,得到的信息可促进地球系统建模、聚变能和天体物理学。相关研究论文“15PF的深度学习:科学数据的监督和半监督分类”文章中描述发表于《高性能计算、网络、存储和分析国际会议论文集》(Proceedings of the International Conference for High Performance Computing, Networking, Storage and Analysis)。

机器学习技术有望让科学家从加速器、光源、望远镜和计算机模拟等产生的大型复杂数据集中提取宝贵信息。虽然这些技术在多种商业应用中取得了巨大胜利,但是它们在科学的高性能计算中应用有限,因为现有工具不是为许多科学领域中发现的太字节或千兆字节级数据集而设计。

英特尔、美国国家能源研究科学计算中心及斯坦福大学的联合团队携手应对在太字节或千兆字节级数据集上应用深度学习技术所产生的问题。该团队开发出首款在15千万亿次每秒的计算机上运行的深度学习软件。该软件可执行大型科学数据集进行的大量训练运行,展现出其用于数据密集型应用的可扩展性。这些运行使用了美国国家能源研究科学计算中心超级计算机科里所有的物理和气候相关数据集。运行得到的峰值速度在11.73至15.07千万亿次每秒之间(单精度),平均持续性能为11.41至13.47千万亿次每秒。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 英特尔
    +关注

    关注

    60

    文章

    9430

    浏览量

    168975
  • 深度学习
    +关注

    关注

    73

    文章

    5240

    浏览量

    119936

原文标题:英特尔等推动深度学习与超级计算相融合

文章出处:【微信号:AI_News,微信公众号:人工智能快报】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    英伟达帮助日本建造混合量子超级计算机

    英伟达正在帮助日本建造混合量子超级计算机,这是日本国家量子计算计划的一部分。
    的头像 发表于 04-23 14:54 228次阅读

    计算机行业深度报告

    电子发烧友网站提供《计算机行业深度报告.pdf》资料免费下载
    发表于 03-04 10:07 0次下载

    什么是后量子密码学?量子计算机vs经典计算机

    后量子密码学(Post-Quantum Cryptography,PQC)是在经典计算机上定义和执行算法,研究量子计算机和经典计算机都无法破解的新密码系统。后量子密码学的提出是为了抵抗
    的头像 发表于 12-19 11:42 814次阅读

    vmware虚拟机内运行qnx4.25系统

    ,型号是cif104。 现在由于计算机不再生产,我想将该qnx4.25系统放入windows10虚拟机内运行,暂时测试运行无问题。 我现在急需解决的问题是,后面带的输入输出该如何处理,
    发表于 12-12 15:42

    用于计算机视觉的经典机器学习应用分析

    深度学习是指在大部分未处理或“原始”数据上运行的非常大的神经网络模型。深度学习通过将特征提取操作拉入模型本身,对
    发表于 11-07 10:11 165次阅读
    用于<b class='flag-5'>计算机</b>视觉的经典机器<b class='flag-5'>学习</b>应用分析

    cuQuantum 与 PennyLane 推动超级计算机上的量子模拟大幅加速

    借助 NVIDIA cuQuantum 和 Xanadu 的 PennyLane,科学家们首次实现了超算规模的量子模拟加速。 有很多研究人员都致力于借助新的软件,快人一步在超级计算机上运行量子
    的头像 发表于 10-27 09:40 163次阅读
    cuQuantum 与 PennyLane 推动<b class='flag-5'>超级</b><b class='flag-5'>计算机上</b>的量子模拟大幅加速

    反思深度学习与传统计算机视觉的关系

    某种程度上,深度学习最大的优势就是自动创建没有人会想到的特性能力。如今,深度学习在众多领域都有一席之地,尤其是在计算机视觉领域。尽管许多人都
    的头像 发表于 09-12 08:29 409次阅读
    反思<b class='flag-5'>深度</b><b class='flag-5'>学习</b>与传统<b class='flag-5'>计算机</b>视觉的关系

    大佬们,如何测试运行一条指令要多少时间?

    大佬们,如何测试运行一条指令要多少时间,我目前想用定时器中断做步进电机S型加减速,想在回调函数内关全局中断,最后再打开,防止电机运行出错,这种想法是否可取?又该如何测试某条指令耗的时间有多少?
    发表于 09-08 15:35

    计算机视觉中的九种深度学习技术

    计算机视觉中仍有许多具有挑战性的问题需要解决。然而,深度学习方法正在针对某些特定问题取得最新成果。 在最基本的问题上,最有趣的不仅仅是深度学习
    发表于 08-21 09:56 361次阅读
    <b class='flag-5'>计算机</b>视觉中的九种<b class='flag-5'>深度</b><b class='flag-5'>学习</b>技术

    gh200和超级计算机哪个牛

    gh200和超级计算机哪个牛 随着科技的不断发展,计算机已经成为人类生活不可或缺的一部分。计算机的崛起极大地改变了世界和每个人的生活。过去几十年中,人们对
    的头像 发表于 08-17 10:51 324次阅读

    gh200和超级计算机哪个牛

    gh200和超级计算机哪个牛  随着科技的不断发展,计算机已经成为人类生活不可或缺的一部分。计算机的崛起极大地改变了世界和每个人的生活。过去几十年中,人们对
    的头像 发表于 08-16 17:34 340次阅读

    浅谈深度学习计算机视觉领域的三大瓶颈

    深度学习能够实现的前提是大量经过标注的数据,这使得计算机视觉领域的研究人员倾向于在数据资源丰富的领域搞研究,而不是去重要的领域搞研究。
    发表于 06-11 10:22 268次阅读
    浅谈<b class='flag-5'>深度</b><b class='flag-5'>学习</b>在<b class='flag-5'>计算机</b>视觉领域的三大瓶颈

    计算机上安装S32 Design studio,安装过程中我收到弹出式错误消息怎么解决?

    我正在尝试计算机上安装 S32 Design studio,但在安装过程中我收到弹出式错误消息。有没有办法将许可证从旧计算机转移到新计算机
    发表于 06-08 08:11

    NVIDIA Grace 掀起新型节能 Arm 超级计算机的新浪潮

    英国科研联盟 GW4 打造能效提升 6 倍的超级计算机,用于气候科学、医学研究等领域 德国汉堡 - 国际超算大会(ISC)- 2023 年 5 月 21 日 - NVIDIA 今天
    的头像 发表于 05-23 07:10 384次阅读

    有没有办法打开和读取存储Linux计算机上的一些文件?

    有没有办法打开和读取存储 Linux 计算机上的一些文件? ESP8266 使用 Arduino,Ubuntu 12.04.2 我想根据家庭自动化计算机上某些文件的状态打开一些不同的 LED。
    发表于 05-12 08:19