0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

GTC22看点 最大化大型机器学习基础设施上的GPU利用率

NVIDIA英伟达 来源: NVIDIA英伟达 作者: NVIDIA英伟达 2022-09-14 15:47 次阅读

9 月 19-22 日 GTC 大会即将登场!NVIDIA 汇集了开发者、研究人员、企业领袖、创作者、IT 决策者和学生,让所有与会者了解如何利用 AI、计算机图形、数据科学等的力量塑造未来。

精选演讲:聆听行业优秀人才的见解

9 月 21 日星期三北京时间下午 1 点,字节跳动机器学习系统总监朱亦博将带来精彩的演讲。带您了解机器学习(ML)和深度学习(DL)是如何强力推动字节跳动的产品和服务?而他们的团队又是如何构建大型集群?以支持这些工作负载,从模型训练,到实时在线推理。

在本次演讲中,朱亦博也将分享如何充分利用复杂的基础设施,在 GPU 集群中同时运行 ML 训练和推理的工作负载,最大化利用 GPU 资源,同时还提供有保障的客户服务。

最大化大型机器学习基础设施上的 GPU 利用率(含中文互动问答

会议代码

[A41246b]

会议时间

9 月 21 日,星期三,1:00 PM – 1:50 PM

讲师简介

28ca0e12-3041-11ed-ba43-dac502259ad0.png

朱亦博 |字节跳动机器学习系统总监

朱亦博毕业于加利福尼亚大学圣塔芭芭拉分校,并获得计算机科学博士学位,过往从事分布式系统的研究,现在专注于机器学习系统领域。目前领导着字节跳动机器学习系统团队,主要负责深度学习(计算机视觉、自然语言处理、语音和强化学习)训练和推理的基础设施。他和团队致力于机器学习框架、分布式训练、编译器、机器学习数据处理、机器学习平台和集群资源调度。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • gpu
    gpu
    +关注

    关注

    27

    文章

    4417

    浏览量

    126683
  • 机器学习
    +关注

    关注

    66

    文章

    8122

    浏览量

    130556
  • 英伟达
    +关注

    关注

    22

    文章

    3327

    浏览量

    87764

原文标题:GTC22|最大化大型机器学习基础设施上的 GPU 利用率

文章出处:【微信号:NVIDIA_China,微信公众号:NVIDIA英伟达】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    垂直起降机场:飞行基础设施的未来是绿色的

    是基于垂直停车,这是为城市地点设想的,专为短途跳跃而设计,允许在城市内轻松移动。这些可以放置在现有的基础设施,例如建筑物顶部或其他未使用的空间。第二种型号兼容150英里范围内的市内旅行,恢复了传统航空公司
    发表于 03-25 06:59

    台积电晶圆厂产能利用率将全面提高

    消息来源表示,TSMC 8英寸及12英寸晶圆工厂的利用率已分别回升至70-80%和80%。尤其值得注意的是,28纳米制程的利用率已重返80%的常态范围;而7/6纳米与5/4纳米制程的利用率更分别达到75%以及接近饱和状态。
    的头像 发表于 01-17 13:56 239次阅读

    产能利用率降至四成!电池行业迎深度洗牌

    据统计,我国电池生产的平均产能利用率低于50%,即便是龙头企业宁德时代上半年产能利用率也降至60.5%,三季度也仅回升至70%以上,仍处于历史较低水平。
    的头像 发表于 12-28 17:16 417次阅读

    大型机床配件直线导轨的作用

    直线导轨是一种常见的机械结构,用于工业机器人、数控机床和其他自动化装置中,尤其是在大型机床中的应用,非常广泛,是重要的大型机床配件之一
    的头像 发表于 12-05 17:51 305次阅读
    <b class='flag-5'>大型机</b>床配件直线导轨的作用

    SPWM与SVPWM—调制比与电压利用率

    学习调制方法时,**调制比**与**电压利用率**是个重要的概念。我发现教材中却对这两个内容介绍的很模糊,网上也没有很多包含具体推导过程的公式。
    的头像 发表于 12-01 17:04 6545次阅读
    SPWM与SVPWM—调制比与电压<b class='flag-5'>利用率</b>

    全球晶圆厂利用率,将降至67%

    尽管情况有所改善,但芯片制造指标仍然疲软,预计 2023 年第四季度晶圆厂利用率将降至 67%,部分原因是库存消耗增加了销售额。因此,预计 2023 年下半年资本支出将下降。
    的头像 发表于 11-15 17:08 445次阅读
    全球晶圆厂<b class='flag-5'>利用率</b>,将降至67%

    晶圆代工产能利用率下降,降价大战一触即发

    晶圆代工行业正面临产能利用率的重大挑战,据悉,联电、世界先进和力积电等主要代工厂纷纷降低明年首季的报价,幅度高达两位数百分比,项目客户降幅更高达15%至20%,各大晶圆代工厂深陷产能利用率六成保卫战。
    的头像 发表于 11-13 17:17 563次阅读

    利用率达到100%的SVPWM控制算法介绍

    在Part4中得到SPWM在理想情况下调制比为1,直流电压利用率为0.866即86.6%,电压利用率也不高,还有13.4%的母线电压没有利用到。
    的头像 发表于 10-18 15:01 2183次阅读
    <b class='flag-5'>利用率</b>达到100%的SVPWM控制算法介绍

    SPWM直流电压利用率之过调制

    本文学习介绍前面几部分还未解决的重要问题提高直流电压利用率之过调制。
    的头像 发表于 10-18 12:49 1846次阅读
    SPWM直流电压<b class='flag-5'>利用率</b>之过调制

    8G显存一键训练,解锁Llama2隐藏能力!XTuner带你玩转大模型

    针对 GPU 计算特点,在显存允许的情况下,XTuner 支持将多条短数据拼接至模型最大输入长度,以此最大化 GPU 计算核心的利用率,可以
    的头像 发表于 09-04 16:12 1496次阅读
    8G显存一键训练,解锁Llama2隐藏能力!XTuner带你玩转大模型

    频分复用可以提高通信线路的利用率

    频分复用可以提高通信线路的利用率?  频分复用,英文名为Frequency Division Multiplexing(FDM), 是一种多路复用技术,它可以将多个低速信号合成成一个高速信号进行传输
    的头像 发表于 09-01 15:38 909次阅读

    最大化数据库性能在虚拟Red Hat Enterprise Linux环境

    电子发烧友网站提供《最大化数据库性能在虚拟Red Hat Enterprise Linux环境.pdf》资料免费下载
    发表于 08-03 11:06 0次下载
    <b class='flag-5'>最大化</b>数据库性能在虚拟Red Hat Enterprise Linux环境

    GPU利用率低的本质原因

    最近经常有同学反馈 GPU 利用率低,严重浪费 GPU 资源的问题,经过对一些实例分析后,借着这篇文档和大家分享一下解决方案,希望能对使用 GPU 的同学有些帮助。 一、
    的头像 发表于 06-19 14:07 694次阅读
    <b class='flag-5'>GPU</b><b class='flag-5'>利用率</b>低的本质原因

    常见GPU利用率低原因分析

    GPU 任务会交替的使用 CPU 和 GPU 进行计算,当 CPU 计算成为瓶颈时,就会出现 GPU 等待的问题,GPU 空跑那利用率就低了
    发表于 06-19 12:22 970次阅读
    常见<b class='flag-5'>GPU</b><b class='flag-5'>利用率</b>低原因分析

    Qt6应用程序的CPU使用率高是什么原因造成的?怎么解决?

    imx6qsabresd 板运行单个 qt6 应用程序时,我可以看到 %CPU 利用率约为 220%,而在运行 4 个类似的应用程序时,每个 CPU 利用率高达 75%,这看起来确实很大。 在 Irix 模式
    发表于 05-29 07:39