0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

NVIDIA为全球企业开发和部署大型语言模型打开一扇新的大门

NVIDIA英伟达 来源:NVIDIA英伟达 作者:NVIDIA英伟达 2021-11-12 14:30 次阅读

NVIDIA NeMo Megatron 框架; 可定制的大规模语言模型Megatron 530B;多GPU、多节点 Triton推理服务器助力基于语言的AI开发和部署,推动行业和科学发展

NVIDIA为全球企业开发和部署大型语言模型打开了一扇新的大门——使这些企业能够建立他们自己的、特定领域的聊天机器人、个人助理和其他AI应用程序,并能够以前所未有的水平理解语言中的微妙和细微差别。

NVIDIA推出了为训练具有数万亿参数的语言模型而优化的NVIDIA NeMo Megatron框架、为新领域和语言进行训练的可定制大型语言模型(LLM)Megatron 530B以及具有多GPU、多节点分布式推理功能的NVIDIA Triton推理服务器。

这些工具与NVIDIA DGX系统相结合,提供了一个可部署到实际生产环境的企业级解决方案,以简化大型语言模型的开发和部署。

“大型语言模型已被证明是灵活且功能强大的,无需专门的培训或监督,即可回答深层次领域问题,翻译语言,理解和总结文件,编写故事和计算程序。” NVIDIA应用深度学习研究副总裁Bryan Catanzaro表示。“ 为新的语言和领域建立大型语言模型可能仍然是最大的超级计算的应用,现在这些功能对全球的企业也变得触手可及。”

NVIDIA NeMo Megatron和Megatron 530B

加速大型语言模型开发

NVIDIA NeMo Megatron是在Megatron的基础上发展起来的开源项目,由NVIDIA研究人员主导,研究大型转换语言模型的高效训练。Megatron 530B是世界上最大的可定制语言模型。

NeMo Megatron框架使企业能够克服训练复杂自然语言处理模型的挑战。经过优化,可以在NVIDIA DGX SuperPOD的大规模加速计算基础设施上进行扩展。

NeMo Megatron通过数据处理库自动处理LLM训练的复杂性,这些数据处理库可以摄入、策划、组织和清理数据。利用先进的数据、张量和管道并行化技术,它能使大型语言模型的训练有效地分布在成千上万的GPU上。企业可以通过NeMo Megatron框架进一步训练它以服务新的领域和语言。

NVIDIA Triton推理服务器

助力实时大型语言模型推理

此外,今日发布的最新NVIDIA Triton推理服务器中的多GPU、多节点特性,使大型语言模型推理工作负载能够实时在多个GPU和节点上扩展。这些模型需要的内存比单个GPU甚至是包含多个GPU的大型服务器所能提供的还要多,并且,实际应用对其推理实时性有着极高的要求。

通过Triton推理服务器,Megatron530B能够在两个NVIDIA DGX系统上运行,将处理时间从CPU服务器上的1分钟以上缩短到半秒,令实时应用部署大型语言模型成为可能。

全球范围开发的大规模定制语言模型

使用NVIDIA DGX SuperPOD构建大型复杂语言模型的早期客户包括SiDi、京东探索研究院和VinBrai。 SiDi是巴西的一家大型AI 研究和开发机构,已经采用三星虚拟助手,供全国 2 亿巴西葡萄牙语者使用。 SiDi 首席执行官John Yi 表示:“SiDi 团队在AI 虚拟助理和聊天机器人开发方面拥有丰富的经验,此类开发既需要强大的 AI 性能,也需要经过训练并适应人类语言不断变化的细微差别的专用软件。NVIDIA DGX SuperPOD 非常适合推动我们团队的先进工作,帮助我们为巴西的葡萄牙语者提供领先的AI 服务。” 京东探索研究院,是以供应链为基础的领先技术和服务提供商京东的研发部门,他们利用 NVIDIA DGX SuperPOD 开发NLP,应用于智能客户服务、智能零售、智能物流、物联网、医疗健康等领域。 VinBrain,越南的医疗健康 AI 公司,他们使用 DGX SuperPOD 为100 家医院的放射科医生和远程医疗医生开发和部署了一种临床语言模型。在这些医院,已有 600 多名医疗健康从业者使用该模型。

供应情况

企业可以利用今天同期发布的NVIDIA LaunchPad,免费体验开发和部署大型语言模型。行业组织可以申请加入抢先体验计划,了解用于训练大规模语言模型的 NVIDIA NeMo Megatron 加速框架。

NVIDIA Triton可从NVIDIA NGC目录中获得,该目录是GPU优化的AI软件中心,包括框架、工具包、预训练模型和Jupyter Notebooks,并可从Triton GitHub repository中获取开放源代码。

Triton也包含在NVIDIA AI Enterprise软件套件中,该套件由NVIDIA优化、认证和支持。企业可以使用该软件套件,在内部数据中心和私有云的主流加速服务器上运行语言模型推理。

NVIDIA DGX SuperPOD 和NVIDIA DGX 系统通过NVIDIA 的全球经销商提供,这些合作伙伴能够根据要求为符合条件的客户提供询价服务。

责任编辑:haq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • NVIDIA
    +关注

    关注

    14

    文章

    4541

    浏览量

    101476
  • AI
    AI
    +关注

    关注

    87

    文章

    26129

    浏览量

    263712
  • 模型
    +关注

    关注

    1

    文章

    2671

    浏览量

    47571

原文标题:GTC21 | NVIDIA 借助超大规模 AI 语言模型为全球企业赋能

文章出处:【微信号:NVIDIA_China,微信公众号:NVIDIA英伟达】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    NVIDIA 为部分大型亚马逊 Titan 基础模型提供训练支持

    本文将介绍亚马逊如何使用 NVIDIA NeMo 框架、GPU 以及亚马逊云科技的 EFA 来训练其 最大的新一代大语言模型(LLM)。 大语言模型
    的头像 发表于 11-29 21:15 306次阅读
    <b class='flag-5'>NVIDIA</b> 为部分<b class='flag-5'>大型</b>亚马逊 Titan 基础<b class='flag-5'>模型</b>提供训练支持

    使用 NVIDIA IGX Orin 开发者套件在边缘部署语言模型

    随着大语言模型(LLM)的功能日益强大,减少其计算需求的技术也日趋成熟,由此产生了两个引人注目的问题:能够在边缘运行和部署的最先进的 LLM 是什么?现实世界中的应用如何才能充分利用这些成果? 即使
    的头像 发表于 11-24 19:25 218次阅读
    使用 <b class='flag-5'>NVIDIA</b> IGX Orin <b class='flag-5'>开发</b>者套件在边缘<b class='flag-5'>部署</b>大<b class='flag-5'>语言</b><b class='flag-5'>模型</b>

    NVIDIA 加快企业自定义生成式 AI 模型开发

    的业务数据进行自定义。 如今,免费、开源的大语言模型企业来说就像是一顿“自助餐”。但对于构建自定义生成式 AI 应用的开发者来说,这顿“大餐”可能会让他们应接不暇,因为他们需要满足各
    的头像 发表于 11-16 21:15 318次阅读
    <b class='flag-5'>NVIDIA</b> 加快<b class='flag-5'>企业</b>自定义生成式 AI <b class='flag-5'>模型</b><b class='flag-5'>开发</b>

    研讨会回顾:NVIDIA 助力汽车行业大语言模型创新与发展

    10 月 28 日,汽车行业大语言模型研讨会正式结束。 NVIDIA 解决方案架构师陈文恺 在研讨会中讲解了 汽车行业如何开发企业级大
    的头像 发表于 11-03 19:10 358次阅读

    现已公开发布!欢迎使用 NVIDIA TensorRT-LLM 优化大语言模型推理

    NVIDIA 于 2023 年 10 月 19 日公开发布 TensorRT-LLM ,可在 NVIDIA GPU 上加速和优化最新的大语言模型
    的头像 发表于 10-27 20:05 487次阅读
    现已公<b class='flag-5'>开发</b>布!欢迎使用 <b class='flag-5'>NVIDIA</b> TensorRT-LLM 优化大<b class='flag-5'>语言</b><b class='flag-5'>模型</b>推理

    在线研讨会 | NVIDIA 加速汽车行业大语言模型开发与应用

    10 月 28 日上午 10 点 ,NVIDIA 解决方案架构师陈文恺将出席研讨会,讲解  NVIDIA 如何助力汽车行业开发企业级大语言
    的头像 发表于 10-27 20:05 184次阅读
    在线研讨会 | <b class='flag-5'>NVIDIA</b> 加速汽车行业大<b class='flag-5'>语言</b><b class='flag-5'>模型</b>的<b class='flag-5'>开发</b>与应用

    周四研讨会预告 | 注册报名 NVIDIA AI Inference Day - 大模型推理线上研讨会

    由 CSDN 举办的 NVIDIA AI Inference Day - 大模型推理线上研讨会,将帮助您了解 NVIDIA 开源大型语言
    的头像 发表于 10-26 09:05 179次阅读

    大型语言模型在关键任务和实际应用中的挑战

    大型语言模型的出现极大地推动了自然语言处理领域的进步,但同时也存在一些局限性,比如模型可能会产生看似合理但实际上是错误或虚假的内容,这一现象
    的头像 发表于 08-15 09:33 1096次阅读
    <b class='flag-5'>大型</b><b class='flag-5'>语言</b><b class='flag-5'>模型</b>在关键任务和实际应用中的挑战

    NVIDIA DLI 实战培训 | 加速大语言模型开发的核心技能

    实战开发技能 | 实时讲师授课 实验用 GPU 环境 | 实名 NVIDIA 证书 大语言模型的发展宛如一场风潮席卷全球,激发了
    的头像 发表于 07-14 19:40 243次阅读
    <b class='flag-5'>NVIDIA</b> DLI 实战培训 | 加速大<b class='flag-5'>语言</b><b class='flag-5'>模型</b><b class='flag-5'>开发</b>的核心技能

    大型语言模型的应用

       大型语言模型(LLM) 是一种深度学习算法,可以通过大规模数据集训练来学习识别、总结、翻译、预测和生成文本及其他内容。大语言模型(LL
    的头像 发表于 07-05 10:27 1497次阅读

    基于Transformer的大型语言模型(LLM)的内部机制

    本文旨在更好地理解基于 Transformer 的大型语言模型(LLM)的内部机制,以提高它们的可靠性和可解释性。 随着大型语言
    的头像 发表于 06-25 15:08 1005次阅读
    基于Transformer的<b class='flag-5'>大型</b><b class='flag-5'>语言</b><b class='flag-5'>模型</b>(LLM)的内部机制

    浅析AI大型语言模型研究的发展历程

    大型语言模型研究的发展有三条技术路线:Bert 模式、GPT 模式、混合模式。其中国内大多采用混合模式, 多数主流大型语言
    发表于 06-09 12:34 3263次阅读
    浅析AI<b class='flag-5'>大型</b><b class='flag-5'>语言</b><b class='flag-5'>模型</b>研究的发展历程

    NVIDIA 与微软合作加速企业就绪的生成式 AI

    NVIDIA AI Enterprise 与 Azure 机器学习集成,提供端到端云平台,供开发者构建、部署和管理大型语言
    的头像 发表于 05-25 09:15 354次阅读
    <b class='flag-5'>NVIDIA</b> 与微软合作加速<b class='flag-5'>企业</b>就绪的生成式 AI

    ServiceNow 与 NVIDIA 宣布联合打造面向企业 IT 的生成式 AI

    基于 ServiceNow 平台并采用 NVIDIA AI 软件和 DGX 基础设施构建的自定义大型语言模型将为企业带来更智能的工作流自动化
    的头像 发表于 05-19 00:50 347次阅读
    ServiceNow 与 <b class='flag-5'>NVIDIA</b> 宣布联合打造面向<b class='flag-5'>企业</b> IT 的生成式 AI

    一套开源的大型语言模型(LLM)—— StableLM

    对于任何没有额外微调和强化学习的预训练大型语言模型来说,用户得到的回应质量可能参差不齐,并且可能包括冒犯性的语言和观点。这有望随着规模、更好的数据、社区反馈和优化而得到改善。
    的头像 发表于 04-24 10:07 2177次阅读
    一套开源的<b class='flag-5'>大型</b><b class='flag-5'>语言</b><b class='flag-5'>模型</b>(LLM)—— StableLM