0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

英伟达GTC:ChatGPT专用Hopper GPU H100 NVL来了

汽车电子技术 2023-03-23 16:55 次阅读

英伟达GTC:ChatGPT专用Hopper GPU H100 NVL来了

ChatGPT 一经推出火爆程度让人咋舌,似乎一夜之间就将生成式 AI、大语言模型推到了风口浪尖。英伟达估计也要笑出声来,黄仁勋预计英伟达2023年的生成式人工智能的收入将相当大,人工智能及其基础设施即服务(infrastructure as-a-service)产品将拓展其商业模式。

要之前此前NVIDIA就已经入局,在2016年,NVIDIA就向OpenAI交付了第一台NVIDIA DGX AI超级计算机——支持 ChatGPT 的大型语言模型突破背后的引擎。现在GPT-4需要的算力更大,对速度需求更强烈。

pYYBAGQcE4GAQyMNAACgMjzuUMg307.png

pYYBAGQcE_CAW9TFAACS-dy454s037.png

poYBAGQcE_mANycgAABAXwRfsCo567.png

现在英伟达面向人工智能及其基础设施强发力,GPU提速,ChatGPT专用Hopper GPU H100 NVL性能强大,ChatGPT专用GPU可提速10倍,H100 NVL是专门为LLM设计的GPU,采用了Transformer加速解决方案,可用于处理ChatGPT。相比于英伟达HGX A100,一台搭载四对H100和双NVLINK的标准服务器速度能快10倍,可以将大语言模型的处理成本降低一个数量级。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • gpu
    gpu
    +关注

    关注

    27

    文章

    4416

    浏览量

    126668
  • AI
    AI
    +关注

    关注

    87

    文章

    26431

    浏览量

    264036
  • 英伟达
    +关注

    关注

    22

    文章

    3324

    浏览量

    87759
  • gtc
    gtc
    +关注

    关注

    0

    文章

    72

    浏览量

    4361
  • ChatGPT
    +关注

    关注

    27

    文章

    1407

    浏览量

    4718
  • H100
    +关注

    关注

    0

    文章

    31

    浏览量

    212
收藏 人收藏

    评论

    相关推荐

    英伟达发布新一代H200,搭载HBM3e,推理速度是H100两倍!

    兼容,在推理速度上几乎达到H100的两倍。H200预计将于明年二季度开始交付。此外,英伟达还透露,下一代Blackwell B100 GPU也将在2024年推出。  
    的头像 发表于 11-15 01:15 2384次阅读
    <b class='flag-5'>英伟</b>达发布新一代H200,搭载HBM3e,推理速度是<b class='flag-5'>H100</b>两倍!

    英伟达H200和H100的比较

    英伟达H200和H100是两款不同的AI芯片,它们各自具有独特的特点和优势。以下是关于这两款芯片的一些比较。
    的头像 发表于 03-07 15:53 863次阅读

    英伟H100,没那么缺货了 !RTX 4090 ,大涨

    这样,在云端使用 H100 GPU 的排队时间可能会缩短。数据中心提供商和前比特币挖矿公司正在开设具有 H100 集群的数据中心。这些公司承诺以大型云提供商成本的一小部分提供 H100
    的头像 发表于 11-23 15:59 722次阅读

    英伟达特供版芯片将上市:性能最高不到H100的20%

    本周四,一些媒体首次报道了英伟达特供芯片的消息。报道称,这三款新产品是在 H100 GPU 的基础版本基础上进行修改的,采用的是最新架构,但性能大幅度缩减。H100
    的头像 发表于 11-13 16:44 465次阅读
    <b class='flag-5'>英伟</b>达特供版芯片将上市:性能最高不到<b class='flag-5'>H100</b>的20%

    英伟H100的最强替代者

    首先,我们首先要说的是,如果您现在想要训练基础模型(例如 ChatGPT),那么 NVIDIA H100 80GB SXM5 仍然是首选 GPU。一旦基础模型经过训练,通常可以在成本和功耗显着降低的部件上根据特定领域的数据或推理
    的头像 发表于 11-08 15:35 546次阅读
    <b class='flag-5'>英伟</b>达<b class='flag-5'>H100</b>的最强替代者

    MI300X能否与H100一较高下?

    市场研究公司Omdia近日发布报告称,预计英伟达二季度用于AI和高性能计算应用的H100 GPU的出货量超过了900吨。并且预计其在未来几个季度的GPU销量将大致相同,因此
    发表于 09-28 14:50 1287次阅读
    MI300X能否与<b class='flag-5'>H100</b>一较高下?

    大家都在争相超过A100,无人对标的Grace Hopper性能几何?

    H100的现状,对Hopper GPUH100)的性能有了大致的了解,但Grace Hopper作为一个异构计算平
    的头像 发表于 09-06 01:10 1169次阅读
    大家都在争相超过A<b class='flag-5'>100</b>,无人对标的Grace <b class='flag-5'>Hopper</b>性能几何?

    升腾910和英伟h100对比

    升腾910和英伟h100对比  随着人工智能计算进入快速发展的阶段,AI芯片的性能也越来越得到人们的关注,其中两款最受关注的芯片必须是华为的升腾910以及英伟达的H100,两者各有优
    的头像 发表于 08-31 17:06 1.3w次阅读

    生成式人工智能推动,传英伟达今年将销售55万个H100 GPU

    虽然目前尚未确定gpu的准确配置,但英伟h100 80gb hbm2e运算卡gpu (14592 cuda core, 26 fp64 tflops, 1513 fp16 tflo
    的头像 发表于 08-16 11:05 744次阅读

    英伟达a100h100哪个强?英伟达A100H100的区别

    基于Ampere架构的GPU计算加速器,专为高性能计算、人工智能和机器学习等领域而设计。它拥有高达6912个CUDA核心(在32GB版本中),是目前最强大的数据中心GPU之一。A100支持更快的训练速度和更大的模型容量,适用于需
    的头像 发表于 08-09 17:31 3.5w次阅读

    英伟达h800和h100的区别

    英伟达h800和h100的区别 其实大白话就是,A100H100是原版,特供中国市场的减配版是A800、H800。A100
    的头像 发表于 08-08 16:06 3.9w次阅读
    <b class='flag-5'>英伟</b>达h800和<b class='flag-5'>h100</b>的区别

    英伟达A100的简介

    英伟达A100的简介 A100都是非常强大的GPU英伟达A100、A800、
    的头像 发表于 08-08 15:17 7599次阅读

    英伟达A100H100的区别

    英伟达A100H100的区别 英伟达A100H100是两种不同的产品。A
    的头像 发表于 08-07 18:06 2.4w次阅读

    英伟达a100h100哪个强?

    英伟达a100h100哪个强? 英伟达A100H100更强。
    的头像 发表于 08-07 17:32 1.1w次阅读

    大模型训练,英伟达Turing、Ampere和Hopper算力分析

    GPU 架构升级过程计算能力不断强化,Hopper 架构适用于高性能计算(HPC)和 AI 工作负载。英伟达在架构设计上,不断加强 GPU 的计算能力和能源效率。在
    的头像 发表于 05-15 11:16 1342次阅读
    大模型训练,<b class='flag-5'>英伟</b>达Turing、Ampere和<b class='flag-5'>Hopper</b>算力分析