GTC 2023直播：英伟达推出Hopper GPU，速度比PCIE快7倍
针对ChatGPT等大型语言模型的推理，我们宣布推出一款新的Hopper GPU配备双GPU NVLINK的PCIE H100
同时还可支持商用PCIE服务器轻松扩展
目前在云上唯一可以实际处理ChatGPT的GPU是HGX A100与适用于GPT-3处理的HGX A100相比，一台搭载四对H100及双GPU NVLINK的标准服务器的速度
H100可将大型语言模型的处理成本，降低一个数量级
Grace Hopper非常适合处理大型数据集，例如适用于推荐系统和大型语言模型的AI数据库。
如今，利用大容量内存，CPU会存储和查询巨型嵌入表，然后将结果传输到GPU进行推理，借助Grace-Hopper， Grace可以查询嵌入表，并将结果直接传输到Hopper速度比PCIE快7倍
GTC 2023主题直播地址：https://t.elecfans.com/live/2302.html
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。
举报投诉
-
cpu
+关注
关注
68文章
10456浏览量
206661 -
服务器
+关注
关注
12文章
8129浏览量
82590 -
gtc
+关注
关注
0文章
72浏览量
4366 -
ChatGPT
+关注
关注
27文章
1413浏览量
4852
发布评论请先 登录
相关推荐
刷屏的Groq芯片，速度远超英伟达GPU！成本却遭质疑
电子发烧友网报道（文/李弯弯）英伟达遇到劲敌了？近日，Groq芯片计算速度超过英伟达GPU的消息刷屏。Groq是一家成立于2016年的AI创企，该公司近日开放了自家产品的免费试用，相比
英伟达GTC大会丨宇树通用人形机器人H1与全球共同拥抱AI
，与英伟达一起推动全球AI机器人的深度进化。 Unitree H1前段时间刚刚以每秒3.3米的运动速度创下了全尺寸人形机器人速度的世界纪录，潜在速度更超过5m/s，等待大家来挖掘开发。
英伟达宣布推出新一代GPU Blackwell，SK海力士已量产HBM3E
在英伟达GTC 2024大会上，英伟达CEO黄仁勋宣布推出新一代GPU Blackwell，第一款Blackwell芯片名为GB200，将于
2024年英伟达GTC大会揭晓新一代GPU架构Blackwell
陆行之表示，相比于其前身“Hopper”100的800亿晶体管，“Blackwell”100拥有的2080亿晶体管数量超过了前者1280亿。此外，尽管两款GPU均采用台积电的4纳米技术加工，但“Blackwell”100通过封装合并而非缩小规模以提高运行
英伟达AI服务器NVLink版与PCIe版有何区别？又如何选择呢？
在人工智能领域，英伟达作为行业领军者，推出了两种主要的GPU版本供AI服务器选择——NVLink版（实为SXM版）与PCIe版。这两者有何本质区别？又该如何根据应用场景做出最佳选择呢？
今日看点丨英伟达发布最强 AI 加速卡--Blackwell GB200；三星面临罢工 存储市场供需引关注
表示：“Hopper 固然已经非常出色了，但我们需要更强大的 GPU”。英伟达目前按照每隔 2 年的更新频率，升级一次 GPU 架构，从而大幅提升性能。
发表于 03-19 11:08
•862次阅读
比创达元启新程 共创新佳绩：2023年度总结暨迎新年晚会圆满收官！a
比创达元启新程 共创新佳绩：2023年度总结暨迎新年晚会圆满收官！新的一年，万象更新。回顾2023年，我们携手走过的岁月，喜悦伴着汗水，成功伴着艰辛，遗憾激励奋斗。在过去的一年时间里，
发表于 02-26 11:05
英伟达Grace-Hopper提供一个紧密集成的CPU + GPU解决方案
英伟达Grace-Hopper提供了一个紧密集成的CPU + GPU解决方案，针对生成式人工智能逐渐成为主导的市场环境。
大家都在争相超过A100，无人对标的Grace Hopper性能几何？
电子发烧友网报道（文/周凯扬）作为英伟达在CPU与GPU技术开发上的集大成之作，Grace Hopper很大程度上象征着复杂计算领军产品。尽管英伟达竭尽所能地去堆这一“超级芯片”的性能
NVIDIA Hopper GPU上的新cuBLAS12.0功能和矩阵乘法性能
NVIDIA Hopper GPU 上的新 cuBLAS 12.0 功能和矩阵乘法性能
NVIDIA仍不死心，再次加入ARM站场
在GTC 2021主题演讲中，英伟达首席执行官黄仁勋确认了英伟达将会和联发科（MediaTek）展开合作。当时展示的幻灯片内容里，显示联发科
发表于 05-28 08:51
联发科回应结盟英伟达合攻 Arm 架构芯片传闻
联发科计划周一下午举行 2023“旗舰科技 智领未来”记者会，由联发科 CEO 蔡力行与重量级嘉宾一同出席，这位嘉宾应该是近来引起全球关注、并成为 AI 创新推动者的英伟达 CEO 黄仁勋。早些时候
发表于 05-28 08:47
大模型训练，英伟达Turing、Ampere和Hopper算力分析
GPU 架构升级过程计算能力不断强化，Hopper 架构适用于高性能计算（HPC）和 AI 工作负载。英伟达在架构设计上，不断加强 GPU 的计算能力和能源效率。在
工商网监
评论