GTC 2023直播：英伟达推出Hopper GPU，速度比PCIE快7倍
针对ChatGPT等大型语言模型的推理，我们宣布推出一款新的Hopper GPU配备双GPU NVLINK的PCIE H100
同时还可支持商用PCIE服务器轻松扩展
目前在云上唯一可以实际处理ChatGPT的GPU是HGX A100与适用于GPT-3处理的HGX A100相比，一台搭载四对H100及双GPU NVLINK的标准服务器的速度
H100可将大型语言模型的处理成本，降低一个数量级
Grace Hopper非常适合处理大型数据集，例如适用于推荐系统和大型语言模型的AI数据库。
如今，利用大容量内存，CPU会存储和查询巨型嵌入表，然后将结果传输到GPU进行推理，借助Grace-Hopper， Grace可以查询嵌入表，并将结果直接传输到Hopper速度比PCIE快7倍
GTC 2023主题直播地址：https://t.elecfans.com/live/2302.html
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。
举报投诉
-
cpu
+关注
关注
68文章
11216浏览量
222912 -
服务器
+关注
关注
13文章
10094浏览量
90873 -
gtc
+关注
关注
0文章
73浏览量
4719 -
ChatGPT
+关注
关注
31文章
1596浏览量
10071
发布评论请先 登录
相关推荐
热点推荐
NVIDIA新闻：英伟达10亿美元入股诺基亚 英伟达推出全新量子设备
研发并推出相关产品。 英伟达CEO黄仁勋出现在美国华盛顿的GTC DC大会上的演讲中表示；“今天我们宣布与诺基亚建立了合作关系，诺基亚是世界第二大电信制造商，这是一个价值3万亿美元的产
今日看点：苹果认证中国快充品牌遭美调查；英伟达拟向OpenAI投资最高1000亿美元
系统建设并部署至少10吉瓦的人工智能（AI）数据中心，用于训练和运行下一代模型。这一耗电量相当于800万户美国家庭的用电量。 英伟达CEO黄仁勋曾表示，10吉瓦相当于400万至500万块图形处理器（GPU），约等于
发表于 09-23 10:09
•286次阅读
传英伟达自研HBM基础裸片
"后的下一代AI GPU "Feynman"。 有分析指出，英伟达此举或是将部分GPU功能集成到基础裸片中，旨在提高HBM和GPU的整体
aicube的n卡gpu索引该如何添加？
请问有人知道aicube怎样才能读取n卡的gpu索引呢，我已经安装了cuda和cudnn，在全局的py里添加了torch，能够调用gpu，当还是只能看到默认的gpu0，显示不了gpu1
发表于 07-25 08:18
英伟达获美批准恢复H20在华销售，同步推出全新兼容GPU
7月15日上午，央广财经记者从英伟达方面确认，英伟达已经获得美国批准，将恢复 H20 在中国的销售，并推
【「算力芯片 | 高性能 CPU/GPU/NPU 微架构分析」阅读体验】+NVlink技术从应用到原理
带来了总双向带宽160GB/s的通讯速率，远高于当时的PCIe接口（实际比现在的PCIe5.0也还要快）。首代的NVlink主要是增强了GPU到GP
发表于 06-18 19:31
英伟达拟再推中国特供GPU，今年6月量产！
电子发烧友网综合报道 近年来，美国政府对华半导体出口管制政策不断收紧，英伟达等半导体企业面临严峻挑战。为保持在中国市场的竞争力，英伟达推出了
发表于 05-27 00:03
•4598次阅读
GPU 维修干货 | 英伟达 GPU H100 常见故障有哪些？
上涨，英伟达H100GPU凭借其强大的算力，成为AI训练、高性能计算领域的核心硬件。然而，随着使用场景的复杂化，H100服务器故障率也逐渐攀升，轻则影响业务进度，重
立讯技术亮相英伟达GTC 2025大会
日前，英伟达年度技术盛会GTC 2025在美国加州圣何塞拉开帷幕。作为全球AI与计算领域的顶级峰会，GTC 2025汇聚了全球数千名开发者、企业领袖及学术专家，共同探讨AI与加速计算的
英伟达GTC25亮点：NVIDIA Blackwell Ultra 开启 AI 推理新时代
英伟达GTC25亮点：NVIDIA Blackwell Ultra 开启 AI 推理新时代
新思科技亮相英伟达GTC 2025大会
为了实现这一速度提升，新思科技在GTC全球AI大会上宣布，正在使用英伟达 CUDA-X库优化其下一代半导体开发解决方案。公司还在扩大对英伟
微软大手笔采购英伟达AI芯片
据全球知名市场调研机构Omdia的最新估计，微软在2024年的英伟达Hopper架构芯片采购计划上展现出了惊人的手笔。这一举动旨在帮助微软在构建下一代人工智能(AI)系统的激烈竞争中抢占先机。 据悉
工商网监
评论