0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

AMD两大高性能 AI 芯片正式出货,剑指英伟达 H100

E4Life 来源:电子发烧友网 作者:周凯扬 2023-12-08 00:26 次阅读

电子发烧友网报道(文/周凯扬)近日 AMD 举办了Advancing AI大会,除了发布全新的锐龙 8040系列 AI PC 芯片以外,也终于宣布了 MI300X GPU以及 MI300A APU这两大 AI 计算重磅新品的出货。

顶级 AI 计算 GPU MI300X

作为全新 CDNA3架构打造的 AI 加速器,MI300X 的配置可谓豪华,8 组 XCD 共 304 个 CDNA 单元,加上带宽高达 5.3TB/s 的 192GB显存。相对上一代 MI250X 而言,计算单元多了接近 40%,内存容量增至 1.5 倍,理论带宽更是提升至 1.7 倍,同时引入了对 FP8和稀疏计算的支持。

AMD 也在实际用例上与英伟达的 H100 进行了对比,在运行 1760亿参数的 BLOOM 大语言模型推理时,其吞吐量可达后者的 1.6 倍。且单块 MI300X就能运行像 Llama2 这样 700 亿参数的大模型,简化了企业级 LLM 部署的同时,提供了极致的 TCO 性价比。

首个数据中心 APU 出炉

随着英伟达开始针对数据中心推出 Grace Hopper Superchip 这样的 CPU+GPU 打包方案,AMD 这个早在消费级产品上这么干的公司自然也察觉到了个中机遇。于是在本次大会上,AMD 终于宣布首个数据中心 APU,MI300A开始出货。

在 3D 封装技术和 AMD Infinity 架构的支持下,MI300A将 CDNA 3架构的 GPU 核心、Zen 4 架构的 CPU 核心以及 128GB 的 HBM3 内存集成在一起。同样是与 MI250X相比,其在HPC和 AI 负载的 FP32计算上,能耗比近乎翻倍。

得益于统一的内存和缓存,CPU、GPU 与 HBM 之间的数据传输延迟大大降低,且均可享受超大的带宽,无论是在极限性能还是在功耗分配上,都能提供好于独立方案的表现。

软件同样迎来大幅升级

而此次 Advancing AI大会上,AMD不仅对硬件进行了更新,也对其软件进行了更新,RoCm 这一并行计算框架迎来了第六版,这一版本主要对 AMD 的 Instinct 系列 GPU在生成式 AI 的大语言模型上进行了优化。

作为 AMD 对英伟达的 CUDA 做出的对策方案,ROCm这几年来已经逐步完善,甚至可以说在开发支持程度上毫不逊色于 CUDA。此次更新不仅增加对新数据类型的支持,还引入了高级图形和内核优化、库优化以及最先进的注意力机制算法。以文本生成这一任务为例,与在 MI250 上运行的 ROCm 5 相比,性能提升显著,总体延迟改善了 8 倍左右。

更重要的是,这次 OpenAI 也来掺了一脚,OpenAI 宣布他们会在 Triton 3.0 上加入对 AMD Instinct 的支持。Triton是一个类Python 的开源编程语言,允许开发者在没有 CUDA 开发经验的情况下也能写出高效的 GPU 代码,可以视为 CUDA 的精简版。而在最新的Triton 3.0,可以说 AMD 的Instinct硬件平台获得了开箱即用的支持。

其实这次合作早有预示,几个月前Triton就开始合并 ROCm 的代码,此前也宣布过增加AMD Instinct以及英特尔XPU 的支持。不过目前 Instinct平台的ROCm 还是以 Linux 开发为重点,Radeon 平台的ROCm 则主要集中在对 Windows 的支持上。

写在最后

这次Advancing AI大会象征了 AMD 对 明年 AI 市场的野心,也难怪 AMD 会将今年数据中心 AI 芯片的市场规模从 6 月份的 300 亿美元提高至 450 亿美元。未来的MI300X很有可能成为英伟达 H100 最强劲的对手,也有可能成为云服务厂商竞相追逐的新计算卡。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • amd
    amd
    +关注

    关注

    25

    文章

    5058

    浏览量

    132463
  • AI
    AI
    +关注

    关注

    87

    文章

    25467

    浏览量

    263287
收藏 人收藏

    评论

    相关推荐

    英伟达发布新一代H200,搭载HBM3e,推理速度是H100两倍!

    电子发烧友网报道(文/李弯弯)日前,英伟达正式宣布,在目前最强AI芯片H100的基础上进行一次大升级,发布新一代H200芯片。H200拥有1
    的头像 发表于 11-15 01:15 2061次阅读
    <b class='flag-5'>英伟</b>达发布新一代H200,搭载HBM3e,推理速度是<b class='flag-5'>H100</b>两倍!

    AI计算需求激增,英伟H100功耗成挑战

    根据预测,若H100的年利用率保持在61%,那么单台设备每年将耗电3740千瓦小时左右。如果英伟达在2023年售出150万块H100,2024年再增加至200万块,那么到2024年底,将有350万块
    的头像 发表于 12-28 09:29 215次阅读

    AMD正式发布 MI300X AI 加速器,力压英伟H100

    如今,AMD已正式步入高性能计算(HPC)领域,并携正规的数据中心GPU,观察其与英伟达主导地位的角逐将会相当有趣。这场战斗类似于游戏GPU领域中的角逐,英伟达已占据了绝大多数市场份额
    的头像 发表于 12-10 11:30 516次阅读
    <b class='flag-5'>AMD</b>正式发布 MI300X <b class='flag-5'>AI</b> 加速器,力压<b class='flag-5'>英伟</b>达<b class='flag-5'>H100</b>

    英伟达推出新款AI芯片H200 性能飙升90%但是估计依然被出口管制

    大,也是H100的升级版,号称性能飙升90%;全球最强 AI 芯片。 据英伟达的消息,H200拥有141GB的内存、4.8TB/秒的带宽,并
    的头像 发表于 11-14 16:45 805次阅读
    <b class='flag-5'>英伟</b>达推出新款<b class='flag-5'>AI</b><b class='flag-5'>芯片</b>H200 <b class='flag-5'>性能</b>飙升90%但是估计依然被出口管制

    英伟达特供版芯片将上市:性能最高不到H100的20%

    本周四,一些媒体首次报道了英伟达特供芯片的消息。报道称,这三款新产品是在 H100 GPU 的基础版本基础上进行修改的,采用的是最新架构,但性能大幅度缩减。
    的头像 发表于 11-13 16:44 363次阅读
    <b class='flag-5'>英伟</b>达特供版<b class='flag-5'>芯片</b>将上市:<b class='flag-5'>性能</b>最高不到<b class='flag-5'>H100</b>的20%

    英伟达新AI芯片H20综合算力比H100降80%

    但据悉,三种新型AI芯片不是“改良型”,而是“缩小型”。用于ai模型教育的hgx h20的带宽和计算速度是有限的。整体计算能力理论上比nvidia的h100 gpu
    的头像 发表于 11-13 09:41 565次阅读

    MI300X能否与H100一较高下?

    市场研究公司Omdia近日发布报告称,预计英伟达二季度用于AI高性能计算应用的H100 GPU的出货量超过了900吨。并且预计其在未来几个
    发表于 09-28 14:50 1190次阅读
    MI300X能否与<b class='flag-5'>H100</b>一较高下?

    升腾910和英伟h100对比

    升腾910和英伟h100对比  随着人工智能计算进入快速发展的阶段,AI芯片性能也越来越得到人们的关注,其中两款最受关注的
    的头像 发表于 08-31 17:06 9066次阅读

    mi300芯片h100性能参数对比

    mi300芯片h100性能参数对比 MI300芯片H100芯片都是目前市场上比较常见的
    的头像 发表于 08-22 16:46 1290次阅读

    英伟达a100h100哪个强?英伟达A100H100的区别

    英伟达a100h100哪个强? 就A100H100这两个产品来说,它们虽然都是英伟达公司的
    的头像 发表于 08-09 17:31 2.8w次阅读

    英伟达h800和h100的区别

    英伟达h800和h100的区别 其实大白话就是,A100H100是原版,特供中国市场的减配版是A800、H800。A100
    的头像 发表于 08-08 16:06 2.3w次阅读
    <b class='flag-5'>英伟</b>达h800和<b class='flag-5'>h100</b>的区别

    英伟达A100H100的区别

    英伟达A100H100的区别 英伟达A100H100是两种不同的产品。A
    的头像 发表于 08-07 18:06 2.1w次阅读

    英伟达a100h100哪个强?

    英伟达a100h100哪个强? 英伟达A100H100更强。
    的头像 发表于 08-07 17:32 9386次阅读

    AMD甩出最强AI芯片 单个GPU跑大模型

    专为生成式AI设计的GPU:HBM密度是英伟H100的2.4倍,带宽是英伟H100的1.6倍。
    的头像 发表于 06-20 10:47 565次阅读

    AMD全力追赶英伟达推出新一代AI芯片

    AMD在旧金山发布会上推出了新一代AI芯片、数据中心CPU和DPU。在生成式AI浪潮下,最受关注的新品是AI
    的头像 发表于 06-15 16:16 1254次阅读