0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

寒武纪基于思元370芯片的MLU370-X8 智能加速卡产品手册详解

向上 来源:寒武纪 作者:寒武纪 2025-04-24 17:57 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

寒武纪思元370芯片是基于7nm制程工艺,思元370是寒武纪首款采用chiplet(芯粒)技术的AI芯片,集成了390亿个晶体管,最大算力高达256TOPS(INT8),是寒武纪第二代产品思元270算力的2倍。凭借寒武纪最新智能芯片架构MLUarch03,思元370实测性能表现更为优秀。思元370也是国内第一款公开发布支持LPDDR5内存的云端AI芯片,内存带宽是上一代产品的3倍,访存能效达GDDR6的1.5倍。搭载MLU-Link™多芯互联技术,在分布式训练或推理任务中为多颗思元370芯片提供高效协同能力。全新升级的寒武纪基础软件平台,新增推理加速引擎MagicMind,实现训推一体,大幅提升了开发部署的效率,降低用户的学习成本、开发成本和运营成本。

寒武纪思元370芯片参数特性详解

https://www.elecfans.com/d/6566167.html

寒武纪® AIDC® MLU370®-X8智能加速卡训推一体人工智能加速卡

寒武纪®️ AIDC®️ MLU370 ®️ -X8采用双芯思元370配置,为双槽位250w全尺寸智能加速卡,提供24TFLPOS(FP32)训练算力和256TOPS (INT8)推理算力,同时提供丰富的FP16、BF16等多种训练精度。基于双芯思元370打造的MLU370-X8整合了两倍于标准思元370加速卡的内存、编解码资源,同时MLU370-X8搭载MLU-Link多芯互联技术,每张加速卡可获得200GB/s的通讯吞吐性能,是PCIe 4.0带宽的3.1倍,支持单机八卡部署,可高效执行多芯多卡训练和分布式推理任务。

MLU370-X8智能加速卡是全面升级的数据中心训推一体AI加速卡,基于寒武纪全新一代思元370芯片,接口为PCIe 4.0 X16,是全高全长双宽(FHFL-Dual-Slot)的标准PCIe加速卡,适用于业内最新的CPU平台,可轻松搭载于最先进的人工智能服务器,快速实现 AI算力的部署。MLU370-X8加速卡功耗为250W,可为计算机视觉、自然语言处理、语音等多样化的人工智能应用提供强大算力支持。

MLU370-X8 智能加速卡产品手册免费下载

*附件:MLU370-X8 智能加速卡产品手册免费下载.doc

产品规格

板卡型号MLU370-X8
计算架构Camicon MLUarch03
制程工艺7nm
计算精度支持FP32、FP16、BF16、INT16、INT8、INT4
峰值性能256 TOPS (INT8)
128 TOPS (INT16)
96 TFLOPS (FP16)
96 TFLOPS (BF16)
24 TFLOPS (FP32)
内存类型LPDDR5
内存容量48GB
内存带宽614.4 GB/s
视频编解码最高可支持至8K;264路HEVC全高清视频解码;48路HEVC全高清视频编码;
图片编解码图片编解码最高分辨率支持16384x16384;8000 Frames/s 全高清图片解码;6000 Frames/s 全高清图片编码;
系统接口x16 PCIe Gen4
MLU-Link™接口4 ports, 16 Lanes, 50 Gbps
MLU-Link™带宽聚合带宽200GB/s Bi-direction
形态全高全长双槽位
最大热功耗250W
散热设计被动

在寒武纪基础软件平台 SDK上实测,在常见的4个人工智能模型上,MLU370-X8单卡性能与主流350W RTX GPU相当;而在多卡加速方面,MLU370-X8借助MLU-Link多芯互联技术和寒武纪基础软件平台 CNCL通讯库的优化,在8卡环境下达到更优的并行加速比。

性能对比

image.png

*** 测试环境

250W MLU370-X8:NF5468M5/Intel Xeon Gold 5218 CPU @ 2.30GHz/MLU370 SDK 1.2.0

350W GPU: Supermicro AS -4124GS-TNR/Intel Xeon Gold 6130 CPU @ 2.10GHz/Cuda11.2

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 加速卡
    +关注

    关注

    1

    文章

    69

    浏览量

    11324
  • 寒武纪
    +关注

    关注

    13

    文章

    212

    浏览量

    74802
  • AI芯片
    +关注

    关注

    17

    文章

    2072

    浏览量

    36591
  • 算力
    +关注

    关注

    2

    文章

    1399

    浏览量

    16580
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    寒武纪“思220”推动边缘AI应用发展

    11月14日,寒武纪在第21届高交会正式发布边缘AI系列产品220(MLU220)芯片及M.2加速卡
    的头像 发表于 11-14 14:49 5278次阅读

    MLU220-M.2边缘端智能加速卡支持相关资料介绍

    1、MLU220-M.2边缘端智能加速卡简介MLU220-M.2 加速卡采用思220
    发表于 08-08 17:37

    寒武纪科技生态爆发,产业伙伴展示寒武纪芯片应用

    业界领先的智能芯片设计公司寒武纪科技今天于上海发布了Cambricon MLU100 云端智能芯片
    的头像 发表于 05-04 17:15 1.1w次阅读

    寒武纪首款智能云端芯片应用Cadence Z1硬件仿真加速平台

    寒武纪云端智能芯片产品MLU100中集成了Cadence Memory interface IP和I/O interface IP,并应用了
    的头像 发表于 05-08 16:53 1.1w次阅读

    寒武纪推出边缘AI芯片220

    日前,寒武纪在第21届高交会正式发布边缘AI系列产品220(MLU220)芯片及M.2加速卡
    发表于 11-15 14:31 1857次阅读

    寒武纪首颗训练芯片290亮相

    1月21日,寒武纪290智能芯片加速卡、玄思1000智能
    的头像 发表于 01-21 10:35 3938次阅读

    寒武纪290智能芯片加速卡、玄思1000智能加速器亮相 全面支持AI训练

    1 月 21 日,寒武纪 290 智能芯片加速卡、玄思 1000 智能
    的头像 发表于 01-21 11:06 5090次阅读

    寒武纪290芯片发布,具有三大关键亮点

    寒武纪在官网披露7纳米AI训练芯片 290 智能芯片加速卡、玄思1000
    的头像 发表于 01-25 14:51 6205次阅读

    软硬兼施 寒武纪同步推出Neuware训练软件栈

    290智能芯片加速卡、玄思1000智能加速器训练产品
    的头像 发表于 02-05 11:39 2624次阅读

    寒武纪持续研发投入 2020年亏损收窄,营收稳步上涨

    ,自成立以来,寒武纪先后推出了用于终端场景的寒武纪1A、寒武纪1H、寒武纪1M系列芯片、基于思
    的头像 发表于 04-28 13:16 2519次阅读

    寒武纪发布新款AI训练 瑞萨电子推出双波束有源波束成形器IC

      2022年3月21日,寒武纪正式发布新款训练加速卡MLU370-X8MLU370-X8搭载双芯片四芯粒思
    的头像 发表于 03-22 15:21 2688次阅读

    【教程】贝启RK3568开发板搭载寒武纪MLU220加速卡使用说明

    平台:贝启RK3568开发板软件平台:Ubuntu18.04AI算力计算棒:寒武纪MLU220加速卡寒武纪220M.2边缘
    的头像 发表于 04-28 10:30 4444次阅读
    【教程】贝启RK3568开发板搭载<b class='flag-5'>寒武纪</b><b class='flag-5'>MLU</b>220<b class='flag-5'>加速卡</b>使用说明

    寒武纪的思MLU)云端智能加速卡与百川智能完成大模型适配,携手创新生成式AI

    近日,寒武纪MLU)系列云端智能加速卡与百川智能旗下的大模型Baichuan2-53B、B
    的头像 发表于 11-06 20:32 2612次阅读
    <b class='flag-5'>寒武纪</b>的思<b class='flag-5'>元</b>(<b class='flag-5'>MLU</b>)云端<b class='flag-5'>智能</b><b class='flag-5'>加速卡</b>与百川<b class='flag-5'>智能</b>完成大模型适配,携手创新生成式AI

    寒武纪与智象未来联手,推动视觉大模型的技术创新与应用

    在大模型领域,寒武纪自底层硬件架构至基础软件更新,皆针对大模型的实际应用场景进行了细致优化。依托高效的推理引擎MagicMind,寒武纪MLU)系列云端
    的头像 发表于 01-24 09:59 2282次阅读

    寒武纪370芯片参数特性详解

    寒武纪首次采用chiplet技术将2颗AI计算芯粒封装为一颗AI芯片,通过不同芯粒组合规格多样化的产品,为用户提供适用不同场景的高性价比AI芯片
    的头像 发表于 04-24 17:49 4352次阅读
    <b class='flag-5'>寒武纪</b>思<b class='flag-5'>元</b><b class='flag-5'>370</b><b class='flag-5'>芯片</b>参数特性<b class='flag-5'>详解</b>