0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

摩尔线程、无问芯穹合作完成国产全功能GPU千卡集群

微云疏影 来源:综合整理 作者:综合整理 2024-05-27 14:40 次阅读

近日,摩尔线程与无问芯穹共同披露,他们成功地完成了由国产全功能GPU——摩尔线程MTT S4000所构成的千卡集群驱动的大规模AI模型“MT-infini-3B”的训练工作,并使用无问芯穹的AI Studio PaaS平台进行构建。

据介绍,此项训练历时13.2天,过程稳定而有序,集群整体运行稳定性达到了100%。相较于单机训练,千卡集群的扩展效率提升了超过90%。

此次实训被誉为“充分证明了夸娥千卡智算集群在大模型训练中的可靠性,同时开创了国产大语言模型与国产GPU千卡智算集群深度合作的新模式”。

值得注意的是,经过此次实训,MT-infini-3B模型的性能在同类模型中名列前茅。在C-Eval、MMLU、CMMLU三个测试集中,其表现均优于其他在国际主流硬件上训练的模型。

无问芯穹的联合创始人兼CEO夏立雪表示,公司正致力于开发“M种模型”和“N种芯片”间的“MxN”中间层产品,以实现多种大模型算法在多元化芯片上的高效、统一部署。

他还透露,无问芯穹已与摩尔线程建立了深度战略合作关系,而本次“MT-infini-3B”的训练成果则是业内首例基于国产GPU芯片的从零开始到全面大模型实训的成功案例。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • gpu
    gpu
    +关注

    关注

    28

    文章

    4891

    浏览量

    130506
  • 语言模型
    +关注

    关注

    0

    文章

    558

    浏览量

    10634
  • 摩尔线程
    +关注

    关注

    2

    文章

    226

    浏览量

    5030
收藏 人收藏

    评论

    相关推荐
    热点推荐

    国产千卡GPU集群完成大模型训练测试,极具高兼容性和稳定性

    集群的方式成为了必然的选择。   2023年底,摩尔线程推出首个全国产千卡千亿模型训练平台“
    的头像 发表于 06-11 07:50 3864次阅读
    <b class='flag-5'>国产</b><b class='flag-5'>千卡</b><b class='flag-5'>GPU</b><b class='flag-5'>集群</b><b class='flag-5'>完成</b>大模型训练测试,极具高兼容性和稳定性

    实现七家国产芯片DeepSeek适配

    近日,宣布了一个重大进展:其DeepSeek-R1、V3系列模型已成功适配并优化至壁仞、海光、摩尔
    的头像 发表于 02-13 16:04 507次阅读

    天数智合作突破千卡集群训练优化

    近日,天数智宣布达成深度合作,并在千卡
    的头像 发表于 01-21 14:31 655次阅读

    性能提升近一倍!壁仞科技携手,在千卡训练集群等领域取得技术新突破

    随着智能算力需求的倍增,到2024年,千卡算力集群已成为国内大模型训练的必备场景。壁仞科技,作为国内少数拥有原创训推一体架构的高端算力芯片厂商之一,与在AI算力市场具有重要影响力的
    发表于 11-05 18:45 1431次阅读
    性能提升近一倍!壁仞科技携手<b class='flag-5'>无</b><b class='flag-5'>问</b><b class='flag-5'>芯</b><b class='flag-5'>穹</b>,在<b class='flag-5'>千卡</b>训练<b class='flag-5'>集群</b>等领域取得技术新突破

    摩尔线程与羽人科技完成大语言模型训练测试

    近日,摩尔线程与羽人科技携手宣布,双方已成功实现夸娥(KUAE)千卡智算集群与羽人系列模型解决方案的训练兼容适配。在本次测试中,羽人科技通过摩尔
    的头像 发表于 08-27 16:19 723次阅读

    摩尔线程和乐创能源签署战略合作协议

    近日,摩尔线程和乐创能源签署了战略合作协议,双方将聚焦能源大模型的创新与应用,围绕新能源领域的电池、新能源发电、负荷管理、需求侧响应等产品技术方向,共同研发能源大模型。依托摩尔
    的头像 发表于 07-11 14:35 993次阅读

    发布千卡规模异构芯片混训平台

    在科技日新月异的今天,人工智能领域的每一次突破都引领着行业的新一轮变革。2024年世界人工智能大会AI基础设施论坛上,以其卓越的创新力和前瞻视野,再次成为全场瞩目的焦点。7月4
    的头像 发表于 07-08 14:27 1047次阅读

    摩尔线程全功能GPU加速三维GIS全国产解决方案

    的方案与实践,摩尔线程受邀参展。 此次展览,摩尔线程展示了基于国产空间智能软件技术SuperMap开发的最新成果——“
    的头像 发表于 06-27 18:15 1255次阅读

    摩尔线程与智谱AI完成大模型性能测试与适配

    近日,摩尔线程与智谱AI在人工智能领域开展了一轮深入的合作,共同对GPU大模型进行了适配及性能测试。此次测试不仅涵盖了大模型的推理能力,还涉及了基于
    的头像 发表于 06-14 16:40 1369次阅读

    摩尔线程与师者AI携手完成70亿参数教育AI大模型训练测试

    近日,国内知名的GPU制造商摩尔线程与全学科教育AI大模型“师者AI”联合宣布,双方已成功完成了一项重要的大模型训练测试。此次测试依托摩尔
    的头像 发表于 06-14 16:31 824次阅读

    摩尔线程和滴普科技完成大模型训练与推理适配

    近日,摩尔线程与滴普科技宣布了一项重要合作成果。摩尔线程的夸娥(KUAE)千卡智算
    的头像 发表于 05-30 10:14 736次阅读

    国产GPU可替代!摩尔线程千卡集群点亮新成就

    摩尔线程联合宣布,双方已经正式完成MT-i
    的头像 发表于 05-29 11:27 1071次阅读
    <b class='flag-5'>国产</b><b class='flag-5'>GPU</b>可替代!<b class='flag-5'>摩尔</b><b class='flag-5'>线程</b><b class='flag-5'>千卡</b><b class='flag-5'>集群</b>点亮新成就

    摩尔线程千卡智算集群与滴普企业大模型已完成训练及推理适配

    近日,摩尔线程与国内领先的数据智能服务商滴普科技共同宣布,摩尔线程夸娥(KUAE)千卡智算集群
    的头像 发表于 05-29 10:28 643次阅读
    <b class='flag-5'>摩尔</b><b class='flag-5'>线程</b><b class='flag-5'>千卡</b>智算<b class='flag-5'>集群</b>与滴普企业大模型已<b class='flag-5'>完成</b>训练及推理适配

    摩尔线程国产GPU上首次实现大模型实训

    近日,摩尔线程共同宣布,双方已正式完成基于
    的头像 发表于 05-27 10:59 854次阅读

    摩尔线程宣布完成基于GPU千卡集群的3B规模大模型实训

    摩尔线程联合宣布,双方已在本周正式完成基于
    的头像 发表于 05-27 10:44 681次阅读
    <b class='flag-5'>摩尔</b><b class='flag-5'>线程</b>与<b class='flag-5'>无</b><b class='flag-5'>问</b><b class='flag-5'>芯</b><b class='flag-5'>穹</b>宣布<b class='flag-5'>完成</b>基于<b class='flag-5'>GPU</b><b class='flag-5'>千卡</b><b class='flag-5'>集群</b>的3B规模大模型实训