0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

摩尔线程、无问芯穹合作完成国产全功能GPU千卡集群

微云疏影 来源:综合整理 作者:综合整理 2024-05-27 14:40 次阅读

近日,摩尔线程与无问芯穹共同披露,他们成功地完成了由国产全功能GPU——摩尔线程MTT S4000所构成的千卡集群驱动的大规模AI模型“MT-infini-3B”的训练工作,并使用无问芯穹的AI Studio PaaS平台进行构建。

据介绍,此项训练历时13.2天,过程稳定而有序,集群整体运行稳定性达到了100%。相较于单机训练,千卡集群的扩展效率提升了超过90%。

此次实训被誉为“充分证明了夸娥千卡智算集群在大模型训练中的可靠性,同时开创了国产大语言模型与国产GPU千卡智算集群深度合作的新模式”。

值得注意的是,经过此次实训,MT-infini-3B模型的性能在同类模型中名列前茅。在C-Eval、MMLU、CMMLU三个测试集中,其表现均优于其他在国际主流硬件上训练的模型。

无问芯穹的联合创始人兼CEO夏立雪表示,公司正致力于开发“M种模型”和“N种芯片”间的“MxN”中间层产品,以实现多种大模型算法在多元化芯片上的高效、统一部署。

他还透露,无问芯穹已与摩尔线程建立了深度战略合作关系,而本次“MT-infini-3B”的训练成果则是业内首例基于国产GPU芯片的从零开始到全面大模型实训的成功案例。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • gpu
    gpu
    +关注

    关注

    27

    文章

    4527

    浏览量

    127697
  • 语言模型
    +关注

    关注

    0

    文章

    478

    浏览量

    10175
  • 摩尔线程
    +关注

    关注

    1

    文章

    171

    浏览量

    4204
收藏 人收藏

    评论

    相关推荐

    国产千卡GPU集群完成大模型训练测试,极具高兼容性和稳定性

    集群的方式成为了必然的选择。   2023年底,摩尔线程推出首个全国产千卡千亿模型训练平台“
    的头像 发表于 06-11 07:50 2699次阅读
    <b class='flag-5'>国产</b><b class='flag-5'>千卡</b><b class='flag-5'>GPU</b><b class='flag-5'>集群</b><b class='flag-5'>完成</b>大模型训练测试,极具高兼容性和稳定性

    摩尔线程和乐创能源签署战略合作协议

    近日,摩尔线程和乐创能源签署了战略合作协议,双方将聚焦能源大模型的创新与应用,围绕新能源领域的电池、新能源发电、负荷管理、需求侧响应等产品技术方向,共同研发能源大模型。依托摩尔
    的头像 发表于 07-11 14:35 345次阅读

    发布千卡规模异构芯片混训平台

    在科技日新月异的今天,人工智能领域的每一次突破都引领着行业的新一轮变革。2024年世界人工智能大会AI基础设施论坛上,以其卓越的创新力和前瞻视野,再次成为全场瞩目的焦点。7月4
    的头像 发表于 07-08 14:27 415次阅读

    摩尔线程全功能GPU加速三维GIS全国产解决方案

    的方案与实践,摩尔线程受邀参展。 此次展览,摩尔线程展示了基于国产空间智能软件技术SuperMap开发的最新成果——“
    的头像 发表于 06-27 18:15 660次阅读

    摩尔线程与智谱AI完成大模型性能测试与适配

    近日,摩尔线程与智谱AI在人工智能领域开展了一轮深入的合作,共同对GPU大模型进行了适配及性能测试。此次测试不仅涵盖了大模型的推理能力,还涉及了基于
    的头像 发表于 06-14 16:40 623次阅读

    摩尔线程与师者AI携手完成70亿参数教育AI大模型训练测试

    近日,国内知名的GPU制造商摩尔线程与全学科教育AI大模型“师者AI”联合宣布,双方已成功完成了一项重要的大模型训练测试。此次测试依托摩尔
    的头像 发表于 06-14 16:31 338次阅读

    摩尔线程和滴普科技完成大模型训练与推理适配

    近日,摩尔线程与滴普科技宣布了一项重要合作成果。摩尔线程的夸娥(KUAE)千卡智算
    的头像 发表于 05-30 10:14 286次阅读

    国产GPU可替代!摩尔线程千卡集群点亮新成就

    摩尔线程联合宣布,双方已经正式完成MT-i
    的头像 发表于 05-29 11:27 420次阅读
    <b class='flag-5'>国产</b><b class='flag-5'>GPU</b>可替代!<b class='flag-5'>摩尔</b><b class='flag-5'>线程</b><b class='flag-5'>千卡</b><b class='flag-5'>集群</b>点亮新成就

    摩尔线程千卡智算集群与滴普企业大模型已完成训练及推理适配

    近日,摩尔线程与国内领先的数据智能服务商滴普科技共同宣布,摩尔线程夸娥(KUAE)千卡智算集群
    的头像 发表于 05-29 10:28 249次阅读
    <b class='flag-5'>摩尔</b><b class='flag-5'>线程</b><b class='flag-5'>千卡</b>智算<b class='flag-5'>集群</b>与滴普企业大模型已<b class='flag-5'>完成</b>训练及推理适配

    摩尔线程国产GPU上首次实现大模型实训

    近日,摩尔线程共同宣布,双方已正式完成基于
    的头像 发表于 05-27 10:59 416次阅读

    摩尔线程宣布完成基于GPU千卡集群的3B规模大模型实训

    摩尔线程联合宣布,双方已在本周正式完成基于
    的头像 发表于 05-27 10:44 267次阅读
    <b class='flag-5'>摩尔</b><b class='flag-5'>线程</b>与<b class='flag-5'>无</b><b class='flag-5'>问</b><b class='flag-5'>芯</b><b class='flag-5'>穹</b>宣布<b class='flag-5'>完成</b>基于<b class='flag-5'>GPU</b><b class='flag-5'>千卡</b><b class='flag-5'>集群</b>的3B规模大模型实训

    摩尔线程助力AI大模型训练与计算升级,共建美好数字化未来

    此外,在中关村国际技术交易大会高精尖技术产品首发会上,摩尔线程联合宣布,双方正致力于开
    的头像 发表于 04-28 16:42 669次阅读

    俄罗斯自主芯片遇挫,超半数成废片

    摩尔线程是第一家接入并成功完成千卡级别大模型
    的头像 发表于 04-02 10:27 317次阅读
    俄罗斯自主芯片遇挫,超半数成废片

    摩尔线程联手开启千亿大模型服务新篇章

    3月31日,AI算力优化论坛暨产品发布会在上海成功举办,重磅发布了“Infini-A
    的头像 发表于 04-01 11:11 421次阅读
    <b class='flag-5'>摩尔</b><b class='flag-5'>线程</b>与<b class='flag-5'>无</b><b class='flag-5'>问</b><b class='flag-5'>芯</b><b class='flag-5'>穹</b>联手开启千亿大模型服务新篇章

    燧原科技与签约宣布共同打造千卡集群案例

    3月31日,在举办的以“多元计算·泛在链接”为主题的AI算力优化论坛暨产品发布会上,燧原科技与
    的头像 发表于 04-01 10:48 544次阅读