0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

摩尔线程与无问芯穹宣布完成基于GPU千卡集群的3B规模大模型实训

摩尔线程 来源:摩尔线程 2024-05-27 10:44 次阅读

摩尔线程联合无问芯穹宣布,双方已在本周正式完成基于国产全功能GPU千卡集群的3B规模大模型实训。该模型名为“MT-infini-3B”,在摩尔线程夸娥(KUAE)千卡智算集群与无问芯穹AIStudio PaaS平台上完成了高效稳定的训练。

本次实训充分验证了夸娥千卡智算集群在大模型训练场景下的可靠性,同时也在行业内率先开启了国产大语言模型与国产GPU千卡智算集群深度合作的新范式。

MT-infini-3B模型训练总用时13.2天,经过精度调试,实现全程稳定训练不中断,集群训练稳定性达到100%,千卡训练和单机相比扩展效率超过90%。目前,实训出来的MT-infini-3B性能在同规模模型中跻身前列,相比在国际主流硬件上训练而成的其他模型,在C-Eval,MMLU,CMMLU等3个测试集上均实现性能领先。

0bb4d878-1a48-11ef-b74b-92fbcf53809c.png

MT-infini-3B性能表现

无问芯穹联合创始人兼CEO夏立雪表示:“国内大模型与国产芯片的软硬件协同发展,最终目标是构建一个成熟的生态系统。无问芯穹正在打造‘M种模型’和‘N种芯片’间的‘M×N’中间层产品,实现多种大模型算法在多元芯片上的高效、统一部署。摩尔线程是第一家接入无问芯穹并进行千卡级别大模型训练的国产GPU公司,而‘MT-infini-3B’的训练是行业内首次实现基于国产GPU芯片从0到1的端到端大模型实训案例。”

摩尔线程创始人兼CEO张建中表示:“无问芯穹在夸娥千卡智算集群上实现的从零开始的大模型训练,不仅是对摩尔线程技术实力的有力认证,更是实现了国内大模型训练的国产化闭环。摩尔线程夸娥千卡智算集群以全功能GPU为底座,提供软硬一体化的全栈解决方案,具备高兼容性、高稳定性、高扩展性等综合优势,我们致力于成为AGI时代大模型训练坚实可靠的先进基础设施。”

此前,摩尔线程与无问芯穹已达成深度战略合作。无问芯穹大模型开发与服务平台“无穹Infini-AI”和摩尔线程大模型智算千卡集群夸娥已完成系统级融合适配,该平台可以灵活调用夸娥的集群能力以完成大模型的训练、微调与推理任务。未来,双方还将开展更多适配与测试,推动国产大模型技术的快速发展与应用普及,为中国人工智能产业的蓬勃发展贡献力量。



审核编辑:刘清

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • GPU芯片
    +关注

    关注

    1

    文章

    303

    浏览量

    5714
  • 摩尔线程
    +关注

    关注

    1

    文章

    171

    浏览量

    4204
  • 大模型
    +关注

    关注

    2

    文章

    1975

    浏览量

    1568

原文标题:摩尔线程携手无问芯穹:基于夸娥千卡智算集群的“MT-infini-3B”大模型实训已完成

文章出处:【微信号:moorethreads,微信公众号:摩尔线程】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    国产千卡GPU集群完成模型训练测试,极具高兼容性和稳定性

    集群的方式成为了必然的选择。   2023年底,摩尔线程推出首个全国产千卡千亿模型训练平台“
    的头像 发表于 06-11 07:50 2699次阅读
    国产<b class='flag-5'>千卡</b><b class='flag-5'>GPU</b><b class='flag-5'>集群</b><b class='flag-5'>完成</b>大<b class='flag-5'>模型</b>训练测试,极具高兼容性和稳定性

    发布千卡规模异构芯片混平台

    在科技日新月异的今天,人工智能领域的每一次突破都引领着行业的新一轮变革。2024年世界人工智能大会AI基础设施论坛上,以其卓越的创新力和前瞻视野,再次成为全场瞩目的焦点。7月4
    的头像 发表于 07-08 14:27 415次阅读

    摩尔线程与智谱AI完成模型性能测试与适配

    近日,摩尔线程与智谱AI在人工智能领域开展了一轮深入的合作,共同对GPU模型进行了适配及性能测试。此次测试不仅涵盖了大模型的推理能力,还涉
    的头像 发表于 06-14 16:40 623次阅读

    摩尔线程与师者AI携手完成70亿参数教育AI大模型训练测试

    近日,国内知名的GPU制造商摩尔线程与全学科教育AI大模型“师者AI”联合宣布,双方已成功完成
    的头像 发表于 06-14 16:31 339次阅读

    摩尔线程和滴普科技完成模型训练与推理适配

    近日,摩尔线程与滴普科技宣布了一项重要合作成果。摩尔线程的夸娥(KUAE)千卡智算
    的头像 发表于 05-30 10:14 288次阅读

    国产GPU可替代!摩尔线程千卡集群点亮新成就

    摩尔线程联合宣布,双方已经正式
    的头像 发表于 05-29 11:27 421次阅读
    国产<b class='flag-5'>GPU</b>可替代!<b class='flag-5'>摩尔</b><b class='flag-5'>线程</b><b class='flag-5'>千卡</b><b class='flag-5'>集群</b>点亮新成就

    摩尔线程千卡智算集群与滴普企业大模型完成训练及推理适配

    近日,摩尔线程与国内领先的数据智能服务商滴普科技共同宣布摩尔线程夸娥(KUAE)千卡智算
    的头像 发表于 05-29 10:28 250次阅读
    <b class='flag-5'>摩尔</b><b class='flag-5'>线程</b><b class='flag-5'>千卡</b>智算<b class='flag-5'>集群</b>与滴普企业大<b class='flag-5'>模型</b>已<b class='flag-5'>完成</b>训练及推理适配

    摩尔线程合作完成国产全功能GPU千卡集群

    据介绍,此项训练历时13.2天,过程稳定而有序,集群整体运行稳定性达到了100%。相较于单机训练,千卡集群的扩展效率提升了超过90%。
    的头像 发表于 05-27 14:40 413次阅读

    摩尔线程在国产GPU上首次实现大模型

    近日,摩尔线程共同宣布,双方已正式
    的头像 发表于 05-27 10:59 416次阅读

    摩尔线程携手憨猴集团,深化AI算力战略合作,成功实现大模型分布式训练

    摩尔线程与憨猴科技集团日前宣布,采用搭载摩尔线程的夸娥(KUAE)千卡智算
    的头像 发表于 05-17 17:24 433次阅读

    摩尔线程携手憨猴集团,共同探索国产AI算力的新应用场景与落地实践

    摩尔线程与憨猴科技集团有限公司(简称:憨猴集团)近日宣布,基于摩尔线程的夸娥(KUAE)千卡智算
    的头像 发表于 05-17 15:08 267次阅读

    摩尔线程助力AI大模型训练与计算升级,共建美好数字化未来

    此外,在中关村国际技术交易大会高精尖技术产品首发会上,摩尔线程联合
    的头像 发表于 04-28 16:42 669次阅读

    俄罗斯自主芯片遇挫,超半数成废片

    摩尔线程是第一家接入并成功完成千卡级别大
    的头像 发表于 04-02 10:27 317次阅读
    俄罗斯自主芯片遇挫,超半数成废片

    摩尔线程联手开启千亿大模型服务新篇章

    3月31日,AI算力优化论坛暨产品发布会在上海成功举办,重磅发布了“
    的头像 发表于 04-01 11:11 421次阅读
    <b class='flag-5'>摩尔</b><b class='flag-5'>线程</b>与<b class='flag-5'>无</b><b class='flag-5'>问</b><b class='flag-5'>芯</b><b class='flag-5'>穹</b>联手开启千亿大<b class='flag-5'>模型</b>服务新篇章

    燧原科技与签约宣布共同打造千卡集群案例

    3月31日,在举办的以“多元计算·泛在链接”为主题的AI算力优化论坛暨产品发布会上,燧原科技与
    的头像 发表于 04-01 10:48 544次阅读