0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

云天励飞DeepEdge10适配DeepSeek开源周“首个大招”:FlashMLA

AI机械姬 来源:AI机械姬 作者:AI机械姬 2025-02-27 11:06 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

2 月 24 日,DeepSeek"开源周"正式启动,并发布首个代码库FlashMLA,引发全球关注。

FlashMLA是针对英伟达Hopper GPU优化的高效MLA解码内核,专为可变长度序列优化设计,是DeepSeek高效使用算力的核心程序模块。FlashMLA通过MLA解码优化与分页KV缓存技术,显著提升硬件利用率,加速大语言模型解码过程,有效提高响应速度与吞吐量,适用于各种实时对话生成场景。

云天励飞芯片团队在FlashMLA开源后,迅速完成了DeepEdge10 平台与FlashMLA的适配工作。在适配过程中,云天励飞采用了Op fusion tiling、Online softmax、Double buffer、细粒度存算并行等先进技术,并基于自研的Triton-like编程语言快速开发验证了高效的FlashMLA算子。通过一系列优化,不仅显著提升了计算效率,还大幅降低了显存占用,充分展现了DeepEdge10 平台“算力积木”芯片架构的卓越优势,以及其与DeepSeek生态的高度契合性。

今日,云天励飞已将相关代码提交至开源平台Gitee,为开源AI贡献了重要的技术力量。

算子的源码地址为:

https://gitee.com/Intellifusion_2025/tyllm/blob/master/python/tylang/flash_mla.py

DeepEdge10 系列芯片是专门针对大模型时代打造的芯片,支持包括 Transformer 模型、BEV 模型、CV 大模型、LLM 大模型等各类不同架构的主流模型;基于自主可控的先进国产工艺打造,采用独特的“算力积木”架构,可灵活满足智慧城市、智慧交通、智能制造、智慧仓储、机器人、边缘智算中心等不同场景对算力的需求,为大模型推理提供强大动力。

wKgZPGe_1piAUBg0AAd-aDFnMzU838.png

目前,DeepEdge10 芯片平台已成功适配DeepSeek R1 系列模型及国产鸿蒙操作系统。未来,云天励飞将持续加大研发力度,推动芯片在国产化领域取得更大突破,为国产AI生态建设贡献更多力量。

审核编辑 黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 云天励飞
    +关注

    关注

    0

    文章

    187

    浏览量

    12703
  • DeepSeek
    +关注

    关注

    2

    文章

    861

    浏览量

    3472
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    云天完成DeepSeek-V4系列模型关键机制适配验证

    4月24日,DeepSeek-V4 系列模型发布。围绕该模型 CSA/HCA 混合注意力机制带来的新型计算需求,云天依托自研 GPNPU 架构及 IFWA 智能融合软件栈,通过 P
    的头像 发表于 04-30 17:09 5255次阅读

    云天中标湛江市AI渗透支撑新质生产力基础设施建设项目

    日前,云天中标湛江市AI渗透支撑新质生产力基础设施建设项目。根据项目规划,公司将基于自研国产AI推理加速卡,参与建设AI推理算力集群,并推动DeepSeek等国产大模型在相关应用场
    的头像 发表于 03-14 09:04 859次阅读

    国内首个国产AI推理千卡集群落地,采用云天全自研AI推理芯片

    3 月 12 日,云天中标湛江市AI渗透支撑新质生产力基础设施建设项目,中标金额4.2亿元。项目将基于云天
    发表于 03-12 11:10 1373次阅读

    云天正式举办大算力芯片战略前瞻会

    2月3日,云天正式举办“大算力芯片战略前瞻会”,首次对外公布未来三年的大算力 AI 推理芯片战略布局。
    的头像 发表于 02-06 17:23 3960次阅读

    云天DeepEdge10为星载计算提供支撑,搭载自研NNP400T

    电子发烧友网报道 近日云天表示,公司用DeepEdge10为深空探测实验室的自主可控星载计算提供支撑。DeepEdge10 基于自主可控
    的头像 发表于 01-21 11:49 6897次阅读

    云天中标AI龙岗一期1.22亿元项目

    日前,云天中标AI龙岗一期1.22亿元项目,将为龙岗区打造AI与机器人示范场景提供技术支撑,助力城市治理智能化水平持续提升。
    的头像 发表于 12-22 09:34 606次阅读

    AI教父Hinton对话云天陈宁

    在大模型步入深水区的当下,AI 的下一个临界点究竟在哪里?在 2025 GIS 全球创新峰会现场,深度学习奠基人、“AI 教父” Geoffrey Hinton 与云天董事长兼 CEO 陈宁
    的头像 发表于 12-03 14:04 908次阅读

    云天AI推理芯片如何赋能千行百业

    11月26日,云天会客厅第二期生态沙龙暨深商联高科技高成长创新营走进上市公司活动圆满举办。来自深圳科技领域的多位企业负责人齐聚云天,共同探讨AI推理时代的技术变革、产业机遇与落地挑
    的头像 发表于 12-03 13:58 825次阅读

    云天亮相2025中国具身智能机器人大会

    近日,在 2025 中国具身智能机器人大会上,云天副总裁罗忆从芯片厂商的视角出发,对具身智能产业的未来进行了深入剖析,并分享了公司在 AI 推理芯片与机器人应用场景方面的整体布局。
    的头像 发表于 11-25 11:26 1158次阅读

    云天与金蝶达成战略合作

    11月4日,在2025金蝶全球创见者大会上,云天与金蝶签署战略合作协议。
    的头像 发表于 11-05 18:09 1872次阅读

    云天携手合作伙伴共探AI产业新拐点

    10月17日,云天携手深圳市人工智能产业协会举办“智见未来·Agent时代的产业机遇”主题沙龙,邀请来自全国50余家企业高管齐聚深圳,共同探讨AI时代的新趋势、新挑战与新机遇。
    的头像 发表于 10-27 10:12 1113次阅读

    云天正式加入OISA生态

    近日,云天正式加入 OISA 生态,携手产业伙伴共同推动国产 AI 芯片互联体系建设,为中国算力生态注入新的动力。
    的头像 发表于 10-11 13:59 892次阅读

    云天亮相2025全球AI芯片峰会

    9 月 17 日,全球 AI 芯片峰会在上海举行,云天董事长兼 CEO 陈宁出席并发表演讲。
    的头像 发表于 09-17 17:56 1625次阅读

    云天亮相SEMI-e 2025深圳国际半导体展

    9月10日,SEMI-e深圳国际半导体展暨2025集成电路产业创新展在深圳举行。云天受邀出席同期举办的“端侧AI芯片新架构与新应用专题研讨会”并发表主题演讲。
    的头像 发表于 09-12 14:31 1920次阅读

    云天飞出席2025亚布力论坛创新年会

    近日,2025 亚布力论坛第十一届创新年会在杭州开幕,云天董事长兼 CEO 陈宁博士受邀出席,分享了他对未来 AI 产业化发展的趋势研判。
    的头像 发表于 07-10 11:36 1413次阅读