近日,飞腾腾云S5000C和飞腾腾锐D3000成功实现对DeepSeek全系列大模型的端到端支持,覆盖数据中心和终端场景,本地部署的推理效率与国外同类产品架构解决方案相当。
近年来,飞腾积极拥抱AI浪潮,致力于推动国产芯片与AI技术的深度融合,去年7月,飞腾携手生态伙伴打造并发布了 全栈国产化智算中心解决方案,为众多行业提供从端到云的智能化算力服务。2024年,DeepSeek-V2.5 234B大模型便已在飞腾腾云S5000C平台成功实现稳定运行。基于飞腾腾云S5000C的设备搭配8块国产AI卡,其整体性能可达到国外平台性能的80%左右,已支撑行业用户在项目中使用。
今年春节期间,DeepSeek发布了最新的DeepSeek-V3和R1版本后,凭借其卓越的性能和极高的性价比,迅速成为科技领域的焦点,为开发者和企业提供了更高效、更灵活的私有化部署解决方案。飞腾技术团队第一时间在AI实验室进行了其在飞腾腾云S5000C平台和飞腾腾锐D3000上本地部署验证,形成整体解决方案,助力用户构建端到端国产平台DeepSeek大模型智算环境。
在数据中心侧,基于飞腾腾云S5000C的服务器可以与多款AI加速卡配合实现DeepSeek蒸馏版和全量版部署。飞腾AI实验室在单机8卡服务器平台已进行蒸馏版DeepSeek-R1-Distill-Llama-70B版本测试,实测推理速度可达到22tokens/s,本地部署的推理效率与国外同类产品架构解决方案相当。完整版DeepSeek R1 671B模型采用分布式推理框架,基于四机32卡AI服务器集群运行可部署成功,为企业级私有化部署提供完善的软硬件解决方案。
在用户终端侧,基于飞腾腾锐D3000的台式机可以本地部署DeepSeek-R1 7B蒸馏版模型,搭配1张国产推理卡,实现AI PC能力,助力用户建立安全可靠的本地知识助手。
飞腾平台已实现端到端支持DeepSeek全系列、众多开源和国产头部大模型的本地化部署,为企业级和个人应用提供全国产化、软硬一体、性价比高、安全、开放的全栈解决方案,与行业客户和生态伙伴一同助力行业的数字化转型和智能化升级!
-
飞腾CPU
+关注
关注
0文章
12浏览量
2009 -
DeepSeek
+关注
关注
1文章
798浏览量
1747
原文标题:飞腾CPU × DeepSeek大模型,双芯加持全系列稳跑
文章出处:【微信号:TJ_PHYTIUM,微信公众号:Phytium飞腾】欢迎添加关注!文章转载请注明出处。
发布评论请先 登录
飞腾助力“疆电入渝”首批机组投产发电
如何基于Android 14在i.MX95 EVK上运行Deepseek-R1-1.5B和性能
RK3588开发板上部署DeepSeek-R1大模型的完整指南
源诚技术M720智能模组成功运行DeepSeek模型
添越智创基于 RK3588 开发板部署测试 DeepSeek 模型全攻略
了解DeepSeek-V3 和 DeepSeek-R1两个大模型的不同定位和应用选择
飞腾CPU成功支持DeepSeek全系列大模型
中软国际科创中心上线DeepSeek模型
龙芯3号CPU成功运行DeepSeek R17B模型
在龙芯3a6000上部署DeepSeek 和 Gemma2大模型
龙芯处理器成功运行DeepSeek大模型

云天励飞上线DeepSeek R1系列模型

评论