0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

畅享DeepSeek自由,忆联高性能CSSD为端侧大模型加速

全球TMT 来源:全球TMT 作者:全球TMT 2025-03-13 15:35 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

深圳2025年3月13日/美通社/ -- 当下,开源大模型DeepSeek凭借其强大的语言理解和生成能力,已成为全民追捧的AI工具。无论是文案创作还是代码编写,只需"DeepSeek一下"即可轻松解决。然而,随着用户访问量的激增,服务器无响应、等待时间长等问题也屡见不鲜。一时间,能够离线运行,且更具隐私性的DeepSeek端侧部署也成为新风向。

本地部署虽具备诸多优点,但对电脑的硬件配置却有一定的要求。大模型包含大量参数,即使是蒸馏过的小模型,模型大小也动辄几十GB甚至上百GB。电脑除了需要CPUGPU能够高效运行之外,一款高性能的SSD也必不可少。忆联AM541搭载新一代Jaguar6020主控,内置高容量SRAM及IO加速模块,顺序读取速度高达7000 MB/s,能够轻松应对DeepSeek大模型加载等高负载场景,为用户提供流畅的使用体验,让用户真正实现"DeepSeek自由"。

适配度100%,大模型首次加载丝滑流畅

在DeepSeek本地加载运行过程中,SSD是整个数据流的第一棒。当DeepSeek完成本地部署后,模型文件即保存在SSD中。当用户加载模型时,会先将大模型文件从SSD读取到系统内存中,再由内存中转传输到显存,由GPU进行推理运算。因此,SSD的性能越好,就能越快将数据传输到GPU进行计算,体现在实际应用中就是大模型的加载时间越短。

wKgZO2fSiraAOzFnAABPs3KgOBI535.jpg


加载大模型时数据流方式

为了验证忆联AM541的性能及场景适配度,我们通过Ollama模型框架在本地部署了Deepseek-R1 8B模型,采用忆联AM541 1TB SSD及国内友商1TB A产品搭配GeForce RTX 3060 Ti 显卡,在同等环境下进行了模型加载测试。

wKgZPGfSiraALYQAAAAxHQEAfWQ359.jpg


系统配置

wKgZO2fSireAYhIYAAB5Av61IkI537.jpg


大模型加载时SSD状态(见右侧图)

测试结果显示,搭载AM541的PC在加载大模型时表现出色,首次加载时间(最快)仅为2.486秒,领先国内一线SSD厂商同类产品约9%。这一成绩充分体现了AM541对DeepSeek等高负载应用100%适配,能够为用户带来更加流畅的使用体验。

wKgZPGfSireATgnaAABumCHk6Hw084.jpg


顺序读突破7GB/s,硬核性能助力用户畅享"DeepSeek自由"

更短加载时间背后,反映的是SSD更高的性能及更加灵活的场景适应性。得益于SoC内置的加速模块,AM541的标称顺序读写速度达到了7000 MB/s、5600 MB/s ,4KB随机读写速度可达800K IOPS、800K IOPS。从DeepSeek加载时的pattern解析来看,AM541性能波峰接近7GB/s,这与其标称的性能高度吻合。

AM541缘何更快?测试人员进一步对加载过程进行了trace解析,发现模型加载过程主要以大size命令的低QD顺序读为主,而AM541自带的Big SRAM策略及延迟控制机制在处理此类命令时优势明显,使得大模型加载时间大幅领先友商。

此外,经测试发现,当大模型在搭载AM541的电脑上完成首次加载后,模型文件即被DRAM缓存,因此当设备Idle后再次加载时,模型文件可以直接从DRAM传输到VRAM,加载时间比首次更快,真正将DeepSeek变为用户的"私人工具",随时畅享"DeepSeek自由"。

拥抱大模型,忆联为AI生态持续助力

随着AI本地化趋势的加速,DeepSeek一体机等终端设备也逐渐普及。在消费电子领域,已有主流 PC厂商将DeepSeek大模型嵌入AIPC中,多款手机也开始发力AI大模型。未来,个人电脑、手机等终端设备极有可能会搭载多种大模型,甚至各种行业应用也会接入大模型。面对不同参数规模的AI模型,以及不同模型频繁切换带来的高频读写过程,SSD不仅要有足够大的容量,同时对SSD的全面性能及稳定性都是一种考验。

依托硬件加速及先进的软件算法,AM541不仅在低QD Latency上具备优势,在多种混合读写中均有出色表现,可轻松应对多应用场景。

在PCMark10测试中,AM541跑分超过了3700,比友商同类产品A高出约300分,在办公、游戏、内容创作等多个场景中性能领先,其中,在常见的数字内容创作中,AM541平均比友商同类产品快10.5%。

wKgZO2fSiriAPSD4AABdenmcsEA782.jpg


AI浪潮奔涌不停,技术创新日新月异,作为底层硬件支撑,SSD在AI本地化进程中扮演着关键角色。忆联AM541凭借其硬核性能,不仅为DeepSeek大模型的本地化部署提供了高效解决方案,也为用户带来了前所未有的使用体验。未来,忆联将紧跟行业趋势,聚焦端侧大模型的技术痛点,推进技术创新与产品迭代,为AI生态的繁荣发展提供持续动能。


审核编辑 黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • CSSD
    +关注

    关注

    0

    文章

    11

    浏览量

    6753
  • 大模型
    +关注

    关注

    2

    文章

    3750

    浏览量

    5268
  • DeepSeek
    +关注

    关注

    2

    文章

    837

    浏览量

    3392
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    AM6D1以DRAMLess架构重塑性能与成本平衡

    随着PCIe 5.0 SSD逐渐普及,如何在极致性能与成本控制间取得平衡,成为存储厂商的核心攻坚课题。洞察趋势,推出行业领先的DRAMLess PCIe5.0 SSD—— AM6D1,通过创新架构与底层算法优化,兼顾
    的头像 发表于 03-05 16:07 991次阅读
    <b class='flag-5'>忆</b><b class='flag-5'>联</b>AM6D1以DRAMLess架构重塑<b class='flag-5'>性能</b>与成本平衡

    英特尔与重磅推出企业级网络存储解决方案

    应对AI大模型时代多元化的存储挑战与存算分离部署需求,英特尔与基于既有合作成果,再度深化协同创新。依托RDMA与NVMe硬件技术,结合SPDK
    的头像 发表于 02-02 09:14 1246次阅读
    英特尔与<b class='flag-5'>忆</b><b class='flag-5'>联</b>重磅推出企业级网络存储解决方案

    借助谷歌LiteRT构建下一代高性能AI

    ) 框架。虽然 TFLite 传统机器学习设定了标准,但我们的使命是让开发者能够像过去集成传统机器学习一样,无缝地在设备
    的头像 发表于 01-30 11:23 3090次阅读
    借助谷歌LiteRT构建下一代<b class='flag-5'>高性能</b><b class='flag-5'>端</b><b class='flag-5'>侧</b>AI

    引领模型落地!Firefly-RK182X 开发套件上线发售

    。Rockchip全新高性能模型协处理器RK182X,以硬核技术突破瓶颈,重构智能格局
    的头像 发表于 11-26 16:33 2658次阅读
    引领<b class='flag-5'>端</b><b class='flag-5'>侧</b>大<b class='flag-5'>模型</b>落地!Firefly-RK182X 开发套件上线发售

    广和通发布侧目标检测模型FiboDet

    提升设备视觉感知与决策能力,广和通全自研侧目标检测模型FiboDet应运而生。该模型基于
    的头像 发表于 09-26 13:39 1714次阅读

    英特尔Gaudi 2E AI加速DeepSeek-V3.1提供加速支持

    英特尔® Gaudi 2EAI加速器现已为DeepSeek-V3.1提供深度优化支持。凭借出色的性能和成本效益,英特尔Gaudi 2E以更低的投入、更高的效率,实现从模型训练的深度突破
    的头像 发表于 08-26 19:18 3265次阅读
    英特尔Gaudi 2E AI<b class='flag-5'>加速</b>器<b class='flag-5'>为</b><b class='flag-5'>DeepSeek</b>-V3.1提供<b class='flag-5'>加速</b>支持

    华为CANN与智谱GLM模型完成适配

    已于7月28日正式开源其新一代基座模型GLM-4.5,其GLM模型已完成与CANN的适配。这标志着国产大模型与计算架构在
    的头像 发表于 08-11 11:00 2742次阅读

    模型迎来“轻”革命!移远通信 × RWKV 打造“轻量AI大脑”

    (WAIC)首次亮相,标志着模型解决方案向更高性能、更广场景的应用迈出关键一步。RWKV(ReceptanceWeightedKeyValue)是全球领先的RN
    的头像 发表于 07-27 19:02 1127次阅读
    <b class='flag-5'>端</b><b class='flag-5'>侧</b>大<b class='flag-5'>模型</b>迎来“轻”革命!移远通信 × RWKV 打造“轻量AI大脑”

    终于有人把模型说清楚了

    最近总听到"模型"这个词,感觉很高大上,但到底是什么意思?和我们平时用的ChatGPT、DeepSeek各种大模型有什么区别?今天就来
    的头像 发表于 07-24 12:03 2601次阅读
    终于有人把<b class='flag-5'>端</b><b class='flag-5'>侧</b>大<b class='flag-5'>模型</b>说清楚了

    【「DeepSeek 核心技术揭秘」阅读体验】+混合专家

    -V3的版本区别, 深入了解Deepseek的技术细节,快速掌握大模型领域的前沿知识,洞察对行业应用的影响,提升自身在该领域的专业水平和竞争力。 本书流程非常清晰,先认识Deepseek性能
    发表于 07-22 22:14

    【「DeepSeek 核心技术揭秘」阅读体验】书籍介绍+第一章读后心得

    模型圈子,其多项性能超过了当时处于领先地位的ChatGPT 4,也证明了不需要高昂的费用也能训练出优质大模型。这激起了我的好奇心,借着这次机会好好阅读一下DeepSeek的核心技术。
    发表于 07-17 11:59

    英特尔Benchmark验证!UH812a问鼎PCIe Gen5企业级存储性能巅峰

    达3538K,延迟改善43%,多盘扩展性能线性增长至230GB/s。通过全场景验证,UH812a展现了卓越的稳定性与扩展性,标志着与英特尔在数据中心存储领域的深度合作成果,将加速
    的头像 发表于 07-07 16:33 871次阅读
    英特尔Benchmark验证!<b class='flag-5'>忆</b><b class='flag-5'>联</b>UH812a问鼎PCIe Gen5企业级存储<b class='flag-5'>性能</b>巅峰

    广和通加速通义千问Qwen3在全面落地

    6月,广和通宣布:率先完成通义千问Qwen3系列混合推理模型在高通QCS8550平台的适配部署。广和通通过定制化混合精度量化方案与创新硬件加速算法,成功突破Qwen3新型架构在边缘
    的头像 发表于 06-25 15:35 1322次阅读

    【书籍评测活动NO.62】一本书读懂 DeepSeek 全家桶核心技术:DeepSeek 核心技术揭秘

    的学生,已成长解题高手。 上述过程还揭示了一个少有人注意的基本原则,那就是要让模型自由地思考。在许多 AI实验中,模型的结构约束越少,则当计算资源增加时,最终
    发表于 06-09 14:38

    讯飞星辰MaaS平台实现高性能DeepSeek V3上线

    DeepSeek模型代表的MoE技术路线,正不断突破通用大模型的效果上限。其创新的PD优化与大EP推理方案,推动大模型迈向“
    的头像 发表于 06-04 10:15 1490次阅读