0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

显存也能叠叠乐,双 Intel Arc A770 显卡低成本部署 DeepSeek R1 32B 蒸馏模型体验

looger123 来源:looger123 作者:looger123 2025-03-18 12:06 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

今年春节后,DeepSeek R1 风暴般地席卷全国,小到手机 App,大到新能源汽车,似乎一夜间所有产品都接入了 DeepSeek R1。不得不说 DeepSeek R1 确实好用,对笔者这种编辑来说,从大纲到审阅,效率有着极大的提升。不过,官方满血版的 DeepSeek R1 虽然好用,但会经常“掉线”,平均一个小时只能使用一次。第三方的满血 DeepSeek R1 很少掉线,但涉及隐私或保密数据时,大家并不放心上传云端。

于是,很多人萌生自己搭建 DeepSeek R1 的想法。然而满血版的 DeepSeek R1 模型体积足足有 404GB,远超一般消费级显卡的显存。即使 32B 的蒸馏模型体积也有 20GB。这就对显卡的性能提出了较高的要求。例如,32GB 显存的英伟达 RTX 5090 D 公版官方售价为 16999 元,但实际上要多花一万多元才能买到。

一、配置与部署

那么,有没有什么经济实惠且效果不错的方案呢?聪明的你想到让多张显卡协同工作,不过 AMD 目前的新显卡已经不支持交火了,英伟达的 SLI 技术也不支持显存叠加,而 Intel 的 Arc 显卡不仅支持交火,并且显存也可以叠加,价格也很实惠,两张 Arc A770 16GB 价格 3600 元左右,就可获得 32GB 的大现存。IT之家这次尝试使用两张蓝戟 Intel Arc A770 Photon 16G OC 进行交火,来配置 DeepSeek R1 32B 的蒸馏模型。其具体配置如下图:

wKgZPGfY8SqASvLfAABwDQSsQ1c41.jpeg

Intel Arc A770 有 8G 和 16GB 两个版本,我们选择的蓝戟 Intel Arc A770 Photon 16G OC 配备 16GB GDDR6 显存,显存带宽可达 512GB/s,其拥有 32 个 Xe 核心,最高频率 2400Mhz。

wKgZO2fY8SqAdRY8AABqVPLigOo29.jpeg

因为是双卡方案,所以需要留意主板与电源的配置,主板至少需要有两个 PCIe 显卡插槽,并且每个插槽必须支持 PCIe 4.0 x8 的传输速率。电源方面,单张蓝戟 Intel Arc A770 Photon 16G OC 的 TBP 为 285W,两张显卡的功耗就要接近 600W。为了保证系统的稳定,我们选择了海韵的 1300W 电源进行测试,这款电源不仅能满足功率需求,还能满足两张显卡所需的 4 个 PCIe 8Pin 接口。模型我们选择通过使用 IPEX-LLM 部署在 Linux 上,相比 Window 系统效率会更高一些。

wKgZPGfY8SqAWrdgAABdO7eJe3E40.jpeg

搭建结束后,我们用另一台电脑局域网访问后端,在操作时尽量不使用测试电脑进行截图录屏,避免无关操作对 GPU 的占用。

wKgZO2fY8SuAXfFPAABFDw2JMvQ10.jpeg

二、性能与效果

因为是 32B 的模型,所以我们直接上强度,让模型帮我们写一个 HTML 小游戏。我们首先对模型进行提问:

请用 html 写个贪吃蛇游戏的代码,需要包含以下功能:

•使用键盘上的上下左右箭头键控制蛇的移动方向。

•蛇会自动向前移动,并在吃到红色的食物时增长并增加得分。

•当蛇碰到墙壁或自己时,游戏结束并显示得分。

•点击“重新开始”按钮可以重置游戏并重新开始。

游戏规则:

•蛇不能碰到墙壁或自己,否则游戏结束。

•每吃一个食物,得分增加 10 分。

•食物不会出现在蛇的身体上。

DeepSeek R1 开始分析问题并生成代码,此时两张 Arc A770 显卡的风扇全力运转,后端显示 Avg Generation Throughput 可以稳定在 26 tokens / s 以上。对比之下,单张 RTX 5090 D 运行 32B 模型的性能大约为 46 tokens / s,而官方不到两成的价格却得到了五成以上的性能,这个表现还是很让人惊喜的。

wKgZPGfY8SuAKM97AADOEl3IYJo88.jpeg

生成后的 HTML 小游戏可以直接预览运行,我发现操作有冲突,按上下方向键会滚动网页。

wKgZO2fY8SuAHQrhAAN5HM-_qI8714.gif

于是我提出对代码进行修改,要求用 A、S、D、W 来代替方向键。DeepSeek R1 很精准的理解了我的需求,并完成了修改。

wKgZPGfY8SyAOvnbAABPpDqY6DA41.jpeg

随后,我要求生成更为复杂的俄罗斯方块 HTML 代码,虽说参数量只有 32B,但 DeepSeek R1 所生成的游戏同样很完善,几乎没有什么 Bug。

wKgZO2fY8SyAYhfxAASrughOLYg746.gif

说到 AI 大模型的逻辑能力测试,那肯定绕不开弱智吧经典问答。我们选择了两个问题对双 A770 搭建的 DeepSeek R1 进行测试:

1、神父去世是离职还是升职?

这种让人一愣的问题 32B 的 DeepSeek R1 也能从现实与信仰两种角度出发给出分析与解释。可以看出 32B 模型的逻辑能力还是很强的,有着极高的可用性。

wKgZPGfY8SyALvFxAABxxNwJIBo96.jpeg

2、变形金刚应该交车险还是人险?

面对二选一的提问,32B 的 DeepSeek R1 并没有死板的做出选择,其理解了变形金刚不同形态的特征给出了两种保险都买的绝佳选择。

wKgZO2fY8S2APLXAAAB7QebVhAY92.jpeg

总结:

从测试结果来看,两张 Intel Arc A770 16GB 显卡(总计 3600 元)组成的双卡部署 DeepSeek R1 蒸馏模型的方案确实经济实惠。通过 IPEX-LLM 工具在 Linux 系统上部署,测试显示双 A770 显卡能稳定运行 32B 模型,生成 HTML 小游戏和处理复杂问题时表现优异,平均吞吐量达 26 tokens / s,有着不错的性价比。总体而言,A770 双卡低成本部署 DeepSeek 32B 兼具成本、性能和数据隐私优势,适合中小企业和个人开发者。

审核编辑 黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 英特尔
    +关注

    关注

    61

    文章

    10326

    浏览量

    181107
  • 显卡
    +关注

    关注

    17

    文章

    2523

    浏览量

    71722
  • 显存
    +关注

    关注

    0

    文章

    112

    浏览量

    14116
  • DeepSeek
    +关注

    关注

    2

    文章

    855

    浏览量

    3409
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    如何在ZYNQ本地部署DeepSeek模型

    一个将最小号 DeepSeek 模型部署到 AMD Zynq UltraScale+ MPSoC 处理系统的项目。
    的头像 发表于 12-19 15:43 7842次阅读
    如何在ZYNQ本地<b class='flag-5'>部署</b><b class='flag-5'>DeepSeek</b><b class='flag-5'>模型</b>

    基于合众恒跃rk3576 开发板deepseek-r1-1.5b/7b 部署指南

      核心结论:部署流程分为 5 大核心步骤,依次为基础环境安装、模型下载、模型格式转换、部署程序编译、开发板运行测试,1.5b 
    的头像 发表于 12-09 07:08 745次阅读
    基于合众恒跃rk3576 开发板<b class='flag-5'>deepseek-r1-1.5b</b>/7<b class='flag-5'>b</b> <b class='flag-5'>部署</b>指南

    DeepSeek模型如何在云服务器上部署

    随着大型语言模型(LLM)的应用日益普及,许多开发者和企业希望将像DeepSeek这样的优秀模型部署到自己的云服务器上,以实现私有化、定制化服务并保障数据安全。本文将详细阐述
    的头像 发表于 10-13 16:52 1161次阅读

    广和通成功部署DeepSeek-R1-0528-Qwen3-8B模型

    近日,广和通在MediaTek MT8893平台上成功部署并运行了DeepSeek-R1-0528-Qwen3-8B模型,显著提升了端侧AI设备的处理效率与智能化水平,特别是在本地化复杂
    的头像 发表于 09-26 13:35 995次阅读

    DeepSeek R1 MTP在TensorRT-LLM中的实现与优化

    。我们在之前的博客[1] 中介绍了 DeepSeek-R1 模型实现超低推理延迟的关键优化措施。本文将深入探讨 TensorRT-LLM 中的 MTP 实现与优化。
    的头像 发表于 08-30 15:47 4712次阅读
    <b class='flag-5'>DeepSeek</b> <b class='flag-5'>R1</b> MTP在TensorRT-LLM中的实现与优化

    如何在NVIDIA Blackwell GPU上优化DeepSeek R1吞吐量

    开源 DeepSeek R1 模型的创新架构包含多头潜在注意力机制 (MLA) 和大型稀疏混合专家模型 (MoE),其显著提升了大语言模型
    的头像 发表于 08-12 15:19 4508次阅读
    如何在NVIDIA Blackwell GPU上优化<b class='flag-5'>DeepSeek</b> <b class='flag-5'>R1</b>吞吐量

    速看!EASY-EAI教你离线部署Deepseek R1模型

    1.Deepseek简介DeepSeek-R1,是幻方量化旗下AI公司深度求索(DeepSeek)研发的推理模型DeepSeek-R1采用
    的头像 发表于 07-25 15:22 1586次阅读
    速看!EASY-EAI教你离线<b class='flag-5'>部署</b><b class='flag-5'>Deepseek</b> <b class='flag-5'>R1</b>大<b class='flag-5'>模型</b>

    【VisionFive 2单板计算机试用体验】3、开源大语言模型部署

    可以看到有个进度条在拉取0.6B的Qwen模型。当然可以拉去deepseek模型,如下: ./ollama run
    发表于 07-19 15:45

    【「DeepSeek 核心技术揭秘」阅读体验】书籍介绍+第一章读后心得

    提升,达到 60TPS。 从书上得知,DeepSeek-V3的训练成本只需五百万美元,堪比AI领域的拼多多。而且其准确率在某几项评测指标上达到了不错的水平 DeepSeek
    发表于 07-17 11:59

    Arm Neoverse N2平台实现DeepSeek-R1满血版部署

    颇具优势。Arm 携手合作伙伴,在 Arm Neoverse N2 平台上使用开源推理框架 llama.cpp 实现 DeepSeek-R1 满血版的部署,目前已可提供线上服务。
    的头像 发表于 07-03 14:37 1438次阅读
    Arm Neoverse N2平台实现<b class='flag-5'>DeepSeek-R1</b>满血版<b class='flag-5'>部署</b>

    【书籍评测活动NO.62】一本书读懂 DeepSeek 全家桶核心技术:DeepSeek 核心技术揭秘

    DeepSeek-V3 的发布几乎没有预热和炒作,仅凭借其出色的效果和超低的成本迅速走红。 DeepSeek-R1 则是在 DeepSeek-V3 的基础上构建的推理
    发表于 06-09 14:38

    DeepSeek开源新版R1 媲美OpenAI o3

    ;还有一些网友的实测评价都显示, DeepSeek新版R1 的性能可以媲美OpenAI最新的o3模型高版本。妥妥的超高性价比的平替。 此外,关于DeepSeek
    的头像 发表于 05-29 11:23 1517次阅读

    铭瑄在COMPUTEX 2025上发布Intel Arc Pro B60 Dual 48G Turbo显卡

    台北 2025年5月22日 /美通社/ -- 铭瑄在2025 台北国际电脑展(COMPUTEX 2025)上展示了其最新突破性产品——MAXSUN Intel Arc Pro B60 Dual
    的头像 发表于 05-22 13:56 1253次阅读
    铭瑄在COMPUTEX 2025上发布<b class='flag-5'>Intel</b> <b class='flag-5'>Arc</b> Pro <b class='flag-5'>B</b>60 Dual 48G Turbo<b class='flag-5'>显卡</b>

    瑞萨RZ/V2H平台支持部署离线版DeepSeek -R1大语言模型

    瑞萨RZ/V2H平台支持部署离线版DeepSeek -R1大语言模型
    的头像 发表于 05-13 17:07 1871次阅读
    瑞萨RZ/V2H平台支持<b class='flag-5'>部署</b>离线版<b class='flag-5'>DeepSeek</b> -<b class='flag-5'>R1</b>大语言<b class='flag-5'>模型</b>

    DeepSeek 引领边缘 AI 芯片向更高性能、更低功耗、更强泛化能力的方向演进

    DeepSeek 系列模型概览 DeepSeek 系列包括大型语言模型(如 DeepSeek LLM、R
    的头像 发表于 05-09 10:27 2426次阅读