0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

显存也能叠叠乐,双 Intel Arc A770 显卡低成本部署 DeepSeek R1 32B 蒸馏模型体验

looger123 来源:looger123 作者:looger123 2025-03-18 12:06 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

今年春节后,DeepSeek R1 风暴般地席卷全国,小到手机 App,大到新能源汽车,似乎一夜间所有产品都接入了 DeepSeek R1。不得不说 DeepSeek R1 确实好用,对笔者这种编辑来说,从大纲到审阅,效率有着极大的提升。不过,官方满血版的 DeepSeek R1 虽然好用,但会经常“掉线”,平均一个小时只能使用一次。第三方的满血 DeepSeek R1 很少掉线,但涉及隐私或保密数据时,大家并不放心上传云端。

于是,很多人萌生自己搭建 DeepSeek R1 的想法。然而满血版的 DeepSeek R1 模型体积足足有 404GB,远超一般消费级显卡的显存。即使 32B 的蒸馏模型体积也有 20GB。这就对显卡的性能提出了较高的要求。例如,32GB 显存的英伟达 RTX 5090 D 公版官方售价为 16999 元,但实际上要多花一万多元才能买到。

一、配置与部署

那么,有没有什么经济实惠且效果不错的方案呢?聪明的你想到让多张显卡协同工作,不过 AMD 目前的新显卡已经不支持交火了,英伟达的 SLI 技术也不支持显存叠加,而 Intel 的 Arc 显卡不仅支持交火,并且显存也可以叠加,价格也很实惠,两张 Arc A770 16GB 价格 3600 元左右,就可获得 32GB 的大现存。IT之家这次尝试使用两张蓝戟 Intel Arc A770 Photon 16G OC 进行交火,来配置 DeepSeek R1 32B 的蒸馏模型。其具体配置如下图:

wKgZPGfY8SqASvLfAABwDQSsQ1c41.jpeg

Intel Arc A770 有 8G 和 16GB 两个版本,我们选择的蓝戟 Intel Arc A770 Photon 16G OC 配备 16GB GDDR6 显存,显存带宽可达 512GB/s,其拥有 32 个 Xe 核心,最高频率 2400Mhz。

wKgZO2fY8SqAdRY8AABqVPLigOo29.jpeg

因为是双卡方案,所以需要留意主板与电源的配置,主板至少需要有两个 PCIe 显卡插槽,并且每个插槽必须支持 PCIe 4.0 x8 的传输速率。电源方面,单张蓝戟 Intel Arc A770 Photon 16G OC 的 TBP 为 285W,两张显卡的功耗就要接近 600W。为了保证系统的稳定,我们选择了海韵的 1300W 电源进行测试,这款电源不仅能满足功率需求,还能满足两张显卡所需的 4 个 PCIe 8Pin 接口。模型我们选择通过使用 IPEX-LLM 部署在 Linux 上,相比 Window 系统效率会更高一些。

wKgZPGfY8SqAWrdgAABdO7eJe3E40.jpeg

搭建结束后,我们用另一台电脑局域网访问后端,在操作时尽量不使用测试电脑进行截图录屏,避免无关操作对 GPU 的占用。

wKgZO2fY8SuAXfFPAABFDw2JMvQ10.jpeg

二、性能与效果

因为是 32B 的模型,所以我们直接上强度,让模型帮我们写一个 HTML 小游戏。我们首先对模型进行提问:

请用 html 写个贪吃蛇游戏的代码,需要包含以下功能:

•使用键盘上的上下左右箭头键控制蛇的移动方向。

•蛇会自动向前移动,并在吃到红色的食物时增长并增加得分。

•当蛇碰到墙壁或自己时,游戏结束并显示得分。

•点击“重新开始”按钮可以重置游戏并重新开始。

游戏规则:

•蛇不能碰到墙壁或自己,否则游戏结束。

•每吃一个食物,得分增加 10 分。

•食物不会出现在蛇的身体上。

DeepSeek R1 开始分析问题并生成代码,此时两张 Arc A770 显卡的风扇全力运转,后端显示 Avg Generation Throughput 可以稳定在 26 tokens / s 以上。对比之下,单张 RTX 5090 D 运行 32B 模型的性能大约为 46 tokens / s,而官方不到两成的价格却得到了五成以上的性能,这个表现还是很让人惊喜的。

wKgZPGfY8SuAKM97AADOEl3IYJo88.jpeg

生成后的 HTML 小游戏可以直接预览运行,我发现操作有冲突,按上下方向键会滚动网页。

wKgZO2fY8SuAHQrhAAN5HM-_qI8714.gif

于是我提出对代码进行修改,要求用 A、S、D、W 来代替方向键。DeepSeek R1 很精准的理解了我的需求,并完成了修改。

wKgZPGfY8SyAOvnbAABPpDqY6DA41.jpeg

随后,我要求生成更为复杂的俄罗斯方块 HTML 代码,虽说参数量只有 32B,但 DeepSeek R1 所生成的游戏同样很完善,几乎没有什么 Bug。

wKgZO2fY8SyAYhfxAASrughOLYg746.gif

说到 AI 大模型的逻辑能力测试,那肯定绕不开弱智吧经典问答。我们选择了两个问题对双 A770 搭建的 DeepSeek R1 进行测试:

1、神父去世是离职还是升职?

这种让人一愣的问题 32B 的 DeepSeek R1 也能从现实与信仰两种角度出发给出分析与解释。可以看出 32B 模型的逻辑能力还是很强的,有着极高的可用性。

wKgZPGfY8SyALvFxAABxxNwJIBo96.jpeg

2、变形金刚应该交车险还是人险?

面对二选一的提问,32B 的 DeepSeek R1 并没有死板的做出选择,其理解了变形金刚不同形态的特征给出了两种保险都买的绝佳选择。

wKgZO2fY8S2APLXAAAB7QebVhAY92.jpeg

总结:

从测试结果来看,两张 Intel Arc A770 16GB 显卡(总计 3600 元)组成的双卡部署 DeepSeek R1 蒸馏模型的方案确实经济实惠。通过 IPEX-LLM 工具在 Linux 系统上部署,测试显示双 A770 显卡能稳定运行 32B 模型,生成 HTML 小游戏和处理复杂问题时表现优异,平均吞吐量达 26 tokens / s,有着不错的性价比。总体而言,A770 双卡低成本部署 DeepSeek 32B 兼具成本、性能和数据隐私优势,适合中小企业和个人开发者。

审核编辑 黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 英特尔
    +关注

    关注

    61

    文章

    10275

    浏览量

    179274
  • 显卡
    +关注

    关注

    16

    文章

    2517

    浏览量

    71058
  • 显存
    +关注

    关注

    0

    文章

    112

    浏览量

    14062
  • DeepSeek
    +关注

    关注

    2

    文章

    824

    浏览量

    2806
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    瑞萨RZ/V2H平台支持部署离线版DeepSeek -R1大语言模型

    瑞萨RZ/V2H平台支持部署离线版DeepSeek -R1大语言模型
    的头像 发表于 05-13 17:07 1374次阅读
    瑞萨RZ/V2H平台支持<b class='flag-5'>部署</b>离线版<b class='flag-5'>DeepSeek</b> -<b class='flag-5'>R1</b>大语言<b class='flag-5'>模型</b>

    DeepSeek R1模型本地部署与产品接入实操

    针对VS680/SL1680系列大算力芯片,我们的研发团队正在研究将蒸馏后的轻量级DeepSeek模型DeepSeek-R1-Distill-Qwen-1.5B
    的头像 发表于 04-19 16:32 599次阅读
    <b class='flag-5'>DeepSeek</b> <b class='flag-5'>R1</b><b class='flag-5'>模型</b>本地<b class='flag-5'>部署</b>与产品接入实操

    ORinNano离线部署Deepseek R1模型教程

    ORinNano离线部署Deepseek R1模型教程
    的头像 发表于 04-10 15:32 1029次阅读
    ORinNano离线<b class='flag-5'>部署</b><b class='flag-5'>Deepseek</b> <b class='flag-5'>R1</b>大<b class='flag-5'>模型</b>教程

    NVIDIA RTX 5880 Ada显卡部署DeepSeek-R1模型实测报告

    DeepSeek-R1 模型在 4 张 NVIDIA RTX 5880 Ada 显卡配置下,面对短文本生成、长文本生成、总结概括三大实战场景,会碰撞出怎样的性能火花?参数规模差异悬殊的 70B
    的头像 发表于 03-17 11:12 2595次阅读
    NVIDIA RTX 5880 Ada<b class='flag-5'>显卡</b><b class='flag-5'>部署</b><b class='flag-5'>DeepSeek-R1</b><b class='flag-5'>模型</b>实测报告

    兆芯全面部署DeepSeek R1模型

    近日,基于兆芯高性能通用处理器的PC终端、工作站以及服务器成功实现DeepSeek-R1-Distill模型(1.5B/7B/32B/70
    的头像 发表于 02-25 13:45 859次阅读

    摩尔线程图形显卡MTT S80实现DeepSeek模型部署

    摩尔线程“全功能”图形显卡MTT S80,不仅游戏渲染性能强大,能玩《黑神话:悟空》,现在还能本地部署DeepSeek R1蒸馏
    的头像 发表于 02-21 15:46 4031次阅读
    摩尔线程图形<b class='flag-5'>显卡</b>MTT S80实现<b class='flag-5'>DeepSeek</b><b class='flag-5'>模型</b><b class='flag-5'>部署</b>

    IBM在watsonx.ai平台推出DeepSeek R1蒸馏模型

    ,进一步增强企业在安全、治理以及规模化部署方面的能力。 DeepSeek R1是IBM在AI领域的一项重要创新,它采用了蒸馏模型技术,能够在
    的头像 发表于 02-14 10:21 870次阅读

    了解DeepSeek-V3 和 DeepSeek-R1两个大模型的不同定位和应用选择

    -V3 DeepSeek-R1 胜出方 电路方程求解 处理简单方程,但对矩阵运算、微分方程等支持有限 通过符号蒸馏技术优化,可解析复杂电路网络方程(如节点分析法) R1 SPICE代
    发表于 02-14 02:08

    DeepSeek模型成功部署,物通博联在 AI 赋工业上持续探索、不断前行

    和二次开发,DeepSeek R1模型的发布迅速点燃了AI产业的革命之火。 DeepSeek R1 通过
    的头像 发表于 02-12 11:15 1101次阅读

    Deepseek R1模型离线部署教程

    。作为国产AI大数据模型的代表,凭借其卓越的推理能力和高效的文本生成技术,在全球人工智能领域引发广泛关注。 本文主要说明DeepSeek-R1如何离线运行在EASY-EAI-Orin-Nano(RK3576)硬件上, RK3576 具有优异的端侧AI
    的头像 发表于 02-12 09:37 2430次阅读
    <b class='flag-5'>Deepseek</b> <b class='flag-5'>R1</b>大<b class='flag-5'>模型</b>离线<b class='flag-5'>部署</b>教程

    Gitee AI 联合沐曦首发全套 DeepSeek R1 千问蒸馏模型,全免费体验!

    模型相比,较小尺寸的 DeepSeek 蒸馏版本模型 更适合企业内部实施部署,可以极大的降低落地成本
    的头像 发表于 02-10 09:56 1099次阅读
    Gitee AI 联合沐曦首发全套 <b class='flag-5'>DeepSeek</b> <b class='flag-5'>R1</b> 千问<b class='flag-5'>蒸馏</b><b class='flag-5'>模型</b>,全免费体验!

    部署DeepSeek R1于AX650N与AX630C平台

    背景 春节前,国产大模型 DeepSeek 横空出世,迅速成为AI领域的焦点。作为端侧AI效比优异的 AX650N、AX630C 芯片平台早已在节前完成 DeepSeek
    的头像 发表于 02-09 09:32 1898次阅读
    <b class='flag-5'>部署</b><b class='flag-5'>DeepSeek</b> <b class='flag-5'>R1</b>于AX650N与AX630C平台

    壁仞科技顺利部署DeepSeek R1千问蒸馏模型

    DeepSeek 的国内算力支持队伍进一步壮大:来自上海的壁仞科技顺利部署DeepSeek-R1-Distill千问蒸馏模型(1.5
    的头像 发表于 02-08 16:56 2245次阅读

    摩尔线程宣布成功部署DeepSeek蒸馏模型推理服务

    。 据悉,DeepSeek开源模型在多语言理解与复杂推理任务中一直表现出卓越的性能,其V3、R1等系列模型更是备受业界关注。而此次摩尔线程所实现的D
    的头像 发表于 02-06 13:49 1183次阅读

    云天励飞上线DeepSeek R1系列模型

    模型DeepSeek V3/R1 671B MoE大模型在有序适配中。适配完成后,Deep
    的头像 发表于 02-06 10:39 1073次阅读
    云天励飞上线<b class='flag-5'>DeepSeek</b> <b class='flag-5'>R1</b>系列<b class='flag-5'>模型</b>