这个春节,科技界热闹非凡,DeepSeek的横空出世犹如一颗重磅炸弹,迅速引爆全球AI市场。
DeepSeek凭借其V3和新推出的R1两款模型,实现了与OpenAI 4o和o1比肩的性能,同时成本仅为十分之一,为AI技术的普及提供了经济高效的解决方案。DeepSeek的崛起,不仅标志着中国AI技术的突破,更预示着全球AI市场将迎来一场新革命。
将其部署在望获实时Linux与瑞芯微RK3588平台上,能够充分释放其在边缘计算和工业控制领域的巨大潜力,为智能化转型提供强有力的技术支撑。
以下是详细的部署步骤,帮助您快速实现这一国产技术组合的落地应用。
硬件准备:
RK3588开发板:京博航友善NanoPC-T6(预装望获实时Linux)
工作主机:ubuntu笔记本电脑
软件准备:
瑞芯微rkllm-toolkit工具
部署步骤
一、拉取模型
从Hugging Face拉取DeepSeek-R1的1.5B蒸馏模型到x86平台:

二、配置模型转换脚本
在rknn-llm/rkllm-toolkit/examples/test.py中,修改如下内容:

三、模型转换
执行模型转换脚本,等待转换完成:

四、部署模型
使用scp命令将转换得到的DeepSeek-R1-Distill-Qwen-1.5B.rkllm文件拷贝到RK3588平台:

五、生成运行文件
在RK3588平台,进入rknn-llm/rkllm-runtime/examples/rkllm_api_demo目录,生成llm_demo运行文件:

六、运行模型
运行llm_demo,并指定DeepSeek-R1-Distill-Qwen-1.5B.rkllm的路径。

七、对话测试
在user : 后输入对话内容,测试模型的运行效果。



通过将DeepSeek部署在望获实时Linux与RK3588的平台上,您可以轻松实现边缘智能的高效落地。这一技术组合提升了工业控制与边缘计算的智能化水平,为未来的工业应用开辟了新的可能性。如果您在部署过程中遇到任何问题,欢迎随时与我们联系!
关于望获实时Linux系统
望获实时Linux系统是国科环宇重点研发的嵌入式实时操作系统,具备强实时、高可靠、功能安全、智能化、兼容性强和国产生态的特性。不同于传统的微内核实时操作系统,完整兼容Linux生态环境的同时,提供强大的行业中间件支持,助力客户快速完成行业解决方案的构建。望获实时Linux系统致力于国产基础软硬件的产业链构建,与国产主流芯片及硬件平台适配,提供完整的国产化解决方案,保证功能和性能的同时,避免关键领域的卡脖子问题。
审核编辑 黄宇
-
嵌入式
+关注
关注
5186文章
20158浏览量
328983 -
操作系统
+关注
关注
37文章
7329浏览量
128653 -
DeepSeek
+关注
关注
2文章
824浏览量
2822
发布评论请先 登录
如何使用OpenVINO运行DeepSeek-R1蒸馏模型
了解DeepSeek-V3 和 DeepSeek-R1两个大模型的不同定位和应用选择
RK3588开发板上部署DeepSeek-R1大模型的完整指南
望获实时Linux系统与Betaflight的结合:计算与飞控的完美协作
云天励飞上线DeepSeek R1系列模型
扣子平台支持DeepSeek R1与V3模型
Gitee AI 联合沐曦首发全套 DeepSeek R1 千问蒸馏模型,全免费体验!
Deepseek R1大模型离线部署教程
超星未来惊蛰R1芯片适配DeepSeek-R1模型
浪潮信息发布元脑R1推理服务器
OpenAI O3与DeepSeek R1:推理模型性能深度分析
9.9万元用上“满血”DeepSeek R1一体机,本地部署成新商机?引发外媒热议
SL1680 SoC本地运行DeepSeek R1 1.5B大模型

望获实时Linux系统运行DeepSeek R1大模型,成本低至千元内!
评论