0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

望获实时Linux系统运行DeepSeek R1大模型,成本低至千元内!

望获Linux 来源:jf_20082045 作者:jf_20082045 2025-02-08 13:43 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

这个春节,科技界热闹非凡,DeepSeek的横空出世犹如一颗重磅炸弹,迅速引爆全球AI市场。

DeepSeek凭借其V3和新推出的R1两款模型,实现了与OpenAI 4o和o1比肩的性能,同时成本仅为十分之一,为AI技术的普及提供了经济高效的解决方案。DeepSeek的崛起,不仅标志着中国AI技术的突破,更预示着全球AI市场将迎来一场新革命。

将其部署在望获实时Linux瑞芯微RK3588平台上,能够充分释放其在边缘计算和工业控制领域的巨大潜力,为智能化转型提供强有力的技术支撑。

以下是详细的部署步骤,帮助您快速实现这一国产技术组合的落地应用。

硬件准备:

RK3588开发板:京博航友善NanoPC-T6(预装望获实时Linux)

工作主机:ubuntu笔记本电脑

软件准备:

瑞芯微rkllm-toolkit工具

部署步骤

一、拉取模型

从Hugging Face拉取DeepSeek-R1的1.5B蒸馏模型到x86平台:

wKgZPGem7pWAMRVIAAAXvj917rk862.png

二、配置模型转换脚本

在rknn-llm/rkllm-toolkit/examples/test.py中,修改如下内容:

wKgZO2em7p2AS7mBAAED2ID0UJY222.png

三、模型转换

执行模型转换脚本,等待转换完成:

wKgZPGem7qSAR3qDAAAQy0sHp4E215.png

四、部署模型

使用scp命令将转换得到的DeepSeek-R1-Distill-Qwen-1.5B.rkllm文件拷贝到RK3588平台:

wKgZO2em7quAREEJAAAWWbNuHjk037.png

五、生成运行文件

在RK3588平台,进入rknn-llm/rkllm-runtime/examples/rkllm_api_demo目录,生成llm_demo运行文件:

wKgZO2em7rGAMcNwAABhgIXM7rY367.png

六、运行模型

运行llm_demo,并指定DeepSeek-R1-Distill-Qwen-1.5B.rkllm的路径。

wKgZO2em7riAfG96AAEIyXW2JnA532.png

七、对话测试

在user : 后输入对话内容,测试模型的运行效果。

wKgZO2em7sKAJrA6AAHCZW5L0CQ519.pngwKgZPGem7suAQJZ9AAGMhMzJpCM679.pngwKgZO2em7tCAPYj1AAHv9xoRN1s756.png

通过将DeepSeek部署在望获实时Linux与RK3588的平台上,您可以轻松实现边缘智能的高效落地。这一技术组合提升了工业控制与边缘计算的智能化水平,为未来的工业应用开辟了新的可能性。如果您在部署过程中遇到任何问题,欢迎随时与我们联系!

关于望获实时Linux系统

望获实时Linux系统是国科环宇重点研发的嵌入式实时操作系统,具备强实时、高可靠、功能安全、智能化、兼容性强和国产生态的特性。不同于传统的微内核实时操作系统,完整兼容Linux生态环境的同时,提供强大的行业中间件支持,助力客户快速完成行业解决方案的构建。望获实时Linux系统致力于国产基础软硬件的产业链构建,与国产主流芯片及硬件平台适配,提供完整的国产化解决方案,保证功能和性能的同时,避免关键领域的卡脖子问题。


审核编辑 黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 嵌入式
    +关注

    关注

    5186

    文章

    20158

    浏览量

    328983
  • 操作系统
    +关注

    关注

    37

    文章

    7329

    浏览量

    128653
  • DeepSeek
    +关注

    关注

    2

    文章

    824

    浏览量

    2822
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    如何使用OpenVINO运行DeepSeek-R1蒸馏模型

    DeepSeek-R1在春节期间引发了全球科技界的热度,DeepSeek-R1 是由 DeepSeek 开发的开源推理模型,用于解决需要逻辑推理、数学问题解决和
    的头像 发表于 03-12 13:45 2041次阅读
    如何使用OpenVINO<b class='flag-5'>运行</b><b class='flag-5'>DeepSeek-R1</b>蒸馏<b class='flag-5'>模型</b>

    了解DeepSeek-V3 和 DeepSeek-R1两个大模型的不同定位和应用选择

    : 轻量级任务 DeepSeek-R1独立运行,用于: 电路参数计算(如滤波器截止频率公式推导) 基础SPICE仿真脚本生成 技术文档QA(如查找某ADC的SNR指标) 复杂任务R1 + 领域插件
    发表于 02-14 02:08

    RK3588开发板上部署DeepSeek-R1模型的完整指南

    的核心功能之一,它允许用户将Hugging Face或GGUF格式的大语言模型转换为RKLLM模型,从而将RKLLM模型在Rockchip NPU上加载运行。 (4)编译
    发表于 02-27 16:45

    实时Linux系统与Betaflight的结合:计算与飞控的完美协作

    随着无人机技术的迅猛发展,高性能计算和精确飞行控制的结合显得尤为重要。在这一领域,实时Linux系统和Betaflight飞控固件的结合
    的头像 发表于 01-10 16:17 1247次阅读

    云天励飞上线DeepSeek R1系列模型

    -Distill-Llama-70B大模型DeepSeek V3/R1 671B MoE大模型也在有序适配中。适配完成后,DeepEdge10芯片平台将在端、边、云全面支持
    的头像 发表于 02-06 10:39 1085次阅读
    云天励飞上线<b class='flag-5'>DeepSeek</b> <b class='flag-5'>R1</b>系列<b class='flag-5'>模型</b>

    扣子平台支持DeepSeek R1与V3模型

    用户快速实现基于大模型的各类Bot的搭建,并将其轻松发布社交平台、通讯软件、网站等多个渠道。此次新增对DeepSeek R1和V3模型的支
    的头像 发表于 02-08 13:42 1872次阅读

    Gitee AI 联合沐曦首发全套 DeepSeek R1 问蒸馏模型,全免费体验!

    模型相比,较小尺寸的 DeepSeek 蒸馏版本模型 更适合企业内部实施部署,可以极大的降低落地成本 。 同时,这次 Deepseek
    的头像 发表于 02-10 09:56 1101次阅读
    Gitee AI 联合沐曦首发全套 <b class='flag-5'>DeepSeek</b> <b class='flag-5'>R1</b> <b class='flag-5'>千</b>问蒸馏<b class='flag-5'>模型</b>,全免费体验!

    Deepseek R1模型离线部署教程

    。作为国产AI大数据模型的代表,凭借其卓越的推理能力和高效的文本生成技术,在全球人工智能领域引发广泛关注。 本文主要说明DeepSeek-R1如何离线运行在EASY-EAI-Orin-Nano(RK3576)硬件上, RK357
    的头像 发表于 02-12 09:37 2454次阅读
    <b class='flag-5'>Deepseek</b> <b class='flag-5'>R1</b>大<b class='flag-5'>模型</b>离线部署教程

    超星未来惊蛰R1芯片适配DeepSeek-R1模型

    日前,超星未来研发团队成功完成了惊蛰R1芯片对DeepSeek-R1模型的适配工作,实现了与用户之间的流畅对话。这一成果标志着超星未来在人工智能芯片和模型优化方面取得了重要进展
    的头像 发表于 02-13 14:05 1104次阅读

    浪潮信息发布R1推理服务器

    近日,浪潮信息正式推出了其创新的R1推理服务器。这款服务器通过系统的创新与软硬件的协同优化,实现了对DeepSeek R1 671B
    的头像 发表于 02-17 10:32 1042次阅读

    OpenAI O3与DeepSeek R1:推理模型性能深度分析

    OpenAI刚推出的O3和DeepSeekR1代表了推理模型领域的重大进步。这两种模型都因在各种基准测试中的出色表现而备受关注,引发了人们对人工智能的未来及其对各个行业的潜在影响的讨
    的头像 发表于 02-18 11:07 1310次阅读

    9.9万用上“满血”DeepSeek R1一体机,本地部署成新商机?引发外媒热议

    与本地部署的热潮 DeepSeek R1作为一款强大的AI大模型,其本地部署能够带来诸多优势,如保护数据安全和隐私、避免核心数据传输第三方云端等。因此,
    的头像 发表于 02-27 09:20 2725次阅读

    ORinNano离线部署Deepseek R1模型教程

    ORinNano离线部署Deepseek R1模型教程
    的头像 发表于 04-10 15:32 1046次阅读
    ORinNano离线部署<b class='flag-5'>Deepseek</b> <b class='flag-5'>R1</b>大<b class='flag-5'>模型</b>教程

    SL1680 SoC本地运行DeepSeek R1 1.5B大模型

    深蕾半导体SL1680 SoC本地成功运行DeepSeek R1 Distill Qwen2.5 1.5B大模型,展示了执行过程及本地小参数大模型
    的头像 发表于 04-17 17:09 721次阅读
    SL1680 SoC本地<b class='flag-5'>运行</b><b class='flag-5'>DeepSeek</b> <b class='flag-5'>R1</b> 1.5B大<b class='flag-5'>模型</b>

    DeepSeek开源新版R1 媲美OpenAI o3

    ;还有一些网友的实测评价都显示, DeepSeek新版R1 的性能可以媲美OpenAI最新的o3模型高版本。妥妥的超高性价比的平替。 此外,关于DeepSeek
    的头像 发表于 05-29 11:23 740次阅读