日前,香橙派官方发布OrangePi AI Stuido、OrangePi AIpro(20T)本地部署Deepseek-R1蒸馏模型指南,通过在边缘进行离线部署,帮助用户实现高效端侧智能,确保数据处理的安全性和可控性。
据了解,DeepSeek-R1专为数学、代码生成和复杂逻辑推理任务设计,通过大规模强化学习(RL)提升推理能力,还摒弃监督微调(SFT),采用纯强化学习(GRPO算法)训练基座模型。同时,DeepSeek-R1提供了高效模型蒸馏技术,可将大规模模型能力迁移至更小、更高效的版本,优化模型性能、开源应用。经蒸馏后的DeepSeek-R1模型支持部署于端侧,大幅降低计算资源需求,显著提升端侧设备的AI推理效率。
目前,香橙派已经发布在OrangePi AI Stuido、OrangePi AIpro(20T)上运行Deepseek-R1蒸馏模型的操作指南,香橙派表示,未来将加大研发投入,携手昇腾推动不同算力等级的产品与DeepSeek等优质模型相结合,进一步降低端侧AI的门槛,为客户创造更大的AI价值。


据了解,OrangePi AIpro(20T)是香橙派联合昇腾AI打造的高算力开发板,根植于昇腾AI技术,集AI计算、ISP、图形输出等功能于一体,释放高达20 TOPS的AI算力。可配12/24GB运行内存,汇聚了MIPI DSI、双MIPI CSI、USB3.0、Type-C、双HDMI2.0、双2.5G以太网、支持SATA/NVMe SSD 2280的M.2插槽等各类流行的接口。OrangePi AIpro(20T)依托昇腾AI基础软硬件能力的基础,融合大模型与训推一体化优势,实现端边云全场景无缝部署,是构建昇腾计算产品、使能上层软件和应用的底座,有高算力、高能效等特性。

OrangePi AI Studio采用昇腾AI技术路线,融合“ARM core,AI core,Vector core,Image core”于一体,提供“基础通用算力+超强AI算力+编解码核心”,充分满足推训一体AI任务需求,拥有48GB /96GB LPDDR4X,速率高达4266Mbps。
OrangePi AI Studio汇聚了Type-C(USB4.0)、电源接口、电源按键、LED指示灯等,可广泛应用于OCR识别、目标识别、人脸识别、搜索推荐、大模型多模态、内容审核、VR智能、数字医疗、物联网等诸多AI应用场景。

-
开发板
+关注
关注
25文章
5236浏览量
99372 -
香橙派
+关注
关注
1文章
38浏览量
11894 -
大模型
+关注
关注
2文章
2815浏览量
3456 -
DeepSeek
+关注
关注
1文章
645浏览量
453
发布评论请先 登录
相关推荐
2025昇腾AI开发者创享日浙江站成功举办,现场演示OrangePi AIpro(20T)部署DeepSeek模型开发全流程

润和软件将持续深化“昇腾+DeepSeek”技术路线
昇腾推理服务器+DeepSeek大模型 技术培训在图为科技成功举办

研华发布昇腾AI Box及Deepseek R1模型部署流程
华为推出昇腾DeepSeek大模型一体机
香橙派发布OrangePi AIpro(20T)本地部署Deepseek-R1蒸馏模型指南!

研华边缘AI Box MIC-ATL3S部署Deepseek R1模型

天数智芯加速DeepSeek全系列模型适配
香橙派亮相昇腾AI开发者创享日,打造“AI+鸿蒙”高算力开发板

评论