0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

香橙派昇腾系列产品深度适配Deepseek系列大模型

香橙派 2025-02-13 10:23 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

日前,香橙派官方发布OrangePi AI Stuido、OrangePi AIpro(20T)本地部署Deepseek-R1蒸馏模型指南,通过在边缘进行离线部署,帮助用户实现高效端侧智能,确保数据处理的安全性和可控性。

据了解,DeepSeek-R1专为数学、代码生成和复杂逻辑推理任务设计,通过大规模强化学习(RL)提升推理能力,还摒弃监督微调(SFT),采用纯强化学习(GRPO算法)训练基座模型。同时,DeepSeek-R1提供了高效模型蒸馏技术,可将大规模模型能力迁移至更小、更高效的版本,优化模型性能、开源应用。经蒸馏后的DeepSeek-R1模型支持部署于端侧,大幅降低计算资源需求,显著提升端侧设备的AI推理效率。

目前,香橙派已经发布在OrangePi AI Stuido、OrangePi AIpro(20T)上运行Deepseek-R1蒸馏模型的操作指南,香橙派表示,未来将加大研发投入,携手昇腾推动不同算力等级的产品与DeepSeek等优质模型相结合,进一步降低端侧AI的门槛,为客户创造更大的AI价值。

wKgZO2etV3OALYa1AAH7ZSWfzuw933.png

wKgZPGetV3OAdA-eAAMYbYMd2pI996.png

据了解,OrangePi AIpro(20T)是香橙派联合昇腾AI打造的高算力开发板,根植于昇腾AI技术,集AI计算、ISP、图形输出等功能于一体,释放高达20 TOPS的AI算力。可配12/24GB运行内存,汇聚了MIPI DSI、双MIPI CSIUSB3.0、Type-C、双HDMI2.0、双2.5G以太网、支持SATA/NVMe SSD 2280的M.2插槽等各类流行的接口。OrangePi AIpro(20T)依托昇腾AI基础软硬件能力的基础,融合大模型与训推一体化优势,实现端边云全场景无缝部署,是构建昇腾计算产品、使能上层软件和应用的底座,有高算力、高能效等特性。

wKgZO2etV3SAEgasAAsLCfD-ZYA813.png

OrangePi AI Studio采用昇腾AI技术路线,融合“ARM core,AI core,Vector core,Image core”于一体,提供“基础通用算力+超强AI算力+编解码核心”,充分满足推训一体AI任务需求,拥有48GB /96GB LPDDR4X,速率高达4266Mbps。

OrangePi AI Studio汇聚了Type-C(USB4.0)、电源接口、电源按键、LED指示灯等,可广泛应用于OCR识别、目标识别、人脸识别、搜索推荐、大模型多模态、内容审核、VR智能、数字医疗、物联网等诸多AI应用场景。

wKgZPGeqsH2AVsH9AAajDfrCWic698.png

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 开发板
    +关注

    关注

    26

    文章

    6433

    浏览量

    121217
  • 香橙派
    +关注

    关注

    2

    文章

    52

    浏览量

    12518
  • 大模型
    +关注

    关注

    2

    文章

    3797

    浏览量

    5279
  • DeepSeek
    +关注

    关注

    2

    文章

    855

    浏览量

    3414
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    云天励飞完成DeepSeek-V4系列模型关键机制适配验证

    4月24日,DeepSeek-V4 系列模型发布。围绕该模型 CSA/HCA 混合注意力机制带来的新型计算需求,云天励飞依托自研 GPNPU 架构及 IFWA 智能融合软件栈,通过 P
    的头像 发表于 04-30 17:09 4435次阅读

    开放原子AtomGit平台首发适配DeepSeek-V4系列模型

    2026年4月24日,DeepSeek-V4系列模型正式发布并同步开源。AtomGit平台为DeepSeek-V4
    的头像 发表于 04-29 16:12 706次阅读

    寒武纪Day 0适配DeepSeek-V4模型

    2026年4月24日,寒武纪已基于 vLLM 推理框架完成对深度求索公司最新开源模型285B DeepSeek-V4-flash 和1.6T DeepSeek-V4-pro的 Day
    的头像 发表于 04-29 10:14 300次阅读

    华为超节点系列产品全面支持DeepSeek V4模型

    2026年4月24日,DeepSeek V4-Pro和DeepSeek V4-Flash正式发布并开源,模型上下文处理长度由原有的128K显著扩展至1M,实现近10倍的容量提升,首次增加了KV
    的头像 发表于 04-28 17:00 451次阅读

    软通华方超节点服务器产品全面适配DeepSeek V4模型

    4月24日,随着DeepSeek V4大模型的正式开源与发布,国产算力生态迎来关键拼图。软通动力旗下软通华方迅速响应,依托“鲲鹏+”双引擎架构,基于核心
    的头像 发表于 04-28 16:34 287次阅读

    壁仞科技壁砺166系列GPU产品率先支持DeepSeek-V4模型

    完成DeepSeek-V4在旗舰通用GPU壁砺166系列产品适配验证与优化,充分释放产品算力密度与带宽优势,全面赋能GenAI推理加速。
    的头像 发表于 04-28 14:04 687次阅读
    壁仞科技壁砺166<b class='flag-5'>系列</b>GPU<b class='flag-5'>产品</b>率先支持<b class='flag-5'>DeepSeek</b>-V4<b class='flag-5'>模型</b>

    国产AI算力:从DeepSeek V4与华为协同看全栈自主之路

    Cache滑窗和压缩算法,显著降低计算与访存开销,在Agent能力、世界知识和推理性能上处于国内及开源领域领先地位。   与此同时,华为宣布超节点全系列产品全面支持DeepSeek
    的头像 发表于 04-25 07:02 1w次阅读

    壁仞科技壁砺166系列产品Day 0适配智谱GLM-5.1旗舰模型

    科技(06082.HK)壁砺166系列产品模型发布当日率先完成适配,成为国内首批适配GLM-5.1的国产GPU厂商之一。
    的头像 发表于 04-09 11:23 444次阅读

    香橙全志系列开发板适配OpenClaw教程

    ://localhost:18789/overview” 确认Status为Connected后,就可以进行对话了。 从高性能RK3588到高算力系列,再到如今高性价比全志系列
    发表于 02-25 18:29

    华为深度适配智谱AI全新开源模型GLM-5

    ,在真实编程场景的使用体验逼近Claude Opus 4.5,更擅长复杂系统工程与长程Agent任务。一直同步支持智谱GLM系列模型,此次GLM-5
    的头像 发表于 02-25 14:41 1401次阅读
    华为<b class='flag-5'>昇</b><b class='flag-5'>腾</b><b class='flag-5'>深度</b><b class='flag-5'>适配</b>智谱AI全新开源<b class='flag-5'>模型</b>GLM-5

    香橙系列开发板如何部署OpenClaw

    香橙系列开发板解锁专业级智能体,OpenClaw拥抱高算力未来 上两篇文章我们给出了香橙
    发表于 02-25 10:13

    润和软件AIRUNS训推一体化平台与910C芯片深度适配

    深度兼容性认证。同时,润和软件成为全国首批完成基于“910C加速库”开发与适配认证的企业,充分彰显了公司在
    的头像 发表于 12-22 14:51 900次阅读
    润和软件AIRUNS训推一体化平台与<b class='flag-5'>昇</b><b class='flag-5'>腾</b>910C芯片<b class='flag-5'>深度</b><b class='flag-5'>适配</b>

    国产AI芯片真能扛住“算力内卷”?海思的这波操作藏了多少细节?

    反而压到了310W。更有意思的是它的异构架构:NPU+CPU+DVPP的组合,居然能同时扛住训练和推理场景,之前做自动驾驶算法时,用它跑模型时延直接降了20%。 但疑惑也有:这种算力密度下,散热怎么解决?而且的生态
    发表于 10-27 13:12

    商汤科技联合华为实现超节点适配多项创新

    近日,商汤大装置SenseCore与384超节点率先完成全面适配
    的头像 发表于 09-05 15:22 1043次阅读

    华为CANN与智谱GLM端侧模型完成适配

    2025年8月5日,在计算产业发展峰会上,华为宣布CANN(Compute Architecture for Neural Networks)技术体系及Mind系列工具链全面开源开放。此前,智谱
    的头像 发表于 08-11 11:00 2806次阅读