0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

跃昉科技实现DeepSeek大模型本地化运行

跃昉科技LeapFive 来源:跃昉科技LeapFive 2025-03-06 14:47 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

LeapFive

从“云端排队”到“拥有私人 Co-Pilot”,边缘AI也能行!

DeepSeek 问答响应又超时了?

“无需机房,无需服务器,一枚U盘即可驱动DeepSeek大模型?” 是的,我们做到了!

跃昉科技,作为国内领先的RISC-V架构SoC芯片公司,成功将DeepSeek大模型本地化运行,以U盘形态重新定义AI计算的使用方式。

AMC(AI Mini Computer)由跃昉科技基于自研RISC-V芯片打造,通过USB 直连主机,兼容多种操作系统,支持本地化人工智能推理应用部署,如基于传统神经网络的视觉应用。现在,AMC又有了大模型应用的加持,不依赖云端、不受网络波动,即插即用,随时推理。让普通电脑秒变AI工作站,让AI随时待命,快速响应,成为你的专属智能助手(Co-Pilot)!

小身材藏着大机会|“可用”到“好用”的进行时

即插即用,无需服务器,USB接入,10秒完成部署。

3W超低功耗,计算性能表现与模型本身,都具备优化潜力。

本地私有知识库,保护数据隐私,随身携带,安全可控。

网页本地化访问(测试版),相比云端排队、等待响应,你的AI助手随时在线。

e5c116e6-f998-11ef-9310-92fbcf53809c.jpg

*已经实际部署运行成功的模型

UI 界面:设计简洁直观,用户可快速上手,无需复杂配置,Less is More。

OTA + 场景化模型,开启边缘AI计算新范式!

在 AI 计算迈向多场景应用的今天,开发者希望更灵活地训练和部署模型,用户则期待AI能够精准适配个性化需求。然而,传统AI计算依赖云端,高算力成本、网络延迟、数据隐私等问题,使其难以真正落地到边缘多样化应用场景。

部署DeepSeek到AMC的过程,也引发了我们更深层的思考并发现:DeepSeek 的小型化、低成本、边缘设备 OTA(Over the Air 空中升级) 特性,有机会成为边缘AI计算全新的应用落地方法,推动AI计算从云端走向边缘,让AI适配更精细、更灵活地适配本地化应用。

e5e890ea-f998-11ef-9310-92fbcf53809c.png

“大而全”的模型并不适用于边缘AI应用,应该按场景的需要做更适配、更精巧、更高效的模型

边缘 AI 计算的核心在于精准解决特定场景问题,那么合适的模型从何而来?我们认为可以通过开放的场景化模型市场,吸引更多的开发者加入进来,针对教育、工业、办公、个人助手等不同需求,训练更精巧的 AI 模型,以适配本地场景化的应用需求。

OTA有可能成为AI场景动态适配的标准方式

传统OTA仅用于远程软件升级,如果考虑边缘AI基于场景化的应用,则OTA就需要一个新增的按需拉取和部署AI模型的能力,使边缘设备尽管在硬件资源限制条件下,仍可以通过动态的模型选择,得到较好的AI交互体验。

商业模式也将有革新机会,边缘AI的生态将创造更高价值

“OTA + 场景化模型”这样的新范式,将为边缘AI计算构建开放的,可订阅、可迭代的模型市场提供可行性。用户可以低成本试用AI模型,再按需订阅,而开发者则可以通过市场提供AI模型,并接受用户的反馈不断优化模型体验,形成边缘AI计算的正向循环,加速AI在边缘端的落地应用。

我们认为未来的AI计算,不应该只存在于云端之上,更应该真正地属于个人!

而对于个人用户来说,专属AI 将可以变成个人成长的长期伙伴

每个人的知识、经验、决策方式都是独一无二的,所以AI应用也应该能做到个性化的应用。AMC的随身携带可以让AI在不同场景中适应用户需求,即时响应、智能辅助。与此同时,AMC通过长期数据存储与学习,不断沉淀、优化,逐步构建属于个人的Digital Twins(数字孪生),让AI计算真正理解,持续成长,成为个人的长期智慧资产。

离线运行,多场景随时调用,无论办公、学习还是工业应用,AI即插即用,不依赖云端。

存储与回传,依托AMC本体32GB的存储能力,使用过程中的数据可本地化存储,也可主动同步到个人主机,形成专属AI记忆 。

让AI模型个性化成长,成为“最懂你的聪明助手”并且随时随地即时响应。

从 “大而全” 到 “小而精”,我们看到了AMC在AI计算领域的潜力,有望让AI计算变得更精准、更高效。场景化模型 OTA能让开发者更快构建AI,用户更自由地使用AI,推动AI计算从通用向定制、从固定向灵活、从单一向多元发展,真正赋能千行百业。

跃昉科技,依托RISC-V计算架构,不断探索芯片、边缘AI计算与智能互联的创新融合,加速推动国产AI计算自主化。我们相信,未来的AI计算不再是一种昂贵的资源,而是普惠的能力。个性化的智能,是一股驱动世界跃向更智能未来的核心动力!

广东跃昉科技有限公司聚焦研发基于RISC-V架构的SoC芯片产品及系统解决方案,并提供从操作系统到云平台的全栈基础智能软件服务,通过融合人工智能、物联网区块链等交叉领域技术为中国数字经济的创新应用赋能。

跃昉科技作为RISC-V架构SoC芯片设计及产业应用的开拓者,已推出系列基于RISC-V架构的高性能SoC芯片及产品,覆盖AIoT边端物联、控制和计算等应用领域,集高效能计算资源、丰富工业接口、稳定可靠品质等特性于一体。依托于全栈技术能力,跃昉科技正持续深耕于智慧能源、智慧物流、智慧城市、智慧工厂等领域,旨在为客户带来专业化、高品质的产品和服务。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • RISC-V
    +关注

    关注

    48

    文章

    2802

    浏览量

    51937
  • 跃昉科技
    +关注

    关注

    0

    文章

    83

    浏览量

    2917
  • 大模型
    +关注

    关注

    2

    文章

    3449

    浏览量

    4974
  • DeepSeek
    +关注

    关注

    2

    文章

    824

    浏览量

    2823

原文标题:RISC-V计算新突破!跃昉AMC将DeepSeek大模型装进口袋

文章出处:【微信号:跃昉科技LeapFive,微信公众号:跃昉科技LeapFive】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    发布元服务配置本地化基础信息(应用名称、图标)

    您可以添加元服务支持的语言,并配置对应语言的本地化信息。 例如,当您设置简体中文为默认语言,并且只配置中文的本地化信息,那么元服务在所有设置的发布国家或地区的信息都将显示中文。如果您还设置了英文
    发表于 10-24 17:42

    SL1680 SoC本地运行DeepSeek R1 1.5B大模型

    深蕾半导体SL1680 SoC本地成功运行DeepSeek R1 Distill Qwen2.5 1.5B大模型,展示了执行过程及本地小参数
    的头像 发表于 04-17 17:09 721次阅读
    SL1680 SoC<b class='flag-5'>本地</b><b class='flag-5'>运行</b><b class='flag-5'>DeepSeek</b> R1 1.5B大<b class='flag-5'>模型</b>

    软通动力助力黑龙江大学完成DeepSeek模型本地化部署

    DeepSeek作为新一代人工智能技术,凭借其强大的数据处理能力和深度学习算法为教育提供了新解法,使 AI+教育产业迸发更大生机。紧随行业趋势,黑龙江大学经济与工商管理学院基于软通动力AI+DeepSeek模型一体机
    的头像 发表于 04-03 15:20 947次阅读

    博实结完成DeepSeek模型本地化部署

    近日,公司完成DeepSeek R1 671B大模型本地化部署。通过构建自主可控的AI基础设施,公司同步实现研发智能升级、研发成本重构、数据安全闭环与应用场景突破,为产业智能
    的头像 发表于 03-19 16:31 1025次阅读

    RK3588开发板上部署DeepSeek-R1大模型的完整指南

    DeepSeek作为国产AI大数据模型的代表,凭借其卓越的推理能力和高效的文本生成技术,在全球人工智能领域引发广泛关注。DeepSeek-R1作为该系列最新迭代版本,实现了长文本处理效
    发表于 02-27 16:45

    行芯完成DeepSeek-R1大模型本地化部署

    近日,行芯正式宣布完成 DeepSeek-R1 大模型本地化部署,实现在多场景、多产品中应用。解锁“芯”玩法,开启“芯”未来!
    的头像 发表于 02-24 15:17 1145次阅读

    DeepSeek冲击(含本地化部署实践)

    题,要分析DeepSeek的实力,最简单的方式就是跟ChatGPT进行对比。 模型分类 ChatGPT目前有两种大模型,分
    的头像 发表于 02-23 17:10 1112次阅读
    <b class='flag-5'>DeepSeek</b>冲击(含<b class='flag-5'>本地化</b>部署实践)

    浪潮信息:元脑EPAI已接入DeepSeek,大幅提升DeepSeek企业应用准确率

    结合,深度开发模型潜力,快速实现本地化部署DeepSeek,构建准确率高、安全稳定的专属智能应用。实测数据显示,DeepSeek在元脑企智E
    的头像 发表于 02-23 07:32 887次阅读
    浪潮信息:元脑EPAI已接入<b class='flag-5'>DeepSeek</b>,大幅提升<b class='flag-5'>DeepSeek</b>企业应用准确率

    曙光顺利完成DeepSeek模型本地化多点私有部署

    计算中心等政务云服务商,依托本地政务云资源池,顺利完成DeepSeek模型本地化多点私有部署,并打造出数字人“抚小智”。抚州市还计划将DeepSe
    的头像 发表于 02-22 14:16 1106次阅读

    绍兴数据局率先实现政务环境下的DeepSeek模型部署

    ,为各行各业带来无穷活力与无限可能。绍兴市数据局密切关注大模型技术发展,持续进行深入测试和学习,积极推进AI技术在智慧政务领域的应用。春节复工后,数据局迅速联合政务云服务商,成功部署本地化模型,后续可为绍兴市各类政府部门提供基于
    的头像 发表于 02-20 11:22 1750次阅读
    绍兴数据局率先<b class='flag-5'>实现</b>政务环境下的<b class='flag-5'>DeepSeek</b><b class='flag-5'>模型</b>部署

    云天天书大模型训推一体机成功适配DeepSeek

    近日,云天天书大模型训推一体机成功适配DeepSeek。该一体机由云天励飞与华为联合推出,可以部署在华为昇腾服务器上,支持私有部署,实现开箱即用,满足
    的头像 发表于 02-14 11:02 1300次阅读

    了解DeepSeek-V3 和 DeepSeek-R1两个大模型的不同定位和应用选择

    DeepSeek-R1 更适合电子工程核心工作流,因其在符号数学、代码严谨性、长文档结构理解上的优势。 二、其他领域专用模型推荐 若需更高精度,可结合以下工具组成混合方案: 1. 符号计算增强
    发表于 02-14 02:08

    龙芯处理器与DeepSeek完成适配

    龙芯中科官方宣布,搭载龙芯 3 号 CPU 的设备成功启动运行 DeepSeek R1-7B 模型实现本地化部署,性能卓越,成本优异。
    的头像 发表于 02-10 17:00 1342次阅读

    英特尔酷睿Ultra处理器支持DeepSeek运行

    Janus-Pro更是将其多模态的本领发挥至极。DeepSeek模型因其高效、易部署等特性,非常适合在英特尔AI PC进行本地化应用。
    的头像 发表于 02-08 10:13 1332次阅读

    龙芯处理器成功运行DeepSeek模型

    近日,搭载龙芯3号CPU的设备成功启动运行DeepSeek R1 7B模型实现本地化部署,性能卓越,成本优异,可为广大用户提供更快、更强、
    的头像 发表于 02-07 16:03 834次阅读
    龙芯处理器成功<b class='flag-5'>运行</b><b class='flag-5'>DeepSeek</b>大<b class='flag-5'>模型</b>