0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

跃昉科技实现DeepSeek大模型本地化运行

跃昉科技LeapFive 来源:跃昉科技LeapFive 2025-03-06 14:47 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

LeapFive

从“云端排队”到“拥有私人 Co-Pilot”,边缘AI也能行!

DeepSeek 问答响应又超时了?

“无需机房,无需服务器,一枚U盘即可驱动DeepSeek大模型?” 是的,我们做到了!

跃昉科技,作为国内领先的RISC-V架构SoC芯片公司,成功将DeepSeek大模型本地化运行,以U盘形态重新定义AI计算的使用方式。

AMC(AI Mini Computer)由跃昉科技基于自研RISC-V芯片打造,通过USB 直连主机,兼容多种操作系统,支持本地化人工智能推理应用部署,如基于传统神经网络的视觉应用。现在,AMC又有了大模型应用的加持,不依赖云端、不受网络波动,即插即用,随时推理。让普通电脑秒变AI工作站,让AI随时待命,快速响应,成为你的专属智能助手(Co-Pilot)!

小身材藏着大机会|“可用”到“好用”的进行时

即插即用,无需服务器,USB接入,10秒完成部署。

3W超低功耗,计算性能表现与模型本身,都具备优化潜力。

本地私有知识库,保护数据隐私,随身携带,安全可控。

网页本地化访问(测试版),相比云端排队、等待响应,你的AI助手随时在线。

e5c116e6-f998-11ef-9310-92fbcf53809c.jpg

*已经实际部署运行成功的模型

UI 界面:设计简洁直观,用户可快速上手,无需复杂配置,Less is More。

OTA + 场景化模型,开启边缘AI计算新范式!

在 AI 计算迈向多场景应用的今天,开发者希望更灵活地训练和部署模型,用户则期待AI能够精准适配个性化需求。然而,传统AI计算依赖云端,高算力成本、网络延迟、数据隐私等问题,使其难以真正落地到边缘多样化应用场景。

部署DeepSeek到AMC的过程,也引发了我们更深层的思考并发现:DeepSeek 的小型化、低成本、边缘设备 OTA(Over the Air 空中升级) 特性,有机会成为边缘AI计算全新的应用落地方法,推动AI计算从云端走向边缘,让AI适配更精细、更灵活地适配本地化应用。

e5e890ea-f998-11ef-9310-92fbcf53809c.png

“大而全”的模型并不适用于边缘AI应用,应该按场景的需要做更适配、更精巧、更高效的模型

边缘 AI 计算的核心在于精准解决特定场景问题,那么合适的模型从何而来?我们认为可以通过开放的场景化模型市场,吸引更多的开发者加入进来,针对教育、工业、办公、个人助手等不同需求,训练更精巧的 AI 模型,以适配本地场景化的应用需求。

OTA有可能成为AI场景动态适配的标准方式

传统OTA仅用于远程软件升级,如果考虑边缘AI基于场景化的应用,则OTA就需要一个新增的按需拉取和部署AI模型的能力,使边缘设备尽管在硬件资源限制条件下,仍可以通过动态的模型选择,得到较好的AI交互体验。

商业模式也将有革新机会,边缘AI的生态将创造更高价值

“OTA + 场景化模型”这样的新范式,将为边缘AI计算构建开放的,可订阅、可迭代的模型市场提供可行性。用户可以低成本试用AI模型,再按需订阅,而开发者则可以通过市场提供AI模型,并接受用户的反馈不断优化模型体验,形成边缘AI计算的正向循环,加速AI在边缘端的落地应用。

我们认为未来的AI计算,不应该只存在于云端之上,更应该真正地属于个人!

而对于个人用户来说,专属AI 将可以变成个人成长的长期伙伴

每个人的知识、经验、决策方式都是独一无二的,所以AI应用也应该能做到个性化的应用。AMC的随身携带可以让AI在不同场景中适应用户需求,即时响应、智能辅助。与此同时,AMC通过长期数据存储与学习,不断沉淀、优化,逐步构建属于个人的Digital Twins(数字孪生),让AI计算真正理解,持续成长,成为个人的长期智慧资产。

离线运行,多场景随时调用,无论办公、学习还是工业应用,AI即插即用,不依赖云端。

存储与回传,依托AMC本体32GB的存储能力,使用过程中的数据可本地化存储,也可主动同步到个人主机,形成专属AI记忆 。

让AI模型个性化成长,成为“最懂你的聪明助手”并且随时随地即时响应。

从 “大而全” 到 “小而精”,我们看到了AMC在AI计算领域的潜力,有望让AI计算变得更精准、更高效。场景化模型 OTA能让开发者更快构建AI,用户更自由地使用AI,推动AI计算从通用向定制、从固定向灵活、从单一向多元发展,真正赋能千行百业。

跃昉科技,依托RISC-V计算架构,不断探索芯片、边缘AI计算与智能互联的创新融合,加速推动国产AI计算自主化。我们相信,未来的AI计算不再是一种昂贵的资源,而是普惠的能力。个性化的智能,是一股驱动世界跃向更智能未来的核心动力!

广东跃昉科技有限公司聚焦研发基于RISC-V架构的SoC芯片产品及系统解决方案,并提供从操作系统到云平台的全栈基础智能软件服务,通过融合人工智能、物联网区块链等交叉领域技术为中国数字经济的创新应用赋能。

跃昉科技作为RISC-V架构SoC芯片设计及产业应用的开拓者,已推出系列基于RISC-V架构的高性能SoC芯片及产品,覆盖AIoT边端物联、控制和计算等应用领域,集高效能计算资源、丰富工业接口、稳定可靠品质等特性于一体。依托于全栈技术能力,跃昉科技正持续深耕于智慧能源、智慧物流、智慧城市、智慧工厂等领域,旨在为客户带来专业化、高品质的产品和服务。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • RISC-V
    +关注

    关注

    49

    文章

    2941

    浏览量

    53521
  • 跃昉科技
    +关注

    关注

    0

    文章

    86

    浏览量

    3287
  • 大模型
    +关注

    关注

    2

    文章

    3753

    浏览量

    5268
  • DeepSeek
    +关注

    关注

    2

    文章

    837

    浏览量

    3394

原文标题:RISC-V计算新突破!跃昉AMC将DeepSeek大模型装进口袋

文章出处:【微信号:跃昉科技LeapFive,微信公众号:跃昉科技LeapFive】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    如何在ZYNQ本地部署DeepSeek模型

    一个将最小号 DeepSeek 模型部署到 AMD Zynq UltraScale+ MPSoC 处理系统的项目。
    的头像 发表于 12-19 15:43 7803次阅读
    如何在ZYNQ<b class='flag-5'>本地</b>部署<b class='flag-5'>DeepSeek</b><b class='flag-5'>模型</b>

    科技与米立科技达成战略合作

    2025年12月9日,广东科技有限公司与福州米立科技股份有限公司正式签署战略合作协议,共同宣布在智慧社区与物联网领域展开深度合作。科技事业部总经理刘清波与米立科技副总经理李伟代
    的头像 发表于 12-16 11:15 527次阅读

    发布元服务配置本地化基础信息(应用名称、图标)

    您可以添加元服务支持的语言,并配置对应语言的本地化信息。 例如,当您设置简体中文为默认语言,并且只配置中文的本地化信息,那么元服务在所有设置的发布国家或地区的信息都将显示中文。如果您还设置了英文
    发表于 10-24 17:42

    DeepSeek模型如何在云服务器上部署?

    随着大型语言模型(LLM)的应用日益普及,许多开发者和企业希望将像DeepSeek这样的优秀模型部署到自己的云服务器上,以实现私有、定制
    的头像 发表于 10-13 16:52 1126次阅读

    广和通成功部署DeepSeek-R1-0528-Qwen3-8B模型

    近日,广和通在MediaTek MT8893平台上成功部署并运行DeepSeek-R1-0528-Qwen3-8B模型,显著提升了端侧AI设备的处理效率与智能水平,特别是在
    的头像 发表于 09-26 13:35 985次阅读

    破解非洲数字鸿沟:传音控股以本地化创新与教育合作助力可持续发展

    科技出海企业代表传音控股继续秉持“全球视野,本地化创新”理念,通过技术研发与公益投入双轮驱动,助力非洲跨越数字鸿沟。深耕本地化创新,传音赋能非洲数字发展在非洲
    的头像 发表于 09-25 16:46 1341次阅读
    破解非洲数字鸿沟:传音控股以<b class='flag-5'>本地化</b>创新与教育合作助力可持续发展

    全球首款RiSC-V企业级模拟平台,科技LeapEMU正式亮相

    9月19日,广东科技在珠海举办的“RISC-V软件生态研讨会上”,公司正式发布了全球首款支持超128核RiSC-V RVA23企业级模拟平台LeapEMU。科技创始人兼CEO江
    的头像 发表于 09-25 00:32 4291次阅读
    全球首款RiSC-V企业级模拟平台,<b class='flag-5'>跃</b><b class='flag-5'>昉</b>科技LeapEMU正式亮相

    本地部署openWebUI + ollama+DeepSeek 打造智能知识库并实现远程访问

    DeepSeek 作为一个开源的大语言模型,我们可以通过 ZeroNews + openWebUI + ollama的方式,轻松的在本地私有部署
    的头像 发表于 09-10 16:41 5512次阅读
    <b class='flag-5'>本地</b>部署openWebUI + ollama+<b class='flag-5'>DeepSeek</b> 打造智能知识库并<b class='flag-5'>实现</b>远程访问

    能源监测管理平台是本地化部署好还是云端部署好?

    能源监测管理平台本地化部署和云端部署各有优劣,企业需根据自身需求和实际情况来选择。如果企业对数据安全要求极高、网络环境特殊且预算充足,本地化部署可能更合适;若企业注重灵活性、成本效益和便捷访问,云端
    的头像 发表于 07-22 15:16 651次阅读
    能源监测管理平台是<b class='flag-5'>本地化</b>部署好还是云端部署好?

    传音控股本地化战略的跨区域成功:驱动东南亚、南亚数字浪潮 ​

    全球新兴市场智能终端竞争进入新阶段,传音控股继续凭借“本地化”战略优势书写着从非洲到全球的扩张传奇。与印尼电信巨头IOH达成战略合作、优化游戏体验、研发全肤色影像技术,传音正在将成熟的本地化模式成功
    的头像 发表于 07-18 16:09 1184次阅读
    传音控股<b class='flag-5'>本地化</b>战略的跨区域成功:驱动东南亚、南亚数字<b class='flag-5'>化</b>浪潮 ​

    AI+能源数字破局者故事5:斯伦贝谢 x IBM 咨询之 “全球经营与本地化适配”

    斯伦贝谢与 IBM 的合作建立在技术专长、交付能力及本地化支持的基础上,IBM 的强大技术实力和本地经验,使其成为斯伦贝谢推动数字转型的重要合作伙伴
    的头像 发表于 07-17 19:02 1583次阅读

    施耐德电气与奇安信共建技术本地化创新中心

     在施耐德电气技术本地化创新日上 ; 施耐德电气与奇安信集团宣布成立 施耐德电气(中国)技术本地化创新中心。 该中心将提供 针对国产基础软硬件的深度适配服务,以信息技术共创和生态协同为核心 ,更好
    的头像 发表于 07-10 19:01 1151次阅读
    施耐德电气与奇安信共建技术<b class='flag-5'>本地化</b>创新中心

    曙光AI解决方案助力北京农商银行提升业务效率

    今年以来,以DeepSeek为代表的人工智能大模型蓬勃发展。为抢抓技术变革窗口期,北京农商银行基于曙光AI解决方案的强劲算力,利用DeepAI深算智能引擎快速实现DeepSeek R1
    的头像 发表于 07-09 16:59 1231次阅读

    ElfBoard技术实战|ELF 2开发板本地部署DeepSeek模型的完整指南

    ELF 2开发板本地部署DeepSeek模型的完整指南
    的头像 发表于 05-16 11:13 2757次阅读
    ElfBoard技术实战|ELF 2开发板<b class='flag-5'>本地</b>部署<b class='flag-5'>DeepSeek</b>大<b class='flag-5'>模型</b>的完整指南

    科技推动数字云平台落地应用

    科技与开源社区的共同努力下,国产时序数据库IoTDB已成功适配RISC-V高性能平台。这一成果为基于RISC-V的数字云平台部署奠定了坚实的技术基础。
    的头像 发表于 04-28 14:05 1053次阅读
    <b class='flag-5'>跃</b><b class='flag-5'>昉</b>科技推动数字<b class='flag-5'>化</b>云平台落地应用