0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

美格智能AIMO智能体+DeepSeek-R1模型,AI应用的iPhone时刻来了

美格智能 2025-01-28 15:50 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

导语:

AI大模型从云端下沉至终端设备,一场关于效率、隐私与智能化的革命悄然展开。作为全球领先的无线通信模组及解决方案提供商,美格智能凭借其高算力AI模组矩阵与端侧大模型部署经验,结合最新发布的AIMO智能体产品,正加速开发DeepSeek-R1模型在端侧落地应用及端云结合整体方案,助力国产优质模型渗透千行百业,共塑智能化未来。

AIMO智能体硬件加速迭代,AI硬件与大模型协同优化

美格智能基于高通骁龙高性能计算平台打造的AIMO智能体产品,集成48Tops AI算力,支持混合精度计算(INT4/FP8)与异构计算架构(8核CPU+Adreno GPU+Hexagon NPU),可高效承载7B参数级大模型的端侧推理需求。其板载16GB LPDDR5X内存与256GB UFS 4.0存储,为模型动态加载与实时数据处理提供硬件保障。2025年美格智能将推出单颗模组算力达到100Tops的高阶AI硬件,远期规划AI模组算力超过200Tops。

wKgZO2eV-OWAQfzeAARc7OEm4tk894.png

美格智能已成功在高算力AI模组上部署LLaMA-2、通义千问Qwen、ChatGLM2等大模型,验证了从模型压缩(量化、剪枝)到框架适配(ONNX/TFLite)的全流程能力。美格智能自研的MEIG AI算法部署平台、AIMO智能体、模型优化器等,可大幅缩短模型落地周期,支持开发者通过Python快速完成应用开发,并支持开发者进行模型训练。

AIMO智能体内置的高算力AI模组的异构计算架构,具备协同加速能力,支持模型并行计算与低功耗运行,LPDDR5X内存提供超过60GB/s带宽,满足7B模型推理时的高吞吐需求。内置专用AI加速引擎支持INT4/FP16混合精度计算,与DeepSeek-R1模型的量化格式(INT4/FP8)高度适配。

DeepSeek-R1低调亮相,蒸馏小模型超越OpenAI o1-mini

DeepSeek-R1采用强化学习逻辑,驱动通过多阶段RL训练(基础模型→RL→微调迭代),DeepSeek-R1在数学、代码、逻辑推理任务中表现比肩国际顶尖模型,如AIME数学竞赛准确率达71%。DeepSeek-R1提供轻量化适配:DeepSeek-R1系列提供1.5B至70B参数蒸馏版本,其中7B模型经INT4量化后仅需2-4GB存储,完美适配终端设备内存限制。DeepSeek-R1的动态思维链,支持数万字级内部推理过程,解决复杂问题时能自主拆解步骤并验证逻辑,输出可解释性更强的结果。

wKgZPGeV-OaABRNJAAMYGXMVSNA332.png

DeepSeek在开源DeepSeek-R1-Zero和DeepSeek-R1两个660B模型的同时,通过DeepSeek-R1的输出,蒸馏了6个小模型开源给社区,其中32B和70B模型在多项能力上实现了对标OpenAI o1-mini的效果。除32B和70B模型能力强悍外,DeepSeek-R1同步开源1.5B、7B、8B、14B等多个蒸馏小模型,极大扩展了终端侧模型部署的可选性,并支持用户进行“模型蒸馏”,明确允许用户利用模型输出、通过模型蒸馏等方式训练其他模型。

以DeepSeek-R1 7B模型的端侧适配性举例,该模型具备轻量化设计特征,经蒸馏和量化后模型体积压缩至2-4GB,很好的匹配移动端存储限制。模型具备低延迟推理能力,在高算力模组平台上,可实现10-20 tokens/s的生成速度。模型支持分块推理和稀疏计算,结合美格智能高算力AI模组的能效优化,能实现极低的功耗控制。

算力与模型的技术迭代,AI应用的iPhone时刻即将带来

美格智能研发团队结合AIMO智能体、高算力AI模组的异构计算能力,结合多款模型量化、部署、功耗优化Know-how,正在加速开发DeepSeek-R1模型在端侧落地应用及端云结合整体方案。

wKgZO2eV-OiAS-j8AAPHEBsvcUw941.png

▶超低功耗

首先持续对DeepSeek-R1模型的推理延迟进行优化,保证模型在高算力模组软硬件环境下的超低功耗运行。

▶开发工具链

不断进行工具链打通,模组内嵌的SNPE引擎直接支持DeepSeek-R1模型的ONNX/TFLite格式,大模型适配周期将大幅缩短。

▶端云协同

结合动态卸载技术,根据任务复杂度自动分配端侧与边缘计算资源,保障实时性与能效平衡。为客户提供端云协同模板,面向开发者提供动态任务分配框架,简单配置即可实现“本地优先,云端兜底”。

通过高阶AI硬件与DeepSeek-R1模型的能力结合,将突破端侧AI的能力边界。7B模型支持长文本理解、代码生成等传统端侧小模型无法完成的任务。多模态融合能力,高算力AI模组的ISP+AI能力结合DeepSeek-R1模型,可实现端侧图文问答、视频内容解析(如实时字幕生成)。个性化持续学习,通过AI模组的边缘计算能力,支持联邦学习框架下的本地模型微调(如用户习惯适配)。

在算力+模型的不断迭代背后,端侧AI及端云协同的商业模式和商业竞争力都将面临重构,DeepSeek-R1的发布,更是会极大刺激AI下游应用,如工业智能化、汽车Agent、机器人、个人大模型等应用场景的指数级增长,AI应用即将迎来属于自己的iPhone时刻。

▶基于DeepSeek-R1的AI Agent开发应用

结合美格智能自研的AIMO智能体及DeepSeek-R1模型的基础能力,开发面向工业智能化、座舱智能体、智能无人机、机器人等领域的AI Agent应用。

▶端侧AI能力包

推出面向AI场景的订阅服务,针对中小型的B端或C端客户,推出“端侧AI能力包”,与大模型厂商合作,针对Token输入/输出数量、不同类型模型调用、流量费用等领域,推出一体化端侧AI Turn-key方案。

▶智能化硬件增值

商业模式方面,各类高AI配置硬件叠加端侧模型加载或云端模型接入,为高算力硬件带来更多智能化增值。

▶自建GPU服务器与个性化专属大模型开发

美格研发团队持续拓展通用模型的部署通路,并不断向客户开放相关教程和源代码,并且以最新的高算力计算平台搭建GPU服务器,可用于端侧模型训练和支持客户开发专属大模型,结合DeepSeek-R1及其宽松、开放式的MIT授权协议,千行百业的个性化模型开发和应用即将爆发。

2025年,端侧AI、端云协同等各类AI应用的iPhone时刻将加速到来。DeepSeek-R1的出现,某种程度上改变了我们对于Scale的认知,但也不会带来云端算力的需求减少甚至崩塌,相反优质模型对于AI应用场景的极大刺激,也会推动云端算力需求的提升,端侧不断进化,云端负责兜底,端云结合终将是不变的方向。

美格智能也将持续以高算力AI模组、AI Agent应用、大模型部署服务、端侧AI服务整体解决方案为基石,携手大模型厂商、生态伙伴等不断推动类似DeepSeek-R1等优秀模型的应用拓展,让普惠、自主的高阶AI实现应有的社会价值。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    89

    文章

    38091

    浏览量

    296598
  • 智能体
    +关注

    关注

    1

    文章

    387

    浏览量

    11520
  • 美格智能
    +关注

    关注

    2

    文章

    303

    浏览量

    12273
  • 大模型
    +关注

    关注

    2

    文章

    3440

    浏览量

    4964
  • DeepSeek
    +关注

    关注

    2

    文章

    824

    浏览量

    2811
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    如何使用OpenVINO运行DeepSeek-R1蒸馏模型

    DeepSeek-R1在春节期间引发了全球科技界的热度,DeepSeek-R1 是由 DeepSeek 开发的开源推理模型,用于解决需要逻辑推理、数学问题解决和实时决策的任务。
    的头像 发表于 03-12 13:45 2030次阅读
    如何使用OpenVINO运行<b class='flag-5'>DeepSeek-R1</b>蒸馏<b class='flag-5'>模型</b>

    MWC 2025|美格智能发布由高通技术赋能的全新AIMO Pro,搭载DeepSeek的48 TOPS高算力专属AI智能

    2025年初,美格智能发布AI智能产品AIMO,凭借其强大的计算能力和开放性的软件生态,产品一
    的头像 发表于 03-04 16:13 1328次阅读
    MWC 2025|<b class='flag-5'>美格</b><b class='flag-5'>智能</b>发布由高通技术赋能的全新<b class='flag-5'>AIMO</b> Pro,搭载<b class='flag-5'>DeepSeek</b>的48 TOPS高算力专属<b class='flag-5'>AI</b><b class='flag-5'>智能</b><b class='flag-5'>体</b>

    RK3588开发板上部署DeepSeek-R1模型的完整指南

    DeepSeek作为国产AI大数据模型的代表,凭借其卓越的推理能力和高效的文本生成技术,在全球人工智能领域引发广泛关注。DeepSeek-R1
    发表于 02-27 16:45

    联想moto手机集成DeepSeek-R1模型

    联想moto官方近日正式宣布,其最新款AI手机已成功集成了DeepSeek-R1满血版大模型。这款大模型拥有高达671B的满血参数,为用户带来了
    的头像 发表于 02-14 14:36 794次阅读

    了解DeepSeek-V3 和 DeepSeek-R1两个大模型的不同定位和应用选择

    DeepSeek-V3 和 DeepSeek-R1 是深度求索公司(DeepSeek)推出的两个不同定位的大模型,其核心差异主要体现在目标场景、能力侧重和技术优化方向上。以下是二者的实
    发表于 02-14 02:08

    超星未来惊蛰R1芯片适配DeepSeek-R1模型

    日前,超星未来研发团队成功完成了惊蛰R1芯片对DeepSeek-R1模型的适配工作,实现了与用户之间的流畅对话。这一成果标志着超星未来在人工智能芯片和
    的头像 发表于 02-13 14:05 1087次阅读

    Deepseek R1模型离线部署教程

    。作为国产AI大数据模型的代表,凭借其卓越的推理能力和高效的文本生成技术,在全球人工智能领域引发广泛关注。 本文主要说明DeepSeek-R1如何离线运行在EASY-EAI-Orin-
    的头像 发表于 02-12 09:37 2441次阅读
    <b class='flag-5'>Deepseek</b> <b class='flag-5'>R1</b>大<b class='flag-5'>模型</b>离线部署教程

    广汽ADiGO SENSE端云一模型DeepSeek-R1模型完成深度融合

      2025年2月8日,一段实车视频演示了广汽智能车机借助DeepSeek-R1模型回答语音提问的表现,这标志着广汽自主研发的ADiGO SENSE端云一
    的头像 发表于 02-10 09:21 2065次阅读

    软通动力天璇MaaS融合DeepSeek-R1,引领企业智能化转型

    近期,国产高性能AI推理模型DeepSeek-R1AI领域引发了广泛关注。凭借其强化学习驱动的推理能力、高性能低成本的优势以及开源策略,DeepS
    的头像 发表于 02-08 09:57 900次阅读

    deepin UOS AI接入DeepSeek-R1模型

    DeepSeek-R1 模型自发布以来吸引了众多用户关注,为了让 deepin 用户更好地体验这一前沿技术,UOS AI 现已适配接入 DeepSeek-R1 端侧
    的头像 发表于 02-08 09:52 2214次阅读

    芯动力神速适配DeepSeek-R1模型AI芯片设计迈入“快车道”!

    近期,国产大模型 DeepSeek-R1横空出世,迅速成为AI领域的焦点。 芯动力在24小时内完成了与DeepSeek-R1模型的适配。
    的头像 发表于 02-07 16:55 896次阅读
    芯动力神速适配<b class='flag-5'>DeepSeek-R1</b>大<b class='flag-5'>模型</b>,<b class='flag-5'>AI</b>芯片设计迈入“快车道”!

    网易有道全面接入DeepSeek-R1模型

    近日,网易有道宣布了一个重要决定,即全面接入DeepSeek-R1模型。这一举措标志着网易有道在AI技术方面迈出了重要一步,将为用户带来更加智能化、个性化的学习体验。 据悉,网易有道
    的头像 发表于 02-07 14:42 1342次阅读

    原生鸿蒙版小艺App上架DeepSeek-R1AI智慧体验更丰富

    升级至11.2.10.310版本及以上,打开小艺App,点击“发现”-“智能”-“DeepSeek-R1”,即可体验DeepSeek。或者也可以唤醒
    的头像 发表于 02-07 13:24 1972次阅读

    中软国际JointPilot平台上线DeepSeek-R1模型

    近日,DeepSeek-R1模型凭借其开源优势,超低训练成本和高性能,在全球人工智能领域引发广泛关注。中软国际积极拥抱AI时代变革,致力于将前沿技术与企业实际需求积极融合,其Joint
    的头像 发表于 02-06 09:55 1247次阅读

    CES 2025 | 美格智能创新发布AI智能产品AIMO

    CES2025展会现场,美格智能创新发布AI智能产品—AIMO,一款面向C端消费者的个人化
    的头像 发表于 01-10 09:03 1705次阅读
    CES 2025 | <b class='flag-5'>美格</b><b class='flag-5'>智能</b>创新发布<b class='flag-5'>AI</b><b class='flag-5'>智能</b><b class='flag-5'>体</b>产品<b class='flag-5'>AIMO</b>