0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

高通推动终端侧AI释放全新价值

高通中国 来源:高通中国 2025-03-21 09:28 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

通过蒸馏技术将百亿参数模型压缩至端侧设备可运行的创新,让AI推理成本大幅下降,为终端侧AI的爆发按下加速键。低成本、高灵活性的特性引发了行业对这一技术突破的深度思考,也验证了AI格局即将向大规模推理转变的趋势。

小模型也有“大智慧”

近年来,前沿大模型技术不断取得突破。在训练成本下降、快速推理部署以及针对边缘环境的创新推动下,业内已经催生了大量更智能、更小型、更高效的模型。

借助蒸馏技术,大模型能够通过“教学”将强大的推理能力提炼并迁移到小模型中,将复杂的AI模型简化,在保持高性能的同时,减少计算资源的消耗。这一技术不仅打破了“模型越大越聪明”的固有认知,也让更多人以更低成本享受到了AI的高性能。

下图展示了蒸馏的强大能力。比较Llama 3.3 700亿参数模型和同类DeepSeek R1蒸馏模型的LiveBench平均测试结果,在相同参数规模下,蒸馏能够在推理、编程和数学任务中显著提高性能。

683935e0-04bb-11f0-9310-92fbcf53809c.png

Meta Llama 700亿参数模型和DeepSeek对应蒸馏模型的LiveBench AI基准测试平均结果对比。

来源:LiveBench.ai,2025年2月。

在DeepSeek R1蒸馏版本与其他先进模型的基准测试结果对比中。基于通义千问模型和Llama模型的DeepSeek蒸馏版本展现了诸多明显优势,尤其是在GPQA基准测试中,与GPT-4o、Claude 3.5 Sonnet和GPT-o1 mini等先进模型相比,取得了相似或更高的分数。这也进一步反映了在涉及解决复杂问题的深层次、多步骤的推理中,小模型正在接近前沿大模型的质量。

68542f9e-04bb-11f0-9310-92fbcf53809c.jpg

数学和编程基准测试。来源:DeepSeek,2025年1月。

高通技术公司高级副总裁兼技术规划和边缘解决方案业务总经理马德嘉认为,模型规模将持续减小,同时质量将不断改进。这一趋势至关重要,因为这意味着未来所有这些模型都能够在我们口袋里的终端上运行。

多维度发力,领跑AI推理创新时代

如今,许多主流模型系列包括DeepSeek R1、Meta Llama、IBM Granite和Mistral Ministral都推出了小模型版本,且面向特定任务的性能和基准测试都表现出色,从而使此类模型更适合在智能手机、PC和汽车等终端上部署。作为终端侧AI的引领者,高通技术公司凭借面向边缘终端的行业先进硬件和软件解决方案,在推动AI推理时代发展上具有战略优势。

在硬件层面,高通技术公司长期致力于开发定制CPU、NPU、GPU和低功耗子系统,同时拥有封装技术和热设计的技术专长,构成了其行业先进系统级芯片(SoC)产品的基础。通过紧密集成这些核心组件,高通技术公司的平台可在保持电池续航和整体能效表现的同时处理复杂AI任务,这对边缘侧用例至关重要。

软件层面上,高通技术公司还构建了强大的AI软件栈,旨在赋能软件开发者。高通 AI软件栈包括库(libraries)、SDK和优化工具,可简化模型部署并提升性能。开发者可以利用这些资源,面向高通平台高效进行模型适配,缩短AI赋能应用的上市时间。

此外,高通技术公司还与全球伙伴积极合作,构建繁荣开放的AI生态,凭借多年深耕移动产业的影响力、领导力,紧密携手设备厂商、模型厂商、开发者、用户,通过简化在消费和商用产品中集成先进AI特性的过程,不断赋能AI创新,成为加速终端侧AI发展的重要力量。

赋能关键领域,终端侧AI释放全新价值

在MWC巴塞罗那期间,高通技术公司也展示了iQOO、努比亚、OPPO、荣耀、小米和一加等中国生态伙伴搭载骁龙 8至尊版的商用旗舰AI智能手机,包括最新发布的小米15 Ultra,带来基于骁龙平台的终端侧生成式AI的最新应用成果。

骁龙8至尊版为这些先进用例提供了可靠的算力支撑,第二代定制的高通Oryon CPU、全新切片架构的高通 Adreno GPU和增强的高通 Hexagon NPU等这些创新技术将开启终端侧生成式AI新时代——通过直接在终端侧提供个性化的多模态生成式AI,支持语音、情境和图像理解,从而全面增强从生产力到创意任务等各方面的体验。

而这只是AI价值的冰山一角,得益于终端侧本地AI处理带来的增强的性能、效率、响应速度和隐私性,高通技术公司还利用终端侧AI赋能包含PC、汽车、工业互联网、网络等在内的众多行业和边缘细分领域、释放商业价值并支持全新用户体验。

在PC领域,骁龙X系列平台凭借专为实现高性能、高能效的生成式AI推理而打造的、业界先进的定制NPU核心,对定义全新AI PC品类发挥了关键作用。该NPU为Windows应用带来显著加速、增加全新特性、提升性能,并增强隐私保护和电池续航。

随着AI创新在边缘爆发,高通技术公司在可扩展硬件和软件方面的投入将进一步巩固其领导地位,推动一个全新时代的到来,让AI应用更加触手可及、更高效,并且融入日常生活的方方面面,推动全球多个行业的变革。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 高通
    +关注

    关注

    78

    文章

    7748

    浏览量

    200343
  • AI
    AI
    +关注

    关注

    91

    文章

    41115

    浏览量

    302600
  • 模型
    +关注

    关注

    1

    文章

    3818

    浏览量

    52269

原文标题:AI推理时代,终端侧AI如何释放全新价值?

文章出处:【微信号:Qualcomm_China,微信公众号:高通中国】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    Arm与Google携手共筑端AI未来

    如今,全球数十亿智能手机用户已将实时辅助、流畅沟通与高度个性化视为基础体验。在智能手机的功耗限制下实现高性能端人工智能 (AI),对规模化提供即时智能体验、释放 AI 未来潜力至关重
    的头像 发表于 04-21 14:39 273次阅读

    大为创芯进军AI眼镜存储,端AI存储全面布局

    当前大模型应用持续渗透,AI 产业正迎来一轮关键的架构迁移,AI 存储正从以云端集中处理为主,逐步向终端与边缘下沉延伸。这一趋势让端存储
    的头像 发表于 04-03 10:20 4093次阅读
    大为创芯进军<b class='flag-5'>AI</b>眼镜存储,端<b class='flag-5'>侧</b><b class='flag-5'>AI</b>存储全面布局

    AI应用时代,江波龙集成存储如何为端AI创造价值

    AI快速发展的现状和趋势对存储生态和产业链带来颠覆式重构,存储原厂将资源专注到AI云端市场,消费类电子市场出现买不到、用不起的经营压力。随着云端AI建设,端
    的头像 发表于 03-23 15:19 450次阅读
    <b class='flag-5'>AI</b>应用时代,江波龙集成存储如何为端<b class='flag-5'>侧</b><b class='flag-5'>AI</b>创造<b class='flag-5'>价值</b>?

    富瀚微推动OpenClaw实现端本地运行验证

    随着生成式人工智能持续突破,AI正从“内容生成工具”向具备自主执行能力的智能体形态加速演进。在这一背景下,AI Agent正逐步成为推动智能终端升级的重要技术方向。如何在
    的头像 发表于 03-17 17:27 1062次阅读
    富瀚微<b class='flag-5'>推动</b>OpenClaw实现端<b class='flag-5'>侧</b>本地运行验证

    TECNO与Arm携手推动移动端实时生成式AI

    Arm 始终坚信,人工智能 (AI) 及其所带来的价值,理应惠及更广泛的人群。这一理念正引领 AI 迈入全新发展阶段 —— 更具个性化、即时可用,并越来越多地在端
    的头像 发表于 03-11 10:31 463次阅读

    MWC 2026|美格智能发布SNM979算力AI模组,重塑AI原生的高清视觉终端

    前言一块仅有掌心大小的模组,却能驱动4K视频会议系统流畅进行AI降噪、人物追踪,并实时生成会议纪要——美格智能全新SNM979系列算力AI模组正在重新定义智能
    的头像 发表于 03-02 12:22 539次阅读
    MWC 2026|美格智能发布SNM979<b class='flag-5'>高</b>算力<b class='flag-5'>AI</b>模组,重塑<b class='flag-5'>AI</b>原生的高清视觉<b class='flag-5'>终端</b>

    算力、低功耗!下一代端AI芯片排队进场

    电子发烧友网报道(文/李弯弯)随着人工智能技术的飞速发展,端AI正成为推动智能硬件变革的核心动力。在汽车、机器人、AI眼镜、可穿戴设备等多个领域,具备本地化大模型处理能力的
    的头像 发表于 12-12 08:58 9947次阅读

    重磅!通2028年将推6G预商用终端通CEO安蒙畅谈AI六大趋势

    的合作伙伴,将AI应用从智能手机延伸至PC、汽车、IoT等更多领域,共同推动AI创新发展的边界。 “10年前,通在纽约发布骁龙835,10年后在2025
    的头像 发表于 09-29 09:00 9240次阅读
    重磅!<b class='flag-5'>高</b>通2028年将推6G预商用<b class='flag-5'>终端</b>,<b class='flag-5'>高</b>通CEO安蒙畅谈<b class='flag-5'>AI</b>六大趋势

    2025年AI 智能终端和SoC芯片解读(中)

    AI智能终端经验分享
    电子发烧友网官方
    发布于 :2025年09月15日 16:44:48

    2025年AI 智能终端和SoC芯片解读(上)

    AI智能终端经验分享
    电子发烧友网官方
    发布于 :2025年09月15日 16:37:48

    全新Arm C1 CPU集群推动移动端AI转型

    速响应的应用、低延迟的 AI 助手,覆盖到高级相机功能和实时语音处理,意味着端 AI 体验朝向智能化、沉浸式,以及高要求等方向发展,伴随而来便是对高性能、高能效边缘计算的空前需求。
    的头像 发表于 09-15 14:27 2274次阅读
    <b class='flag-5'>全新</b>Arm C1 CPU集群<b class='flag-5'>推动</b>移动端<b class='flag-5'>侧</b><b class='flag-5'>AI</b>转型

    此芯科技发布“合一”AI加速计划,赋能边缘与端AI创新

    产品组合,覆盖从1.5B至32B参数规模的端AI模型推理需求,满足工业、消费电子、智能终端等多样化场景的部署需求,推动AI技术从云端向边缘
    的头像 发表于 09-15 11:53 2011次阅读
    此芯科技发布“合一”<b class='flag-5'>AI</b>加速计划,赋能边缘与端<b class='flag-5'>侧</b><b class='flag-5'>AI</b>创新

    爱芯元智AI原生处理器释放智能生产力

    近年来,人工智能产业持续高速发展,大模型技术不断突破,为各行各业带来广阔的应用想象空间。与此同时,AI算力部署正从云端加速向边缘和终端延伸,边缘AI凭借其低延迟、隐私和性价比等优势,
    的头像 发表于 09-10 11:42 1025次阅读
    爱芯元智<b class='flag-5'>AI</b>原生处理器<b class='flag-5'>释放</b>智能生产力

    重磅!通跃龙产品组合直击工业物联痛点,AI加持催化终端升级

    在嵌入式主论坛现场,通技术公司产品市场总监李大龙发表题为《智慧赋能、开放协作,释放AI的无限可能》的主题演讲,深入探讨了物联网行业演进趋势下,
    的头像 发表于 08-29 10:04 7627次阅读
    重磅!<b class='flag-5'>高</b>通跃龙产品组合直击工业物联痛点,<b class='flag-5'>AI</b>加持催化<b class='flag-5'>终端</b>升级

    移远 × 通:从开源生态到场景验证,共筑端AI新生态

    呈现了数十款基于通平台与移远方案的创新终端,如人形机器人、智能生态开发板、AI算法超市&AI用户体验平台等,为行业解锁端
    的头像 发表于 08-26 21:52 1171次阅读
    移远 × <b class='flag-5'>高</b>通:从开源生态到场景验证,共筑端<b class='flag-5'>侧</b><b class='flag-5'>AI</b>新生态