0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

高通推动终端侧AI释放全新价值

高通中国 来源:高通中国 2025-03-21 09:28 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

通过蒸馏技术将百亿参数模型压缩至端侧设备可运行的创新,让AI推理成本大幅下降,为终端侧AI的爆发按下加速键。低成本、高灵活性的特性引发了行业对这一技术突破的深度思考,也验证了AI格局即将向大规模推理转变的趋势。

小模型也有“大智慧”

近年来,前沿大模型技术不断取得突破。在训练成本下降、快速推理部署以及针对边缘环境的创新推动下,业内已经催生了大量更智能、更小型、更高效的模型。

借助蒸馏技术,大模型能够通过“教学”将强大的推理能力提炼并迁移到小模型中,将复杂的AI模型简化,在保持高性能的同时,减少计算资源的消耗。这一技术不仅打破了“模型越大越聪明”的固有认知,也让更多人以更低成本享受到了AI的高性能。

下图展示了蒸馏的强大能力。比较Llama 3.3 700亿参数模型和同类DeepSeek R1蒸馏模型的LiveBench平均测试结果,在相同参数规模下,蒸馏能够在推理、编程和数学任务中显著提高性能。

683935e0-04bb-11f0-9310-92fbcf53809c.png

Meta Llama 700亿参数模型和DeepSeek对应蒸馏模型的LiveBench AI基准测试平均结果对比。

来源:LiveBench.ai,2025年2月。

在DeepSeek R1蒸馏版本与其他先进模型的基准测试结果对比中。基于通义千问模型和Llama模型的DeepSeek蒸馏版本展现了诸多明显优势,尤其是在GPQA基准测试中,与GPT-4o、Claude 3.5 Sonnet和GPT-o1 mini等先进模型相比,取得了相似或更高的分数。这也进一步反映了在涉及解决复杂问题的深层次、多步骤的推理中,小模型正在接近前沿大模型的质量。

68542f9e-04bb-11f0-9310-92fbcf53809c.jpg

数学和编程基准测试。来源:DeepSeek,2025年1月。

高通技术公司高级副总裁兼技术规划和边缘解决方案业务总经理马德嘉认为,模型规模将持续减小,同时质量将不断改进。这一趋势至关重要,因为这意味着未来所有这些模型都能够在我们口袋里的终端上运行。

多维度发力,领跑AI推理创新时代

如今,许多主流模型系列包括DeepSeek R1、Meta Llama、IBM Granite和Mistral Ministral都推出了小模型版本,且面向特定任务的性能和基准测试都表现出色,从而使此类模型更适合在智能手机、PC和汽车等终端上部署。作为终端侧AI的引领者,高通技术公司凭借面向边缘终端的行业先进硬件和软件解决方案,在推动AI推理时代发展上具有战略优势。

在硬件层面,高通技术公司长期致力于开发定制CPU、NPU、GPU和低功耗子系统,同时拥有封装技术和热设计的技术专长,构成了其行业先进系统级芯片(SoC)产品的基础。通过紧密集成这些核心组件,高通技术公司的平台可在保持电池续航和整体能效表现的同时处理复杂AI任务,这对边缘侧用例至关重要。

软件层面上,高通技术公司还构建了强大的AI软件栈,旨在赋能软件开发者。高通 AI软件栈包括库(libraries)、SDK和优化工具,可简化模型部署并提升性能。开发者可以利用这些资源,面向高通平台高效进行模型适配,缩短AI赋能应用的上市时间。

此外,高通技术公司还与全球伙伴积极合作,构建繁荣开放的AI生态,凭借多年深耕移动产业的影响力、领导力,紧密携手设备厂商、模型厂商、开发者、用户,通过简化在消费和商用产品中集成先进AI特性的过程,不断赋能AI创新,成为加速终端侧AI发展的重要力量。

赋能关键领域,终端侧AI释放全新价值

在MWC巴塞罗那期间,高通技术公司也展示了iQOO、努比亚、OPPO、荣耀、小米和一加等中国生态伙伴搭载骁龙 8至尊版的商用旗舰AI智能手机,包括最新发布的小米15 Ultra,带来基于骁龙平台的终端侧生成式AI的最新应用成果。

骁龙8至尊版为这些先进用例提供了可靠的算力支撑,第二代定制的高通Oryon CPU、全新切片架构的高通 Adreno GPU和增强的高通 Hexagon NPU等这些创新技术将开启终端侧生成式AI新时代——通过直接在终端侧提供个性化的多模态生成式AI,支持语音、情境和图像理解,从而全面增强从生产力到创意任务等各方面的体验。

而这只是AI价值的冰山一角,得益于终端侧本地AI处理带来的增强的性能、效率、响应速度和隐私性,高通技术公司还利用终端侧AI赋能包含PC、汽车、工业互联网、网络等在内的众多行业和边缘细分领域、释放商业价值并支持全新用户体验。

在PC领域,骁龙X系列平台凭借专为实现高性能、高能效的生成式AI推理而打造的、业界先进的定制NPU核心,对定义全新AI PC品类发挥了关键作用。该NPU为Windows应用带来显著加速、增加全新特性、提升性能,并增强隐私保护和电池续航。

随着AI创新在边缘爆发,高通技术公司在可扩展硬件和软件方面的投入将进一步巩固其领导地位,推动一个全新时代的到来,让AI应用更加触手可及、更高效,并且融入日常生活的方方面面,推动全球多个行业的变革。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 高通
    +关注

    关注

    78

    文章

    7684

    浏览量

    198699
  • AI
    AI
    +关注

    关注

    89

    文章

    38183

    浏览量

    296962
  • 模型
    +关注

    关注

    1

    文章

    3649

    浏览量

    51719

原文标题:AI推理时代,终端侧AI如何释放全新价值?

文章出处:【微信号:Qualcomm_China,微信公众号:高通中国】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    全新Arm C1 CPU集群推动移动端AI转型

    速响应的应用、低延迟的 AI 助手,覆盖到高级相机功能和实时语音处理,意味着端 AI 体验朝向智能化、沉浸式,以及高要求等方向发展,伴随而来便是对高性能、高能效边缘计算的空前需求。
    的头像 发表于 09-15 14:27 1109次阅读
    <b class='flag-5'>全新</b>Arm C1 CPU集群<b class='flag-5'>推动</b>移动端<b class='flag-5'>侧</b><b class='flag-5'>AI</b>转型

    此芯科技发布“合一”AI加速计划,赋能边缘与端AI创新

    产品组合,覆盖从1.5B至32B参数规模的端AI模型推理需求,满足工业、消费电子、智能终端等多样化场景的部署需求,推动AI技术从云端向边缘
    的头像 发表于 09-15 11:53 2011次阅读
    此芯科技发布“合一”<b class='flag-5'>AI</b>加速计划,赋能边缘与端<b class='flag-5'>侧</b><b class='flag-5'>AI</b>创新

    重磅!通跃龙产品组合直击工业物联痛点,AI加持催化终端升级

    在嵌入式主论坛现场,通技术公司产品市场总监李大龙发表题为《智慧赋能、开放协作,释放AI的无限可能》的主题演讲,深入探讨了物联网行业演进趋势下,
    的头像 发表于 08-29 10:04 6925次阅读
    重磅!<b class='flag-5'>高</b>通跃龙产品组合直击工业物联痛点,<b class='flag-5'>AI</b>加持催化<b class='flag-5'>终端</b>升级

    移远 × 通:从开源生态到场景验证,共筑端AI新生态

    呈现了数十款基于通平台与移远方案的创新终端,如人形机器人、智能生态开发板、AI算法超市&AI用户体验平台等,为行业解锁端
    的头像 发表于 08-26 21:52 753次阅读
    移远 × <b class='flag-5'>高</b>通:从开源生态到场景验证,共筑端<b class='flag-5'>侧</b><b class='flag-5'>AI</b>新生态

    AI 芯片:终端智能落地的核心引擎

    电子发烧友网报道(文 / 李弯弯)端 AI 芯片,是专门为在诸如智能手机、IoT 设备、自动驾驶汽车等终端设备上,高效运行人工智能算法而设计的处理器。通过硬件级优化,它们能够实现低功耗、
    的头像 发表于 04-14 02:11 4024次阅读

    首创开源架构,天玑AI开发套件让端AI模型接入得心应手

    时间。 这不仅仅是工具的升级,更是迈向智能体化用户体验的关键基础设施。 天玑AI开发套件 2.0,全面释放天玑端AI能力 去年,天玑AI
    发表于 04-13 19:52

    通骁龙8至尊版移动平台革新终端AI影像体验

    自智能手机时代以来,人们对于手机摄影的专业追求从未停歇。骁龙凭借前沿的影像和终端AI技术,持续引领移动计算摄影发展。最新的骁龙8至尊版移动平台,实现了突破性的技术升级和影像体验,全新
    的头像 发表于 03-31 11:09 1610次阅读

    AI应用——“后DeepSeek时代”产业机遇分析

    ,面向行业进一步释放 "端 AI 应用" 的确定性机遇,推动“后DeepSeek时代” PC生产力边界实现跨越式拓展。 搭载AMD锐龙AI
    的头像 发表于 03-26 17:34 687次阅读

    芯讯通首次发布全新AI全栈解决方案SIMCom AI Stack

    近日,世界移动通信大会MWC 2025在西班牙巴塞罗那正式开幕。芯讯通携5G-A、AIoT、5G RedCap等众多前沿领域的创新成果惊艳亮相,并首次发布全新AI全栈解决方案SIMCom
    的头像 发表于 03-08 09:56 1053次阅读

    瑞迅科技智能终端接入DeepSeek,开启端AI应用无限可能

    释放,更在多元场景中开辟了"终端+AI"的创新应用范式,为千行百业的智能化转型注入全新动能。通过对模型进行格式转换和部署,目前MTB-780系列可以成功运行Deep
    的头像 发表于 02-21 11:21 1180次阅读
    瑞迅科技智能<b class='flag-5'>终端</b>接入DeepSeek,开启端<b class='flag-5'>侧</b><b class='flag-5'>AI</b>应用无限可能

    AI变革正在推动终端推理创新

    尖端AI推理模型DeepSeek R1一经问世,便在整个科技行业引起波澜。因其性能能够媲美甚至超越先进的同类模型,颠覆了关于AI发展的传统认知。
    的头像 发表于 02-20 10:54 910次阅读

    微软推出全新Windows 11 AI+ PC产品

    随着企业展望未来,通过云端和终端访问并释放价值将成为每个人工智能战略的基石。将云计算的可扩展性与基于强大神经处理单元(NPU)的本地 AI 计算效率相结合,微软推出了突破性的 PC 品
    的头像 发表于 02-18 18:20 1350次阅读

    联发科技携手Cocos共建端生成式AI游戏开发生态,推动行业升级

    捷更高效的应用开发体验,助力全球亿万用户享受全新的智能互动体验。 随着智能终端性能的不断提升,端生成式AI技术正成为推动游戏和应用体验变革
    的头像 发表于 01-10 09:24 721次阅读

    炬芯科技发布ATS323X系列端AI音频芯片

    面向低延迟私有无线音频领域的创新之作:ATS323X系列芯片,这是全新一代基于MMSCIM的端AI音频芯片,目前该芯片方案正与品牌客户协同开发中,不久后将在终端品牌产品中落地应用,为
    的头像 发表于 12-12 14:58 1684次阅读

    广和通开启端AI新时代

    AI发展正酣,随着终端芯片算力越来越高、端模型能力越来越强、实时响应及隐私保护的端应用需求增加,端
    的头像 发表于 12-12 10:35 1297次阅读