0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

端侧AI,风起移动智能计算

脑极体 来源:脑极体 作者:脑极体 2024-11-22 09:55 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

wKgZoWc_5F-ACgLmABkuFDM3k6o929.jpg

过去一年来,消费电子领域最火爆的关键词,就是端侧AI

大模型,具有强大的理解、生成能力;终端设备,是人与AI的首选交互入口。二者碰撞之下,让端侧成为大模型落地的最佳途径,甚至没有之一。越来越多的手机、PC、汽车等消费电子终端厂商,将AI技术应用到自己的产品和服务中,而端侧AI的繁荣景象离不开一个核心支撑点——计算平台(芯片)。

端侧算力,从芯而来。所以高性能芯片,是端侧AI持续繁荣的源头力量,也是高通希望借助技术创新、生态合作所推动的方向。

前不久恰逢骁龙峰会举办,我们看到高通公司继续强化终端侧AI产品布局和对国内大模型的支持。不仅宣布了与智谱、腾讯混元等大模型厂商的合作,共同推动端侧 AI 模型部署和落地。此外,还推出了面向AI手机的骁龙 8 至尊版移动平台和面向智能汽车的骁龙至尊版汽车平台。

高通公司总裁兼CEO安蒙表示,AI,尤其是生成式AI,是移动计算领域最大的变革之一;高通关注生成式AI,尤其关注AI如何改变计算体验,边缘侧将如何发展,及其如何带来颠覆性的创新周期,致力于将AI为先的体验带入每一个计算空间。

端侧AI的时代风口,源于高通为代表的移动计算,与AI深深地拥抱。我们不妨就从高通打造AI为先的体验这一方向入手,去寻找端侧AI向前一步的源头力量。

wKgaoWc_5GGACPAFAAV2n6RqXPE640.jpg

2024年伊始,PC、手机、汽车等消费电子品类都开始积极与大模型相结合,打造全新的AI XX硬件,端侧AI由此进入集中爆发阶段。

可以说,大模型打开了一个消费电子领域的全新风口,而深入风眼中心,我们会看到一支推动端侧AI酝酿并成熟的关键力量——移动计算。

端侧AI之于云侧AI的不可替代性,是大模型在本地进行计算,避免数据上云,解决用户数据和隐私安全的顾虑;实时性更强,游戏、摄影、AIGC等应用在端侧处理的时延更低、反馈更快、体验更好。

进入2024,OpenAI、智谱、腾讯混元等第一梯队的模型厂商都认识到了大模型落地端侧的价值与桎梏,纷纷推出更小规模、更高性能的模型版本。虽然大模型在积极小型化,但受到端侧计算能力、内存空间等限制,模型的减配、压缩也会折损标准通用基础大模型的性能表现。

大模型的端侧部署,十分依赖于端侧计算平台提供强大性能,支撑超大规模的数据运算量,并在性能与功耗之间实现平衡。

让大模型更好地适配端侧,成了移动计算领域的首要任务,高通正在积极地解决中。

在前不久的骁龙峰会上,高通宣布和智谱、腾讯混元合作,共同推动端侧 AI 模型部署和落地。我们能从高通的全新动作中,看到移动计算+大模型的三个变化:

wKgZoWc_5GGAQanBAAdLwMcYLEs062.jpg

变化一:更丰富的端侧AI能力。骁龙8至尊版的NPU性能比上一代提升了45%,强大的性能可以同时运行多个AI工作负载,这意味着更多基于大模型的AI应用能够在端侧部署。

wKgaoWc_5GOAWPtzAATvZgQ9nWc973.jpg

变化二:更优质的端侧智慧体验。高通为骁龙8至尊版配备目前最高速的LPDDR5x内存,解决了内存顾虑。目前,腾讯混元正通过和高通合作,推动7B和3B的混元大模型在终端部署。

变化三:更健壮的端侧AI生态。AI开发者是端侧AI持续繁荣不可或缺的角色,高通为开发者准备了基于自身硬件的高效开发工具,包括高通AI软件栈(AI Stack)和AI Hub,与腾讯混元和智谱AI达成合作,帮助模型厂商在高通硬件上更好地释放平台算力,支持AI开发者轻松地将AI模型集成到应用程序中。

根据骁龙峰会高通公布的数据,充分利用骁龙8至尊版的强大终端侧AI性能和高通AI软件栈为模型带来的性能优化,智谱GLM-4V端侧视觉大模型能够以超过70 tokens/秒的速度在终端侧高速运行。大模型的端侧性能表现优化,不仅会降低开发者的使用成本,提升开发者的产品效果,也有助于基础通用大模型的商业化。

大模型,是端侧AI这一时代风口的起点;移动计算,则从更多应用、更优体验、更强生态等方面,为大模型在端侧提供动力保障。

高通对大模型的有力支撑,从源头支持端侧AI的产业繁荣,正是推动AI为先体验的体现之一。

wKgaomc_5G2Af2s8AAVVg4Fto-w317.jpg

大模型要在终端设备上被用户用起来,才能从一种技术趋势,转变为端侧AI的产业繁荣与商业价值。AI大模型入端,硬件性能是基础。

我们采访过一位AI手机品牌的负责人就表示:AI在手机行业刚刚开始,未来的一年,AI体验会超出你的想象,而端侧模型对性能要求很高,所以性能永远不会过剩。

性能从哪里来?答案就是计算平台。针对目前端侧AI集中的两大品类:一个是个人移动终端,比如AI手机、AI PC;另一个是智能网联汽车,智能座舱、辅助驾驶、自动驾驶等AI应用都在加速上车。高通在前不久的骁龙峰会上带来了两大平台的最新技术和产品。

移动平台方面:

骁龙8至尊版芯片,凭借技术方面的性能突破和创新能力,带来了AI手机智能化的重大飞跃。

wKgZomc_5G-AVO2ZAAO07XqifNs674.jpg

骁龙8至尊版在终端侧生成式AI、多模态处理和影像处理等方面的突破,可以为AI手机的大量AI用例提供支持。比如AI-ISP技术的革命性突破,与NPU紧密结合,使得高分辨率影像数据的实时处理成为可能,手机厂商可以在摄影功能中引入更多AI应用,如自动场景识别、实时美颜和自动对焦等,这是当下年轻消费群体格外看重的产品力之一。

此外,骁龙平台还积极支持PC领域的AI应用。

在刚刚举办的2024年世界互联网大会上,高通凭借其专为Windows 11 AI+ PC设计的骁龙X Elite平台荣获“世界互联网大会领先科技奖”。骁龙X Elite的核心优势之一是采用了定制化的Oryon CPU,具备极致快速的响应速度,可以为AI PC提供强劲的性能表现。比如荣耀最新推出的AI PC,就在骁龙X Elite的算力支持下,实现了AI纪要、AI双向降噪等AI功能,极大地提升了用户的会议和沟通效率。目前,骁龙X系列已支持58款已发布或正在开发中的PC产品,有力支撑了AI PC这一新品类的成长。

汽车平台方面:

汽车智能化成为大势所趋,其中智能座舱、智能驾驶,成为车企的核心赛点。为智能汽车提供底层源动力,高通分别推出了全新的骁龙座舱至尊版平台和Snapdragon Ride至尊版平台。

wKgaomc_5HCARpxIAAFztVrewmQ975.jpg

其中,骁龙座舱至尊版平台也采用了专为汽车打造的高通自研Oryon CPU,性能大幅提升,可以助力车企实现大模型和AIGC等能力与座舱相结合,打造AI语音助手、AIGC应用、复杂情境感知、自然语言交互等新体验。

Snapdragon Ride至尊版平台也基于高通最先进的NPU及Oryon CPU,将更好的智能驾驶带到汽车上,实现了高精度定位、环境感知、决策规划以及车辆控制等一系列智能驾驶功能。

此外值得一提的是,增强AI手机、AI PC、智能汽车的产品力,更强大的移动计算硬件只是必要条件。除此之外,厂商和开发者还需要一系列开发工作来释放硬件性能、优化端侧AI表现。

目前,手机、PC、汽车等采用的骁龙硬件平台,均已集成高通自研Oryon CPU,加之高通AI软件栈的赋能,有望实现终端侧AI应用在各平台高效开发。

硬件(移动平台、PC平台和汽车平台)与软件(AI Stack、AI Hub)相协同,高通正在拆除端侧AI的性能桎梏,带动手机、汽车等各类消费电子产品加速进化,抓住大模型的技术红利。

wKgZomc_5HCAE5VLAAWA4H38SfY990.jpg

总结一下,大模型是这一轮端侧AI浪潮的起点,计算硬件是AI终端这一新概念得以落地的性能源泉。支撑大模型和AI终端的持续发展,高通也在源头为端侧AI繁荣贡献了力量。

之所以要在今天找寻端侧AI发展的源头力量,是因为这与国内消费电子厂商抓紧时代机遇和技术趋势的需求一致,与源头紧密合作、齐头并进,有利于获取向未来生长的动能。

目前来看,高通就是与国内厂商合作紧密的重要AI力量之一。

一方面,高通和骁龙平台是国内安卓手机厂商全球化、高端化的助力。国内头部品牌正在高端市场与苹果展开正面竞争。高通和骁龙与国内厂商的紧密合作,成为国内智能手机品牌在全球的竞争力保障,可以让领先的AI应用、AI手机、AI PC硬件,为全球树立标杆。目前,首批搭载骁龙8至尊版的旗舰手机,如小米、荣耀、iQOO等,已经在性价比、影像能力、游戏性能等方面,建立了鲜明的市场认知度。

此外,新能源汽车增长也有望更进一步。

目前,国内新能源汽车已经在全球市场建立了较强的竞争力,抓住智能化机遇,获得更大的发展,可以进一步夯实优势地位。骁龙汽车平台就相当于基石,支撑基于大模型的智能驾驶、智能座舱上车,让新能源汽车保持竞争优势,在全球市场走得更稳更远。

对于端侧AI来说,大模型就是新一代的操作系统,而用好这一新型操作系统,需要生态、工具、资源的充分支持。通过骁龙的软硬件生态体系,高通可以为端侧AI的发展提供生态助力,帮助更多开发者用好大模型技术,促进AI产品与应用程序的整体繁荣。

总结一下,终端消费电子的市场广阔,智能化升级才刚刚开始。AI将席卷我们熟悉的各个终端品类,站在时代风口,高通和骁龙作为源头动力的身影,也渐渐明晰起来。

高通和骁龙与AI的紧密拥抱,带来的是移动计算与端侧AI的长相厮守。狂奔一年的端侧AI故事,会继续讲述下去。

wKgaomc_5HSAFZWqAAOss-h04sI877.jpg

审核编辑 黄宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 芯片
    +关注

    关注

    463

    文章

    54432

    浏览量

    469393
  • AI
    AI
    +关注

    关注

    91

    文章

    41138

    浏览量

    302608
  • 智能计算
    +关注

    关注

    0

    文章

    200

    浏览量

    17094
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    Arm与Google携手共筑AI未来

    如今,全球数十亿智能手机用户已将实时辅助、流畅沟通与高度个性化视为基础体验。在智能手机的功耗限制下实现高性能人工智能 (
    的头像 发表于 04-21 14:39 279次阅读

    AI进入爆发期,江波龙“集成存储”引领AI PC/手机、可穿戴存储创新

    从DeepSeek AI推理大模型到今年爆火的OpenClaw AI智能体,AI市场被彻底引
    的头像 发表于 04-01 10:06 5059次阅读
    <b class='flag-5'>端</b><b class='flag-5'>侧</b><b class='flag-5'>AI</b>进入爆发期,江波龙“集成存储”引领<b class='flag-5'>AI</b> PC/手机、可穿戴存储创新

    AI应用时代,江波龙集成存储如何为AI创造价值?

    AI快速发展的现状和趋势对存储生态和产业链带来颠覆式重构,存储原厂将资源专注到AI云端市场,消费类电子市场出现买不到、用不的经营压力。随着云端AI建设,
    的头像 发表于 03-23 15:19 456次阅读
    <b class='flag-5'>AI</b>应用时代,江波龙集成存储如何为<b class='flag-5'>端</b><b class='flag-5'>侧</b><b class='flag-5'>AI</b>创造价值?

    第十五届芯原CEO论坛:AI五大预测

    。 论坛以闭门圆桌沙龙的形式展开,与会嘉宾围绕“智能眼镜与超低能耗AI”、“智慧驾驶与高算力
    发表于 02-04 16:12 1285次阅读

    美光科技揭示AI未来发展的五大关键

    和 NPU 等计算单元至关重要,但 AI 工作负载往往在计算资源耗尽之前就会遭遇内存墙。我们的业界前沿内存和存储解决方案专为满足这些严苛的
    的头像 发表于 01-30 15:36 730次阅读

    借助谷歌LiteRT构建下一代高性能AI

    自 2024 年 LiteRT 问世以来,我们一直致力于将机器学习技术栈从其 TensorFlow Lite (TFLite) 基础之上演进为一个现代化的 AI (On-Device AI
    的头像 发表于 01-30 11:23 3248次阅读
    借助谷歌LiteRT构建下一代高性能<b class='flag-5'>端</b><b class='flag-5'>侧</b><b class='flag-5'>AI</b>

    Imagination中国区董事长兼亚太区总裁白农:通用计算GPU驱动AI发展

    ,通用计算GPU正成为驱动AI发展的重要引擎。当前,
    的头像 发表于 11-26 13:56 709次阅读
    Imagination中国区董事长兼亚太区总裁白农:通用<b class='flag-5'>计算</b>GPU驱动<b class='flag-5'>端</b><b class='flag-5'>侧</b><b class='flag-5'>AI</b>发展

    聚焦AI:看美格智能全栈能力如何支撑AI产业六大趋势

    当前阶段,AI技术的竞争已从模型的“宏大叙事”转向落地应用的“精耕细作”。当行业焦点回归现实效能,一个共识愈发清晰:计算的未来,正从云端向万物互联的边缘
    的头像 发表于 10-29 16:09 1376次阅读
    聚焦<b class='flag-5'>端</b><b class='flag-5'>侧</b><b class='flag-5'>AI</b>:看美格<b class='flag-5'>智能</b>全栈能力如何支撑<b class='flag-5'>AI</b>产业六大趋势

    全新Arm C1 CPU集群推动移动AI转型

    速响应的应用、低延迟的 AI 助手,覆盖到高级相机功能和实时语音处理,意味着 AI 体验朝向智能化、沉浸式,以及高要求等方向发展,伴随而
    的头像 发表于 09-15 14:27 2277次阅读
    全新Arm C1 CPU集群推动<b class='flag-5'>移动</b><b class='flag-5'>端</b><b class='flag-5'>侧</b><b class='flag-5'>AI</b>转型

    此芯科技发布“合一”AI加速计划,赋能边缘与AI创新

    此芯科技正式发布“合一”AI加速计划,旨在为边缘计算AI场景提供高能效的全栈算力解决方案。该计划由此芯科技联合多家行业合作伙伴共同发起
    的头像 发表于 09-15 11:53 2011次阅读
    此芯科技发布“合一”<b class='flag-5'>AI</b>加速计划,赋能边缘与<b class='flag-5'>端</b><b class='flag-5'>侧</b><b class='flag-5'>AI</b>创新

    基于Vulkan的AI运算

    本期内容由AI Model SIG提供,介绍了在开源鸿蒙中,利用图形接口Vulkan的计算着色器能力,在侧部署大模型的的整体思路和实践分享。
    的头像 发表于 09-10 17:19 1683次阅读
    基于Vulkan的<b class='flag-5'>端</b><b class='flag-5'>侧</b><b class='flag-5'>AI</b>运算

    AI推理赋能效率革命,美格智能多领域落地打造行业范本

    产业进阶:AI推理助手成为应用刚需作为人工智能技术最普遍的产品形式之一,“AI助手”已成为各类软件、终端的重要组成部分,成为AIAgen
    的头像 发表于 08-25 17:06 4148次阅读
    <b class='flag-5'>端</b><b class='flag-5'>侧</b><b class='flag-5'>AI</b>推理赋能效率革命,美格<b class='flag-5'>智能</b>多领域落地打造行业范本

    Arm率先适配腾讯混元开源模型,助力AI创新开发

    共同赋能人工智能 (AI) 部署,助力本土开发者实现 AI 应用创新! 这次的首日开源适配是双方再次携手提升
    的头像 发表于 08-08 09:16 1553次阅读
    Arm率先适配腾讯混元开源模型,助力<b class='flag-5'>端</b><b class='flag-5'>侧</b><b class='flag-5'>AI</b>创新开发

    从Wi-Fi7到异构AI,博通集成智能突围

    且严苛的要求。他表示,用户的需求已不再局限于简单的指令响应,而是向着更自然、实时、个性化的AI交互迈进。对于硬件而言,实现连接、感知
    的头像 发表于 06-19 09:12 7106次阅读
    从Wi-Fi7到异构<b class='flag-5'>AI</b>,博通集成<b class='flag-5'>端</b><b class='flag-5'>侧</b><b class='flag-5'>智能</b>突围

    华邦电子创新存储赋能智能

    人工智能技术的飞速发展,#AI 正在成为智能设备发展的重要趋势。华邦电子正凭借其卓越存储技术和丰富的产品,积极布局端
    的头像 发表于 05-14 09:59 1783次阅读
    华邦电子创新存储赋能<b class='flag-5'>端</b><b class='flag-5'>侧</b><b class='flag-5'>智能</b><b class='flag-5'>端</b><b class='flag-5'>侧</b>