0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

实测NPU“空转”,AI PC首个落地应用只调用GPU?

Hobby观察 来源:电子发烧友 作者:梁浩斌 2024-05-22 00:16 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

电子发烧友网报道(文/梁浩斌)去年开始,整个PC产业链,自上而下地都在为AI PC造势。从处理器端的英特尔AMD高通等开始,到下游终端厂商,宣传上清一色的AI PC概念。

从概念上看,硬件上AI PC的一大特征是在传统PC的CPU+GPU基础上,增加NPU加强AI 算力。不过有意思的是,最近某品牌PC机型上的AI助手率先落地,支持云端和本地运算两种模式,确实能够完成宣传上的很多功能。然而在实测本地大模型时,却没有调用NPU算力,完全是使用GPU进行运算。

所以实际上,NPU目前为止依然是“空转”的状态,过去的“传统”PC,理论上似乎也能够使用“AI PC”上的最新功能。那么AI PC中NPU还是一个必要存在吗?

AI PC发展的三个阶段

确实,GPU在AI大模型上有很强的适配性,一直以来,很多开源大模型都能够在家用电脑上部署,利用GPU的算力进行推理。在AI PC的大模型刚刚落地时,使用GPU算力是最为稳妥以及最快的方式。

此前联想集团副总裁张华在发布会上提到,成熟的AI PC需要包括五大条件。其中包括标配CPU+GPU+NPU的本地混合AI算力;内嵌由本地大模型和个性化本地知识库构成的个人大模型;配备本地化个人数据和隐私保护方案;开放的AI 应用生态;内嵌个人Agent(模拟人类行为或指挥的AI程序),多模态自然语言成为主要的交互方式。

他还认为AI PC会有三个发展阶段,第一阶段是从2023年12月到2024年4月,这个阶段被称为“AI Ready”阶段,这个阶段特点是硬件平台的支持CPU+GPU+NPU的混合AI算力,满足终端厂商和第三方应用开发者进行终端AI体验创新。说白了,就是硬件要满足AI需求,软件先画饼。

第二阶段是2024年4月到2024年9月的AI Explore阶段。在这个阶段中,AI Ready的硬件,能够用上个人Agent、个人大模型嵌入AIPC、首批第三方AI应用接入AI小程序平台等,并能够运用CPU+GPU+NPU的混合AI算力,提供基于自然语言交互的个人AI助理服务。

第三阶段是24年9月之后的AI Master/AI Advanced阶段。在这个阶段,首先硬件的混合AI算力持续提升,同时个人大模型的能力进一步提升,AI应用生态大为丰富、商业模式进一步多样化,个人Agent的场景服务范围进一步扩大、服务体验进一步升级,个人AI助理进入随用户使用和体验反馈而快速进阶之路。

所以,AI PC新增的NPU,只是混合算力中的一部分。从算力来看,NPU可以算得上是“战未来”的硬件,而实际AI能够带来哪些颠覆性的体验,才是AI PC的关键。

AI PC有哪些应用了?

目前的AI大模型,普遍是采用云端推理,这很大程度上是由于大模型数据体量巨大,无法部署在本地。而AI PC的概念中,本地大模型就是与目前常见的云端大模型有很大差异的地方。

从个人隐私的角度来看,本地大模型由于数据不上云,所以数据安全性更高,对于一些有保密需求的工作来说可以说是提高工作效率的刚需。

比如用户可以通过本地大模型,读取本地文档,并使用自然语言交互来快速找到文档中所需的信息。还可以通过自然语言交互,来完成修改电脑设置等操作,降低Windows操作系统使用门槛,毕竟很多选项都藏得比较深。

另外,还可以通过上传足够多的文档,构建一个自己的数据库,需要搜索资料或数据时,就可以通过本地的AI助手快速搜索到目标。

最近微软的发布会上,又推出了一个“Copilot+ PC”概念,核心是AI算力+AI Agent( Copilot )。

在微软的展示中,任何东西都能够往Copilot上拖动,并让其分析、总结。当然,AI图片编辑、生成等功能已经是AI大模型的标配了,而微软为windows加入的AI赋能功能中,还有可以称之为“杀手锏”的。

比如AI能够实时读取屏幕显示的所有信息,比如在玩游戏时,可以直接询问AI来获得攻略,AI甚至能理解游戏中的参数、物品等,从而给出相应的策略。

Recall则是令电脑拥有了类似于“时光机”的能力,AI能力的帮助下,Copilot+ PC可以访问电脑上任何看过或者运行过的操作,甚至可以凭借记忆,描述在某个网站上见过图片,AI就能够帮助找出相应的页面截图。而这是基于本地算力以及存储所实现的,能够保障用户隐私。

小结:

AI PC的概念虽然值得考究,但AI的应用要落地在PC上,硬件和软件都无法单独拿出来讨论,AI应用与硬件的结合随着需求提高只会越来越紧密。这样的情况下,NPU的存在形式,发展方向,以及应用的适配,未来将会有更多的可能性。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • gpu
    gpu
    +关注

    关注

    28

    文章

    5321

    浏览量

    136211
  • NPU
    NPU
    +关注

    关注

    2

    文章

    391

    浏览量

    21431
  • AI大模型
    +关注

    关注

    0

    文章

    419

    浏览量

    1054
  • AI PC
    +关注

    关注

    0

    文章

    142

    浏览量

    756
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    南芯科技助力AI PC CPU/GPU提高效能

    的数字执行者。在这场由端侧 AI Agent 驱动的交互变革中,AI PC 被普遍视为最先落地的核心场景之一。当 AI
    的头像 发表于 04-22 16:54 3046次阅读

    GPU云服务器哪家强?深度学习与AI训练性能实测

    进入2026年,AI大模型已从“百模大战”转向“应用爆发”。无论是进行大语言模型的微调、文生视频的渲染,还是复杂的自动驾驶仿真,GPU云服务器已成为企业的核心生产力工具。 然而,GPU服务器动辄
    的头像 发表于 03-19 16:45 615次阅读

    边缘AI算力临界点:深度解析176TOPS香橙派AI Station的产业价值

    Orin 200-275 TOPS 32-64GB LPDDR5 强(PCIE, 万兆网) 高阶机器人、工业AI Intel Core Ultra (AI PC) ~120 TOPS (NP
    发表于 03-10 14:19

    使用NORDIC AI的好处

    ,时延更低,系统在网络不稳定甚至离线时也能继续工作。[Edge AI 概述] 提升隐私与可靠性 原始传感器数据(如运动、生理信号等)可以留在本地,上传推理结果,有利于隐私与数据安全。 本地决策
    发表于 01-31 23:16

    GPU 利用率<30%?这款开源智算云平台让算力不浪费 1%

    作为 AI 开发者,你是否早已受够这些困境:花数百万采购的 GPU 集群,利用率常年低于 30%,算力闲置如同烧钱;跨 CPU/GPU/NPU 异构资源调度难如登天,模型训练卡在资源分
    的头像 发表于 01-26 14:20 331次阅读

    AI PC芯片三强争霸:NPU算力狂飙、1.8nm工艺时代降临

    电子发烧友网报道(文/莫婷婷)在生成式人工智能(AIGC)浪潮席卷全球的背景下,个人计算设备正经历一场深刻变革,“AI PC”应运而生。这一趋势在中国大陆消费与商用市场加速落地。据Omdia预测
    的头像 发表于 01-12 09:17 2590次阅读
    <b class='flag-5'>AI</b> <b class='flag-5'>PC</b>芯片三强争霸:<b class='flag-5'>NPU</b>算力狂飙、1.8nm工艺时代降临

    别再用旧款了!RV1126B NPU实测2.6倍提速,YOLO算法丝滑运行

    AI视觉芯片的核心竞争力,NPU性能尤为关键。瑞芯微RV1126B作为RV1126迭代款,性能提升有多少?继上集CPU性能实测,今天为您带来NPU性能
    的头像 发表于 12-22 12:11 1439次阅读
    别再用旧款了!RV1126B <b class='flag-5'>NPU</b><b class='flag-5'>实测</b>2.6倍提速,YOLO算法丝滑运行

    瑞芯微SOC智能视觉AI处理器

    。B2版本通常在功耗、稳定性和部分外围接口支持上有所优化。NPU: 集成0.8 TOPS的NPU,支持INT8/INT16混合运算,能满足大多数边缘侧的轻量级AI推理需求(如分类、检测、识别)。多媒体
    发表于 12-19 13:44

    AI硬件全景解析:CPU、GPUNPU、TPU的差异化之路,一文看懂!​

    CPU作为“通用基石”,支撑所有设备的基础运行;GPU凭借并行算力,成为AI训练与图形处理的“主力”;TPU在Google生态中深耕云端大模型训练;NPU则让AI从“云端”走向“身边”
    的头像 发表于 12-17 17:13 2550次阅读
    <b class='flag-5'>AI</b>硬件全景解析:CPU、<b class='flag-5'>GPU</b>、<b class='flag-5'>NPU</b>、TPU的差异化之路,一文看懂!​

    安谋科技:端侧NPU技术创新,拉动AI算力落地引擎

    X3 NPU IP以及生态建设、NPU发展趋势等话题。   图:安谋科技产品总监鲍敏祺   周易X3 NPU IP正当时   安谋科技周易X3 NPU IP面向端侧
    的头像 发表于 12-09 16:44 6213次阅读
    安谋科技:端侧<b class='flag-5'>NPU</b>技术创新,拉动<b class='flag-5'>AI</b>算力<b class='flag-5'>落地</b>引擎

    悟空图像与华为CANN正式落地PCAI闪绘功能

    近日,基于华为CANN(Compute Architecture for Neural Networks)端云协同架构打造的华为PCAI闪绘功能正式落地,标志着端侧AI大模型应用迈入
    的头像 发表于 11-10 14:43 1116次阅读

    巡检机器人落地攻略:RK3576驱动12路低延迟视觉

    稳定在120~150ms。周五,联调 AI:靠 6TOPS NPU 做行人/闯入/火花异亮检测,异常帧打标签并切片保存;远端中控屏秒开回看。12路1080P@30fps H.264/H.265 硬编硬
    发表于 10-24 16:53

    AI体验跃迁,天玑9500用双NPU开创端侧AI新时代

    架构,从底层解决性能与功耗的矛盾:超性能 NPU 990 性能大幅提升,生成式 AI 引擎 2.0 深度加速 Transformer 与大模型;行业首个超能效 NPU以存算一体实现
    的头像 发表于 09-24 14:47 945次阅读
    <b class='flag-5'>AI</b>体验跃迁,天玑9500用双<b class='flag-5'>NPU</b>开创端侧<b class='flag-5'>AI</b>新时代

    AI的未来,属于那些既能写代码,又能焊电路的“双栖人才”

    ”,再聪明的模型也只能停留在实验室。典型的场景有:场景需要的“双栖能力”将YOLOv8部署到边缘盒子算法裁剪 + NPU指令调优 + 电源与内存优化AI PC系统集成AI协处理器驱动
    发表于 07-30 16:15

    【「算力芯片 | 高性能 CPU/GPU/NPU 微架构分析」阅读体验】+NVlink技术从应用到原理

    前言 【「算力芯片 | 高性能 CPU/GPU/NPU 微架构分析」书中的芯片知识是比较接近当前的顶尖芯片水平的,同时包含了芯片架构的基础知识,但该部分知识比较晦涩难懂,或许是由于我一直从事的事芯片
    发表于 06-18 19:31