0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

什么是NPU?什么场景需要配置NPU?

亮钻科技 来源:亮钻科技 2024-10-11 10:13 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

人工智能AI)技术如火如荼的今天,NPU神经处理单元(Neural Processing Unit)作为一种新兴的硬件加速器,正在成为ARM主板配置中的新宠。与传统的CPUGPU相比,NPU在处理AI任务上的效率更高,在现今ARM主板配置中也变得越来越重要。本文将带大家了解 NPU 的作用、必要性,以及国产芯片厂商是如何对它进行布局的。

什么是NPU

简而言之,NPU是专为AI和机器学习(ML)任务量身打造的硬件加速器。相较于传统的CPU和GPU,NPU针对深度学习算法所需的复杂计算进行了优化,能让自然语言处理、图像分析等AI任务更加高效地运行。

通常,NPU会与CPU集成在一起。例如,RK3588,RK3588S和RK3568 CPU都已经集成了NPU。

NPU / CPU / GPU的比较:

wKgaomcIidGAeIU8AAEKW2ZrLEU536.jpg

随着语音识别、图像识别、人脸识别等AI应用的普及,NPU的优势将越发明显。它能够迅速、高效地处理和学习大量数据,并显著提升应用性能。一开始,NPU主要用于提升智能手机的相机功能、电池续航和安全性。但现在,它正在快速扩展到ARM主板以及更多物联网智能终端。

举例来说,亮钻部分ARM主板和嵌入式主机就已经内置了NPU,例如:边缘智能主板D-3588和D-3568、智能物联网主板K-3588S、AI工业电脑主机VEC-3588、边缘计算主机KEC-3566和KEC-A311D等。

什么场景需要配置NPU

对于需要处理大量AI任务的场景,比如医疗影像分析、智能安防、智能制造、机器人等,它们需要处理大量复杂的人工智能、图像处理或高性能计算任务,NPU可以提升设备的性能和用户体验。

简单来说,CPU、GPU和NPU都是运作的核心组件,而NPU能在AI任务方面大显身手,分担GPU和CPU的负担,让它们更专注于其他传统任务。在需要执行AI任务时,操作系统会评估系统资源,决定由NPU还是GPU来完成任务。

国产芯片厂商深入布局

目前,国产SoC厂商正在加大对NPU的投入,以丰富和提升SoC人工智能处理能力。NPU在SoC中的典型应用主要是机器视觉

例如,瑞芯微推出的新一代机器视觉方案RV1106及RV1103,在NPU、ISP、视频编码、音频处理等方面性能都有显著提升,能够在低待机功耗的同时提供出色的边缘AI算力。此外,瑞芯微的高性能芯片RV1126配备了2.0Tops的NPU,活体检测率高达98.48%。晶晨股份的A311D采用了高性能A73内核,并搭载了5Tops的高性能NPU,适用于各类中高端人工智能物联网设备。

结语

展望未来,NPU在AI任务的高效处理上,预示着计算技术的新纪元——更快、更直观、更符合我们的需求。随着AI技术的日益普及,未来对NPU的需求也将会进一步提升,相信NPU的大时代正在来临。

深圳亮钻科技有限公司(亮钻LIONTRON)成立于2014年,总部位于深圳,在上海、广州、杭州、南京等地设有分支机构,公司员工近100人。亮钻专注于物联网和人工智能领域的嵌入式ARM平台解决方案,提供一系列面向行业的ARM主板与主机,产品方向涵盖智慧商显、智慧零售、智慧医疗、智慧交通、门禁对讲、工业机器视觉、机器人控制、安防视频分析等相关行业。

亮钻将边缘计算和人工智能的基础算力和云平台的增值体验,赋能给设备制造商、软件开发者、运营商、AI算法商、终端用户等合作伙伴,为国内外近千家合作伙伴提供创新的、高品质、高可靠度的产品与服务,让他们更专注于其核心竞争力,缩短产品上市时间,并持续降低成本。

亮钻建立了严格的质量、环保、安全管理体系,先后通过ISO9001质量管理体系认证、ISO14001环境管理体系认证,以及CCC、FCC、CE、RoHS等多项产品认证。

亮钻正与合作伙伴一起,以“探索智能的无限价值”为使命,不断坚定前行。

使命:探索智能的无限价值。

愿景:构建驱动与连接千万级智能设备的基础设施。

价值观:客户为师、团队合作、拥抱变化、诚信、专注、敬业。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • gpu
    gpu
    +关注

    关注

    28

    文章

    5272

    浏览量

    136070
  • AI
    AI
    +关注

    关注

    91

    文章

    41138

    浏览量

    302608
  • 人工智能
    +关注

    关注

    1820

    文章

    50330

    浏览量

    266967
  • NPU
    NPU
    +关注

    关注

    2

    文章

    386

    浏览量

    21347

原文标题:AI时代,秒懂不可不知的NPU,小白也OK

文章出处:【微信号:szlztek,微信公众号:亮钻科技】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    ELF-RV1126B NPU 驱动与 RKNN 运行环境

    验证“板端 NPU 节点 + Python / Lite2 环境 + 版本匹配” 1. 实验目的 •  验证 ELF-RV1126B 板端 NPU 驱动节点是否可访问。 •  验证官方推荐版本
    的头像 发表于 03-31 19:46 134次阅读
    ELF-RV1126B <b class='flag-5'>NPU</b> 驱动与 RKNN 运行环境

    在Zephyr OS上启用NPU的实用方案

    今天,我们将正式在 Zephyr中加入NPU软件支持,让模型不仅能“跑起来”,还能“跑得飞快”。是的,本期开始就是实战环节!
    的头像 发表于 03-09 10:37 1066次阅读
    在Zephyr OS上启用<b class='flag-5'>NPU</b>的实用方案

    IMX95 - NPU 不工作的原因?怎么解决?

    作为标题,我查了很多相关的帖子,似乎 IMX95 NPU 还存在不少问题。这是我迄今为止尝试过的: 使用TFLite label_image演示程序: CPU A1 与内核 6.6.3 SDK
    发表于 02-26 11:21

    AI硬件全景解析:CPU、GPU、NPU、TPU的差异化之路,一文看懂!​

    、汽车)。 未来,随着AI应用的深化,硬件分工将更精细——可能出现专为机器人设计的专用AI芯片,或融合NPU与GPU优势的“边缘训练芯片”。但无论如何,“匹配场景
    的头像 发表于 12-17 17:13 2267次阅读
    AI硬件全景解析:CPU、GPU、<b class='flag-5'>NPU</b>、TPU的差异化之路,一文看懂!​

    安谋科技:端侧NPU技术创新,拉动AI算力落地引擎

    X3 NPU IP以及生态建设、NPU发展趋势等话题。   图:安谋科技产品总监鲍敏祺   周易X3 NPU IP正当时   安谋科技周易X3 NPU IP面向端侧AI落地需求,基于专
    的头像 发表于 12-09 16:44 6115次阅读
    安谋科技:端侧<b class='flag-5'>NPU</b>技术创新,拉动AI算力落地引擎

    芯原与谷歌联合推出开源Coral NPU IP

    芯原股份近日宣布与谷歌联合推出面向始终在线、超低能耗端侧大语言模型应用的Coral NPU IP。
    的头像 发表于 11-13 11:24 1268次阅读
    芯原与谷歌联合推出开源Coral <b class='flag-5'>NPU</b> IP

    【迅为RK3568开发板NPU实战】别再闲置你的NPU!手把手教你玩转RKNN-Toolkit2 的使用

    【迅为RK3568开发板NPU实战】别再闲置你的NPU!手把手教你玩转RKNN-Toolkit2 的使用
    的头像 发表于 11-11 14:21 1529次阅读
    【迅为RK3568开发板<b class='flag-5'>NPU</b>实战】别再闲置你的<b class='flag-5'>NPU</b>!手把手教你玩转RKNN-Toolkit2 的使用

    【RK3568 NPU实战】别再闲置你的NPU!手把手带你用迅为资料跑通Android AI检测Demo,附完整流程与效果

    【RK3568 NPU实战】别再闲置你的NPU!手把手带你用迅为资料跑通Android AI检测Demo,附完整流程与效果
    的头像 发表于 11-10 15:58 1249次阅读
    【RK3568 <b class='flag-5'>NPU</b>实战】别再闲置你的<b class='flag-5'>NPU</b>!手把手带你用迅为资料跑通Android AI检测Demo,附完整流程与效果

    如何利用NPU与模型压缩技术优化边缘AI

    ,AI 模型体积庞大,部署在 NPU上常常面临困难,这凸显了模型压缩技术的重要性。要实现高效的实时边缘 AI,需要深入探讨NPU 与模型压缩技术(如量化与投影)如何协同工作。
    的头像 发表于 11-07 15:26 1427次阅读
    如何利用<b class='flag-5'>NPU</b>与模型压缩技术优化边缘AI

    实战RK3568性能调优:如何利用迅为资料压榨NPU潜能-在Android系统中使用NPU

    《实战RK3568性能调优:如何利用迅为资料压榨NPU潜能-在Android系统中使用NPU
    的头像 发表于 11-07 13:42 1083次阅读
    实战RK3568性能调优:如何利用迅为资料压榨<b class='flag-5'>NPU</b>潜能-在Android系统中使用<b class='flag-5'>NPU</b>

    基于米尔瑞芯微RK3576开发板的Qwen2-VL-3B模型NPU多模态部署评测

    与 RK3588 均搭载 6TOPS NPU,但两者在生态适配和场景优化上各有侧重: 框架兼容性:双平台均支持 TensorFlow、PyTorch、ONNX 等主流框架,但 RK3576 针对 2B 参数级
    发表于 08-29 18:08

    请问如何在RK3588上使用npu,用onnx模型来推理

    请问如何在瑞芯微 RK3588上使用npu,用onnx模型来推理。官网上介绍说要把ONNX模型转换成RKNN模型。但是我并不想这么干,请问有什么办法吗?
    发表于 08-09 00:51

    无法在NPU上推理OpenVINO™优化的 TinyLlama 模型怎么解决?

    NPU 上推断 OpenVINO™优化的 TinyLlama 模型。 遇到的错误: get_shape was called on a descriptor::Tensor with dynamic shape
    发表于 07-11 06:58

    请问如何在C++中使用NPU上的模型缓存?

    无法确定如何在 C++ 中的 NPU 上使用模型缓存
    发表于 06-24 07:25

    瑞芯微NPU使用攻略

    核心要点:定义与功能硬件加速单元:RKNPU是集成在瑞芯微芯片中的专用NPU,专注于加速深度学习算法,如图像识别、目标检测、语音处理等,同时优化功耗与性能平衡。支
    的头像 发表于 05-21 15:50 3031次阅读
    瑞芯微<b class='flag-5'>NPU</b>使用攻略