0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

什么是NPU?什么场景需要配置NPU?

亮钻科技 来源:亮钻科技 2024-10-11 10:13 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

人工智能AI)技术如火如荼的今天,NPU神经处理单元(Neural Processing Unit)作为一种新兴的硬件加速器,正在成为ARM主板配置中的新宠。与传统的CPUGPU相比,NPU在处理AI任务上的效率更高,在现今ARM主板配置中也变得越来越重要。本文将带大家了解 NPU 的作用、必要性,以及国产芯片厂商是如何对它进行布局的。

什么是NPU

简而言之,NPU是专为AI和机器学习(ML)任务量身打造的硬件加速器。相较于传统的CPU和GPU,NPU针对深度学习算法所需的复杂计算进行了优化,能让自然语言处理、图像分析等AI任务更加高效地运行。

通常,NPU会与CPU集成在一起。例如,RK3588,RK3588S和RK3568 CPU都已经集成了NPU。

NPU / CPU / GPU的比较:

wKgaomcIidGAeIU8AAEKW2ZrLEU536.jpg

随着语音识别、图像识别、人脸识别等AI应用的普及,NPU的优势将越发明显。它能够迅速、高效地处理和学习大量数据,并显著提升应用性能。一开始,NPU主要用于提升智能手机的相机功能、电池续航和安全性。但现在,它正在快速扩展到ARM主板以及更多物联网智能终端。

举例来说,亮钻部分ARM主板和嵌入式主机就已经内置了NPU,例如:边缘智能主板D-3588和D-3568、智能物联网主板K-3588S、AI工业电脑主机VEC-3588、边缘计算主机KEC-3566和KEC-A311D等。

什么场景需要配置NPU

对于需要处理大量AI任务的场景,比如医疗影像分析、智能安防、智能制造、机器人等,它们需要处理大量复杂的人工智能、图像处理或高性能计算任务,NPU可以提升设备的性能和用户体验。

简单来说,CPU、GPU和NPU都是运作的核心组件,而NPU能在AI任务方面大显身手,分担GPU和CPU的负担,让它们更专注于其他传统任务。在需要执行AI任务时,操作系统会评估系统资源,决定由NPU还是GPU来完成任务。

国产芯片厂商深入布局

目前,国产SoC厂商正在加大对NPU的投入,以丰富和提升SoC人工智能处理能力。NPU在SoC中的典型应用主要是机器视觉

例如,瑞芯微推出的新一代机器视觉方案RV1106及RV1103,在NPU、ISP、视频编码、音频处理等方面性能都有显著提升,能够在低待机功耗的同时提供出色的边缘AI算力。此外,瑞芯微的高性能芯片RV1126配备了2.0Tops的NPU,活体检测率高达98.48%。晶晨股份的A311D采用了高性能A73内核,并搭载了5Tops的高性能NPU,适用于各类中高端人工智能物联网设备。

结语

展望未来,NPU在AI任务的高效处理上,预示着计算技术的新纪元——更快、更直观、更符合我们的需求。随着AI技术的日益普及,未来对NPU的需求也将会进一步提升,相信NPU的大时代正在来临。

深圳亮钻科技有限公司(亮钻LIONTRON)成立于2014年,总部位于深圳,在上海、广州、杭州、南京等地设有分支机构,公司员工近100人。亮钻专注于物联网和人工智能领域的嵌入式ARM平台解决方案,提供一系列面向行业的ARM主板与主机,产品方向涵盖智慧商显、智慧零售、智慧医疗、智慧交通、门禁对讲、工业机器视觉、机器人控制、安防视频分析等相关行业。

亮钻将边缘计算和人工智能的基础算力和云平台的增值体验,赋能给设备制造商、软件开发者、运营商、AI算法商、终端用户等合作伙伴,为国内外近千家合作伙伴提供创新的、高品质、高可靠度的产品与服务,让他们更专注于其核心竞争力,缩短产品上市时间,并持续降低成本。

亮钻建立了严格的质量、环保、安全管理体系,先后通过ISO9001质量管理体系认证、ISO14001环境管理体系认证,以及CCC、FCC、CE、RoHS等多项产品认证。

亮钻正与合作伙伴一起,以“探索智能的无限价值”为使命,不断坚定前行。

使命:探索智能的无限价值。

愿景:构建驱动与连接千万级智能设备的基础设施。

价值观:客户为师、团队合作、拥抱变化、诚信、专注、敬业。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • gpu
    gpu
    +关注

    关注

    28

    文章

    5102

    浏览量

    134481
  • AI
    AI
    +关注

    关注

    89

    文章

    38184

    浏览量

    296965
  • 人工智能
    +关注

    关注

    1813

    文章

    49756

    浏览量

    261668
  • NPU
    NPU
    +关注

    关注

    2

    文章

    359

    浏览量

    20845

原文标题:AI时代,秒懂不可不知的NPU,小白也OK

文章出处:【微信号:szlztek,微信公众号:亮钻科技】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    芯原与谷歌联合推出开源Coral NPU IP

    芯原股份近日宣布与谷歌联合推出面向始终在线、超低能耗端侧大语言模型应用的Coral NPU IP。
    的头像 发表于 11-13 11:24 306次阅读
    芯原与谷歌联合推出开源Coral <b class='flag-5'>NPU</b> IP

    【迅为RK3568开发板NPU实战】别再闲置你的NPU!手把手教你玩转RKNN-Toolkit2 的使用

    【迅为RK3568开发板NPU实战】别再闲置你的NPU!手把手教你玩转RKNN-Toolkit2 的使用
    的头像 发表于 11-11 14:21 552次阅读
    【迅为RK3568开发板<b class='flag-5'>NPU</b>实战】别再闲置你的<b class='flag-5'>NPU</b>!手把手教你玩转RKNN-Toolkit2 的使用

    【RK3568 NPU实战】别再闲置你的NPU!手把手带你用迅为资料跑通Android AI检测Demo,附完整流程与效果

    【RK3568 NPU实战】别再闲置你的NPU!手把手带你用迅为资料跑通Android AI检测Demo,附完整流程与效果
    的头像 发表于 11-10 15:58 881次阅读
    【RK3568 <b class='flag-5'>NPU</b>实战】别再闲置你的<b class='flag-5'>NPU</b>!手把手带你用迅为资料跑通Android AI检测Demo,附完整流程与效果

    如何利用NPU与模型压缩技术优化边缘AI

    ,AI 模型体积庞大,部署在 NPU上常常面临困难,这凸显了模型压缩技术的重要性。要实现高效的实时边缘 AI,需要深入探讨NPU 与模型压缩技术(如量化与投影)如何协同工作。
    的头像 发表于 11-07 15:26 1055次阅读
    如何利用<b class='flag-5'>NPU</b>与模型压缩技术优化边缘AI

    实战RK3568性能调优:如何利用迅为资料压榨NPU潜能-在Android系统中使用NPU

    《实战RK3568性能调优:如何利用迅为资料压榨NPU潜能-在Android系统中使用NPU
    的头像 发表于 11-07 13:42 234次阅读
    实战RK3568性能调优:如何利用迅为资料压榨<b class='flag-5'>NPU</b>潜能-在Android系统中使用<b class='flag-5'>NPU</b>

    基于米尔瑞芯微RK3576开发板的Qwen2-VL-3B模型NPU多模态部署评测

    与 RK3588 均搭载 6TOPS NPU,但两者在生态适配和场景优化上各有侧重: 框架兼容性:双平台均支持 TensorFlow、PyTorch、ONNX 等主流框架,但 RK3576 针对 2B 参数级
    发表于 08-29 18:08

    无法在NPU上推理OpenVINO™优化的 TinyLlama 模型怎么解决?

    NPU 上推断 OpenVINO™优化的 TinyLlama 模型。 遇到的错误: get_shape was called on a descriptor::Tensor with dynamic shape
    发表于 07-11 06:58

    请问如何在C++中使用NPU上的模型缓存?

    无法确定如何在 C++ 中的 NPU 上使用模型缓存
    发表于 06-24 07:25

    超越CPU/GPU:NPU如何让AI“轻装上阵”?

    和计算速度上更具优势,尤其适合移动设备、边缘计算和嵌入式AI场景。   NPU有几大核心特点:其一是专用架构,针对神经网络计算优化,支持并行处理大量矩阵运算(如INT8/FP16低精度计算),典型操作包括卷积、池化、注意力机制(Transformer)等;其二是高能效比
    的头像 发表于 04-18 00:05 3310次阅读

    边缘AI协处理开发指南:USB+NPU混合计算与实时视频分析实战‌

    eFish-SBC-RK3576 ‌ 凭借 ‌ USB 3.0 + 内置NPU异构计算 ‌ 能力,为工业质检、安防监控等场景提供毫秒级响应的AI推理方案,成本仅为传统工控机的40%。 ‌1. 硬件
    的头像 发表于 03-27 10:42 684次阅读

    请问如何在OpenVINO™工具包中启用NPU设备?

    有关在 OpenVINO™ 工具套件中启用 NPU 设备的咨询。
    发表于 03-06 07:25

    无法使用API实现NPU与OpenVINO™的内存共享怎么办?

    无法使用 远程张量 API 实现 NPU 与OpenVINO™的内存共享。
    发表于 03-06 07:11

    为什么无法将OpenVINO™中的NPU设备的流数设置为多个?

    无法将OpenVINO™推理中 NPU 设备的流数设置为多个
    发表于 03-06 06:27

    安谋科技“周易”NPU成功部署DeepSeek-R1

    近日,安谋科技宣布其最新一代“周易”NPU处理器硬件平台已成功运行DeepSeek-R1系列模型,实现了软硬件协同优化的卓越性能与成本效益。这一突破性进展为用户带来了更加高效、便捷的AI
    的头像 发表于 02-19 10:30 995次阅读

    NPU是如何发展起来的?性能受哪些因素影响?

    (电子发烧友网综合报道) NPU是一种专门用于加速神经网络计算的硬件处理器。随着人工智能和深度学习技术的快速发展,传统的CPU和GPU在处理复杂的神经网络计算时显得力不从心,NPU正是为了解决这一
    的头像 发表于 02-05 07:50 3513次阅读