0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Imagination性能高达600TOPS的终极AI加速器:耗时两年 会给NVIDIA带来多少挑战?

工程师邓生 来源:雷锋网 作者:包永刚 2020-11-16 09:42 次阅读

曾经统治手机GPU IP市场的Imagination,历经变动之后,目前在移动GPU IP市场占有率有36%,汽车GPU IP市占率43%。近来,Imagination近期发布的一系列新品不仅是其实力的展现,也足以让同行们增加对这位老对手的关注。

11月13日,Imagination发布了耗时两年研发的最新的第三代神经网络加速器(NNA)产品IMG Series4,其全新的多核架构可提供600 TOPS(每秒万亿次操作)甚至更高的超高性能,主要面向先进驾驶辅助系统(ADAS)和自动驾驶应用。

以低功耗产品见长Imagination推出高性能的终极AI加速器,会给在自动驾驶汽车芯片市场占有领导地位的NVIDIA多大的冲击?

耗时两年打造的终极AI加速器

Imagination在AI火热的2017年推出首代神经网络加速器(NNA)PowerVR 2NX,单核性能从1TOPS到4.1TOPS。紧接着,2018年PowerVR 3NX发布,单核性能从0.6TOPS到10TOPS,多核产品性能从20TOPS到160TOPS。

性能增强的同时,Imagination的NNA主要面向的市场也从2NX时的移动设备和汽车市场,进一步拓展到智能相机监控、消费电子(尤其是数字电视)、低功耗IoT智能设备领域。

时隔两年之后,Imagination才推出第三代NNA产品4NX。4NX系列的单核性能进一步提升,每个单核能以不到1瓦的功耗提供12.5TOPS的性能。相比前两代NNA,新一代产品强调的是全新多核架构,这个新的多核架构支持在多个内核之间对工作负载进行灵活的分配和同步,从而实现更高性能。

Imagination Technologies产品管理部门总监Gilberto Rodriguez介绍:“我们的软件提供了精细的控制能力,并通过对多个工作负载进行批处理、拆分和调度而提高了灵活性,可以在任意数量的内核上使用。Series4可为每个集群配置 2个、4个、6个或者8个内核。1个8内核的集群可以提供100TOPS的算力,配有6个8核集群的解决方案就可以提供600 TOPS的算力。”

据悉,在AI推理方面,Series4 NNA的性能比嵌入式GPU快20倍以上,比嵌入式CPU快1000倍。

至于为什么要推出如此高性能的AI加速器,Gilberto Rodriguez表示,“ADAS和自动驾驶对芯片有很高的算力需求,比如L2+的驾驶员检测或语音/手势控制需要10TOPS的性能,L3-L4级别的自动驾驶有50-100TOPS的性能需求,L5级别的自动驾驶性能需求超过500TOPS。”

“虽然市场上已经有满足自动驾驶需求的AI芯片,但功耗不够理想。所以,我们花两年时间去了解和评估客户需求,基于我们的前两代低功耗的产品,推出了高性能低功耗的4NX系列产品,并且将自动驾驶作为主打市场,也可以应用于数据中心和桌面级GPU。” Imagination Technologies视觉和人工智能部门高级总监Andrew Grant表示。

600TOPS的高性能如何兼顾低功耗?

需要指出的是,4NX系列的8内核集群要实现100TOPS的性能,超过30 TOPS/Watt 的性能功耗比,以及超过12 TOPS/mm^2 的性能密度是要在5nm节点实现。

Gilberto Rodriguez也提到,如果要用多个集群实现更高算力,Imagination可以提供多集群的协同机制,但也需要客户在应用层进行一些设计。

多核灵活架构带来的可扩展性让4NX可以实现高性能,但对于高性能芯片而言,功耗的控制也非常关键,特别是AI芯片。AI芯片需要处理大量的数据,并且数据的搬运耗费的功耗远大于数据处理,因此,高性能AI芯片必须想办法尽量减少数据的搬运,同时降低延迟和节省带宽。

对于延迟的降低,Imagination采用的方法是单核组成2核、4核、6核或8核的多核集群中,所有内核可以相互协作,并行处理一个任务,降低处理延迟,缩短响应时间。当然,集群中和多核既可以共同执行一个批处理任务,也可以分别运行各自不同的网络,也就是各个内核能够独立运行。

核数的增加带来性能提升的同时降低延迟

不同的核独立运行

4NX更大的亮点在于其节省带宽的Tensor Tiling( Imagination’s Tensor Tiling,ITT)技术,这是Imagination正在申请专利的技术,也是4系列中新增的功能。Tensor Tiling技术利用本地数据的依赖性将中间数据保存在片上存储器中,最大限度地减少将数据传输至外部存储器,相比上代产品,将带宽降低多达90%。

具体而言,神经网络的多层以融合内核的形式运行在加速器的硬件流水线里,融合内核之间的特征图(Feature Map)需要通过外部存储进行交换。Tiling技术是充分利用紧耦合的 SRAM 来融合更多的层,更多的层被融合之后,就减少了需要通过外部存储交换的特征图,进而达到提升效率,节省带宽的目的。

还需要说明一下Tensor Tiling技术中的批处理和拆分,批处理是分配适合批处理的大量的小型网络任务到每个独立工作的NNA单核,能够提升并行处理能力。拆分则是任务在多个维度被拆分,所有NNA单核共同执行一个推理任务,减少网络推理延迟的同时,在理想情况下协同并行处理的吞吐量与独立并发处理的相同,非常适合网络层很大的网络。

当然,Tensor Tiling的拆分是通过Imagination提供的编译器来完成,不需要开发者手动完成,并且利用NNA的性能分析工具能够对AI任务进行更好地调度和分配。

那Tensor Tiling在节省带宽的同时能否减少数据的搬移?Gilberto Rodriguez表示,“答案是肯定的。一方面,Tensor Tiling让待处理数据通过内存带宽的传输减少,另一方面,重复利用的神经网络权重给处理器核的传输次数也减少,这让就可以有效减少数据搬运。”

硬件上层的工具链方面,Imagination的离线和在线工具组成的工作流程可以让开发者更快实现部署。

NVIDIA在自动驾驶领域将迎来新对手?

NVIDIA在2015年就推出了车载计算平台,此后持续迭代,目前在自动驾驶芯片市场已经处于优势地位。不过,擅长桌面级GPU的NVIDIA能够提供高性能,但功耗可能对于电池供电的电动汽车不够友好。这也是在对功耗要求比较严格的移动端有优势的Imagination的机会所在。

与NVIDIA有所不同,Imagination是IP提供商,并不会直接提供芯片。因此,Imagination可以与领先的汽车行业颠覆者、一级供应商、整车厂(OEM)和汽车系统级芯片(SoC)厂商合作,推出有竞争力的产品。为了帮助合作伙伴更好进入这一市场更快推出车规级产品,此次推出的NX4还包含IP级别的安全功能且设计流程符合ISO 26262标准。ISO 26262是旨在解决汽车电子产品风险的行业安全标准。

新推出的4系列NNA可以在不影响性能的情况下,安全地进行神经网络推理。硬件安全机制可以保护编译后的网络、网络的执行和数据处理管道。

Andrew Grant透露,已经开始提供授权,并将于2020年12月在市场上全面供应。授权的客户目前已经不止一家。

这就意味着,自动驾驶芯片市场将会迎来更多有竞争力的产品。雷锋网认为,Imagination更强的GPU和NNA产品组合将会帮助更多想要进入这一市场的公司推出更有竞争力的产品。上个月,Imagination发布了最新一代的IMG B系列高性能GPU IP,这款多核架构GPU IP 4个系列内核有33种配置。

更通用的GPU和更专用的AI加速器,显然可以给高性能计算带来更多的选择。有意思的是,NVIDIA目前也拥有性能强劲的GPU和AI加速Tensor Core的组合。

ABI Research预计,到2027年左右,对ADAS的需求将增长两倍,但汽车行业已然将目光投向了更远的全自动驾驶汽车和自动驾驶出租车,从L2和L3级ADAS向L4和L5级全自动驾驶演进的过程中,高性能、低延迟和高能效的结合将是关键所在。

巨大的市场机会之下,两家芯片产品优势类似的公司,会如何竞争?

责任编辑:PSY

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • NVIDIA
    +关注

    关注

    14

    文章

    4542

    浏览量

    101481
  • imagination
    +关注

    关注

    1

    文章

    546

    浏览量

    60877
  • AI加速器
    +关注

    关注

    1

    文章

    53

    浏览量

    8545
收藏 人收藏

    评论

    相关推荐

    瑞萨电子宣布推出一款面向高性能机器人应用的新产品—RZ/V2H

    具有10TOPS/W能效的新一代AI加速器无需冷却风扇即可提供高达80TOPSAI推理
    的头像 发表于 03-01 10:41 439次阅读
    瑞萨电子宣布推出一款面向高<b class='flag-5'>性能</b>机器人应用的新产品—RZ/V2H

    家居智能化,推动AI加速器的发展

    提高了系统的运算能力和数据处理能力,还为用户带来了更加智能化、个性化的生活体验。   AI 加速器的发展   在人工智能和机器学习任务变得日益复杂和密集之前,传统的CPU和GPU已经足以处理这些任务。然而,随着深度学习模型的出现
    的头像 发表于 02-23 00:18 4008次阅读

    粒子加速器加速原理是啥呢?

    粒子加速器加速原理是啥呢? 粒子加速器是一种重要的实验设备,用于研究粒子物理学、核物理学等领域。其主要原理是通过电场和磁场的作用,对带电粒子进行加速,在高速运动过程中使其获得较大的动
    的头像 发表于 12-18 13:52 715次阅读

    21489的IIR加速器滤波参数设置如何对应加速器的滤波参数?

    目前在用21489内部的IIR加速器去做一个低通滤波,在例程的基础上修改参数。通过平板的fda 工具工具去设计参数,但是设计出来的参数不知道如何对应加速器的滤波参数,手册里也看得不是很明白。 设计的参数如下: 请问
    发表于 11-30 08:11

    PCIe在AI加速器中的作用

    从线上购物时的“猜你喜欢”、到高等级自动驾驶汽车上的实时交通信息接收,再到在线视频游戏,所有的这些都离不开人工智能(AI加速器AI加速器是一种高
    的头像 发表于 11-18 10:36 1153次阅读
    PCIe在<b class='flag-5'>AI</b><b class='flag-5'>加速器</b>中的作用

    Hailo拓展Hailo-8人工智能加速器产品阵列,助力边缘设备实现高性能人工智能

    摘要:新的Hailo-8 Century和Hailo-8L AI加速器通过广泛的人工智能平台扩展了Hailo-8产品阵列,可在入门级和高要求边缘设备中实现高性能人工智能。 边缘人工智能处理器芯片
    的头像 发表于 11-07 10:16 258次阅读

    蜂板8PEdge AI SBC将恩智浦 i.MX 8M Plus SoC与Hailo-8 AI加速器相结合

    蜂板 8PEdge AI Pico-ITX SBC将NXP i.MX 8M Plus处理器(本身与2.3 TOPS NPU)与26 TOPS Hailo-8 AI
    的头像 发表于 10-17 11:49 533次阅读
    蜂板8PEdge <b class='flag-5'>AI</b> SBC将恩智浦 i.MX 8M Plus SoC与Hailo-8 <b class='flag-5'>AI</b><b class='flag-5'>加速器</b>相结合

    AI加速器架构设计与实现》+第2章的阅读概括

    。感兴趣的话可以好好看看。 2.4和2.5小节分别介绍了卷积顺序的选择和池化模块的设计。这节的介绍也很详细,图片也很多。 阅读感受 整本书里面,不仅有文字说明,还有大量图片的配合,有内容的深度,也有图片的直观具体。对于想了解AI加速器
    发表于 09-17 16:39

    AI加速器架构设计与实现》+学习和一些思考

    AI加速器设计的学习和一些思考 致谢 首先感谢电子发烧友论坛提供的书籍 然后为该书打个广告吧,32K的幅面,非常小巧方便,全彩印刷,质量精良,很有质感。 前言 设计神经网络首先要考虑的几个问题
    发表于 09-16 11:11

    AI加速器架构设计与实现》+第一章卷积神经网络观后感

    AI加速器架构设计与实现》+第一章卷积神经网络观感    在本书的引言中也提到“一图胜千言”,读完第一章节后,对其进行了一些归纳(如图1),第一章对常见的神经网络结构进行了介绍,举例了一些结构
    发表于 09-11 20:34

    使用 DLA 在 NVIDIA Jetson Orin 上最大限度地提高深度学习性能

    NVIDIA Orin SoC 的功能非常强大,拥有 275 个峰值 AI TOPs,是最佳的嵌入式和汽车 AI 平台。您知道吗,这些 AI
    的头像 发表于 08-22 19:20 535次阅读
    使用 DLA 在 <b class='flag-5'>NVIDIA</b> Jetson Orin 上最大限度地提高深度学习<b class='flag-5'>性能</b>

    Intel媒体加速器参考软件用户指南

    英特尔媒体加速器参考软件是用于数字标志、交互式白板(IWBs)和亭位使用模型的参考媒体播放应用软件,它利用固定功能硬件加速来提高媒体流速、改进工作量平衡和资源利用,以及定制的图形处理股(GPU)管道解决方案。该用户指南将介绍和
    发表于 08-04 07:07

    【书籍评测活动NO.18】 AI加速器架构设计与实现

    经验总结图解NPU算法、架构与实现,从零设计产品级加速器当前,ChatGPT和自动驾驶等技术正在为人类社会带来巨大的生产力变革,其中基于深度学习和增强学习的AI计算扮演着至关重要的角色。新的计算范式需要
    发表于 07-28 10:50

    数据中心 AI 加速器:当前一代和下一代

    数据中心 AI 加速器:当前一代和下一代演讲ppt分享
    发表于 07-14 17:15 0次下载

    NVIDIA “魔盒”有哪些“内涵”

    v8.2 64位,具有6 MB L2 + 4 MB L3缓存),主频最高位1.4GHz;384核Voltra GPU;加上包含48个张量核心和个深度学习加速器(DLA) 引擎,最高算力可达21 TOPS
    发表于 05-26 14:12