0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

ADS算力芯片的多模型架构研究

iotmag 来源:物联网技术 作者:物联网技术 2022-07-04 14:28 次阅读

在过去十几年里,深度神经网络(DNN)得到了广泛应用,例如移动手机,AR/VRIoT自动驾驶等领域。复杂的用例导致多DNN模型应用的出现,例如VR的应用包含很多子任务:通过目标检测来避免与附近障碍物冲突,通过对手或手势的追踪来预测输入,通过对眼睛的追踪来完成中心点渲染等,这些子任务可以使用不同的DNN模型来完成。像自动驾驶汽车也是利用一系列DNN的算法来实现感知功能,每个DNN来完成特定任务。然而不同的DNN模型其网络层和算子也千差万别,即使是在一个DNN模型中也可能会使用异构的操作算子和类型。

此外,Torch、TensorFlow和Caffe等主流的深度学习框架,依然采用顺序的方式来处理inference 任务,每个模型一个进程。因此也导致目前NPU架构还只是专注于单个DNN任务的加速和优化,这已经远远不能满足多DNN模型应用的性能需求,更迫切需要底层新型的NPU计算架构对多模型任务进行加速和优化。而可重配NPU虽然可以适配神经网络层的多样性,但是需要额外的硬件资源来支持(比如交换单元,互联和控制模块等),还会导致因重配网络层带来的额外功耗。

34c298a4-fb5f-11ec-ba43-dac502259ad0.png

开发NPU来支持多任务模型面临许多挑战:DNN负载的多样性提高了NPU设计的复杂度;多个DNN之间的联动性,导致DNN之间的调度变得困难;如何在可重配和定制化取得平衡变得更具挑战。此外这类NPU在设计时还引入了额外的性能标准考量:因多个DNN模型之间的数据共享造成的延时,多个DNN模型之间如何进行有效的资源分配等。

目前的设计研究的方向大体可以分成以下几点:多个DNN模型之间并行化执行,重新设计NPU架构来有效支持DNN模型的多样性,调度策略的优化等。

34d33e98-fb5f-11ec-ba43-dac502259ad0.png

DNN之间的并行性和调度策略:

可以使用时分复用和空间协同定位等并行性策略。调度算法则大概可以分为三个方向:静态与动态调度,针对时间与空间的调度,以及基于软件或者硬件的调度。

时分复用是传统优先级抢占策略的升级版,允许inter-DNN的流水线操作,来提高系统资源的利用率(PE和memory等)。这种策略专注调度算法的优化,好处是对NPU硬件的改动比较少。

空间协同定位则专注于多个DNN模型执行的并行性,也就是不同DNN模型可以同时占用NPU硬件资源的不同部分。这要求在设计NPU阶段就要预知各个DNN网络的特性以及优先级,以预定义那部分NPU硬件单元分配给特定的DNN网络使用。分配的策略可以选择DNN运行过程中的动态分配,或者是静态分配。静态分配依赖于硬件调度器,软件干预较少。空间协同定位的好处是可以更好的提高系统的性能,但是对硬件改动比较大。

动态调度与静态调度则是根据用户用例的特定目标来选择使用动态调度或者静态调度。

动态调度的灵活性更高,会根据实际DNN任务的需求重新分配资源。动态调度主要依赖于时分复用,或者利用动态可组合引擎 (需要在硬件中加入动态调度器),算法则多数选择preemptive策略或者AI-MT的早期驱逐算法等。

对于定制化的静态调度策略,可以更好的提高NPU的性能。这种调度策略是指在NPU设计阶段就已经定制好特定硬件模块去处理特定神经网络层或者特定的操作。这种调度策略性能高,但是硬件改动比较大。

34f0e808-fb5f-11ec-ba43-dac502259ad0.png

异构NPU架构:

结合动态可重构和定制化的静态调度策略,在NPU中设计多个子加速器,每个子加速器都是针对于特定的神经网络层或者特定的网络操作。这样调度器可以适配多个DNN模型的网络层到合适的子加速器上运行,还可以调度来自于不同DNN模型的网络层在多个子加速器上同步运行。这样做既可以节省重构架构带来的额外硬件资源消耗,又可以提高不同网络层处理的灵活性。

异构NPU架构的研究设计可以主要从这三个方面考虑:

1)如何根据不同网络层的特性设计多种子加速器;

2)如何在不同的子加速器之间进行资源分布;

3)如何调度满足内存限制的特定网络层在合适的子加速器上执行。

审核编辑 :李倩

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 加速器
    +关注

    关注

    2

    文章

    723

    浏览量

    36437
  • 神经网络
    +关注

    关注

    42

    文章

    4538

    浏览量

    98426
  • 算力芯片
    +关注

    关注

    0

    文章

    37

    浏览量

    4265

原文标题:ADS算力芯片的多模型架构研究

文章出处:【微信号:iotmag,微信公众号:iotmag】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    能RADXA微服务器试用体验】Radxa Fogwise 1684X Mini 规格

    通过网络可以了解到,能RADXA微服务器的具体规格: 处理器:BM1684X :高达32Tops INT8峰值 内存:16GB L
    发表于 02-28 11:21

    大茉莉X16-P,5800M大称王称霸

    Rykj365
    发布于 :2024年01月25日 14:54:52

    基于Agent系统的智能家庭网络研究

    基于Agent系统的智能家庭网络研究在分析家庭网络智能化需求的基础上,提出一种基于Agent系统的智能家庭网络MAIHN模型,用Agent实现不同功能单元的控制与管理,通过MAS技
    发表于 06-14 00:22

    【AD新闻】AI时代,一美元能够买到强的

    最切实的需求是:花一美元或一瓦电能买到强的? 如何解决当下面临的与功耗比的困境,深鉴科技本次演讲主题《人工智能
    发表于 03-23 15:27

    基于传感器的模型机动目标跟踪算法设计

      摘要:模型目标跟踪算法由于其独特的处理未知结构和可变参数的优点,已成为当前目标跟踪研究领域的一个重要方向。然而当今的模型目标跟踪方法
    发表于 12-05 15:16

    芯动a10pro 7g 750m_芯动a10pro_6g_720m 精选资料分享

    目前市场上炙手可热的芯片矿机 当数芯动 A10PRO , 7g 版本的 750m 功耗 1300w 这款机器厂家出厂时预定价格在 48900 左右那时候定的客户到如今 机器价格已经涨到
    发表于 07-23 07:39

    rx580,rx580显卡,rx588,rx588显卡 精选资料分享

    已下是rx580显卡9-11 Mh 没有开启计算模式,挖几分种重启自动开启,计算模式只支持WIN1022-28 Mh 原版BIOS,开启时序,并设置超频29-32 Mh 正常
    发表于 07-23 06:59

    数据、算法和其实现载体是什么

    背景介绍数据、算法和是人工智能技术的三大要素。其中,体现着人工智能(AI)技术具体实现的能力,实现载体主要有CPU、GPU、FPGA和ASIC四类器件。CPU基于冯诺依曼
    发表于 07-26 06:47

    MXM 平台在边缘计算领域的应用

    , 继承了该接口的诸多优点,也更适合此类场景应用,为用户提供了一种边缘侧部署的解决方案,同时MXM接口还可以为用户提供其它架构模块搭
    发表于 05-18 15:52

    基于最新的TI-RTOS架构来驱动ADS1261

    官网的ADS1261驱动采用的是相对久远的TIVA驱动代码架构,并且没有提供完整工程,还存在一些小的bug,本文将阐述如何使用最新的SimpleLink™ Platform MCU,并
    发表于 11-08 07:57

    Xilinx Zynq7035指标

    目的本文介绍广州星嵌DSP C6657+Xilinx Zynq7035平台下Xilinx Zynq7035指标。基本概念FLOPs/FLOPSFLOPs,Floating Point
    发表于 12-15 21:19

    BM1684架构介绍

    L2cache 2.2 峰值 峰值: FP32峰值 = 64 * 16 *
    发表于 09-19 08:11

    如何获取零件的ADS仿真模型

    因为仿真环境是ADS,并且目前还是在初步的学习阶段,所以并不清楚如何能通过官网提供的其他软件的模型来生成ADS仿真模型,希望在论坛里获得帮助。
    发表于 11-15 06:39

    不能把AD4003芯片的IBIS模型导入ADS怎么处理?

    我不能把AD4003芯片的 IBIS 模型导入ADS 提示了以下错误 。 官方网站提供的 IBIS 模型是否有错误,
    发表于 12-01 07:28

    基于云计算的架构模型研究

    为了构建有效、稳定的云计算平台环境并对其应用性能进行研究,采用理论分析和实践设计的方法,研究了云计算的关键技术,包括云数据中心串联、云数据存储管理技术和云编程模型,提出了- 一个通用的云计算
    发表于 10-11 16:25 4次下载
    基于云计算的<b class='flag-5'>架构模型</b><b class='flag-5'>研究</b>