0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

AI芯片架构竞相走向边缘,边缘AI架构的未来发展趋势介绍

RTThread物联网操作系统 来源:郭婷 2018-12-05 09:38 次阅读

各大公司竞相将各种芯片架构作为将AI推向边缘的首选武器。

随着机器学习应用开始出现在终端设备和物联网网络边缘,实现AI的加速器可能看起来更像FPGA和SoC模组,而不是英特尔英伟达目前的数据中心绑定芯片(data-center-bound chip)。

人工智能和机器学习需要功能强大的芯片来从大数据集中计算答案。大多数AI芯片——包括训练和推理——都是为数据中心开发的。然而,这种趋势很快就会改变。其中很大一部分处理将发生在边缘,即网络的边缘或传感器和传感器阵列的内部或附近。

几乎可以肯定,训练将留在云端,因为对于这一大块资源的最有效产品是英伟达的GPU,它主导着这一部分市场。尽管数据中心可能会承担包含大量数据集的训练部分,但推理可能最终会交给边缘。市场预测似乎同意这一点。

Tractica公司研究主管、边缘设备AI报告的作者Aditya Kaul说:“推理硬件市场是一个新市场,但变化迅速。数据中心有一些机会,并将继续存在。基于云的数据中心AI芯片市场将继续增长。但是推理处于边缘,这里开始变得引人注目。至少有70家专业人工智能公司正在研究某种与芯片相关的人工智能技术。”

Kaul说:“在边缘,智能手机机器人无人机、相机、安全摄像头等所有需要AI处理的设备都将成为未来的热点。”

图1:按市场领域划分的深度学习芯片组收入

到2025年,基于云的AI芯片组将带来146亿美元的收入,而基于边缘的AI芯片组将带来516亿美元的收入,是数据中心的3.5倍,边缘AI芯片组主要由手机智能音箱、无人机、AR/VR耳机,以及其他所有需要AI处理的设备组成。

虽然英伟达和英特尔现在可能主导基于数据中心的机器学习应用的市场,谁将占据远离数据中心的边缘计算AI市场?那些芯片会是什么样子?

AI边缘芯片需要做什么

根据Semico Research公司ASIC和SoC分析师Rich Wawrzyniak所言,边缘计算、物联网和消费终端设备将需要以相对较低的功耗、价格和较小芯片尺寸进行高性能推理处理。这很困难,特别是因为边缘设备处理的大多数数据是庞大的视频音频数据。

Wawrzyniak说:“数据很多,但如果你有监控摄像头,它必须能够实时识别出坏人,而不是把一张照片发送到云端,然后等着看有没有人认出他。”

图2

将ML级别的智能添加到边缘设备的一些愿望来自于需要将这些设备上的数据保密,或者降低将数据发送到云端的成本。然而,大部分需求来自那些希望设备位于边缘计算设施或掌握在客户手中的客户,他们不希望设备简单地收集数据并定期将其发送到云端,以便他们可以直接与公司自己的数据或其他客户和路人进行实时交互。

NXP半导体AI技术主管Markus Levy表示:“客户意识到,他们不想把大量处理工作转移到云端,因此他们认为边缘是真正的目标。既然你可以在边缘实现AI,你就可以把物联网变成真正具有能力的东西。我们看到消费者物联网、工业物联网以及嵌入式的增长非常快,这是我们最大的增长领域。”

IDC分析师Shane Rau称,今年接受IDC调查的商业技术客户表示,他们确定会把机器学习转移到边缘设备上,主要是汽车、智能家居、视频监控摄像头和智能手机。该公司的客户调查将这四种设备列为ML的候选设备。

边缘AI架构发展趋势

边缘计算的需求范围可能包括数亿计的工业和消费设备,因此任何单一的架构都不太可能满足所有这些需求。

NXP的Levy表示:在微控制器和相对低端的芯片上运行推理模型是可以的,但大多数机器学习功能需要从基于FPGA、ASIC和其他SoC配置的一长串可选CPU附加项,以及GPU和CPU的组合,有时还需要由Google的TPU等特殊用途的ASIC来增强。

大部分的增强都是以加速器的形式出现的。这些FPGA、SoC、ASIC和其他专用芯片旨在帮助资源受限的基于x86的设备通过一层接一层的分析标准处理大量图像或音频数据,因此app可以正确地计算和加权每个数据的值。

英特尔和英伟达已经向边缘AI市场发起冲击。Kaul说,像英伟达的Jetson这样的产品并不能令人信服。Jetson是一个GPU模块平台,具有7.5W的功率预算,只有英伟达更典型产品的70W功率的一小部分,但对于一般不超过5W的边缘应用来说还是太高了。

Levy说:“有很多IP公司正在为神经网络寻求加速,因此有足够的选择使加速器开始成为边缘设备推理的需求。”

图3:按类别划分的AI边缘设备出货量

但是,要想在潜在的亿万个设备上添加ML加速和支持,将需要更多的可定制性、更低的成本,以及更专门针对资源受限设备上ML应用需求的规范——这意味着,如果要取得成功,整个市场将需要更好的处理器

神经推理需要数万亿次乘法累加运算,因为模型从其公式矩阵的一层提取数据,尽管每一层可能需要不同的数据大小,而且其中一些设备可能在输入设置为8位整数而不是16位整数时运行得更快。

Flex Logix联合创始人兼首席执行官Geoff Tate表示:“为了在数据中心获得良好的吞吐量,大多数架构依赖于必须使用相同的权重集来创建批处理的数十或数百个任务。如果你有28张图片,你加载图片,加载第一阶段的权重,对第一阶段做数学运算,保存结果,然后加载第二阶段的权重。通过在每一层上完成所有28个批次,你可以将权重加载时间缩减到一次只加载一个的1/28。如果加载和管理权重是你不擅长的,那么你可以通过批处理来解决它。这就是为什么你会看到基准测试显示第28批的运行效率低于第1批。如果加载权重的速度很慢,则难以扩展。但在数据中心之外的任何地方都必须这样做。如果你有监控摄像头,则必须在图像传入时对其进行处理,以便批大小始终等于1。如果你在测量性能,则数据中心外的批大小始终等于1。”

Flex Logix开发的神经网络引擎可以避免批处理问题。Tate说:“因为我们加载权重的速度非常快,所以我们不需要进行批处理,我们的性能在第1批和第28批时相同,这在边缘应用中非常重要。”

推理硬件方面的两项新工作

Xilinx试图利用其在FPGA和系统级设计方面的经验,推出新的产品系列和路线图,以满足尽可能多的边缘/设备市场的需求。

Xilinx在去年春天讨论了这个想法,但直到10月才正式宣布,该公司描述了一个自适应计算加速平台,该平台“利用CPU、GPU和FPGA的力量来加速一切应用”。

Xilinx的演示描述了一个广泛的产品线、使用案例列表和有关其AI引擎核心的详细信息,其目标是提供比传统方法的单位芯片面积高出3~8倍的性能,并提供高性能DSP能力。

与此同时,Flex Logix创建了一个使用低DRAM带宽的可重构神经加速器。芯片的面积和功率的目标规格将在明年上半年完成,并在下半年流片。推理引擎将充当CPU,而不仅仅是一个更大,更漂亮的加速器。它提供了模块化、可扩展的架构,旨在通过减少移动数据的需要以及通过改进数据和矩阵计算的加载方式来减少瓶颈,从而降低移动数据的时间和精力成本。

该芯片将DRAM专用于单个处理器块,而不是将其作为一个大内存池进行管理。DRAM不能同时将数据馈送到芯片的多个部分。Tate说:“将DRAM作为流入一个处理器块的大内存池处理,这是范诺依曼架构的典型特征,但它不会成为神经网络的成功架构。”

早期

Wawrzyniak表示,Xilinx,Flex Logix和其他公司蜂拥到了一个仍处于发展中的边缘推理市场,显示出市场和SoC、FPGA制造商提供良好技术以应对它们的能力的广泛信心,但这并不能保证他们能够克服安全、隐私、现状的惯性和其他无形的问题。同样,FPGA、ASIC和SoC加速ML的市场仍处于起步阶段。

Linley Group的Linley GwenNap表示,当一个新市场发展起来时,看到许多新的参与者和新方法是正常的。FPGA和ASIC供应商也在其中,因为这些技术使一家知道自己在做什么的公司能够快速生产出合理的产品。不过,标准最终将在一两年内回归,这将稳定所涉及的参与者的数量和专长,并确保与其他市场的互通性。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 智能手机
    +关注

    关注

    66

    文章

    17993

    浏览量

    176876
  • 机器人
    +关注

    关注

    206

    文章

    26831

    浏览量

    201037
  • AI
    AI
    +关注

    关注

    87

    文章

    26153

    浏览量

    263719
  • 无人机
    +关注

    关注

    224

    文章

    9824

    浏览量

    174541

原文标题:AI芯片架构竞相走向边缘

文章出处:【微信号:RTThread,微信公众号:RTThread物联网操作系统】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    国科微:将持续优化边缘AI战略布局

    国科微近日在接受调研时透露,公司正积极推进搭载自研NPU架构芯片研发,主要聚焦在边缘侧应用。公司表示,将持续优化边缘AI战略布局,加快
    的头像 发表于 02-23 11:23 363次阅读

    什么是AI边缘计算,AI边缘计算的特点和优势介绍

    随着人工智能的迅猛发展AI边缘计算成为了热门话题。那么什么是AI边缘计算呢?简单来说,它是将人工智能技术引入
    的头像 发表于 02-01 11:42 274次阅读

    荷兰AI芯片设计公司Axelera计划推出新型汽车芯粒AI架构

    荷兰边缘人工智能(AI芯片设计领域的领军企业Axelera AI Solutions正在积极开发一款新型的汽车芯粒(chiplet)内存计算AI
    的头像 发表于 01-18 18:24 1118次阅读

    什么是边缘AI边缘AI技术架构趋势

    英伟达的Jetson这样的产品并不能令人信服。Jetson是一个GPU模块平台,具有7.5W的功率预算,只有英伟达更典型产品的70W功率的一小部分,但对于一般不超过5W的边缘应用来说还是太高了。
    发表于 01-03 15:41 460次阅读
    什么是<b class='flag-5'>边缘</b><b class='flag-5'>AI</b>?<b class='flag-5'>边缘</b><b class='flag-5'>AI</b>技术<b class='flag-5'>架构</b><b class='flag-5'>趋势</b>

    算力强劲的AI边缘计算盒子# 边缘计算

    AI边缘计算
    成都华江信息
    发布于 :2023年11月24日 16:31:06

    AI边缘计算是什么意思?边缘ai是什么?AI边缘计算应用

    AI边缘计算是什么意思?边缘ai是什么?AI边缘计算应用  随着人工智能技术的不断
    的头像 发表于 08-24 15:18 1412次阅读

    ai芯片技术架构有哪些

    ai芯片技术可以分为不同的体系架构。下面将对ai芯片技术架构做详细
    的头像 发表于 08-09 14:28 839次阅读

    边缘AI应用越来越普遍,AI模型在边缘端如何部署?

    电子发烧友网报道(文/李弯弯)在人工智能时代,越来越多的AI应用需要从云端扩展到边缘端,比如智能耳机、智能摄像机、智能手环、物流机器人等,在边缘端部署AI已经成为
    的头像 发表于 07-04 00:11 1844次阅读
    <b class='flag-5'>边缘</b><b class='flag-5'>AI</b>应用越来越普遍,<b class='flag-5'>AI</b>模型在<b class='flag-5'>边缘</b>端如何部署?

    一文解读AI未来发展趋势、影响和挑战

    人工智能(AI)是一项重要的技术领域,已经在许多领域中取得了显著的进展。AI未来充满了无限的可能性和挑战,这篇文章将探讨AI未来
    的头像 发表于 06-28 17:21 2886次阅读

    AI边缘计算盒子是如何推动边缘AI应用落地的

    AI边缘计算盒子(AI Edge Computing Box)是一种集成了边缘计算和AI算法处理能力的设备,可以用于推动
    的头像 发表于 05-26 14:08 636次阅读

    边缘AI的“灵魂”,能否跟上Ta飞快脚步

    边缘计算的快速发展使得计算能力加速向边缘迁移,AI也逐步从中心节点向更贴近数据源和业务现场的边缘侧拓展,
    的头像 发表于 05-19 09:22 826次阅读

    AI系列边缘计算盒子

    边缘盒子产品是一款基于Arm+NPU架构AI深度学习视频分析识别边缘计算终端设备,具有算法多、精度高、多算法同步 运行、业务适配能力强、算法扩展性好、支持liunx操作系统
    发表于 05-18 16:11 1次下载
    <b class='flag-5'>AI</b>系列<b class='flag-5'>边缘</b>计算盒子

    校企合作推动实现多项工业场景下AI边缘计算应用

    的专业人才,高校可以通过与企业合作,让学生更好地了解企业的实际需求和行业发展趋势,从而更好地指导学生的学习和研究方向。
    的头像 发表于 05-10 11:50 756次阅读

    AI芯片发展历史及最新趋势

    Learning, DL)及为什么需要使用AI芯片,而AI芯片又有那些常见分类及未来可能发展
    的头像 发表于 05-06 16:33 1222次阅读
    <b class='flag-5'>AI</b><b class='flag-5'>芯片</b><b class='flag-5'>发展</b>历史及最新<b class='flag-5'>趋势</b>

    索尼投资树莓派,共同开发边缘 AI 解决方案

    索尼半导体解决方案(SSS)今天发布新闻稿,宣布和树莓派公司签署战略协作框架,持有后者的少数股权,共同开发边缘人工智能(Edge AI)解决方案。IT之家翻译索尼新闻稿内容如下:“公司通过这项战略
    发表于 04-13 15:55