0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

FPGA取代AI加速器中的GPU

eeDesign 2020-07-21 15:14 次阅读

AI软件初创公司Mipsology正在与Xilinx合作,以使FPGA能够仅使用一个附加命令即可替换AI加速器应用程序中的GPUMipsology的“零努力”软件Zebra将GPU代码转换为可在FPGA上的Mipsology的AI计算引擎上运行,而无需进行任何代码更改或重新培训。

赛灵思今天宣布,将为数据中心向Zebra交付最新版本的Alveo U50卡。Zebra已经在其他Xilinx板上支持推理加速,包括Alveo U200和Alveo U250。

Xilinx Alveo U50卡,旨在取代AI Acceleration中的GPU
赛灵思最新版本的Alveo U50数据中心加速卡现在带有Mipsology的Zebra软件,用于转换GPU AI代码以在FPGA上运行(图片:Xilinx)

Xilinx营销副总裁Ramine Roane表示:“ Zebra带给我们的Alveo卡的加速水平使CPU和GPU加速器感到羞愧。”“与Zebra结合使用,Alveo U50满足了AI工作负载的灵活性和性能需求,并为任何部署提供了高吞吐量和低延迟性能优势。”


过去,即插即用的FPGA对于非专业人士来说很难编程,但是Mipsology希望将FPGA变成即插即用的解决方案,就像CPU或GPU一样容易使用。这样做的想法是使从其他类型的加速切换到FPGA尽可能容易。

Mipsology首席执行官Ludovic Larzul说:“最好的方式是[Mipsology],我们使用FPGA之上的软件来使它们透明化,就像Nvidia用Cuda CuDNN来使GPU对AI用户完全透明一样。“在接受EE Times采访时

至关重要的是,这可以由非专家完成,而无需具备深厚的AI专业知识或FPGA技能,因为无需进行模型再培训即可过渡。

“易用性非常重要,因为当您查看人们的AI项目时,他们通常无法访问设计神经网络的AI团队,” Larzul说。“通常,如果有人安装了一个机器人系统或一个视频监视系统……他们会让其他团队或其他团体开发神经网络并对其进行培训。一旦获得了[训练有素的模型],他们就不会更改它,因为他们没有专业知识。”

Mipsology Zebra软件堆栈。 Zebra使FPGA能够取代GPU
斑马的堆栈。该技术适用于数据中心,边缘和嵌入式应用程序(图片:Mipsology)

与Xilinx对比当Xilinx
已经拥有自己的神经网络加速器引擎(XDNN)时,为什么会支持第三方软件?

“一句话的重点是:我们做得更好,”拉尔祖尔说。“另一句话是:我们的作品。”

Mipsology在Zebra中拥有自己的计算引擎,该引擎支持客户现有的卷积神经网络(CNN)模型,与XDNN不同,Larzul表示XDNN支持大量演示,但不太适合定制神经网络。他说,这使使用XDNN建立和运行自定义网络“痛苦”。尽管XDNN可以在不受GPU威胁的应用程序中竞争,但Zebra旨在使FPGA根据性能,成本和易用性直接采用GPU。

Mipsology Zebra堆栈详细-帮助FPGA取代GPU
斑马的堆栈详细。目的是通过尽可能多地隐藏硬件来使FPGA成为从GPU或CPU到AI加速的更简单的切换(图片:Mipsology)

Larzul说,大多数客户改变GPU解决方案的动机是成本。

他说:“他们想降低硬件成本,但又不想重新设计神经网络。”“(避免了)一笔非经常性的费用,因为我们能够透明地替换GPU,并且无需重新训练或修改神经网络。”

FPGA还具有可靠性,部分原因是因为它们在芯片领域不那么积极,并且通常比包括GPU在内的其他加速器类型运行温度更低。这在需要长期维护成本的数据中心中尤其重要。

拉尔祖尔说:“总拥有成本不仅仅是董事会的价格。”“确保系统正常运行还需要付出代价。”

Zebra还旨在使FPGA在性能上竞争。Larzul说,尽管FPGA通常提供比其他加速器更少的TOPS(每秒Tera操作),但由于Zebra精心设计的计算引擎,它们能够更有效地使用TOPS。

Ludovic Larzul(图片:Mipsology)
Ludovic Larzul(图片:Mipsology)

“这是大多数加速AI的ASIC初创企业都忘记了的-他们在做很大的一块硅片,试图包装更多的TOPS,但是他们没有考虑如何在网络上映射它以提高效率”,他说,并指出Zebra的基于FPGA的引擎比TOPS量为6倍的GPU每秒能够处理更多图像。

如何实现的?尽管Larzul没有提供确切的细节,但他确实表示它们不依赖修剪,因为精度降低太大,以至于不进行重新培训就无法接受。由于相同的原因,它们不使用极限量化(低于8位)。

Zebra的引擎加快了CNN的速度,而CNN如今已广泛用于图像和视频处理应用程序,但Zebra也可以应用于使用类似数学概念的BERT(Google的自然语言处理模型)。Zebra的未来迭代可能会覆盖其他类型的神经网络,包括LSTM(长期短期记忆)和RNN(递归神经网络),但这很难实现,因为RNN在数学上更加多样化。

EVE
Mipsology的团队成立于2015年,在法国约有30人从事研发工作,在加利福尼亚有一个小团队,主要负责业务发展。公司已获得总计700万美元的资金,其中200万美元是2019年法国政府创新竞赛的奖金。

Mipsology的核心团队来自EVE,这一家ASIC仿真器公司,于2012年被Synopsys收购,用于其ZeBu(零错误)硬件辅助验证产品,当时是Cadence钯金验证平台的竞争对手。Larzul认为,几乎所有主要的ASIC公司都使用EVE技术在设计周期内验证ASIC。该技术依赖于连接在一起的数千个FPGA来重现ASIC行为。

Mipsology拥有12项正在申请的专利,并且与Xilinx密切合作,并且与第三方加速器卡兼容,例如Western Digital小型(SFF U.2)卡和Vega-4001等研华卡。


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • FPGA
    +关注

    关注

    1592

    文章

    21207

    浏览量

    592145
  • gpu
    gpu
    +关注

    关注

    27

    文章

    4336

    浏览量

    126296
  • AI
    AI
    +关注

    关注

    87

    文章

    26129

    浏览量

    263712
收藏 人收藏

    评论

    相关推荐

    FPGA在深度学习应用或将取代GPU

    ,这使其在 AI 应用面临着一些挑战。 Larzul 表示,想要解决这些问题的解决方案便是实现现场可编程门阵列 (FPGA),这也是他们公司的研究领域。FPGA 是一种处理
    发表于 03-21 15:19

    家居智能化,推动AI加速器的发展

    提高了系统的运算能力和数据处理能力,还为用户带来了更加智能化、个性化的生活体验。   AI 加速器的发展   在人工智能和机器学习任务变得日益复杂和密集之前,传统的CPU和GPU已经足以处理这些任务。然而,随着深度学习模型的出现
    的头像 发表于 02-23 00:18 4008次阅读

    【国产FPGA+OMAPL138开发板体验】(原创)5.FPGAAI加速源代码

    使用硬件加速器来进一步提升性能。我写的这个简化的代码只是为了帮助理解FPGA如何可能参与AI计算的过程。在实际的FPGA AI
    发表于 02-12 16:18

    粒子加速器加速原理是啥呢?

    粒子加速器加速原理是啥呢? 粒子加速器是一种重要的实验设备,用于研究粒子物理学、核物理学等领域。其主要原理是通过电场和磁场的作用,对带电粒子进行加速,在高速运动过程中使其获得较大的动
    的头像 发表于 12-18 13:52 713次阅读

    21489的IIR加速器滤波参数设置如何对应加速器的滤波参数?

    目前在用21489内部的IIR加速器去做一个低通滤波,在例程的基础上修改参数。通过平板的fda 工具工具去设计参数,但是设计出来的参数不知道如何对应加速器的滤波参数,手册里也看得不是很明白。 设计的参数如下: 请问
    发表于 11-30 08:11

    PCIe在AI加速器中的作用

    从线上购物时的“猜你喜欢”、到高等级自动驾驶汽车上的实时交通信息接收,再到在线视频游戏,所有的这些都离不开人工智能(AI加速器AI加速器是一种高性能的并行计算设备,旨在高效处理神经
    的头像 发表于 11-18 10:36 1150次阅读
    PCIe在<b class='flag-5'>AI</b><b class='flag-5'>加速器</b>中的作用

    FPGA和CPU、GPU有什么区别?为什么越来越重要?

    ,在数据中心高性能计算及 AI 训练,CPU 这一“主角”的重要性下降,而以往的“配角们”,即 GPUFPGA、TPU、DPU 等的加速器
    发表于 11-09 14:09

    AI加速器架构设计与实现》+第2章的阅读概括

    首先感谢电子发烧友论坛提供的书籍和阅读评测的机会。 拿到书,先看一下封面介绍。这本书的中文名是《AI加速器架构设计与实现》,英文名是Accelerator Based on CNN Design
    发表于 09-17 16:39

    AI加速器架构设计与实现》+学习和一些思考

    AI加速器设计的学习和一些思考 致谢 首先感谢电子发烧友论坛提供的书籍 然后为该书打个广告吧,32K的幅面,非常小巧方便,全彩印刷,质量精良,很有质感。 前言 设计神经网络首先要考虑的几个问题
    发表于 09-16 11:11

    Rapanda流加速器-实时流式FPGA加速器解决方案

    电子发烧友网站提供《Rapanda流加速器-实时流式FPGA加速器解决方案.pdf》资料免费下载
    发表于 09-13 10:17 0次下载
    Rapanda流<b class='flag-5'>加速器</b>-实时流式<b class='flag-5'>FPGA</b><b class='flag-5'>加速器</b>解决方案

    Intel媒体加速器参考软件用户指南

    英特尔媒体加速器参考软件是用于数字标志、交互式白板(IWBs)和亭位使用模型的参考媒体播放应用软件,它利用固定功能硬件加速来提高媒体流速、改进工作量平衡和资源利用,以及定制的图形处理股(GP
    发表于 08-04 07:07

    英特尔媒体加速器参考软件Linux版用户指南

    英特尔媒体加速器参考软件是用于数字标志、交互式白板(IWBs)和亭位使用模型的参考媒体播放应用软件,它利用固定功能硬件加速来提高媒体流速、改进工作量平衡和资源利用,以及定制的图形处理股(GP
    发表于 08-04 06:34

    【书籍评测活动NO.18】 AI加速器架构设计与实现

    经验总结图解NPU算法、架构与实现,从零设计产品级加速器当前,ChatGPT和自动驾驶等技术正在为人类社会带来巨大的生产力变革,其中基于深度学习和增强学习的AI计算扮演着至关重要的角色。新的计算范式需要
    发表于 07-28 10:50

    基于FPGA的深度学习CNN加速器设计方案

    因为CNN的特有计算模式,通用处理器对于CNN实现效率并不高,不能满足性能要求。 因此,近来已经提出了基于FPGAGPU甚至ASIC设计的各种加速器来提高CNN设计的性能。
    发表于 06-14 16:03 1483次阅读
    基于<b class='flag-5'>FPGA</b>的深度学习CNN<b class='flag-5'>加速器</b>设计方案

    又一大厂发力RISC-V,Meta第一代自研AI加速器MTIA

    的重视。   自研 AI 加速器 MTIA   Meta过去的服务器架构主要依靠CPU来运行AI负载,但随着AI模型对算力和内存的要求不断提高,致使其不得不开始转向特化的方案,比如
    的头像 发表于 05-23 01:49 1674次阅读
    又一大厂发力RISC-V,Meta第一代自研<b class='flag-5'>AI</b><b class='flag-5'>加速器</b>MTIA