0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

PCIe在AI加速器中的作用

新思科技 来源:新思科技 2023-11-18 10:36 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

从线上购物时的“猜你喜欢”、到高等级自动驾驶汽车上的实时交通信息接收,再到在线视频游戏,所有的这些都离不开人工智能AI)加速器。AI加速器是一种高性能的并行计算设备,旨在高效处理神经网络等AI工作负载并提供近乎实时的处理方案,从而实现一系列应用。

为了让AI加速器有效地完成自己的工作,数据必须要以极快的速度在AI加速器(作为设备)与CPUGPU(主机)之间进行快速且低延时的移动,而实现这一切的关键就在于PCI Express(PCIe)高速接口

PCIe大约每三年更新换代一次,带宽也会随之翻倍,而这正是我们数据驱动的数字世界所需要的。作为PCIe规范的最新版本,PCIe 6.0可提供:

每个引脚64 GT/s的数据传输速率

一种新的低功耗状态,从而实现更低的功耗

经济高效的性能

高性能的完整性和数据加密(IDE)

向后兼容前几代

尽管PCIe过去可能通过PC上的插槽,连接显卡和扫描仪等外围设备,但得益于带宽的不断增加,PCIe的作用现在已远不止于此。本文将详细介绍PCIe如何满足AI加速器的日益增长的要求。

AI无处不在,PCIe也是如此

GlobalData的数据表明,AI正在芯片组领域中迅速普及,预计到2030年,超过40%的芯片组中都将包含AI硬件。人工智能(AI)和机器学习(ML)工作负载的复杂性仍在不断增加。事实上,AI和ML训练模型的规模大约每隔几个月就会翻一番。为了确保有效性,AI系统必须能在不牺牲性能或增加延迟的情况下,通过AI开发管道移动大型数据集。不妨看一看下面这些带宽密集型工作负载示例:

4K和8K高清视频 — 需要更多计算能力和内存

高分辨率和高动态范围 — 实现机器视觉和实时感知

多摄像头阵列和4D传感 — 实现深度和运动推理

所有这些趋势都表明,AI加速器的关键在于提供强大的并行计算能力,让语音激活和高等级自动驾驶汽车等应用能够做出近乎实时的响应。这些高性能机器既可以采用超大芯片的形式,例如用于深度学习系统的Cerebras晶圆级引擎(WSE);也可以是GPU、大规模多核标量处理器或空间加速器,通过将数十到数百个芯片组合到一起,打造出具有数百petaFLOPS处理能力的大型系统,用以处理大型神经网络。

838cee98-8534-11ee-939d-92fbcf53809c.png

PCIe发挥着高效的桥梁作用

由于能够处理AI和ML工作负载,AI加速器可以增强数据中心服务器中CPU的处理能力,而PCIe则充当两者之间的桥梁。就其作用而言,PCIe具有以下优势:

最大限度提高芯片到芯片接口的带宽,无论是用于大规模计算阵列中的AI加速器,还是边缘的AI加速器

提供扩展容量,以便在多个主机和多台设备之间移动数据,因为PCIe插槽可以支持各种类型的扩展卡,包括AI加速器

支持通过多线程技术跨多个芯片并行处理工作负载

实现主机和设备之间的通用互操作性,使得能够在系统运行时无缝添加或移除AI加速器卡

提供低功耗PCIe 6.0 L0p模式,能够以更少的通道支持所需的数据流量,从而可以降低功耗,帮助最大限度地减少碳足迹

提供数据保密性、完整性和重发保护功能,确保传输中的数据免受嗅探、篡改、删除、插入或重发数据包攻击

要充分利用这种安全的高速接口,经验证的PCIe物理层(PHY)和具有IDE安全性的控制器IP是关键,而相关的专业知识也对帮助开展相应设计至关重要。功耗和信号完整性方面的考量则突显了专家支持的重要作用。AI加速通常需要许多高速通道。PCIe的多个通道同时切换会产生大量功耗,这使得电源完整性成为一个问题。如果在同时切换过程中出现IR压降等问题,则不利于充分发挥全部性能。信号完整性也很重要,因为系统中在AI加速器和CPU之间传输的信号必须完好无损。新思科技内部拥有功耗和信号完整性方面的专家,他们能够模拟多通道环境,指导开发者在设计芯片时将支持PCIe的PHY放置在合适位置,从而实现最佳性能。

83c3942a-8534-11ee-939d-92fbcf53809c.png

新思科技是PCIe IP和PCIe协议验证解决方案(包括验证IP)的行业领导者,新思科技的PCIe专家也是PCI-SIG联盟(负责编写PCIe总线规范)的主要贡献者。新思科技的PCIe产品组合,以及各种具有向后兼容性的组件,包括:

新思科技PHY IP,通过自适应数字信号处理(DSP算法来优化数字均衡,以跨底板、网络接口卡(NIC)及芯片到芯片通道实现高能效

新思科技控制器IP,具有与新思科技IDE安全IP模块紧密集成的架构,其中包含多个接口,旨在尽可能降低延迟并提高吞吐量

新思科技验证IP,可加速测试平台开发,并且具有内置验证计划、验证序列和功能覆盖范围

用于新思科技ZeBu硬件加速系统和新思科技HAPS原型系统的新思科技协议接口卡、在线和虚拟解决方案,可实现软件驱动的系统验证、性能分析、认证和流片前合规性测试

除了端到端PCIe IP解决方案,新思科技的IP核组合还包括内存、处理器及其他用于AI加速器的接口IP。全栈式AI驱动型电子设计自动化(EDA)套件Synopsys.ai现已搭载能够显著加快专用AI加速器设计的功能。在验证方面,AI SoC需要更快的流片前硬件辅助验证解决方案。新思科技的ZeBu Server 5和HAPS系统提供了超快且容量超大的硬件辅助验证(HAV)系统,有助于完成各种复杂SoC设计的所有系统级验证用例。

PCIe接下来的发展方向如何?

下一代PCIe有望达到速度惊人的2.048TB。随着越来越多的设备和系统融入AI,任何能够满足AI速度需求的创新都是利好消息。对于现今和未来的AI加速器来说,不断发展的PCIe高速接口有望与之携手共进,让日常生活变得更加智能。

审核编辑:汤梓红

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    89

    文章

    38134

    浏览量

    296730
  • 高速接口
    +关注

    关注

    1

    文章

    67

    浏览量

    15215
  • PCIe
    +关注

    关注

    16

    文章

    1422

    浏览量

    87554
  • 新思科技
    +关注

    关注

    5

    文章

    925

    浏览量

    52643

原文标题:AI低延迟应用,怎么缺少PCIe高速接口?

文章出处:【微信号:Synopsys_CN,微信公众号:新思科技】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    边缘计算AI加速器类型与应用

    提升AI应用的性能。边缘计算,有多种类型的AI加速器,各自具有不同的优势、局限性和适用场景。AI
    的头像 发表于 11-06 13:42 431次阅读
    边缘计算<b class='flag-5'>中</b>的<b class='flag-5'>AI</b><b class='flag-5'>加速器</b>类型与应用

    亚马逊云科技第三期创业加速器圆满收官 助力初创释放Agentic AI潜力 加速全球化进程

    的Agentic AI。入营初创企业在为期10周的加速,均获得了亚马逊云科技提供的技术资源支持及定制化加速方案,得以
    的头像 发表于 10-29 15:18 747次阅读

    NVMe高速传输之摆脱XDMA设计17:PCIe加速模块设计

    内部信号做进一步处理,如果需要应答,将应答事务通过axis完成方完成接口(axis_cc)发送给PCIE硬核。图1 PCIe加速模块系统框图 PCIe
    发表于 08-07 18:57

    Microchip推出Adaptec® SmartRAID 4300 系列加速器 提供安全的可扩展 NVMe® RAID 存储解决方案

    ,专为NVMe部署而设计。该系列加速器尤其适用于现代人工智能数据中心环境。在此类环境加速访问NVMe存储对于支持高强度工作负载
    的头像 发表于 08-06 16:31 1.9w次阅读
    Microchip推出Adaptec® SmartRAID 4300 系列<b class='flag-5'>加速器</b> 提供安全的可扩展 NVMe® RAID 存储解决方案

    PCIe协议分析仪在数据中心中有何作用

    升数据中心的整体可靠性。以下是其核心作用及具体应用场景的详细分析:一、性能优化:突破带宽瓶颈,提升计算效率 链路带宽利用率分析 场景:AI训练集群,GPU通过
    发表于 07-29 15:02

    PCIe协议分析仪能测试哪些设备?

    /ASIC加速器 测试场景:分析专用AI推理加速器与主系统的PCIe通信,优化数据传输和指令下发效率。 应用价值:提高推理吞吐量,确保加速器
    发表于 07-25 14:09

    高压放大器粒子加速器研究的应用

    的奥秘提供重要手段。 一、高压放大器粒子加速器的关键作用 (一)提供稳定的直流高电压 粒子加速器的电源系统需要提供高精度的直流高电压,以
    的头像 发表于 06-19 17:09 415次阅读
    高压放大器<b class='flag-5'>在</b>粒子<b class='flag-5'>加速器</b>研究<b class='flag-5'>中</b>的应用

    粒子加速器 —— 科技前沿的核心装置

    粒子加速器全称“荷电粒子加速器”,是一种利用电磁场高真空环境对带电粒子(如电子、质子、离子)进行加速和控制,使其获得高能量的特种装置。粒
    的头像 发表于 06-19 12:05 2543次阅读
    粒子<b class='flag-5'>加速器</b> —— 科技前沿的核心装置

    嵌入式AI加速器DRP-AI 详细介绍

    的嵌入式设备。此外,人工智能正在不断发展,新的算法不时被开发出来。 人工智能快速发展的过程,瑞萨开发了人工智能加速器(DRP-AI)和软件(DRP-
    的头像 发表于 03-15 16:13 1528次阅读
    嵌入式<b class='flag-5'>AI</b><b class='flag-5'>加速器</b>DRP-<b class='flag-5'>AI</b> 详细介绍

    AI MPU# 瑞萨RZ/V2H 四核视觉 ,采用 DRP-AI3 加速器和高性能实时处理

    RZ/V2H 高端 AI MPU 采用瑞萨电子专有的AI 加速器-动态可重配置处理 (DRP-AI3)、四核 Arm^®^ Cortex
    的头像 发表于 03-15 11:50 1935次阅读
    <b class='flag-5'>AI</b> MPU# 瑞萨RZ/V2H 四核视觉 ,采用 DRP-<b class='flag-5'>AI</b>3 <b class='flag-5'>加速器</b>和高性能实时处理<b class='flag-5'>器</b>

    小型加速器中子源监测系统解决方案

    小型加速器中子源是一种基于先进加速器技术的中子产生装置,凭借体积小、成本低、安全性高的优势,医学、工业、科研、安全、能源等多个领域展现出巨大的应用潜力和价值。无论是用于医学领域的精准放疗,还是工业
    的头像 发表于 03-13 11:19 1150次阅读
    小型<b class='flag-5'>加速器</b>中子源监测系统解决方案

    消息称AMD Instinct MI400 AI加速器将配备8个计算芯片

    对比,目前的 MI300 系列加速器每个 AID 仅包含 2 个加速计算芯片 ,MI400 芯片数量上实现了翻倍。如此一来,MI400 具备更强的并行处理
    的头像 发表于 02-05 15:07 1381次阅读

    苹果加入UALink联盟,共推AI加速器新标准

    苹果公司已正式成为Ultra Accelerator Link(UALink)联盟的一员,并获得了该联盟董事会席位。UALink联盟由超过65家成员组成,专注于开发下一代人工智能加速器架构,旨在推动AI技术的快速发展。
    的头像 发表于 01-22 18:18 1160次阅读

    存储需要Passion!德明利PCIe Gen5 SSD加速AI应用落地

    存储需要Passion!德明利PCIe Gen5 SSD加速AI应用落地
    的头像 发表于 01-21 16:33 1491次阅读
    存储需要Passion!德明利<b class='flag-5'>PCIe</b> Gen5 SSD<b class='flag-5'>加速</b><b class='flag-5'>AI</b>应用落地

    英伟达AI加速器新蓝图:集成硅光子I/O,3D垂直堆叠 DRAM 内存

    冷板。 英伟达给出的模型,每个 AI 加速器复合体包含 4 个 GPU 模块,每个 GPU 模块与 6 个小型 DRAM 内存
    的头像 发表于 12-13 11:37 1031次阅读
    英伟达<b class='flag-5'>AI</b><b class='flag-5'>加速器</b>新蓝图:集成硅光子I/O,3D垂直堆叠 DRAM 内存