0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

计算高速链路互连内存和GPU以实现高性能

星星科技指导员 来源:嵌入式计算设计 作者:Saumitra Jagdale 2022-10-24 16:29 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

随着云计算技术的进步,数据中心的架构内存安排发生了重大变化。为了增强计算能力和广泛的数据处理,需要集成擅长处理特定工作负载的加速器。虽然这些设备已经通过PCI Express连接,但计算快速链路可以进一步改善优化,因为它允许对各种系统组件进行异构处理。

PCI Express是用于将主机处理器连接到加速器设备的最常见技术。它是一种高性能、行业标准的串行 I/O 接口,专为在企业、桌面和嵌入式应用中使用而开发。

同时,PCIe在具有大型共享内存池和大量需要高带宽的设备的系统中存在局限性。由于每个 PCIe 层次结构都使用单个 64 位地址空间,因此 PCIe 未提供支持一致性的技术,并且无法充分维护单独的内存池。此外,PCIe 链路具有太多的延迟,无法有效地管理系统中多个设备之间的共享内存。

因此,计算密集型工作负载需要与更快的数据流连接,以有效地扩展数据中心中的异构计算。计算高速链路 (CXL) 通过利用 PCI 高速 5.0 的物理和电气接口来挑战一些限制。这项新技术提高了内存容量和带宽,并降低了延迟。它是高速通信的接口,因为加速器越来越多地用于补充CPU以支持新兴应用。

什么是断续器?

计算高速链路 (CXL) 是一种开放的行业标准内存互连。它旨在为当今数据中心中使用的许多类型的内存提供高性能连接,例如CPU,TPU,GPU和其他处理器类型。

CXL 利用 PCIe 5.0 的物理层基础架构在主机和所有设备之间创建公共内存空间。缓存一致性标准可确保主机处理器和 CXL 设备在访问数据时看到相同的数据。CPU 主机主要负责一致性管理,允许 CPU 和设备共享资源以获得更高的性能并降低软件堆栈的复杂性,从而降低设备总成本。

除了原始性能外,CXL还有其他优势。该技术是开源的,不像美光的3D Xpoint,这是迄今为止最接近高性能内存互连的方法。美光和英特尔现在正在对冲他们对CXL的赌注,而不是专有技术。NVIDIA 和 AMD 的硬件系统还使用 CXL 来互连内存和外部处理单元,以优化性能。NVIDIA的GPU与CXL设计相结合,进行了如此广泛的计算,并在内存设计中进行了一些更改。

这种转变的最重要结果将是CXL消除专有内存互连。它是必不可少的,因为有几种类型的企业存储,每个处理器都通过专有连接访问它们。这可能会使企业存储基础架构变得复杂,并且无法预测其性能。

现在,由于CXL,每个处理器都将能够访问所有类型的内存。这将允许单独的处理器共享相同的内存池。它不仅对于数据中心至关重要,而且对于开发通常使用CPU,GPU和TPU的AI神经网络和深度机器学习系统等技术也至关重要。

CXL 事务层协议

凭借与 PCIe 5.0 相似的带宽,CXL 使用三种动态多路复用的事务层协议:CXL.io、CXL.缓存和 CXL.内存,以在 PCIe 上获得优势。

CXL.io 协议几乎与 PCIe 5.0 相同。它用于设备发现、配置、寄存器访问、中断、虚拟化和批量 DMA

CXL.cache 是一种可选协议,用于定义主机和设备之间的交互。这允许连接的 CXL 设备使用请求和响应方法以极低的延迟高效缓存主机内存。

CXL.memory 是一种可选协议,它使用加载和存储命令为主机处理器提供对加速器连接的内存的直接访问。加速器连接的内存被 CPU、GPU 或 TPU 视为额外的地址空间,从而提高效率并降低延迟。

CXL 对存储的影响

CXL依赖于存储,并将对其产生影响。它将允许存储系统使用更大的内存池进行缓存。该技术有利于使用内存作为缓存的存储应用程序或系统。这一点至关重要,因为虽然许多ISP定期限制带宽,但临时数据存储正在成为数据中心性能的关键方面。

商用存储系统中目前可用的最大 DRAM 缓存为 3 TB。尽管使用 MemVerge 或福尔穆卢斯黑色,但特定的软件定义存储可以使用英特尔傲腾 PMem 将该缓存扩展到 4.5 TB。但是,这对除最富有的组织之外的所有组织的缓存内存施加了硬性限制。幸运的是,CXL 通过允许存储软件跨多个存储介质缓存数据来解决此问题。

审核编辑:郭婷

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 处理器
    +关注

    关注

    68

    文章

    20149

    浏览量

    247226
  • 云计算
    +关注

    关注

    39

    文章

    8003

    浏览量

    143113
  • 数据中心
    +关注

    关注

    16

    文章

    5519

    浏览量

    74655
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    为啥 AI 计算速度这么惊人?—— 聊聊 GPU内存与并行计算

    提到AI,大家常说它“算得快”,其实是指AI能在眨眼间处理海量数据。可它为啥有这本事?答案就藏在“GPU+高速内存+并行计算”这trio(组合)里。咱们可以把AI要处理的数据,想象成一
    的头像 发表于 12-05 14:35 256次阅读
    为啥 AI <b class='flag-5'>计算</b>速度这么惊人?—— 聊聊 <b class='flag-5'>GPU</b>、<b class='flag-5'>内存</b>与并行<b class='flag-5'>计算</b>

    为什么高速信号 = 芯片 + PCB + 极细同轴线束三者匹配?

    高速信号性能,不取决于单一环节,而是“芯片 + PCB + 极细同轴线束”三者的整体匹配;芯片是信号的源,PCB 是高速通道,线束是关
    的头像 发表于 11-03 18:48 1221次阅读
    为什么<b class='flag-5'>高速</b>信号<b class='flag-5'>链</b><b class='flag-5'>路</b> = 芯片 + PCB + 极细同轴线束三者匹配?

    NVIDIA推出NVQLink高速互连架构

    NVIDIA 推出 NVIDIA NVQLink,这是一种开放式系统架构,可将 GPU 计算的极致性能与量子处理器紧密结合,构建加速的量子超级计算
    的头像 发表于 11-03 14:53 484次阅读

    TE品牌的高速可插拔I O互连产品性能如何?-赫联电子

    ,从而实现长期成本降低,而无需完全重新设计便可提高性能。   TE的zSFP+互连产品符合SFF-8402的规定,已为光纤通道32G(28.05 Gbps线路速率)采用。整个产品系列
    发表于 10-16 11:22

    立讯技术高速裸线技术如何抢占高速互连赛道

    在AI算力爆发式增长的浪潮下,高速裸线正成为数据中心与服务器内部传输的命脉。当英伟达GB200超级芯片内置5000根NVLink铜缆,铜代光实现GPU
    的头像 发表于 08-07 10:29 972次阅读
    立讯技术<b class='flag-5'>高速</b>裸线技术如何抢占<b class='flag-5'>高速</b><b class='flag-5'>互连</b>赛道

    PCIe协议分析仪能测试哪些设备?

    PCIe协议分析仪能测试多种依赖PCIe总线进行高速数据传输的设备,其测试范围覆盖计算、存储、网络及异构计算等多个领域,具体设备类型及测试场景如下:一、核心计算设备
    发表于 07-25 14:09

    【「算力芯片 | 高性能 CPU/GPU/NPU 微架构分析」阅读体验】+NVlink技术从应用到原理

    带来了总双向带宽160GB/s的通讯速率,远高于当时的PCIe接口(实际比现在的PCIe5.0也还要快)。首代的NVlink主要是增强了GPUGPU的通信性能GPU对系统
    发表于 06-18 19:31

    使用树莓派构建 Slurm 高性能计算集群:分步指南!

    在这篇文章中,我将分享我尝试使用树莓派构建Slurm高性能计算集群的经历。一段时间前,我开始使用这个集群作为测试平台,来创建一个更大的、支持GPU计算
    的头像 发表于 06-17 16:27 1355次阅读
    使用树莓派构建 Slurm <b class='flag-5'>高性能</b><b class='flag-5'>计算</b>集群:分步指南!

    TE的高速可插拔I O互连产品有什么用?-赫联电子

    ,从而实现长期成本降低,而无需完全重新设计便可提高性能。   TE的zSFP+互连产品符合SFF-8402的规定,已为光纤通道32G(28.05 Gbps线路速率)采用。整个产品系列
    发表于 06-03 20:28

    GPU计算服务怎么样

    在当今数字化快速发展的时代,高性能计算需求日益增长。为满足这些需求,GPU计算服务应运而生。那么,GPU
    的头像 发表于 02-05 15:01 682次阅读

    EE-106:端口开放系统互连电缆标准

    电子发烧友网站提供《EE-106:端口开放系统互连电缆标准.pdf》资料免费下载
    发表于 01-05 10:05 0次下载
    EE-106:<b class='flag-5'>链</b><b class='flag-5'>路</b>端口开放系统<b class='flag-5'>互连</b>电缆标准

    借助NVIDIA GPU提升鲁班系统CAE软件计算效率

    本案例中鲁班系统高性能 CAE 软件利用 NVIDIA 高性能 GPU实现复杂产品的快速仿真,加速产品开发和设计迭代,缩短开发周期,提升产品竞争力。
    的头像 发表于 12-27 16:24 1153次阅读

    芯原推出新一代高性能Vitality架构GPU IP系列

    芯原股份(芯原,股票代码:688521.SH)今日宣布推出全新Vitality架构的图形处理器(GPU)IP系列,具备高性能计算能力,广泛适用于云游戏、AI PC、独立显卡和集成显卡等应用领域。 芯
    的头像 发表于 12-19 15:55 727次阅读

    《CST Studio Suite 2024 GPU加速计算指南》

    问题,但会降低旧GPU硬件性能,可通过NVIDIA控制面板或命令行工具nvidia - smi管理。 - TCC模式(Windows only):某些GPU计算需要启用,可通过命令行
    发表于 12-16 14:25

    博威合金亮相互连大会,AI数字化大模型赋能高速互联新材料研发

    数据中心和高性能计算需求等方面都具有极其重要的意义。但互连设备的不断增多和数据量的爆发性增长,对互连技术的创新提出了更高要求。面对日益复杂的应用场景,
    的头像 发表于 12-12 15:08 985次阅读
    博威合金亮相<b class='flag-5'>互连</b>大会,AI数字化大模型赋能<b class='flag-5'>高速</b>互联新材料研发