构建Gen5测试环境涉及的相关的产品和技术介绍-电子发烧友网

在研发实验室构建针对PCIe Gen5 x4企业级NVMe SSD的测试环境，或者针对Gen5 x16接口的企业级GPU, DPU/SmartNIC，AI板卡，或加速卡的测试环境，需要综合考虑这些产品在企业级数据中心或者Internet网数据中心的实际使用环境。

企业级SSD和各类板卡除了可能直连PCIe Gen5 CPU外，大多数都需要连接PCIe Gen5 switch或者Retimer卡，所以构建测试环境的时候就必须要考虑这些治具。

下面我们简要介绍一下构建Gen5测试环境涉及的相关的产品和技术。

第一部分：PCIe Gen5 Switch卡

在目前市场上还几乎买不到任何量产发布的PCIe Gen5 服务器和endpoint卡的情况下，SerialCables公司的PCIe Gen5 switch卡成为用户搭建Gen5测试环境的唯一选择。

该卡对于构建PCIe Gen5测试环境具备两重属性：

1）对于测试RC端，例如CPU来讲，它可以作为可靠的“EndPoint”，用来训练RC端的PCIe Gen5链路。

2）对于测试EP端，例如上述的SSD和各类板卡，它作为可靠的“RC”，用来训练EP端的PCIe Gen5链路。

下图为SerialCables最新版本的Rev1.6的Gen5 switch卡图片，目前国内主流芯片公司基本都购买该卡进行Gen5 CPU或者板卡/SSD盘的测试。

该Gen5 switch卡提供上行Gen5 x16金手指，下行分成两部分：插槽和MCIO接口。

1.顶部提供PCIe Gen 5x16插槽，提供非常好的信号质量，可以用来测试各种Gen5板卡，如GPU/DPU。

下图是采用该PCIe Gen5 x16 switch卡测试图形卡的示意图。

该Gen5 Switch卡的顶部插槽信号输出的眼图质量如下图所示。

相比较来讲，目前不少客户在x86 Gen5 CPU服务器量产之前采用将插卡插入工作站/台式机的PCIe Gen5 x16插槽的方式进行测试，可能碰到很多问题，除了CPU本身的问题外，主板信号质量也是一个很重要的因素，下面的眼图是在号称业内最好的工作站主板厂商提供的Intel Z690主板芯片组的PCIe Gen5 x16插槽（直连CPU）获得的眼图。

2.Gen5 Switch卡左边提供4个Gen5 x4 MCIO接口。通过各种MCIO转接U.2, U.3, EDSFF的Gen5转接线缆可以连接测试各类常见接口的PCIe Gen5 NVMe SSD。当然这4个端口是动态配置的，也就是说，如果用户自己定制或者购买2*MCIO转接1*x8插槽的转接治具，或者4*MCIO转接1*x16插槽，也可以用来分别测试Gen5 x8或者Gen5 x16的各种产品。

下图展示了左侧通过Gen5 MCIO/U.2 1x4线缆连接single port盘，以及通过Gen5 MCIO/U.2 2x2线缆连接dual port的图片。顶部的插槽通过SerialCables Gen5 U.2/AIC转接卡测试Gen5 U.2 single port盘。

目前SerialCables也推出了下行方向为2个QSFP-DD的Gen5 x16 switch卡，主要是连接下行的Gen5 SSD扩展测试盘柜使用，当然也可以连接扩展GPU等板卡的扩展板。

综上，SerialCables的PCIe Gen5卡板既可以插在主机PCIe Gen5 x16 插槽测试CPU的Gen5建链能力，也可以测试插在顶部的Gen5 x16 插槽的客户的endpoint板卡，例如GPU, DPU, AI卡，加速卡等，或者左边4个Gen5 x4 MCIO接口通过MCIO转接U.2, U.3, EDSFF等线缆实现对于各类Gen5 x4 single port 盘和dual port SSD的测试。

Saniffer公司本周刚拍摄并且处理了Gen5 switch卡的演示视频，展示了两张Gen5 switch card对接协商成gen5 x16, 同时展示了switch card连接dual port SSD和single port ssd的端口以及热插拔演示。演示环境参见下图。

演示视频包括下面几个部分：

1.PCIe Gen5 x16 switch card实物介绍

2.实物连接主机、对接、连接dual port ssd和single port SSD

3.switch 卡内置的管理MCU支持的CLI命令行介绍，具体命令列表参见下图。

上述命令里面，对于测试SSD来讲ssdrst可以用来发送300ms的PERST#让待测SSD或者插卡强行复位，spread和clk配合可以用来测试盘的SRIS功能支持，iicwr和iicw分别用来针对SSD通过iic/smbus总线进行读取和写入操作。Showport可以用来检查上、下行的链路训练状态是否符合预期。

另外，SerialCables 的Gen5 switch卡使用Broadcom PEX89000 Gen5交换芯片，年底即将量产发布的基于Broadcom B0版本芯片的switch卡内置了SerialTek 的PCIe Gen5协议抓包功能，可以实现对于初始化阶段碰到的各种PCIe 底层问题进行抓包分析，具体介绍可以联系Saniffer公司或者访问www.saniffer.com官网下载的“PCIe Gen 4&5总线协议和NVMe SSD测试技术和工具白皮书”，参照2.8章节获得更多信息。

第二部分：PCIe Gen5 Retimer卡

目前业界正在开发中的PCIe Gen5服务器出于成本考虑会使用Retimer卡，所以，对于Gen5 SSD或者各种板卡在实验室测试的时候也需要构建这类测试环境进行提前测试，主要是要测试信号以及兼容性问题等方面是否有问题，以便可以提前进行问题修复。

注意：

1）Retimer处理到协议层，其原理是串接在PCIe Gen5链路中间，将从CPU过来的差分信号串并转化后，进入retimer然后重新生成这些信号再转发出去到endpoint插卡或者PCIe背板，也就是说retimer通过这种方式实现了对于较弱的信号增强。

2）Retimer除了上下行分别连接CPU和endpoint板卡或者盘之外，有的场景出于PCIe endpoint扩展的需要，也会在下行方向先连接PCIe Gen5 switch然后即可连接多个endpoint。我们使用SerialTek Gen5 x16协议分析仪抓取的Gen5 CPU -> Gen5 retimer 卡 -> Gen5 x16 switch以及Gen5 CPU-> Gen5 retimer 卡 -> Gen5 x16 400GE网卡的trace文件，对于PCIe Gen5协议底层Retimer和switch或者网卡加电PCIe初始化流程感兴趣的朋友可以联系我们索取该trace文件和解码软件。

上图的Gen5 retimer是最常用的Retimer，比较适合用各类Gen5 x16板卡测试，金手指上行连接CPU，顶部插槽用来插入待测的Gen 5x16 板卡。

当然，如果是Gen5 x4 SSD或者x8 EDSFF SSD，需要借助SerialCables 公司的Gen5 U.2/AIC转接卡，或者E3.S/AIC，E1/AIC转接卡实现插入顶部插槽的目标。参见下图。

当然， SerialCable也计划推出类似于上述第二种Gen5 switch卡的Retimer型号，提供2个QSFP-DD接口，用来将Gen5 CPU信号扩展到Gen5 盘柜或者扩展板使用。

第三部分：PCIe Gen5 各类转接卡和延长线

受制于现实测试环境的限制，在研发、测试阶段，经常需要在各类接口之间互相转接，或者将某些接口，例如Gen5 x16 CEM插槽，Gen5 x4 U.2等进行延长，以便连接比较大的Gen5验证板，或者将EP板卡/SSD放入温箱测试。在PCIe Gen5时代，这些转接或者延长的需求变得问题重重。我们平时看到实验室碰到的大量问题都和采用了劣质的转接卡和延长线有关。对于Gen4或者Gen5信号质量，国内常用电商平台买到的基本都不合格，这浪费了研发、测试工程师大量的时间。

限于篇幅，我们本文仅介绍一下常用的Gen5 x16延长线的一些基本信息，其它各种接口的转接卡和延长线，请直接联系Saniffer或者到官方网站www.saniffer.com下载Saniffer PCIe Gen5 adapter, cable, switch and retimer cards quick guide_rev1.0文档，下面是一个简要目录供参考。

1. GEN5 ADAPTERS 转接卡

1.1 PCIe GEN5 U.2 ADAPTERS

1.2 PCIe GEN5 U.3 ADAPTERS

1.3 PCIe GEN5 EDSFF ADAPTERS

1.4 PCIe GEN5 OTHER ADAPTERS

2. GEN5 CABLES 转接线和延长线

2.1 GEN5 MCIO CABLES

2.2 GEN5 EDSFF CABLES

2.3 GEN5 U.2 CABLES

2.4 GEN5 SlimSAS CABLES

2.5 GEN5 PCIE CEM CABLES

3. GEN5 SWITCH卡