平衡高能物理界的性能和需求

高能物理社区利用 PICMG 的 MicroTCA.4 硬件标准在 DESY 等粒子加速器上进行定时和同步、数据采集和控制。但随着这些研究中心实验的推进，支持系统的性能必须不断发展。MicroTCA 等标准如何支持前沿用例的需求并保持适用于更广泛的市场？

位于汉堡的 DESY 研究中心拥有 PETRA 等圆形加速器和世界上最长的线性粒子加速器 2.1 英里 XFEL。这些系统用于研究量子粒子、薄膜化学反应、绘制 COVID-19 等病毒结构图等物理实验。

说支持这些加速器的电子设备很复杂是轻描淡写的。例如，XFEL 每秒 10 次以 4.5 MHz 的重复频率产生 2，700 个 X 射线脉冲（图 1）。这意味着激光每秒发射 27，000 个脉冲，其亮度比传统 X 射线高出多个数量级。成像探测器从这些爆炸中捕获 10 GBps 的数据，以支持测量小至 0.05 nm 的原子级波长并需要飞秒分辨率的实验。

［图 1. XFEL X 射线以 4.5 MHz 的重复频率产生 2，700 个 X 射线脉冲，每秒 10 次。］

管理 XFEL、Karabo 的控制系统由 DESY 工程师内部开发。但 Karabo 灵敏的计时、测量和前端数据采集平台背后的快速电子设备是一个开放的行业标准：MicroTCA.4 （µTCA.4）。

“XFEL 完全由 µTCA 控制——所有快速电子设备，”负责围绕 µTCA 标准化 DESY 加速器控制系统的工程师 Kay Rehlich 说。“还有很多其他系统涉及较慢的东西，但快速动态光束的东西，如高精度定时、机器保护、诊断和射频——所有这些都是在 µTCA 中完成的。”

有超过 35 µTCA.4 系统分布在 XFEL 数英里长的范围内。µTCA 平台最初设计为电信级解决方案，由于集成了可靠性功能，如远程监控和控制、自动故障检测以及冗余冷却和电源，因此可以 24/7 全天候运行一年或更长时间。

µTCA 机箱接受称为 AdvancedMC （AMC） 的插卡，它支持一系列模块化功能。在 DESY，AMC 托管用于数字化、同步和处理数据的 FPGA。然后数据通过背板的高速 PCIe 和以太网互连发送到系统外，以控制服务器和其他设备。

对于高能物理应用的更具体需求，.4 扩展还支持特殊的时钟和触发拓扑。在 XFEL 定时系统中，这提供了参考频率来调整采样率并确定性地分布 X 射线激光器的脉冲模式信息。

µTCA 基本规范中不存在的后转换模块 （RTM） 插入机箱背面的 AMC 对面，以支持物理应用的额外 I/O 要求（图 3）。

［图 3. MicroTCA.4 扩展规范添加了以物理为中心的功能，例如支持额外 I/O 的后转换模块 （RTM）。］

MicroTCA，满足现代要求

尽管该系统非常复杂，但时间在流逝，XFEL 是在 10 多年前设计和实施的。这包括成像探测器，它每秒拍摄加速器的 27，000 个 X 射线脉冲。

“驱动数据最多的系统是大型 2D 图像探测器，它们基本上拍摄 X 射线图像，”负责欧洲 XFEL 加速器的电子和电气工程组负责人 Patrick Gessler 博士说。“这些探测器一次只能拍摄 350 到 800 张图像，但它们仍能产生大约 10 GBps 的数据。

“我们已经无法可视化在 10 赫兹周期内生成的数百张图像，”Gessler 解释说。“现在新的 3D 技术即将面世。这自然意味着我们必须处理越来越多的数据。

“还有不同种类的检测器，称为 0D 检测器，它们只是具有多个通道的 ADC 或数字化仪，”他继续说道。“目前，我们拥有高达 10 GSps 的数字化仪系统，但实验者希望超越这一点，并在很多很多通道上拥有更高的垂直分辨率。”

数据不会在 µTCA 机箱中收集，只是数字化并传输到托管服务器，来自世界各地的科学家可以在那里对其进行分析。但是 µTCA 是端到端系统中的一个数据管道——当 DESY 安装可能需要 TBps 传输速度的下一代探测器时，它可能会爆裂。

“我们在 µTCA 系统中使用 CPU 来控制 AMC，同时也从它们那里获取数据。我们进行一些预处理，然后将其发送出去，如果是数据，通常通过 10 GbE 或 1 GbE 进入控制系统，”Gessler 继续说道。“这意味着目前的瓶颈是 10 GbE，因为它是我们从 µTCA 板条箱中获得的最高速度。”

当标准不是那么简单时

µTCA 基本规范的 2.0 版目前支持 40GBASE-KR4，以通过背板提供峰值 40 Gbps 数据传输。但是 40GBASE-KR4 只是四个 10GBASE-KR 通道的集合，因此从端口密度的角度来看，它实际上并没有提高带宽。

这并不意味着没有选择。例如，英特尔今年早些时候终于在其第 11 代芯片组上发布了对 PCIe Gen 4 的支持，该芯片组在 16 条通道上提供高达 32 GBps 的数据传输。五年多来，25GBASE-T 通道已组合形成 100 GbE AdvancedTCA 系统，即 µTCA 的老大哥。在电气背板技术方面，这些技术都不是最先进的：

PCIe Gen 5 规范于 2019 年完成

2014 年 IEEE 标准化 100 Gbps 铜迹线以太网

PAM4 信令现已在能够以 56 Gbps 和 112 Gbps 数据速率传输 PCIe 或以太网信号的互连解决方案中商用。

根据 Rehlich 的说法，DESY 及其合作伙伴目前正在运行模拟，并且“非常确定我们可以使用 4 个 25 Gbps 通道和 PCIe Gen 4 实现 100 GbE”。从表面上看，这将在不完全修改 µTCA 标准的情况下提供一定程度的带宽缓解。但这只是表面。

“如果您想要更快的通信，无论是 PCI Express Gen 4 或 5 还是 100G 以太网，您都需要控制所有 µTCA 通信的板条箱中的开关，”Rehlich 解释说。“这些将消耗比我们现在在定义的每个 AMC 插槽 80 W 中所能提供的更多的功率。”

研究中心的工程师正在考虑将 µTCA 系统总功耗增加一倍至 2 kW。这不仅可以实现网络交换，还可以使用可用于执行 AI 的高性能 FPGA 和 GPU 计算解决方案。

然而，这就是事情开始瓦解的地方。第一个问题是这些更高性能的计算和连接解决方案产生的串扰会对更敏感的车载电子设备产生负面影响。

“如果我们还想将它用于非常敏感的信号，我不确定µTCA 板条箱中有多少处理和超高速系统是有价值的，”Gessler 说。“我们在板条箱中直接安装了数字化仪，可以接收敏感的低压模拟信号。风险可能是，如果你将非常强大的计算系统与非常高的速度和许多非常敏感的信号结合在一个非常紧凑的机箱上，你最终可能会妥协其中一个，对吗？”

所有这些都应该在同一个系统中吗？更进一步，对于这个用例来说，标准甚至是正确的选择吗？

当标准成熟时：平衡市场需求

DESY 的情况是行业标准的少数缺点之一，即需要达成某种程度的共识。一般来说，推动行业标准达成共识的是市场。对接谁的市场？

µTCA 标准服务于具有较长生命周期要求的市场，例如工业控制、网络基础设施以及测试和测量。更长的部署周期意味着在给定的时间内准备升级的套接字更少，因此临界质量需要更长的时间才能围绕某些技术要求增长。

同时，与许多其他板级和系统级标准一样，该标准的设计考虑了 x86 架构。如前所述，英特尔的第 11 代处理器是第一个支持 PCIe Gen 4 的处理器，这标志着英特尔服务器（第二代 Sandy Bridge）和台式机（第三代 Ivy Bridge）芯片组上引入 PCIe Gen 3 已有十年。

尽管如此，所有这些应用程序和芯片组推进到当前最先进的技术（例如 PCIe Gen 5 和通过某种类型的背板实现 100+ GbE 速度）只是时间问题。如果像 µTCA 这样的标准要继续下去，像高能物理这样的标准必须推动它达到这些性能水平。

Jan Marjonovic 是 DESY MicroTCA 技术实验室的高级 FPGA 开发人员，该研究所的一个部门旨在“为 MicroTCA 寻找新的用例，并成为其他机构和公司的服务提供商”。Marjonovic 表示，从 DESY 的角度来看，目标是“扩大安装基础，扩大用户群，然后向社区寻求帮助”。

虽然高能物理市场是最活跃的 µTCA 社区之一，但就出货量而言，它是一个较小的市场。话虽如此，他们在粒子加速器、量子计算仪器、原子聚变和裂变设备等方面的总投资高达数十亿美元，而使用像 µTCA 这样的标准有助于保护这些投资。

也就是说，如果像 µTCA 这样的标准可以继续支持他们的需求。

“µTCA.4 一直是一个小众产品，而且它仍将是一个小众产品，”Marjonovic 说。“但如果 DESY 是唯一使用 µTCA 的人，这将不是一个标准。至少有 20 或 30 家机构已经在使用它，当你去车间时，那里有很多人。

“至少，有一个足够大的市场来维持迎合物理市场的技术供应商。这已经是第一个里程碑，”他继续说道。“物理学界需要自己的标准，以便公司可以合作和共同建设。”

加速器可以加速标准吗？

VadaTech、NAT Europe、Samtec 等 µTCA 技术供应商都积极参与了前面提到的全通道仿真，以确定 µTCA 系统中更高功率和更高速度互连的可行性。当然，运行测试和实施新的业务、工程和制造策略是两件不同的事情。如果您正在等待市场赶上该技术，则尤其如此。当您处理旨在支持互操作性以及在一定程度上支持向后兼容性的标准时，情况更是如此。

DESY 工程师和物理界的其他成员了解这一点，并在维护它方面拥有既得利益。毕竟，Rehlich 指出，“选择 µTCA 的原因之一是所有非常不同的子系统都可以使用相同的标准，从而简化软件开发。如果你有一个统一的、标准化的系统，那么你也可以比拥有一个异构系统更好地标准化你的软件和固件。”

但是，当标准成熟，市场面临平衡性能和需求时，如何以及何时向前发展是必须回答的问题。

“在最坏的情况下，我们会采取中间步骤，”Rehlich 说。“我们可以进行 4x 25 GbE 和 PCIe Gen 4，同时我们为更新的 µTCA.4 规范制定所有定义并定义协议。今年我们可以解决这个问题。

“我们希望将其作为一个可行的标准，因此我们必须遵循技术正在做的事情以及这些天的 CPU。英特尔 CPU 提供 PCI Express Gen 4，因此板条箱应该能够做到这一点，”他解释道。“现在 FPGA 具有更高的功率和更高的性能，所以我认为必须遵循标准。

“现在不是制定全新标准的时候，”控制系统资深人士继续说道。“当我们在背板上进行光通信时，这是生成全新标准的好时机，但这种技术尚不可用。所以，我认为我们必须遵守我们必须确保的标准，以确保人们不会失去他们对技术的投资，他们购买的所有电子产品，当然还有知识。”

作者：Brandon Lewis，Chad Cox

审核编辑：郭婷