行业资讯 I 如何建立一个数据中心：全靠 SerDes和散热

我们可能不需要建立一个数据中心，但很可能会参与设计用于数据中心的芯片；或者在关注数据中心的 IP；或者担心先进节点设计工具的某些方面，其中大部分会发生在数据中心。因此，很有必要简单了解现代数据中心的组成。

几十年来，设计芯片的最大变化之一是从低速并行接口转到高速串行接口。对于长距离的广域网 (WAN)，我们一直使用串行接口，因为在全国或全世界范围内铺设大量电线是十分昂贵的。这些接口通常通过电信公司提供的 56kbps 或 64kbps 的线路运行；或者如果预算充足，可以使用 1.5Mb/s 的 T1 线路。如今，长途信令几乎都是用光纤完成的，数据速率越来越高。有时是点对点传输，数据中心所有者拥有自己的光纤；或者可能只是通过一个互联网网络服务提供商的节点，访问公共网络，或者搭上互联网主干网络，从 A 传输到 B。

在 20 世纪 70 年代末，局域网 (LAN) 开始普及，使用以太网或各种环形技术（阿波罗飞船和剑桥大学都使用过令牌环 (Token Ring)）。但电路板上的芯片使用了大量的引脚，有时为了降低成本而进行多路复用。这些信号速度相对较慢。事实上，它们实在太慢了，以至于当速度变快时，我们竟然需要担心封装引脚的电感。但是，即使发明了具有更多引脚的球栅阵列 (BGA)，引脚仍然不够用，特别是当总线从 16 位发展到 32 位，再到 64 位，甚至更宽时。解决办法是在单个（或几个）引脚上运行每个数据流，这就是被称为 SerDes（串行器-解串器）的超快速串行接口。信号在芯片上是并行的，但串行器将作为一个串行比特流传输，在信号的另一端，解串器将进行复杂的均衡，以恢复时钟和数据，然后将其并行化。

从通信的角度来看，数据中心信号中最重要的两项技术是 PCI Express (PCIe) 和以太网。还有 CXL (Compute eXpress Link)，以及 CCIX（发音同 "see six"），即用于 Xccelerators（加速器）的 Cache Coherent Interconnect，但由于这些都是基于 PCIe 作为底层物理传输技术，并不需要特别关注。

PCIe 和以太网都是串行通信技术。这两种网络技术在长达数年的发展过程中都推出了各种版本。

我们现在处于 PCIe 5.0 时代，PCIe 6.0 预计将在今年年底前正式标准化，详情请参见文章《行业洞察 I PCIe 发展史：PCIe 6.0 时代即将来临》。目前的 5.0 版本和即将到来的 6.0 版本之间的最大变化是将 NZR 信号（每个时钟周期一个比特）切换到 PAM4（每个时钟周期两个比特），这与 112G SerDes 中使用的技术相同。

以太网起源于 20 世纪 70 年代中期施乐公司帕洛阿尔托研究中心 (PARC)，最初的速率是 3Mb/s。第一个商业以太网标准达到 10Mb/s。我认为人们如今实际使用的最慢的以太网是 10G（所以是 10Gb/s），但最快的是 400G，而 800G 未来可期。关于以太网的历史，请阅读文章《行业洞察 I 一文了解车载以太网及其设计》。

这两种技术都使用多个串行信号，从芯片传输到网络。PCIe 可以在一个 PCIe 插槽中使用 1、4、8 或 16 条通道。使用高速光纤的超过 100G 的高性能以太网需要多个串行信号。即将推出的PCIe 6.0和当前及未来版本的 100+G 以太网都需要 112G SerDes 接口来连接硅片。224G 接口已有传闻并正在开发中，但还没有上市。

在数据中心内，信号越来越多地使用光学技术在服务器、路由器、附加存储和其他“盒子”之间传输。在每个盒子里，信号在传统的印刷电路板走线、连接器和电缆上传输。

散热

数据中心的另一个重大挑战是散热。在一个数据中心的生命周期内，运营开支加起来就超过了购买数据中心所需的资本开支。运营开支有两个大头：所有设备的电力开支，以及所有为了让热量再次排出的空调的电力开支。这需要对数据中心内部的气流进行专门设计，但也需要尽可能降低芯片的功耗，以便它们不会产生多余的热量，而且能通过风扇、散热器、散热管——甚至有时要通过水冷进行充分冷却。

为此，Cadence 提供了专门用于电气系统热分析的工具——Celsius Thermal Solver。Celsius Thermal Solver是 Cadence推出的业内首款用于完整电热协同仿真系统分析的热求解器，经过生产验证，大规模并行架构可在不牺牲精度的前提下，提供比传统解决方案加快10倍的性能。基于此架构，Celsius Thermal Solver能够与Cadence IC、封装和PCB设计实现平台无缝集成，不仅使新的系统分析和设计预测成为可能，而且还帮助电子设计团队在设计早期发现并解决热设计问题，缩短电子系统的开发迭代周期。