新思科技携手英伟达加速定制化AI芯片开发

随着近年来机器学习技术的不断进步，人工智能（AI）在图像识别、自动驾驶和生成式AI等领域均实现了显著发展。之所以能取得这些进展，这些进步主要归功于能够在日益复杂的数据集上训练大型模型，从而实现更佳的学习和泛化能力，并支持创建更大规模的模型。随着数据集和模型规模的增长，需要更强大、更优化的计算集群来支持下一代人工智能。

依托25年来在交付硅验证的IP解决方案领域的丰富经验，新思科技与英伟达及其NVLink生态系统合作，助力并加速定制化AI芯片的开发。这项战略合作将充分发挥新思科技在芯片IP方面的专长，助力开发定制化AI芯片，为旨在提供下一代变革性AI体验的先进计算集群奠定基础。

更大的数据集和日益庞大的AI模型带来的算力挑战

在大数据集上训练拥有超万亿参数的模型需要大量计算资源，包括图形处理单元（GPU）和张量处理单元（TPU）等专用加速器。

AI计算集群包含三个基本功能：

计算 - 使用处理器和专用加速器。

内存 – 通过高带宽内存（HBM）或双倍数据速率（DDR）内存，使用虚拟内存实现内存语义的跨集群实现。

存储 – 基于的网络接口卡（NIC），通过基于高速串行计算机扩展总线标准（PCIe）访问固态硬盘（SSD），高效地将数据从存储位置传输到处理器和加速器。

重定时器和交换机构成了连接加速器和处理器的网络结构。为了增强集群的计算能力，有必要在所有功能和互连结构中增加容量和带宽。

为了开发日益复杂的数万亿参数模型，需要整个集群通过横向和纵向扩展网络连接，作为一个统一的计算平台。

▲图1：一个代表性的计算集群，具有横向和纵向扩展的网络。

基于标准的IP，打造真正互操作的计算集群

为了成功部署下一代计算集群，需要使用经过硅验证、基于先进工艺节点并能保证互操作性的互连结构。标准化的互连结构能够支持不同厂商的设备在集群环境中实现互操作。

PCIe是针对处理器与加速器接口的成熟标准，可确保处理器、NIC、重定时器和交换机之间的互操作性。自1992年以来，PCI-SIG一直在为外设组件互连（PCI）解决方案指定标准，目前PCIe已演进到第七代。PCIe 悠久的历史和广泛的部署确保 IP 解决方案能够从前几代芯片的开发经验中获益。此外，在开发包括处理器、重定时器、交换机、NIC和SSD的整个生态系统中，PCIe技术已积累了丰富的部署经验。新思科技完整的PCIe 7.0 IP解决方案建立在超过3,000个PCIe设计经验基础上，于2024年6月推出，并得到了如英特尔、Rivos、Xconn、Microchip、Enfabrica和Kandou等生态系统合作伙伴的支持。

在云端部署训练的模型时，超大规模云服务商希望继续在定制处理器上使用现有软件，并与各类加速器实现互联。在英伟达AI工厂解决方案中，NVLink Fusion提供了另一种将处理器连接到GPU的方法。

▲图2：下一代计算集群的组件和互连。

加速器的互连配置方式多种多样，计算集群的效率会因不同的配置而异。纵向扩展需要在集群中为虚拟内存池提供内存语义，而横向扩展则涉及将数万到数十万片的GPU通过多层交换和拥塞管理技术连接起来。相比于纵向扩展，横向扩展更能容忍延迟，并且专为带宽超额使用而设计，以适应 AI 模型数据并行操作。2024年12月，新思科技推出了超加速器链路（UALink）和超以太网解决方案，能够高效连接加速器。这个解决方案基于经过硅验证的224G PHY和超过2000个以太网设计，得到了AMD、Juniper和Tenstorrent的公开支持。

万亿参数模型需要大量内存和高数据速率以实现低延迟访问，因此需要增加内存带宽和总容量。HBM具有大容量和高带宽特性。新思科技的HBM4 IP是第六代HBM技术，提供高达12 Gbps的引脚带宽，使得整体接口带宽超过3 TBps。

通过合封Multi-Die聚合技术，不仅可以克服先进制造工艺的限制来提升计算吞吐量，还能借助新兴的光电合封（CPO）技术促进光互连结构的集成。自2022年以来，新思科技一直在开发线性电光（EO）接口，致力于打造节能的EO链路。通用芯粒互连技术（UCIe）标准为多供应商互操作性提供了明确的路径。在2023年与英特尔的合作中，新思科技成功演示了第一块采用UCIe技术且基于芯粒的测试芯片。

多芯片集成（Multi-Die Integration）对散热提出了诸多挑战，可能影响对温度敏感的光子元件，甚至导致热失控。新思科技的Multi-Die综合解决方案包括Die-to-Die IP、HBM IP等，可提供可靠且强壮的Multi-Die实现方案。

在关键互连领域（从处理器加速器接口到先进的多芯片架构和HBM），采用成熟且经过广泛验证的IP解决方案，可以降低定制设计和集成带来的风险。预先验证的IP有助于简化设计和验证过程，加快开发进度，最终为一次流片成功铺平道路，从而快速部署创新且可互操作的计算集群。