AI芯片的设计也在“宜家化”？

在近日三星Foundry举办的SAFE论坛中，三星公布了一系列与IP、EDA和封装厂商合作与创新的消息，比如云端芯片设计平台的优化，以及EDA工具在三星3nm至5nm制程和2.5D/3D封装技术上的认证。而在论坛末尾，三星请到了半导体老将JimKeller分享其初创公司Tenstorrent在AI芯片设计的过程中，是如何实现模块化设计的。

软件2.0时代

JimKeller称我们即将迎来软件2.0时代，这也是他在特斯拉任职时，从特斯拉AI主管Andrei Karpathy那听来的概念。人们使用大数据训练网络去做有用的事，而不再是编写大量代码，依照过去的思路来构建程序。其次，我们将看到更多的算法用于训练网络，比如对抗训练等等，计算机将开始实时思考他们正在解决的问题。

自动驾驶就是一个很好的例子，过去典型的视觉代码中，每个目标检测背后都需要大量的代码支撑。如今大数据集的存在给自动驾驶带来了巨大的改变，你可以找到场景中所有的对象和路径，甚至可以得出每个actor的意图。

WormholeAI芯片Dieshot/Tenstorrent

在50至80年代左右，那时基本都是标量编程，直到后来向量和矩阵的出现。而如今我们正在构建的芯片很多是专门用来满足人工智能计算的，这就要考虑到晶体管密度、代工制程和全新的人工智能算法等多项因素，这些考量也改变了人们设计芯片的思路。

芯片设计的变化

过去的芯片结构相当复杂，一个芯片中会有50到100多个IP集成在一起，包含了各种各样的接口，需要一个上百人的大团队才能把整个芯片组装起来。这也造成一系列的问题，比如流片成本过高，多次测试才能获得最终成品。

而过去的5到10年间，这种状况开始发生变化，这也多亏了代工厂制程的提升和更高质量的PDK。经过硅验证的IP为芯片设计带来了便捷，无论是顶级的CAD公司、代工厂、初创企业还是内部设计，都提供了可信任的IP，甚至先发制人在下一代IP上做好了准备，比如PCIe5.0、400G以太网和GDDR6等。JimKeller开玩笑称，芯片设计如今就像是逛宜家一样，买到所需的现成IP后自行组装，加快了产品从设计到上市的进程。

模块化设计/Tenstorrent

除了通过硅验证的IP外，模块化设计也成了当今芯片设计的主流方案。以Tenstorrent的设计流程为例，他们在硬件层面先从代工技术、CAD工具和设计库来考虑如何打造这个芯片，然后将经过验证的IP和自己的IP统统放进SoC里。在软件层面，先把PyTorch程序通过Tenstorrent的图形编译器运行，接着把它放在芯片上，由AI系统完成协调，调用数学内核与数据流来管理计算。这种清晰的设计流程意味着只需要更小的团队，在流片前就可以完成硬件和软件的仿真和测试，最终一次性通过测试。不过当前不少AI芯片都选用了更先进的制程，所以流片费用依旧昂贵。

AI芯片设计

Wormhole/Tenstorrent

与近些年的客户端芯片和移动端芯片不同，AI计算是相当有规律的，所以往往是大量AI处理器协同工作，依照数据运行一个庞大的程序，所以在设计思路上必须做出改变。以Tenstorrent的第二代AI芯片Wormhole为例，该芯片只有六个分区，AI处理器、GDDR6内存、100G以太网、PCIe4.0、ARC CPU和一些系统逻辑。拿内存这个物理分区来说，解决GDDR6 PHY、GDDR6内存控制器和NOC接口的问题，然后再以同样的流程完成余下的分区，其芯片顶层其实就是NOC总线、时钟和扫描链。这种思路让芯片设计变得更容易管理，也能更快过渡到下一个制程节点。

AscalonRISC-V处理器/Tenstorrent

在Tenstorrent的AI芯片上，还用到了5个RISC-V核心，负责一部分的计算和协调工作。为了进一步拥抱开源生态，Tenstorrent宣布将开源自己的RISC-V小核，同时也正在考虑开源其向量单元。JimKeller还提到了Tenstorrent正在研发的RISC-V处理器Ascalon，这是一个64位8取指6发射的高性能处理器，配备了先进的分支预测单元、两个向量单元、两个浮点单元和两个读取/存储单元。

此外，由于AI工作负载往往需要庞大的计算量，单芯片和多芯片互联的方案往往只能解决单个机架的问题，而多机架的互联才是对AI芯片扩展性的考验。Wormhole可以直接通过以太网实现相同模组的互联，在芯片到芯片、服务器到服务器和机架到机架之间实现相同的满载带宽。此外，Wormhole在设计时已经内置了交换机，所以超算一类的方案不再需要用到任何昂贵的交换机。当然了，传统的数据中心在机架数量的配置要求上更灵活一些，这时采用顶部交换机的方案虽然不会影响芯片之间的带宽，但确实会对服务器间与机架间的带宽产生一定影响。

结语

根据JimKeller预测，未来五年的人工智能将在处理器、算法以及与芯片的协同工作上出现大量的创新。而AI芯片的设计不仅是把AI软件和算法考虑在内，甚至后者也在反过来助力AI芯片的设计，比如我们已经在设计工具中见到的布局与布线，未来AI构建的测试平台也可能会帮助我们验证代码和区块。AI芯片设计与AI设计芯片重合的场景可能离我们并不远了。