只能跑Transformer的AI芯片，却号称全球最快？

电子发烧友网报道（文/周凯扬）近日，一家由哈佛辍学生成立的初创公司Etched，宣布了他们在打造的一款“专用”AI芯片Sohu。据其声称该芯片的速度将是英伟达H100的20倍，但只能跑transformer架构的模型。

Sohu，比H100快上20倍

之所以打算Sohu这一自研ASIC AI芯片，是因为Etched认为GPU在性能升级上的速度太慢了。如果以H100的单位面积算力和交期作为参考，那么从2022年到2025年，英伟达的H100迭代至B200，2.5年的时间内性能只有15%的提升。所以要想有效提高性能的方式，只有走特化的ASIC芯片一途。

现在发布的任何AI芯片，在提到性能时，无疑都会把英伟达的H100作为对比参照，Etched的Sohu也不例外。根据Etched提供的数据，单个Sohu服务器运行Llama 70B时可以做到50万Tokens每秒，这一速度是单个H100服务器的20倍以上，也是单个B200服务器的10倍以上。

在服务器的配置上，Sohu服务器和H100服务器均采用的8卡的配置，所以Etched强调一个8xSohu的服务器就可以替换掉至少160个H100，大大降低成本的同时，也不会有性能损失。

由于Sohu仅支持一种算法，所以绝大多数的控制流模块都可以被剔除，芯片可以集成更多的数学计算单元，在算力利用率上可以达到90%以上，而GPU却只能做到30%。这也是因为在GPU的电路设计上，用于矩阵乘法的晶体管数量甚至没有占到10%。不过Etched对于英伟达的设计还是相当佩服的，指出如果同时想支持CNN、LSTM、SSM等其他模型，确实很难做得比英伟达更好。

当然了，这里的测试条件也必须做一个说明，测试标准为FP8精度的Llama 70B，无稀疏，其中H100是基于最新版本的TensorRT-LLM测试的，而B200由于还未交付，所以其性能是预估的。

为何专攻Transformer模型

市面上的AI芯片和GPU产品为了覆盖更灵活的客户需求，尽管不少都采用了ASIC的设计方案，但支持的模型却不会局限在一类。Etched也在其官网列出了市面上一些竞品方案，包括英伟达的GPU、谷歌的TPU、亚马逊的Trainium、Graphcore的IPU、Tenstorrent的Grayskull和英特尔的Gaudi等等，这些方案无一不对广泛的AI模型提供了支持。

但我们从市面上头部的模型来看，几乎占据主导地位的都是transformer架构的模型，比如GPT、Sora、Gemini和Stable Diffusion。Etched很大方地表示，如果哪一天transformer被SSM、RWKV或其他新的架构替代了，他们的芯片将变得一无是处，对于千变万化的AI市场而言，绝大多数厂商都不敢没法做出这样的预测。

而Etched从2022年底，就赌transformer模型将会统治整个市场。这在当时还没有ChatGPT的年代，是一个大胆的预测，毕竟当时图像生成还有基于CNN的U-Net，不少自动驾驶的视觉处理也还在广泛使用CNN。而且对于一个规模不算大的设计团队而言，维护单一架构的软件栈明显压力更小一些，他们只需要为transformer编写驱动、内核即可。

写在最后

至于Etched的这场豪赌是否能成功，还得看芯片的成品表现如何。虽然他们尝试的这条路线没人走过，但财力和研发能力均在他们之上的厂商也没能打造出超过英伟达GPU的竞品，硅谷的VC们能否造出新神，依然不能过早下定论。