ChatGPT炒热GPU，ASIC和FPGA能否分一杯羹？

电子发烧友网报道（文/周凯扬）ChatGPT的出现，对于数据中心硬件市场无疑是一针强心剂，不少GPU厂商更是从中受益，从再度兴起的聊天机器人潮流中收获了更多订单。那么对于ChatGPT这类对AI算力有着不小需求的应用来说，ASIC和FPGA是否也能借上这股东风呢？

不同硬件的成本对比

在机器学习推理场景中，除了GPU外，还有一大通用AI硬件适合这一负载，那就是FPGA。与GPU一样，在技术和算法还未成熟且仍在打磨阶段时，可以随时重新编程改变芯片功能的FPGA架构前期硬件成本显著低于GPU。在推理性能上，现如今的FPGA加速卡算力远超CPU，甚至高过不少GPU产品。

而且在ChatGPT这样的聊天机器人应用上，将FPGA用于推理得以发挥其最大的优势，那就是高吞吐量和低时延。更高的吞吐量和更低的时延也就意味着更大的并发，对ChatGPT这种应用来说可以极大增强其响应速度。

Alveo V70推理加速卡 / AMD

但随着算法和模型逐渐成熟，FPGA在成本上的优势就慢慢不存在了，在大语言模型上需要用到更多的硬件，而FPGA量产规模的单价成本还是太高了，一旦扩充至成千上万张加速卡，其成本也是不小的。比如AMD推出的新加速卡Alveo V70，据传单卡价格就在2000美元左右。如果我们以INT8精度来衡量算力的话，假设ChatGPT需要28936块A100 GPU，那么改用Alveo V70的话，也需要44693块加速卡。

所以还是有不少人将目光投向了量产规模成本更低的ASIC，比如谷歌就选择用自研的TPU来部署其聊天机器人Bard。ASIC方案在单芯片算力上或许不是最高的，但计算效率却是最高的，而且随着量产化单片成本会逐渐降低。比如谷歌的单个TPU v4 Pod就集成了4096个TPU v4芯片，单芯片的BF16算力达到275TFLOPS，已经相当接近A100单卡峰值算力了。如果只是这样简单换算的话，只需几个TPU v4 Pod，就能满足与ChatGPT同量级的应用了。

不过ASIC方案并没有我们想象得那么美好，首先这类硬件的前期设计成本较大，要想投入数据中心商用，必须组建强大的硬件设计和软件开发团队，这样才能有与GPU相抗衡的性能。其次，因为本身专用硬件的特性，专用于机器学习推理的ASIC方案很难最大化数据中心的硬件利用率，不像GPU还可以同时用于训练、视频编解码等等。

搭建属于自己的ChatGPT的成本有多高

对于GPT-3这样的大型模型来说，要想个人搭建和部署从成本上看肯定不是实惠的选择，所以我们可以选择其他的模型，比如Meta推出的1750亿参数OPT-175B模型。加州大学伯克利分校的Sky Lab就借助该模型推出了一个开源系统Alpa，同时具备聊天机器人、翻译、代码编写和数学计算的功能。

要想部署OPT-175B模型并搭建Alpa这样的文字聊天应用，对GPU的要求要远远小于ChatGPT。但这是建立在其本身响应速度和功能特性就显著弱于ChatGPT的情况下，比如一旦设定的回答长度过长，就需要等上数十秒，何况它列出的GPU需求也不算小。

根据Alpa的官方说明，虽然不需要用到最新一代的A100 80GB这样价格高昂的GPU或是InfiniBand这样先进的互联方案，但对显存的最低要求也已经达到了350GB。所以Alpa给的建议是使用32个英伟达Tesla V100 GPU，从而提供512GB的显存，这样硬件造价在50万到150万之间。

Tesla V100 GPU / 英伟达

如果你只是想开展聊天机器人的服务，而不是自己买硬件的话，也可以选择各大公有云服务厂商的方案，比如亚马逊AWS的EC2 P3系列，就是专为机器学习和HPC准备的实例。每个EC2 P3.16xlarge实例上有8块Tesla V100 GPU，所以至少租赁4个实例就能运行Alpa了。

不过这样一来服务器的费用也并不算便宜，单个实例按需付费每小时的花费在24.48美元左右，也就是说如果要全天运行的话，运行Alpa的成本为2400美元一天。哪怕云服务厂商通常都会给到长期承诺使用的折扣，这也是一笔不小的支出。

谷歌推出的Cloud TPU方案也是如此，如果真的打算以租赁服务器的方式来打造ChatGPT，那么谷歌目前给出的按需定价是每芯片小时价格3.22美元。要想部署数万规模的TPU v4芯片媲美ChatGPT，那么一定逃不掉超高的费用。

结语

不久前我们已经提到了ChatGPT的加入或许会给微软的现有产品带来定价的提升，如今这个猜测也已经成真。微软近日宣布，从今年5月1日开始，微软Bing搜索API的定价将会直线飙升，其中超大并发（每秒250次处理）的S1实例定价从每千次处理7美元提升至25美元，而额外的Bing统计更是从每千次处理1美元的价格拔高至10美元。如此看来，可见大语言模型的推理成本有多高可见一斑了，哪怕是微软也经不起这样烧钱。

所以对于ChatGPT这种应用，其运营者不同，对待硬件成本的看法也会不同，比如微软、谷歌之类已经拥有大规模服务器硬件的厂商，必然会利用现有GPU资源的同时，考虑如何用定制化的ASIC进一步节省成本。而体量较小的运营者，例如聊天机器人应用开发商、研究机构等，还是会选择租赁服务器或小规模本地部署，其首选硬件也会是GPU。

再说回FPGA，虽然从目前数据中心的市场现状来看，FPGA的AI推理加速卡仍处于一个弱势的位置。但随着AMD开始推出Alveo V70这样全新XDNA架构的方案，或许能给未来需要更大吞吐量的模型提供新的出路，尤其是视频分析推理应用。