绕开CPU和内存，你浏览的内容或来自SSD的推荐

绕开CPU和内存，你浏览的内容或来自SSD的推荐

相信不少人都还记得今年AI芯片公司Esperanto发布的千核RISC-V处理器ET-SoC-1，随着这款7nm的芯片于第二季度成功流片返回后，Esperanto得以在芯片上运行代码，以及尝试新的应用方向，其中之一就是AI-SSD。在近期举办的三星Foundry活动上，Esperanto公开了自己AI-SSD的概念模型。

个性化推荐系统的挑战

在我们刷短视频、听歌和浏览社交网络时，一部分内容来自于我们已经关注的用户，但绝大多数来自于推荐系统的推送。推荐系统的准确程度很大程度决定了软件的用户体验，也是如今互联网经济系统的命脉。但这类推荐也往往是服务器上消耗最大的AI处理负载，优化推荐系统可以提高推荐系统的速度，减少在服务器上的成本。

DLRM深度学习推荐模型 / Meta

谈到推荐系统就不得不谈到嵌入，嵌入是当下推荐系统中关键的组成部分。尽管每家都有着不同的推荐模型，但或多或少都是采用查找嵌入表的方法来实现分类特征的处理。在这个过程中，嵌入表存储在DRAM中，而CPU对嵌入表进行操作，这就对内存带宽和内存容量提出了双重挑战。

在内存带宽上，像美团和腾讯等厂商纷纷采用多GPU加速的方式，充分利用GPU的带宽，但这种方式依然需要多个GPU或多个服务器的支持才能解决容量问题。固然厂商也可以选择像HBM这种大带宽的内存方案，但带来的成本提升也是巨大的。

根据Meta给出的说法，在Facebook社交网站的个性化推荐系统中，大规模的嵌入表可达到百万行以上，导致推荐模型的大小达到10GB左右，一个神经推荐模型中所有嵌入表甚至需要TB级别以上的空间。比如Meta旗下的Instagram已经在开发10TB的推荐模型，而百度的广告排名模型也达到了10TB。这种级别的容量需求对硬盘来说或许足够，但对于内存来说过于奢侈了。

因此为了解决容量问题，不少人也提出了SSD的存储解决方案，目前传统的SSD虽然可以毫不费力地存储下大规模推荐系统，但读取延迟和带宽都要更差一筹，从而显著降低推理的性能。

专为推荐而生的SSD

Esperanto与三星合作开发出了一种AI-SSD的概念模型，来研究将所有嵌入表处理全部移到SSD内部会有怎么样的影响，从而省去推荐系统中经过CPU和DRAM的环节。三星展示了使用Esperanto的ET-SoC-1芯片与其PM9A3 SSD结合的成果。

在AI-SSD中，所有嵌入表都被存储在SSD里，CPU负责所有的用户数据输入和深度神经网络，而SSD内部的ET-SoC-1负责嵌入表的查询和交互运算。此外由于选择了这种存内计算的方式，最小化了PCIe链路上的数据传输，降低了读写的高延迟，最终的分类数据直接交给CPU生成推荐结果。

AI-SSD带宽性能测试结果 / Esperanto

测试环节中，Esperanto选用了Meta的开源推荐模型DLRM，将AI-SSD与传统的CPU-SSD方式进行对比。在不同的模型配置下，AI-SSD实现了10到100倍的读取带宽提升，而且带宽随着使用核心数的上升还能继续线性提升。

要知道在这次测试中，Esperanto最多只用到了四个子节点（Minion Shire），每个节点只有32个核心。而一整个ET-SoC-1有34个子节点1088颗核心，如果所有计算单元全部用于SSD的话，提升幅度将达到数百倍以上，十分适合数据中心级别的SSD产品。而ET-SoC-1的扩展性也可以让它缩减核心数，用于一些边缘端的推荐系统。

拿计算换空间

不过即便用上了AI-SSD，这也是一种增加硬件成本的路线，除了不差钱的大公司会利用这种产品外，一些小的互联网应用可能并不会直接选择更换SSD的方式，如此一来，也就只有继续优化推荐模型一途。

佐治亚理工学院和Meta的研究院为DLRM提出了一种张量训练压缩的方式，名为TT-Rec。该方法通过将嵌入表分为多个小矩阵相乘的方式进行压缩，进一步降低嵌入表的大小，不过这多出来的计算是肯定躲不掉的额外消耗，好在其评估结果足够优秀。

在Kaggle和Terabyte数据集的测试训练下，TT-Rec分别将数据从2.16GB和12.57GB压缩至18.36MB和0.11GB，整体的大小压缩均在百倍以上，甚至可以做到几乎没有精度损失。而多出来的运算则反映到了训练时间上，分别增加了14.3%和13.9%。因此在实际使用中，必须对内存容量、模型精度和训练时间做出一定的取舍。

小结

尽管从推荐系统配置的角度来说，仍有不少可选的解决方案，但存算一体方面的研究已经全面铺开了。存储市场正在迅速与计算市场发生重叠，像三星、西数和希捷等存储厂商纷纷开始了这块的布局，传统的冯诺依曼架构也将被近数据处理替代。