工程师为AI瓶颈提供明智，及时的想法

赖斯大学的研究人员已经展示了设计创新的以数据为中心的计算硬件以及与机器学习算法共同设计硬件的方法，这些算法可以共同将能源效率提高两个数量级。

机器学习的进步，无人驾驶汽车背后的人工智能形式以及许多其他高科技应用，已经开创了计算的新时代（以数据为中心的时代），并迫使工程师们重新考虑具有消失了75年

“问题在于，对于当今机器学习最先进的大规模深度神经网络而言，运行整个系统所需的90%以上的电力都消耗在内存和处理器之间的数据移动中”，电气与计算机工程学助理教授林颖妍说。

林和合作者提出了优化数据中心处理的两个互补的方法，这两者都呈现6月3日在国际研讨会上的计算机体系结构（ISCA），最大的会议为新的思路和研究的一个计算机体系结构。

以数据为中心的体系结构的驱动与一个称为von Neumann瓶颈的问题有关，这种效率低下的原因是自数学家约翰·冯·诺伊曼（John von Neumann）于1945年发明内存以来，计算结构中内存和处理的分离一直占主导地位。从程序和数据来看，冯·诺伊曼（von Neumann）架构使单台计算机具有难以置信的通用性。根据从内存中加载的存储程序，可以使用计算机进行视频通话，准备电子表格或模拟火星上的天气。

但是将内存与处理分开也意味着即使简单的操作（如加2加2）也需要计算机处理器多次访问内存。深度神经网络中的大量操作使这种记忆瓶颈变得更糟，深度神经网络是通过“研究”大量先前示例来学习做出人性化决策的系统。网络越大，它可以完成的任务就越困难，并且显示的网络示例越多，它的执行效果就越好。深度神经网络训练可能需要专门的处理器库，这些处理器需要全天候运行一周以上。基于智能网络在智能手机上执行任务可以在不到一个小时的时间内耗尽电池电量。

赖斯的高效和智能计算（EIC）实验室主任Lin说：“对于机器学习时代的以数据为中心的算法，我们需要创新的以数据为中心的硬件体系结构。” “但是，机器学习的最佳硬件架构是什么？

“没有一个万能的答案，因为不同的应用需要机器学习算法，这些算法在算法结构和复杂性方面可能有很大差异，同时具有不同的任务准确性和资源消耗（例如能源成本，延迟和吞吐量），需要权衡取舍要求。”她说。“许多研究人员正在为此进行研究，像英特尔，IBM和Google这样的大公司都有自己的设计。”

Lin小组在ISCA 2020上的演讲之一在TIMELY上提供了结果，TIMELY是她和她的学生为“内存中处理”（PIM）开发的一种创新架构，这种非冯·诺依曼方法将处理引入内存阵列。一个有前途的PIM平台是“ 电阻式随机存取存储器 ”（ReRAM），类似于闪存的非易失性存储器。虽然提出了其他ReRAM PIM加速器架构，但Lin表示，在10多个深度神经网络模型上进行的实验发现，TIMELY的能源效率高18倍，并且交付的计算密度是最有竞争力的最新技术的30倍以上ReRAM PIM加速器。

TIMELY代表“时域，内存中执行，LocalitY”，它通过消除导致效率低下的主要因素来实现其性能，这种效率低下是由于频繁访问主存储器以处理中间输入和输出以及本地和主存储器之间的接口而引起的。回忆。

在主存储器中，数据以数字方式存储，但是当将其带入本地存储器以进行内存中处理时，必须将其转换为模拟量。在以前的ReRAM PIM加速器中，结果值从模拟转换为数字，然后发送回主存储器。如果将它们从主存储器调用到本地ReRAM以进行后续操作，则它们将再次转换为模拟信号，依此类推。

通过使用本地存储器中的模拟格式缓冲区，及时避免了不必要的访问主存储器和接口数据转换的开销。这样，TIMELY几乎可以将所需的数据保留在本地存储阵列中，从而大大提高了效率。

该小组在ISCA 2020上提出的第二个建议是SmartExchange，该设计结合了算法和加速器硬件创新以节省能源。

“访问主存储器 DRAM的能量要比执行计算多花费200倍，因此SmartExchange的关键思想是在算法中强制执行结构，使我们可以将成本较高的内存换成成本更低的内存，成本计算。”

她举例说：“例如，我们的算法有1000个参数。” “在传统方法中，我们将所有1，000个存储在DRAM中，并根据计算需要进行访问。使用SmartExchange，我们搜索以找到这1，000个中的某些结构。然后，我们只需要存储10个，因为如果我们知道它们之间的关系， 10和其余的990，我们可以计算990中的任何一个，而不必从DRAM调用它们。

她说：“我们将这10个称为“基础”子集，其想法是将它们存储在靠近处理器的本地位置，以避免或大幅度减少为访问DRAM而支付的费用。

研究人员使用SmartExchange算法及其自定义的硬件加速器对七个基准深度神经网络模型和三个基准数据集进行了实验。他们发现，与最先进的深度神经网络加速器相比，该组合将等待时间减少了多达19倍。