大规模人工智能(AI)处理器的功耗分析方法

近日，来自天数智芯公司Power团队的三位工程师阙诗璇、孙凌、甘振华合作发表的技术论文《左移：大规模人工智能(AI)处理器的功耗分析方法》顺利入选第58届(国际设计自动化会议，Design Automation Conference)，并做poster presentation。

文章主要内容如下：

AI芯片最重要的设计指标之一就是单位功耗每瓦算力(TOPS/W)，因此低功耗设计对于AI芯片的设计实现，在市场中具备竞争力都十分重要。然而原有的功耗分析方法存在一定的不足，对新的需求也无法满足：

1.原有方法只是对功能验证的场景，而缺乏真实的应用场景，跟真实的软件应用有一定的差距;

2.传统的功耗分析需要综合后的网表和门级的向量，这在项目早期很难获取，太晚介入会让功耗优化受限;

3.对于仿真时间长的向量，尤其是要按时间分析功耗时，所需的运行时间和资源都是巨大的;

4.自适应电压频率缩放等需要有实时的功耗才能进行软硬件控制，这是原有方法无法实现的;

5.为了抢占市场，需要更快的迭代设计，因此设计人员希望每周甚至每天都可以对低功耗功能进行验证，原有方法很难赶上验证迭代的速度;

为了解决这些挑战跟需求，天数智芯提出了一种创新的功耗分析方案：利用一种功耗分析工具对所给的仿真向量进行高性能的按时间分析功耗的分布，从而得到平均功耗和峰值功耗等参数。这种方法在RTL阶段就进行分析，有利于对AI处理器进行优化功耗的迭代，最终实现项目功耗目标。与之前的方法相比较，它在某些实验中，可以达到100甚至1000倍的加速。

接下来将展开描述该方案在实际工作中的一个应用：通过机器学习的训练得到实时功耗预测模型。

现在所用的新的功耗分析方法和原有的按时间分析网表的功耗分析方法，具有很好的相关一致性。所以利用它超高倍加速的分析能力，可以用于各种应用场景激励产生训练模型所需要的充足的数据集。当训练数据集达到百万甚至是上亿级别，通过机器学习算法得到的模型就比较准确。这是依赖新的分析方法才能得到的，传统的分析方法无法产生这么大的数据量。

我们用机器学习的算法对各个模块进行参数训练，从而得到最佳的预测模型，这样就可以用于预测实时功耗，从而实现软硬件的控制。

经过几天的训练，我们最终得到的预测模型与真实的功耗之间的误差只有不到5%。

总的来看，创新的功耗分析方法与传统流程相比，能在项目早期介入，所需要的运行时间跟内存消耗大大减少，可以在设计阶段进行快速的迭代。它不仅仅可以对原有的功能验证激励进行分析，对于原型验证的真实的应用场景向量也可以进行分析，从而得到更真实的功耗相关指标，且与项目最终签核时的数据具有一致性。利用它的快速和节省资源特性，能够为实时功耗的预测模型提供大量充足的数据样本，最终得到误差5%以内的预测模型。

关于DAC

DAC(国际设计自动化会议，Design Automation Conference)与ICCAD(国际计算机辅助设计会议，International Conference on Computer Aided Design)、DATE(欧洲设计自动化与测试学术会议，Design, Automation and Test in Europe)、ASP-DAC(亚太地区设计自动化会议，Asia and South Pacific Design Automation Conference)一起被公认为电子设计自动化领域水平最高的四大国际会议。

关于天数智芯

上海天数智芯半导体有限公司(简称“天数智芯”)于2018年正式启动7纳米通用并行(GPGPU)云端计算芯片设计，是中国第一家通用并行(GPGPU)云端计算芯片及高性能算力系统提供商。公司以“成为智能社会的赋能者”为使命，专注于云端服务器级的通用并行高性能云端计算芯片，瞄准以云计算、人工智能、数字化转型为代表的数据驱动技术市场，解决核心算力瓶颈问题。重点打造自主可控、国际一流的通用、标准、高性能云端计算GPGPU芯片，从芯片端解决算力问题。

原文标题：天数智芯技术论文入选第58届DAC

文章出处：【微信公众号：天数智芯】欢迎添加关注!文章转载请注明出处。

审核编辑：汤梓红