人工智能芯片技术路线剖析---FPGA

在万物互联大背景下，预计未来将有数以百亿的智能设备连接至互联网。思科公司最新数据显示，到 2021 年在全球 271 亿连接设备中，物联网设备将占据连接主导地位。这一趋势无疑推动了物联网向各行各业渗透，并将开启一个“万物皆有智能”的新型社会，人们能够享受到更加智慧的生活。在这个大连接、大智能的时代中，具有人工智能要素的芯片需求广阔，依靠人工智能芯片构建数据中心，为实现万物互联和人工智能提供基础计算环境，包括英伟达在内的芯片厂商快速崛起，围绕人工智能芯片领域的创新企业也倍受资本支持，让芯片厂商成为这个时代最大受益者。与此同时，作为产业制高点，人工智能芯片可应用范围广，如智能手机、医疗健康、金融、零售等，发展空间巨大。2017 年 9 月初，华为公司在柏林 IFA2017新品发布会上发布了全球首款人工智能移动芯片“麒麟 970”，该芯片是全球首款内置神经元网络单元的人工智能处理器（NPU），至此拉开了人工智能芯片在移动终端领域渗透的序幕。

一、人工智能芯片的发展综述

（一）概念与范畴

根据清华大学魏少军教授的观点，将“人工智能”划分为三个层次：第一个层次是应用（即：能体现深度学习和机器学习功能的应用）；第二个层次是方法（即：人工智能的算法）；第三个层次是工具（即：开发工具和芯片）。因此，人工智能芯片是实现人工智能的根本因素。

我们对人工智能芯片进行了定义：从广义上讲，能运行人工智能算法的芯片称为人工智能芯片；从狭义上讲，人工智能芯片是专门针对人工智能算法做了特殊加速设计的芯片。

（二）分类

深度学习的搭建，可分为训练（Training）和推理（Inference）两个环节：

1、训练

通过大量的数据输入，或采取增强学习等非监督学习方法，训练出一个复杂的深度神经网络模型。训练过程由于涉及海量的训练数据（大数据）和复杂的深度神经网络结构，需要的计算规模非常庞大，通常需要GPU集群训练几天甚至数周的时间，在训练环节GPU目前暂时扮演着难以轻易替代的角色。

2、推断

指利用训练好的模型，使用新的数据去“推断”出各种结论。虽然推断环节的计算量相比训练环节少，但仍然涉及大量的矩阵运算。在推断环节，除了使用CPU或GPU进行运算外，FPGA以及ASIC均能发挥作用。

二、人工智能芯片的生态环境

（一）算法层面：机器学习算法不断成熟

自20世纪80年代起，机器学习算法开始快速发展，包括决策树学习、推导逻辑规划、强化学习和贝叶斯网络等在内的多种机器学习算法现已被广泛应用于网络搜索、垃圾邮件过滤、推荐系统、网页搜索排序、广告投放等领域。深度学习作为机器学习的一种技术手段，近

年来取得重大突破，因此掀起了人工智能新一轮的发展热潮。

深度学习本质上就是利用深度神经网络处理海量数据，其优势在于利用海量数据让神经网络自己学习如何抓取特征，进而提高算法性能，加快了人工智能大规模商业化步伐。2016年，谷歌的围棋人工智能程序AlphaGo以4:1大比分战胜韩国顶尖棋手李世石，让世界震惊。

随后仅仅一年的时间，谷歌又推出新程序AlphaGo Zero，可以不依靠人类指导和经验，仅凭自身算法强化学习，就以100:0的战绩击败了AlphaGo。同时新版对计算力的消耗也大幅降低，相比于旧版的多台机器和48个TPU，新版只用了一台机器和4个TPU。由此可以看出，深度学习算法的不断成熟，以及迭代速度的加快，为人工智能硬件环境的提升和完善提供了支撑条件。

（二）数据层面：结构性数据

获取能力不断提升以往数据收集终端和场景缺失，缺少易于处理的结构化数据，使得数据样本非常稀缺，达不到有效的训练目的，现在智能手机、可穿戴设备、智能汽车等智能终端的

快速发展使得数据的感知、获取、分析及存储能力都在不断提升。数据感应能力提升。随着传感器种类的不断丰富以及物联网体系的建立，使得可获取的数据越来越多。据市场调研机构Gartner统计和预测，2017年全球物联网设备数量达到84亿，同比增长31%；到

2020年，物联网设备总规模进一步提升，数量将达到204亿，较2017年增长超过142%。

网络传输能力不断提升。随着通信技术的发展，有线网络从电缆传输到光纤传输，无线网络从2G/3G到4G/5G,均带来了传输速度的提升。另一方面传输架构的变革带来传输能

力飞跃。集中式存储使得内存成为数据传输的瓶颈之一，而分布式网络传输架构的出现，产生了分布式队列技术，如Kafka，拓宽了传输的通道，使得传输能力大幅提升。

（三）计算能力：摩尔定律无法支撑数据量爆发增长

人工智能的基础是针对海量数据的深度学习，无论是无人驾驶，还是图像识别、语音识别等，系统底层架构都是基于大数据的逻辑算法。根据IDC研究报告，全球数据总量正呈指数级增长，从2003年的5EB，到2016年12ZB，预计于2020年达到44ZB。然而，现有硬件算力远

无法匹配大数据的高速增长，计算能力已成为限制人工智能发展的主要瓶颈。

目前提升计算能力主要有三条发展路径。一是持续强化CPU处理能力。然而，随着CPU特征尺寸不断逼近物理极限，新世代产品研发成本越来越高，2016年英特尔宣布停用“Tick-Tock”处理器研发模式，研发周期将从2年周期向3年期转变。摩尔定律正逐步失效，CPU处理能力升级速度远远落后于数据增长速度，已无法支撑人工智能海量数据的并行计算。二是采用CPU+X的异构计算模式。短期来看，异构计算的方式已基本满足人们对处理器更快速、更高效、更方便的使用要求，但如果让处理器可以达到模拟人脑神经元和脑电信号脉冲这样复杂的结构，就必须突破现有冯诺依曼的体系结构框架，使计算能力实现质的飞跃。基于上述原因，提升算力的根本方法在于采取非冯诺依曼架构的处理器。例如，类脑计算机通过模仿人类大脑的工作机制，进而彻底打破了冯诺依曼体系的发展瓶颈。

三、人工智能芯片的主要技 术路线

（一）基于FPGA技术

1、概述

FPGA（Field Programmable Gate Array）是在可编程器件的基础上进一步发展的半定制电路，通过将门电路与存储器有机结合，并设计门电路间互联，进而达到定制目的。FPGA由于是非冯诺依曼架构，使得其在运算单元和存储单元间的信息交换量大幅降低，因此具有流水处理和响应迅速的特点。FPGA芯片行业的生产厂商较多，其中Xilinx（赛灵思）、Altera（阿

尔特拉）、Lattice（莱迪思）和Microsemi（美高森美）4家美国企业握有大部分FPGA专利，且垄断98%以上的市场份额。其中Xilinx和Altera分别占比49%和39%，剩余2家占比12%。如今国际半导体巨头看好基于FPGA的人工智能芯片应用前景，纷纷布局基于FPGA的人工智能芯片，例如，英特尔收购了Altera；IBM与Xilinx合作等等。国内研发FPGA产品的公司主要有紫光国芯、深鉴科技、广东高云、上海安路、西安智多晶和上海遨格芯等。

2、主要优势

FPGA适用于快速变化的人工智能领域。FPGA兼容了PLD和通用门阵列的优点，可实现较大规模的电路。目前人工智能算法的更新迭代速度很快，通用化逻辑芯片更能适应变化迅速的人工智能领域。

理论上分析，FPGA可以实现任意ASIC和DSP的逻辑功能。在实际应用中，开发人员可通过FPGA的软件来修改芯片，而不是替换和重新设计芯片。现有FPGA软件也可通过因特网进行远程升级。这将极大的方便人员在人工智能领域进行自由开发、调试和升级换代。

FPGA的开发周期短，研发费用低，有利于更早占据市场。由于FPGA的开发流程，不涉及布线、掩模和流片等步骤，使得开发周期缩减，一款产品的平均设计周期大约在7个月到12个月之间。FPGA产品的全球最大厂商Xilinx认为，更快的研发速度，可以更早的占据市

场。如果产品晚上市6个月，5年内将会少33%的利润，晚上市4周约等于损失了14%的市场份额。因此，基于FPGA的人工智能芯片可以快速占领市场。同时， FPGA的商业模式

与GPU、ASIC略有不同，众多的客户会共同分担FPGA芯片的研发费用（NRE），从而降低研发成本。所以FPGA可以采用最先进的工艺，不断降低产品的功耗，增加晶体管的数量，从而提升了FPGA在人工智能市场上的竞争力。伴随着人工智能芯片NRE费用的指数级上升，基于FPGA开发设计新一代人工智能产品的优势会更加明显。FPGA并行计算效率高，整数

运算能力出众。FPGA率先使用最先进工艺，单个计算单元的计算频率突破500MHz。在某些应用场景下，大量低速并行单元的计算效率要高于少量高速串行单元。同时，FPGA芯片的整数运算效率大大超过CPU。在当前人工智能的企业级应用中，FPGA占据了主导地位，如：图像识别、卷积神经网络算法、安全控制、压缩算法等。

3、主要劣势

FPGA芯片中包含大量的逻辑器件与阵列，其批量生产成本高、产品功耗大和编程设计较难，使其应用领域受到局限。批量生产成本高。由于FPGA流片成本高昂，实现同样的人工智能

应用，制作FPGA芯片的成本可能会超过ASIC的成本10倍以上。如果在流片量高于5万片的人工智能终端产品等领域，如：车载、手机、音箱、机器人等，生产成本将十分高昂。

产品功耗大。为适应下游用户复杂多样的需求和应用，FPGA的门电路集成度往往很高，然而具体到某一应用，冗余的门电路会提升 FPGA 的功耗。然而在功耗敏感的领域中，这是非常致命的缺陷。

例如，无人驾驶的汽车利用图像视觉技术和深度学习技术，实时分析周围环境，每小时处理的数据量接近3TB，汽车本身无法承受，基于FPGA的智能芯片所产生的耗电量。编程设计难。在FPGA编程设计时，要考虑诸多因素，例如：应用场景多样性、复杂性和运行效

率。这些因素导致软件开发工作十分复杂，需要投入大量研发人员，例如：Xilinx公司的员工中，60%-70%的研发人员，在进行软件开发工作。

4、应用场景

基于FPGA芯片的通用性，使其在人工智能的多个领域具有丰富的应用前景，例如：云端服务器、智能医疗、智能交通、智能家居、无线/有限通讯、航空、国防等领域。这些领域的共同特点是，对设备的功耗要求不高。人工智能的云端设备。人工智能深度学习算法包括训练和推断两个截然不同的环节。训练环节需参考海量数据，必需在云端执行。推断环节可云端或终端均可完成。因此发展云端设备要比终端设备更为重要。由于FPGA具有动态可重配、

性能功耗比高等多项优点，所以，全球7大超级数据计算中心，包括IBM、Facebook、微软、AWS，以及BAT都采用了基于FPGA的云端数据服务器。在新一代人工智能云端设备的布局上，中美两国齐头并进。

图像识别技术。人工智能技术在图像识别领域日臻完善，可以实时地感知探测器周围的环境细节，得到更加清晰的图像信息，进一步可以辅助人类完成一系列的任务。无论是分布式智能传感器，还是集中多传感器融合系统，又或是高度集成的域控制器，均可通过扩展FPGA的器件选择，来满足处理需求并达到目标成本。Xilinx公司开发的XA产品系列，以及SoC/MPSoC可创建高度差异化的汽车驾驶员辅助系统(ADAS，主要包括行车记录仪、测距仪、雷达、传感器、GPS、等设备)。浙江大学数理学院，与浙江德尚韵兴图像科技有限公司合

作，研发了一款基于Altera公司的人工智能FPGA芯片的超声医学影像智能诊断系统，DE超声机器人。语音识别技术。FPGA芯片已在人工智能的语音识别领域得到广泛应用。国际上，微软、谷歌、苹果、亚马逊等跨国企业，纷纷推出了语音识别产品。国内，北京深鉴

科技有限公司采用LSTM方案，进行语音识别，结合深度压缩算法，使得经过压缩的网络，在FPGA上实现超越Pascal Titan X GPU一个数量级的能效比。