AI芯片是什么？

【AI对算力的需求剧增，芯片是算力的基础】

AI的三大关键基础要素是 数据、算法和算力 。随着云计算的广泛应用，特别是深度学习成为当前AI研究和运用的主流方式，AI对于算力的要求不断快速提升。随着边缘计算的发展，AI在边缘端的形式越来越多样化，数量越来越多。

数据是AI算法的“饲料”

在如今这个时代，无时无刻不在产生数据（包括语音、文本、影像等等），AI产业的飞速发展，也萌生了大量垂直领域的数据需求。在AI技术当中，数据相当于AI算法的“饲料”。

目前，数据标注是AI的上游基础产业，以人工标注为主，机器标注为辅。最常见的数据标注类型有五种：属性标注（给目标对象打标签）、框选标注（框选出要识别的对象）、轮廓标注（比框选标注更加具体，边缘更加精确）、描点标注（标注出目标对象上细致的特征点）、其他标注（除以上标注外的数据标注类型）。AI算法需要通过数据训练不断完善，而数据标注是大部分AI算法得以有效运行的关键环节。

算法是AI的背后“推手”

AI算法是数据驱动型算法，是AI背后的推动力量。

今天“AI热潮”的出现主要由于机器学习，尤其是机器学习中的深度学习技术取得了巨大进展，并在大数据和大算力的支持下发挥巨大的威力。

当前最具代表性深度学习算法模型有深度神经网络（Deep Neural Network，简称DNN）、循环神经网络（Recurrent Neural Network，简称RNN）、卷积神经网络（Convolutional Neural Network，简称CNN）。谈到深度学习，DNN和RNN就是深度学习的基础。DNN内部的神经网络层可以分为三类，输入层，隐藏层和输出层, 一般来说第一层是输入层，最后一层是输出层，而中间的层数都是隐藏层。DNN可以理解为有很多隐藏层的神经网络，是非常庞大的系统，训练出来需要很多数据、很强的算力进行支撑。

算力是基础设施

AI算法模型对于算力的巨大需求，推动了今天芯片业的发展。据OpenAI测算,2012年开始,全球AI训练所用的计算量呈现指数增长,平均每3.43个月便会翻一倍,目前计算量已扩大30万倍,远超算力增长速度。

在AI技术当中，算力是算法和数据的基础设施，支撑着算法和数据，进而影响着AI的发展，算力的大小代表着对数据处理能力的强弱。

算力源于芯片，通过基础软件的有效组织，最终释放到终端应用上，作为算力的关键基础，AI芯片的性能决定着AI产业的发展。

AI运算指以“深度学习” 为代表的神经网络算法，需要系统能够高效处理大量非结构化数据（ 文本、视频、图像、语音等） 。 需要硬件具有高效的线性代数运算能力 ，计算任务具有：单位计算任务简单，逻辑控制难度要求低，但并行运算量大、参数多的特点。对于芯片的多核并行运算、片上存储、带宽、低延时的访存等提出了较高的需求。

自2012年以来，人工智能训练任务所需求的算力每 3.43 个月就会翻倍，大大超越了芯片产业长期存在的摩尔定律（每 18个月芯片的性能翻一倍）。针对不同应用场景，AI芯片还应满足：对主流AI算法框架兼容、可编程、可拓展、低功耗、体积及价格等需求。

【AI芯片包括：GPU、FPGA、ASIC、类脑芯片】

从技术架构来看，AI芯片主要分为图形处理器（GPU）、现场可编程门阵列（FPGA）、专用集成电路（ASIC）、类脑芯片四大类。其中，GPU是较为成熟的通用型人工智能芯片，FPGA和ASIC则是针对人工智能需求特征的半定制和全定制芯片，类脑芯片颠覆传统冯诺依曼架构，是一种模拟人脑神经元结构的芯片，类脑芯片的发展尚处于起步阶段。

• GPU 通用性强、速度快、效率高，特别适合用在深度学习训练方面，但是性能功耗比较低。
• FPGA 具有低能耗、高性能以及可编程等特性，相对于 CPU 与 GPU 有明显的性能或者能耗优势，但对使用者要求高。
• ASIC 可以更有针对性地进行硬件层次的优化，从而获得更好的性能、功耗比。但是ASIC 芯片的设计和制造需要大量的资金、较长的研发周期和工程周期，而且深度学习算法仍在快速发展，若深度学习算法发生大的变化，FPGA 能很快改变架构，适应最新的变化，ASIC 类芯片一旦定制则难于进行修改。

CPU (CentralProcessing Unit)能不能算？为什么CPU不能胜任？

中央处理器作为计算机系统的运算和控制核心，是信息处理、程序运行的最终执行单元，CPU 是对计算机的所有硬件资源（如存储器、输入输出单元） 进行控制调配、执行通用运算的核心硬件单元。

优点：CPU有大量的缓存和复杂的逻辑控制单元，非常擅长逻辑控制、串行的运算

缺点：不擅长复杂算法运算和处理并行重复的操作。

对于AI芯片来说，算力最弱的是cpu。虽然cpu主频最高，但是单颗也就8核,16核的样子，一个核3.5g,16核也就56g，再考虑指令周期，每秒最多也就30g次乘法。

intel、AMD、还有众多运用ARM内核的芯片厂家。

1、GPU (GraphicsProcessing Unit)

图形处理器，又称显示核心、视觉处理器、显示芯片，是一种专门在个人电脑、工作站、游戏机和一些移动设备（如平板电脑、智能手机等）上做图像和图形相关运算工作的微处理器。

目前， GPU 已经发展到较为成熟的阶段。谷歌、 FACEBOOK、微软、 Twtter和百度等公司都在使用GPU 分析图片、视频和音频文件，以改进搜索和图像标签等应用功能。此外，很多汽车生产商也在使用GPU芯片发展无人驾驶。不仅如此， GPU也被应用于VR/AR 相关的产业。

但是 GPU也有一定的局限性。深度学习算法分为训练和推断两部分， GPU 平台在算法训练上非常高效。但在推断中对于单项输入进行处理的时候，并行计算的优势不能完全发挥出来。

优点：提供了多核并行计算的基础结构，且核心数非常多，可以支撑大量数据的并行计算，拥有更高的浮点运算能力。

缺点：管理控制能力（最弱），功耗（最高）。

生产厂商：NVIDIA（英伟达）、AMD

当前国产GPU产业链进口替代：设计环节的一些公司，景嘉微、芯动科技、摩尔线程、沐曦科技等企业正在不断追赶。

2、FPGA（Field Programmable Gate Array）

FPGA是在PAL、GAL等可编程器件的基础上进一步发展的产物。它是作为专用集成电路（ASIC）领域中的一种半定制电路而出现的，既解决了定制电路的不足，又克服了原有可编程器件门电路数有限的缺点。

优点：可以无限次编程，延时性比较低，同时拥有流水线并行和数据并行（GPU只有数据并行）、实时性最强、灵活性最高。

FPGA可同时进行数据并行和任务并行计算，在处理特定应用时有更加明显的效率提升。对于某个特定运算，通用 CPU可能需要多个时钟周期，而 FPGA 可以通过编程重组电路，直接生成专用电路，仅消耗少量甚至一次时钟周期就可完成运算。

此外，由于 FPGA的灵活性，很多使用通用处理器或 ASIC难以实现的底层硬件控制操作技术， 利用 FPGA 可以很方便地实现。这个特性为算法的功能实现和优化留出了更大空间。同时FPGA 一次性成本(光刻掩模制作成本)远低于ASIC，在芯片需求还未成规模、深度学习算法暂未稳定， 需要不断迭代改进的情况下，利用 FPGA 芯片具备可重构的特性来实现半定制的人工智能芯片是最佳选择之一。

功耗方面，从体系结构而言， FPGA 也具有天生的优势。传统的冯氏结构中，执行单元(如 CPU 核)执行任意指令，都需要有指令存储器、译码器、各种指令的运算器及分支跳转处理逻辑参与运行， 而FPGA每个逻辑单元的功能在重编程(即烧入)时就已经确定，不需要指令，无需共享内存，从而可以极大的降低单位执行的功耗，提高整体的能耗比。

缺点：开发难度大、只适合定点运算、价格比较昂贵

生产厂商：Altera（Intel收购）、Xilinx（AMD收购）

当前国产FPGA厂家，复旦微、紫光同创、安路等公司。AI应用对FPGA的速率、规模等都有很高的要求，国产厂家还在努力中。

3、ASIC（Application Specific IntegratedCircuit）

ASIC,即专用集成电路，指应特定用户要求和特定电子系统的需要而设计、制造的集成电路。目前用CPLD（复杂可编程逻辑器件）和 FPGA（现场可编程逻辑阵列）来进行ASIC设计是最为流行的方式之一。

目前以深度学习为代表的人工智能计算需求，主要采用GPU、FPGA等已有的适合并行计算的通用芯片来实现加速。在产业应用没有大规模兴起之时，使用这类已有的通用芯片可以避免专门研发定制芯片(ASIC)的高投入和高风险。但是，由于这类通用芯片设计初衷并非专门针对深度学习，因而天然存在性能、 功耗等方面的局限性。随着人工智能应用规模的扩大，这类问题日益突显。

GPU作为图像处理器， 设计初衷是为了应对图像处理中的大规模并行计算。因此，在应用于深度学习算法时，有三个方面的局限性：

• 第一：应用过程中无法充分发挥并行计算优势。 深度学习包含训练和推断两个计算环节， GPU 在深度学习算法训练上非常高效， 但对于单一输入进行推断的场合， 并行度的优势不能完全发挥。
• 第二：无法灵活配置硬件结构。GPU 采用 SIMT 计算模式， 硬件结构相对固定。目前深度学习算法还未完全稳定，若深度学习算法发生大的变化， GPU 无法像 FPGA 一样可以灵活的配制硬件结构。
• 第三：运行深度学习算法能效低于FPGA。

尽管 FPGA 倍受看好，甚至类似百度大脑这样的一些云计算平台，也是基于 FPGA 平台研发，但其毕竟不是专门为了适用深度学习算法而研发，实际应用中也存在诸多局限：

• 第一：基本单元的计算能力有限。为了实现可重构特性， FPGA 内部有大量极细粒度的基本单元，但是每个单元的计算能力(主要依靠 LUT 查找表)都远远低于 CPU 和 GPU 中的 ALU 模块。
• 第二：计算资源占比相对较低。 为实现可重构特性， FPGA 内部大量资源被用于可配置的片上路由与连线。
• 第三：速度和功耗相对专用定制芯片(ASIC)仍然存在不小差距。
• 第四，：FPGA 价格较为昂贵。在规模放量的情况下单块 FPGA 的成本要远高于专用定制芯片。

因此，随着人工智能算法和应用技术的日益发展，以及人工智能专用芯片 ASIC产业环境的逐渐成熟， 全定制化人工智能 ASIC也逐步体现出自身的优势

优点:它作为集成电路技术与特定用户的整机或系统技术紧密结合的产物，与通用集成电路相比具有体积更小、重量更轻、 功耗更低、可靠性提高、性能提高、保密性增强、成本降低等优点。

缺点：灵活性不够，通用性不够。

主要性能指标：功耗、速度、成本