- 关于FPGA：深度学习的未来的展望和介绍

2. FPGA
传统来说，在评估硬件平台的加速时，必须考虑到灵活性和性能之间的权衡。一方面，通用处理器（GPP）可提供高度的灵活性和易用性，但性能相对缺乏效率。这些平台往往更易于获取，可以低廉的价格生产，并且适用于多种用途和重复使用。另一方面，专用集成电路（ASIC）可提供高性能，但代价是不够灵活且生产难度更大。这些电路专用于某特定的应用程序，并且生产起来价格昂贵且耗时。

FPGA是这两个极端之间的折中。FPGA属于一类更通用的可编程逻辑设备（PLD），并且简单来说，是一种可重新配置的集成电路。因此，FPGA既能提供集成电路的性能优势，又具备GPP可重新配置的灵活性。FPGA能够简单地通过使用触发器（FF）来实现顺序逻辑，并通过使用查找表（LUT）来实现组合逻辑。现代的FPGA还含有硬化组件以实现一些常用功能，例如全处理器内核、通信内核、运算内核和块内存（BRAM）。另外，目前的FPGA趋势趋向于系统芯片（SoC）设计方法，即ARM协处理器和FPGA通常位于同一芯片中。目前的FPGA市场由Xilinx主导，占据超过85％的市场份额。此外，FPGA正迅速取代ASIC和应用专用标准产品（ASSP）来实现固定功能逻辑。 FPGA市场规模预计在2016年将达到100亿美元。

对于深度学习而言，FPGA提供了优于传统GPP加速能力的显著潜力。GPP在软件层面的执行依赖于传统的冯·诺依曼架构，指令和数据存储于外部存储器中，在需要时再取出。这推动了缓存的出现，大大减轻了昂贵的外部存储器操作。该架构的瓶颈是处理器和存储器之间的通信，这严重削弱了GPP的性能，尤其影响深度学习经常需要获取的存储信息技术。相比较而言，FPGA的可编程逻辑原件可用于实现普通逻辑功能中的数据和控制路径，而不依赖于冯·诺伊曼结构。它们也能够利用分布式片上存储器，以及深度利用流水线并行，这与前馈性深度学习方法自然契合。现代FPGA还支持部分动态重新配置，当FPGA的一部分被重新配置时另一部分仍可使用。这将对大规模深度学习模式产生影响，FPGA的各层可进行重新配置，而不扰乱其他层正在进行的计算。这将可用于无法由单个FPGA容纳的模型，同时还可通过将中间结果保存在本地存储以降低高昂的全球存储读取费用。

最重要的是，相比于GPU，FPGA为硬件加速设计的探索提供了另一个视角。GPU和其它固定架构的设计是遵循软件执行模型，并围绕自主计算单元并行以执行任务搭建结构。由此，为深度学习技术开发GPU的目标就是使算法适应这一模型，让计算并行完成、确保数据相互依赖。与此相反，FPGA架构是为应用程序专门定制的。在开发FPGA的深度学习技术时，较少强调使算法适应某固定计算结构，从而留出更多的自由去探索算法层面的优化。需要很多复杂的下层硬件控制操作的技术很难在上层软件语言中实现，但对FPGA执行却特别具有吸引力。然而，这种灵活性是以大量编译（定位和回路）时间为成本的，对于需要通过设计循环快速迭代的研究人员来说这往往会是个问题。

除了编译时间外，吸引偏好上层编程语言的研究人员和应用科学家来开发FPGA的问题尤为艰难。虽然能流利使用一种软件语言常常意味着可以轻松地学习另一种软件语言，但对于硬件语言翻译技能来说却非如此。针对FPGA最常用的语言是Verilog和VHDL，两者均为硬件描述语言（HDL）。这些语言和传统的软件语言之间的主要区别是，HDL只是单纯描述硬件，而例如C语言等软件语言则描述顺序指令，并无需了解硬件层面的执行细节。有效地描述硬件需要对数字化设计和电路的专业知识，尽管一些下层的实现决定可以留给自动合成工具去实现，但往往无法达到高效的设计。因此，研究人员和应用科学家倾向于选择软件设计，因其已经非常成熟，拥有大量抽象和便利的分类来提高程序员的效率。这些趋势使得FPGA领域目前更加青睐高度抽象化的设计工具。

FPGA深度学习研究里程碑：

1987VHDL成为IEEE标准

1992GANGLION成为首个FPGA神经网络硬件实现项目（Cox et al.）

1994Synopsys推出第一代FPGA行为综合方案

1996VIP成为首个FPGA的CNN实现方案（Cloutier et al.）

2005FPGA市场价值接近20亿美元

2006首次利用BP算法在FPGA上实现5 GOPS的处理能力

2011Altera推出OpenCL，支持FPGA

出现大规模的基于FPGA的CNN算法研究（Farabet et al.）

2016在微软Catapult项目的基础上，出现基于FPGA的数据中心CNN算法加速（Ovtcharov et al.）

4. 未来展望
深度学习的未来不管是就FPGA还是总体而言，主要取决于可扩展性。要让这些技术成功解决未来的问题，必须要拓展到能够支持飞速增长的数据规模和架构。FPGA技术正在适应这一趋势，而硬件正朝着更大内存、更少的特征点数量、更好的互连性发展，来适应FPGA多重配置。英特尔收购了Altera，IBM与Xilinx合作，都昭示着FPGA领域的变革，未来也可能很快看到FPGA与个人应用和数据中心应用的整合。另外，算法设计工具可能朝着进一步抽象化和体验软件化的方向发展，从而吸引更广技术范围的用户。

4.1. 常用深度学习软件工具

在深度学习最常用的软件工具中，有些工具已经在支持CUDA的同时，认识到支持OpenCL的必要性。这将使得FPGA更容易实现深度学习的目的。虽然据我们所知，目前没有任何深度学习工具明确表示支持FPGA，不过下面的表格列出了哪些工具正朝支持OpenCL方向发展：

Caffe，由伯克利视觉与学习中心开发，其GreenTea项目对OpenCL提供非正式支持。Caffe另有支持OpenCL的AMD版本。

Torch，基于Lua语言的科学计算框架，使用范围广，其项目CLTorch对OpenCL提供非正式支持。

Theano，由蒙特利尔大学开发，其正在研发的gpuarray后端对OpenCL提供非正式支持。

DeepCL，由Hugh Perkins开发的OpenCL库，用于训练卷积神经网络。

对于刚进入此领域、希望选择工具的人来说，我们的建议是从Caffe开始，因为它十分常用，支持性好，用户界面简单。利用Caffe的model zoo库，也很容易用预先训练好的模型进行试验。

4.2. 增加训练自由度

有人或许以为训练机器学习算法的过程是完全自动的，实际上有一些超参数需要调整。对于深度学习尤为如此，模型在参数量上的复杂程度经常伴随着大量可能的超参数组合。可以调整的超参数包括训练迭代次数、学习速率、批梯度尺寸、隐藏单元数和层数等等。调整这些参数，等于在所有可能的模型中，挑选最适用于某个问题的模型。传统做法中，超参数的设置要么依照经验，要么根据系统网格搜索或更有效的随机搜索来进行。最近研究者转向了适应性的方法，用超参数调整的尝试结果为配置依据。其中，贝叶斯优化是最常用的方法。

不管用何种方法调整超参数，目前利用固定架构的训练流程在某种程度上局限了模型的可能性，也就是说，我们或许只在所有的解决方案中管窥了一部分。固定架构让模型内的超参数设置探究变得很容易（比如，隐藏单元数、层数等），但去探索不同模型间的参数设置变得很难（比如，模型类别的不同），因为如果要就一个并不简单符合某个固定架构的模型来进行训练，就可能要花很长时间。相反，FPGA灵活的架构，可能更适合上述优化类型，因为用FPGA能编写一个完全不同的硬件架构并在运行时加速。

4.3. Low power compute clusters低耗能计算节点集群

深度学习模型最让人着迷的就是其拓展能力。不管是为了从数据中发现复杂的高层特征，还是为数据中心应用提升性能，深度学习技术经常在多节点计算基础架构间进行拓展。目前的解决方案使用具备Infiniband互连技术的GPU集群和MPI，从而实现上层的并行计算能力和节点间数据的快速传输。然而，当大规模应用的负载越来越各不相同，使用FPGA可能会是更优的方法。FPGA的可编程行允许系统根据应用和负载进行重新配置，同时FPGA的能耗比高，有助于下一代数据中心降低成本。

5. 结语
相比GPU和GPP，FPGA在满足深度学习的硬件需求上提供了具有吸引力的替代方案。凭借流水线并行计算的能力和高效的能耗，FPGA将在一般的深度学习应用中展现GPU和GPP所没有的独特优势。同时，算法设计工具日渐成熟，如今将FPGA集成到常用的深度学习框架已成为可能。未来，FPGA将有效地适应深度学习的发展趋势，从架构上确保相关应用和研究能够自由实现。