谁更适合进行图像处理，CPU还是FPGA?

机器视觉在工业自动化系统中的应用已经有一定的历史，它取代了传统的人工检查，提高了生产质量和产量。 我们已经看到了相机在计算机、移动设备和汽车等日常生活设备中的迅速普及，但是机器视觉的最大进步莫过于处理能力。随着处理器的性能以每两年翻一番的速度不断提升，以及多核CPU和FPGA等并行处理技术日益受到关注，视觉系统设计人员现在可以应用复杂的算法来可视化数据，并创建出更加智能的系统。

 

性能的提高意味着设计人员可以获得更高的数据吞吐量，从而实现更快速的图像采集，使用更高分辨率的传感器，并充分利用市场上具有最高动态范围的一些新款相机。性能的提高不仅可让设计人员更快速地采集图像，而且还能更快速地处理图像。预处理算法(如阈值和滤波)或处理算法(如模式匹配)也可以更快速地执行。最终设计人员能够比以往更快地基于可视化数据制定决策。

 

德州奥斯汀NI总部数据采集和控制产品市场经理，主要负责机器视觉领域的Brandon Treece认为，随着视觉系统越来越多地集成最新一代多核CPU和强大FPGA，视觉系统设计人员需要了解使用这些处理元件的好处和得失。他们不仅需要在正确的硬件上运行正确的算法，还需要了解哪些架构最适合作为其设计的基础。

 

内联处理和协处理

在研究哪种类型的算法最适合哪个处理元件之前，您应该了解每个应用最适合的架构类型。在开发基于CPU和FPGA的异构架构的视觉系统时，需要考虑两个主要的使用情况： 嵌入式处理和协处理。

 

如果是FPGA协处理，FPGA和CPU将共同工作，共享处理负载。这种架构最常用于GigE Vision和USB3 Vision相机，因为它们的采集逻辑最好是在CPU上实现：

 

您可以使用CPU采集图像，然后通过直接存储器访问(DMA)将其发送到FPGA，以便FPGA可以执行诸如滤波或颜色平面提取等操作。然后，您可以将图像发送回CPU以进行更高级的操作，例如光学字符识别(OCR)或模式匹配。

 

在某些情况下，您可以在FPGA上实现所有的处理步骤，并只将处理结果发送回CPU。这使得CPU可以将更多的资源用于运动控制、网络通信和图像显示等其他操作。

 

图1.在FPGA协处理中，图像使用CPU进行采集后，通过DMA发送到FPGA，然后由FPGA对图像进行处理。

 

在嵌入式FPGA处理架构中，您可以将相机接口直接连接到FPGA的引脚，以便像素可直接从相机发送到FPGA。这种架构通常与Camera Link相机一起使用，因为它们的采集逻辑易于使用FPGA上的数字电路来实现。 这个架构有两个主要的好处：

 

首先，与协处理一样，在FPGA上执行预处理功能时，可以使用嵌入式处理将部分工作从CPU转移到FPGA。例如，在将像素发送到CPU之前，可以在FPGA上执行高速预处理，如滤波或阈值处理。这也减少了CPU必须处理的数据量，因为CPU上的逻辑只需捕获感兴趣区域的像素，这最终提高了整个系统的吞吐量。

 

这种架构的第二个好处是可以在不使用CPU的情况下直接在FPGA内进行高速控制操作。FPGA是控制应用的理想选择，因为它们可以提供非常快速且高度确定的循环速率。其中一个例子就是高速分类，其中FPGA向执行器发送脉冲，当脉冲通过执行器时，执行器会对零件进行剔除或分类操作。

 

图2.在嵌入式FPGA处理架构中，您可以将相机接口直接连接到FPGA的引脚，以便像素可直接从相机发送到FPGA。

 

CPU与FPGA视觉算法

在对构建异构视觉系统的不同方式有了基本了解，您可以看一下在FPGA上运行的最佳算法。 首先需要了解CPU和FPGA的工作原理。 为了解释这一概念，我们假设一个理论算法可对图像执行四个不同的操作，然后看一下这四个操作部署到CPU和FPGA上时分别是如何运行的：

 

CPU按顺序执行操作，因此第一个操作必须在整个图像上运行结束后，第二个操作才能启动。在本例中，假设算法中的每个步骤在CPU上运行需要6ms; 因此，总处理时间是24ms。

 

现在考虑在FPGA上运行相同的算法。由于FPGA本质上是大规模并行的，所以该算法中的四个操作可以同时对图像中的不同像素上操作。这意味着接收第一个处理的像素仅需2ms的时间，处理整个图像需要4ms的时间，因而总处理时间为6ms。这比CPU的执行速度快得多。

 

即使使用FPGA协处理架构并将图像传输到CPU，整个处理时间(包括传输时间)也比单独使用CPU要短得多。

 

图3.由于FPGA在本质上是大规模并行的，因此相比CPU，可显着性能提升。

 

现在考虑一个真实的例子，比如粒子计数所需的图像。

 

首先需要应用卷积滤镜来锐化图像。