机器视觉技术与机器视觉检测系统的应用案例

利用视觉技术检测热轧钢材的表面，即便钢材的温度超过1000℃，也好像它们是冷的一样。

为了生产无缝钢管，需要先将钢坯输送到炉中加热。接着，将坯料穿孔以形成厚壁的中空壳体，之后将芯棒插入壳体中。然后在芯棒式无缝管轧机中进行伸长轧制。在伸长工艺之后，坯料输送到推进台，在那里它被推动穿过一系列轧辊机座。最终形成具有连续更小壁厚的中空长钢管。

尽管与热轧工艺一样有效，在轧机台架中的轧辊机座偶尔可以在钢表面上产生标记和缺陷，这些缺陷在热条件下非常难以检测。因此，在质量改进项目中，许多制造商希望尽可能早地识别这些缺陷，以避免以相当大的代价生产出大量有缺陷的材料。

视觉系统

为了解决这些问题，西班牙Tecnalia公司的工程师开发出了一套称为Surfin'的机器视觉系统，其能使钢铁制造商在钢板从推进台推出时，就检测到这类缺陷（见图1）。检测这种缺陷为制造商提供了生产过程中任何问题的指示，使制造商能在早期阶段对推进台进行预防性维护，防止将任何有缺陷的钢管交付给客户。

图1：西班牙Tecnalia公司的工程师开发出了一套称为Surfin'的机器视觉系统，其能使超过1000℃的钢板从推进台推出时，就可检测到钢材上的缺陷。

由轧辊机座产生的这种钢管表面上的典型缺陷，通常遵循重复模式持续出现，直到轧机支架改变。这些缺陷包括表面上的裂缝、轧机支架阻挡标记、裂纹以及分离的钢材，其随后会粘贴到钢管表面的另一部分上。

开发人员面临严峻的挑战。这种生产环境中的条件可谓极端恶劣：不仅以6~7m/s的相对高速生产钢管（Surfin'可以工作在高达10m/s下），而且钢材从轧辊机座推出时的温度约为1000℃，再加上环境脏、存在水和油蒸汽，从而使缺陷检测更为棘手。

由于钢材的热表面辐射的光与IR、红光、橙光和黄光波段的热发射直接相关，因此捕获钢材表面反射的所有光的图像，将使相机中的传感器饱和，因为相机对钢管辐射的所有光都敏感。为了解决这一问题，Surfin'系统（专利号ES2378602和EP2341330）使用的光，其波长远离炽热钢材所发射光谱的波长。

然后，系统中相机捕获的图像，通过美国Edmund Optics公司的窄带光学带通滤光片（中心波长为470nm、带宽为10nm）和一个红外（IR）辐射滤光片。这两个滤光片使CCD相机只接收所需波段中的辐射，而加入IR滤光片来保护电子系统免受热辐射。受控照明技术允许系统捕获钢管整个表面的图像，就好像钢管是冷的一样。

为了使系统能捕获钢管表面的360°图像，该系统使用了加拿大Teledyne DALSA公司的三套14000 lines/s的Spyder 3线扫描相机，以120°的角度间隔垂直于轧制钢管轴平面、安装在保护性罩壳中，围绕在推进台的输出端。在该系统的前一个版本中，在每台相机的两侧使用加拿大Laserglow Technologies公司的两个200mW 473nm蓝光激光光源，对钢管表面进行暗场照明。由于系统的几何形状，其可以实时地连续捕获钢管的完整图像（见图2a和b）。

图2：a）：为了使系统能够精确地捕获钢管表面（3）的360°图像，系统使用三组激光器（1）和14000 lines/s线扫描相机（2）。B）：激光器和相机组以120°角度间隔安装在垂直于滚动轴平面的同一平面内，相机位于推进台输出端周围的保护罩壳中。

由于环境的温度很高，保持相机连续冷却至关重要。为此，将压缩冷却空气注入到保护罩壳中，保护相机和激光设备免受热和恶劣环境的影响。空气不仅冷却系统，而且之后过量的空气通过窗口排出，激光器通过该窗口输出光束，相机通过该窗口捕获图像，防止鳞状物、氧化物、灰尘和液体沉积。

图像处理

一旦捕获了钢材表面的图像，接下来便通过光纤千兆以太网链路将图像传送100m到达控制室中基于PC的服务器上。在这里，首先对图像进行预处理，以利用诸如直方图均衡等定制图像增强算法，来增强图像的对比度。由于原始图像中的可用数据由近对比度值表示，所以该技术增加了图像的全局对比度。

图像增强之后，使用定制软件处理，在系统的先前版本中，该软件采用基于支持向量机（SVM）的辅助学习系统。一旦系统被教育通过纹理、对比度和尺寸，识别来自不同样品的缺陷，则算法可以自动检测和分类生产环境中最重要的生产缺陷（见图3）。

图3：钢材中出现的典型缺陷包括（a）材料粘贴（b）材料被去除和（c）辊痕。

基于PC的服务器用于存储来自相机的图像、被发现的缺陷数据，以及缺陷在钢管上位置，还将在Oracle数据库中存储压力、温度、速度信号、通信和其他钢管生产数据的报警，用于质量控制和可追溯性。还可以通过在连接到公司局域网（LAN）的计算机上安装客户端应用，对服务器上的数据进行远程检查。

自从该系统最初开发以来，已经经历了几次增强，系统的结构现在已经过重新设计，能够更容易地对准和调整相机和调节照明。

较新版本的系统还采用了液体而非空气制冷技术，使照明和传感器能够更靠近钢管放置，从而实现更热或更大面积的钢管成像。美国Metaphase Technologies公司的LED光源也已经替代了早期的激光器，使光源的寿命从2000小时增加到了50000小时，并且消除了诸如散斑之类可能破坏相机捕获的图像的因素。

软件用户界面也得到了改进，现在工厂操作员能在钢材上出现缺陷时，看到它们的位置和特定属性（见图4）。现在还可以在数据库上存储几个月的生产数据，这样工厂经理就能查看可能发生的任何错误的周期性，并安排定期预防性维护操作。该系统还可以支持多用户，这些用户不仅可以本地访问系统，还可以通过互联网访问系统。

图4：定制的软件用户界面，使工厂操作员能够实时看到钢材上缺陷的位置和特定属性。

分类变更

Surfin'系统最重要的一项最新发展，是用内部开发的候选窗口探测平台和用于缺陷分类的卷积神经网络（CNN），来替代之前基于SVM的分类器。CNN可以学习从训练图像中提取表征每种类型缺陷的相关特征并执行分类，而SVM仅将其输入映射到可以揭示缺陷类别之间差异的一些高维空间。

通过假定所有感兴趣的对象（例如缺陷）共享将它们与背景区分开的共同视觉属性，候选窗口探测平台输出可能包含缺陷的一组区域。随后，CNN提取学习特征，并且对图像数据执行实际的缺陷分类。

CNN分类器通过具有缺陷的热钢管图像的定制图像数据库进行验证，并且发现基于深度学习的方法，能够减少检测到的假阳性和假阴性的数量，其明显优于之前的SVM分类器。

执行两类分类（如缺陷与无缺陷）时，最相关的性能指标是AUC，或ROC（接收器工作特征）曲线下的面积，通过在x轴上绘制假阳性率和在y轴上绘制真阳性率，然后计算此函数下的面积（见图5）。

图5：在执行两类分类（如有缺陷与无缺陷）时，最相关的性能指标是AUC或ROC（接收器工作特征）曲线下的面积。模型越好，AUC越接近1。采用这种方式，当比较几种模型时，可以通过选择最高的AUC来选出最佳模型。虽然SVM分类器的AUC值为0.88，但是对于两类分类情况，CNN-Surfin'分类器的AUC值为0.997。

理想情况下，该函数的值对于x轴上的每个值都为1.00，因此模型越好，其AUC越接近1。以这种方式，当比较几种模型时，可以通过取最高AUC值来选择最佳模型。虽然SVM分类器的AUC值为0.88，但是对于两类分类情况，CNN-Surfin'分类器的AUC值为0.997。

此外，对于给定的模型，可以选择阈值以使系统能够决定样品是否有缺陷。由于模型的输出通常是0和1之间的概率值，如果概率值大于阈值，则样本将被标记为NOK，否则标记为OK。

通过将阈值移向1.0，能以“增加假阴性的数量”为代价来减少假阳性的数量，反之亦然。然后可以通过在x轴上绘制阈值，以及在y轴上绘制特异性或真阴性率（= 1-假阳性率）和灵敏度或真阳性率（= 1-假阴性率），来可视化检查系统工作在何处。

对应于阈值的垂直线切割两条曲线的点，产生假阳性率和假阴性率。阈值的常见选择是产生近似相等的假阳性率和假阴性率。对于CNN-Surfin'，得到1.58%的假阳性率和1.49%的假阴性率（见图6）。与之相比，SVM版本的Surfin'的假阳性率为17.98%，假阴性率为18.00%，由Surfin'做出的分类错误数量减少了12倍。

图6：对应于阈值的垂直线切割两条曲线的点，产生假阳性率和假阴性率。阈值的常见选择是产生近似相等的假阳性和假阴性率。对于CNN-Surfin'，假阳性率为1.58%，假阴性率为1.49%。

现在，新的分类器准备在生产环境中运行。此外，Tecnalia公司的工程师们正在努力继续改进系统，目的是使钢铁生产商能够生产零缺陷钢材。例如，已经使用CNN-Surfin'评估了4类问题（OK以及3种类型的缺陷），通过AUC（平均延伸）进行归类，得到AUC = 0.9956。但目前正在收集更多的样本，以使结果更具统计学意义。

Surfin'系统自推出以来，已经交付到诸如西班牙Tubos Reunidos和Aceros Inoxidables Olarra等公司，其能够在热工艺生产的早期阶段检测到生产问题。Tecnalia公司正与其他钢铁生产公司合作部署该系统，以检测形状更复杂的钢材，例如用于建筑和土木工程的U型或H型截面钢梁。

Tecnalia公司已经与西班牙Sarralle集团建立了关系，在全球范围内分销Surfin'系统。