机器视觉原理解析及前景展望

机器视觉是人工智能正在快速发展的一个分支。

01

简介

机器视觉是一项综合技术，包括图像处理、机械工程技术、控制、电光源照明、光学成像、传感器、模拟与数字视频技术、计算机软硬件技术(图像增强和分析算法、图像卡、 I/O卡等)。

一个典型的机器视觉应用系统包括图像捕捉、光源系统、图像数字化模块、数字图像处理模块、智能判断决策模块和机械控制执行模块。

机器视觉系统最基本的特点就是提高生产的灵活性和自动化程度。在一些不适于人工作业的危险工作环境或者人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉。

同时，在大批量重复性工业生产过程中，用机器视觉检测方法可以大大提高生产的效率和自动化程度。

02

概述

机器视觉（Machine vision）

机器视觉系统的特点是提高生产的柔性和自动化程度。

基本构造

一个典型的工业机器视觉系统包括：光源、镜头（定焦镜头、变倍镜头、远心镜头、显微镜头）、相机（包括CCD相机和COMS相机）、图像处理单元（或图像捕获卡）、图像处理软件、监视器、通讯 / 输入输出单元等。

系统可再分为

一、采集和分析分开的系统。

主端电脑（Host Computer)

影像撷取卡（Frame Grabber)与影像处理器

影像摄影机

定焦镜头镜头

显微镜头

照明设备

Halogen光源LED光源

高周波萤光灯源

闪光灯源

其他特殊光源

影像显示器

LCD

机构及控制系统

PLC、PC-Base控制器

精密桌台

伺服运动机台

二、采集和分析一体的系统

智能相机（图像采集和分析一体）

其他配套外围设备：光源、显示、PLC控制系统等等。

工作原理

机器视觉检测系统采用CCD照相机将被检测的目标转换成图像信号，传送给专用的图像处理系统。

根据像素分布和亮度、颜色等信息，转变成数字化信号，图像处理系统对这些信号进行各种运算来抽取目标的特征，如面积、数量、位置、长度。

再根据预设的允许度和其他条件输出结果，包括尺寸、角度、个数、合格 / 不合格、有 / 无等，实现自动识别功能。

典型结构

一个典型的机器视觉系统包括以下五大块：

照明

照明是影响机器视觉系统输入的重要因素，它直接影响输入数据的质量和应用效果。由于没有通用的机器视觉照明设备，所以针对每个特定的应用实例，要选择相应的照明装置，以达到最佳效果。

光源可分为可见光和不可见光。常用的几种可见光源是白炽灯、日光灯、水银灯和钠光灯。可见光的缺点是光能不能保持稳定。如何使光能在一定的程度上保持稳定，是实用化过程中急需要解决的问题。

另一方面，环境光有可能影响图像的质量，所以可采用加防护屏的方法来减少环境光的影响。照明系统按其照射方法可分为：背向照明、前向照明、结构光和频闪光照明等。

其中，背向照明是被测物放在光源和摄像机之间，它的优点是能获得高对比度的图像。前向照明是光源和摄像机位于被测物的同侧，这种方式便于安装。

结构光照明是将光栅或线光源等投射到被测物上，根据它们产生的畸变，解调出被测物的三维信息。

频闪光照明是将高频率的光脉冲照射到物体上，摄像机拍摄要求与光源同步。

B. 镜头

FOV（Field of Vision）=所需分辨率*亚象素*相机尺寸/PRTM（零件测量公差比）

镜头选择应注意：

①焦距

②目标高度

③影像高度

④放大倍数

⑤影像至目标的距离

⑥中心点 / 节点

⑦畸变

视觉检测中如何确定镜头的焦距

为特定的应用场合选择合适的工业镜头时必须考虑以下因素：

· 视野 - 被成像区域的大小。

· 工作距离 (WD) - 摄像机镜头与被观察物体或区域之间的距离。

· CCD - 摄像机成像传感器装置的尺寸。

· 这些因素必须采取一致的方式对待。

如果在测量物体的宽度，则需要使用水平方向的 CCD 规格。

如果以英寸为单位进行测量，则以英尺进行计算，最后再转换为毫米。

C. 高速相机

按照不同标准可分为：标准分辨率数字相机和模拟相机等

按分辨率划分，像素数在38万以下的为普通型，像素数在38万以上的高分辨率型；

按光敏面尺寸大小划分，可分为1/4、1/3、1/2、1英寸相机；

按扫描方式划分，可分为行扫描相机（线阵相机）和面扫描相机（面阵相机）两种方式；（面扫描相机又可分为隔行扫描相机和逐行扫描相机）；

按同步方式划分，可分为普通相机（内同步）和具有外同步功能的相机等。

D. 图像采集卡

图像采集卡只是完整的机器视觉系统的一个部件，但是它扮演一个非常重要的角色。

图像采集卡直接决定了摄像头的接口：黑白、彩色、模拟、数字等等。

比较典型的是PCI或AGP兼容的捕获卡，可以将图像迅速地传送到计算机存储器进行处理。有些采集卡有内置的多路开关。

例如，可以连接8个不同的摄像机,然后告诉采集卡采用那一个相机抓拍到的信息。

有些采集卡有内置的数字输入以触发采集卡进行捕捉，当采集卡抓拍图像时数字输出口就触发闸门。

E. 视觉处理器

视觉处理器集采集卡与处理器于一体。

以往计算机速度较慢时，采用视觉处理器加快视觉处理任务。采集卡传输图像到存储器，进而计算分析。

当前主流配置的PLC，且配置较高，视觉处理器已经几乎退出市场。

机器选型

在机器视觉系统中，获得一张高质量的可处理的图像是至关重要。

系统之所以成功，首先要保证图像质量好，特征明显。一个机器视觉项目之所以失败，大部分情况是由于图像质量不好，特征不明显引起的。要保证好的图像，必须要选择一个合适的光源。

光源选型基本要素：

对比度：对比度对机器视觉来说非常重要。机器视觉应用的照明的最重要的任务就是使需要被观察的特征与需要被忽略的图像特征之间产生最大的对比度，从而易于特征的区分。对比度定义为在特征与其周围的区域之间有足够的灰度量区别。好的照明应该能够保证需要检测的特征突出于其他背景。

亮度：当选择两种光源的时候，最佳的选择是选择更亮的那个。当光源不够亮时，可能有三种不好的情况会出现。第一，相机的信噪比不够；由于光源的亮度不够，图像的对比度必然不够，在图像上出现噪声的可能性也随即增大。其次，光源的亮度不够，必然要加大光圈，从而减小了景深。另外，当光源的亮度不够的时候，自然光等随机光对系统的影响会最大。

鲁棒性：另一个测试好光源的方法是看光源是否对部件的位置敏感度最小。当光源放置在摄像头视野的不同区域或不同角度时，结果图像应该不会随之变化。方向性很强的光源，增大了对高亮区域的镜面反射发生的可能性，这不利于后面的特征提取。

好的光源需要能够使你需要寻找的特征非常明显，除了是摄像头能够拍摄到部件外，好的光源应该能够产生最大的对比度、亮度足够且对部件的位置变化不敏感。

光源选择好了，剩下来的工作就容易多了。

应用案例(1)

在布匹的生产过程中，像布匹质量检测这种有高度重复性和智能性的工作只能靠人工检测来完成。

在现代化流水线后面常常可看到很多的检测工人来执行这道工序，却仍然不能保证100 %的检验合格率（即“零缺陷”）。对流水线进行自动化的改造，使布匹生产流水线变成快速、实时、准确、高效的流水线。

在流水线上，所有布匹的颜色、及数量都要进行自动确认（以下简称“布匹检测”）。

特征提取辨识

一般布匹检测（自动识别）先利用高清晰度、高速摄像镜头拍摄标准图像，在此基础上设定一定标准；然后拍摄被检测的图像，再将两者进行对比。但是在布匹质量检测工程中要复杂一些：

1． 图像的内容不是单一的图像，每块被测区域存在的杂质的数量、大小、颜色、位置不一定一致。

2． 杂质的形状难以事先确定。

3． 由于布匹快速运动对光线产生反射，图像中可能会存在大量的噪声。

4． 在流水线上，对布匹进行检测，有实时性的要求。

由于上述原因，图像识别处理时应采取相应的算法，提取杂质的特征，进行模式识别，实现智能分析。

Color检测

一般而言，从彩色CCD相机中获取的图像都是RGB图像。

也就是说每一个像素都由红（R）绿（G）蓝（B）三个成分组成，来表示RGB色彩空间中的一个点。

问题在于这些色差不同于人眼的感觉。即使很小的噪声也会改变颜色空间中的位置。所以无论我们人眼感觉有多么的近似，在颜色空间中也不尽相同。

基于上述原因，我们需要将RGB像素转换成为另一种颜色空间CIELAB。目的就是使我们人眼的感觉尽可能的与颜色空间中的色差相近。

Blob检测

根据上面得到的处理图像，根据需求，在纯色背景下检测杂质色斑，并且要计算出色斑的面积，以确定是否在检测范围之内。

因此图像处理软件要具有分离目标，检测目标，并且计算出其面积的功能。

Blob分析（Blob Analysis）是对图像中相同像素的连通域进行分析，该连通域称为Blob。经二值化（Binary Thresholding）处理后的图像中色斑可认为是blob。

Blob分析工具可以从背景中分离出目标，并可计算出目标的数量、位置、形状、方向和大小，还可以提供相关斑点间的拓扑结构。

在处理过程中不是采用单个的像素逐一分析，而是对图形的行进行操作。图像的每一行都用游程长度编码(RLE）来表示相邻的目标范围。

这种算法与基于象素的算法相比，大大提高处理速度。

结果处理和控制

应用程序把返回的结果存入数据库或用户指定的位置，并根据结果控制机械部分做相应的运动。

根据识别的结果，存入数据库进行信息管理。以后可以随时对信息进行检索查询，管理者可以获知某段时间内流水线的忙闲，为下一步的工作作出安排；可以获知内布匹的质量情况等等。

应用案例(2)

机器视觉的应用主要有检测和机器人视觉两个方面：

⒈ 检测：又可分为高精度定量检测（例如显微照片的细胞分类、机械零部件的尺寸和位置测量）和不用量器的定性或半定量检测（例如产品的外观检查、装配线上的零部件识别定位、缺陷性检测与装配完全性检测）。

⒉机器人视觉：用于指引机器人在大范围内的操作和行动，如从料斗送出的杂乱工件堆中拣取工件并按一定的方位放在传输带或其他设备上（即料斗拣取问题）。至于小范围内的操作和行动，还需要借助于触觉传感技术。

此外还有：

自动光学检查

人脸识别

无人驾驶汽车

产品质量等级分类

印刷品质量自动化检测

文字识别

纹理识别

追踪定位

......

等机器视觉图像识别的应用。

【机器视觉特点】

⒈摄像机的拍照速度自动与被测物的速度相匹配，拍摄到理想的图像；

⒉零件的尺寸范围为2.4mm到12mm，厚度可以不同；

⒊系统根据操作者选择不同尺寸的工件，调用相应视觉程序进行尺寸检测，并输出结果；

⒋针对不同尺寸的零件，排序装置和输送装置可以精确调整料道的宽度，使零件在固定路径上运动并进行视觉检测；

⒌机器视觉系统分辨率达到2448×2048，动态检测精度可以达到0.02mm；

⒍废品漏检率为0；

⒎本系统可通过显示图像监视检测过程，也可通过界面显示的检测数据动态查看检测结果；

⒏具有对错误工件及时准确发出剔除控制信号、剔除废品的功能；

⒐系统能够自检其主要设备的状态是否正常，配有状态指示灯；同时能够设置系统维护人员、使用人员不同的操作权限；

⒑实时显示检测画面，中文界面，可以浏览几次不合格品的图像，具有能够存储和实时察看错误工件图像的功能；

⒒能生成错误结果信息文件，包含对应的错误图像，并能打印输出。

实例⒈ 基于机器视觉的仪表板总成智能集成测试系统

EQ140-Ⅱ汽车仪表板总成是中国某汽车公司生产的仪表产品，仪表板上安装有速度里程表、水温表、汽油表、电流表、信号报警灯等，其生产批量大，出厂前需要进行一次质量终检。

检测项目包括：检测速度表等五个仪表指针的指示误差；检测24个信号报警灯和若干照明9灯是否损坏或漏装，一般采用人工目测方法检查。

基于机器视觉的智能集成测试系统，实现了对仪表板总成智能化、全自动、高精度、快速质量检测。

整个系统分为四个部分：为仪表板提供模拟信号源的集成化多路标准信号源、具有图像信息反馈定位的双坐标CNC系统、摄像机图像获取系统和主从机平行处理系统。

实例⒉ 金属板表面自动控伤系统

金属板如大型电力变压器线圈扁平线收音机朦胧皮等的表面质量都有很高的要求，但原始的采用人工目视或用百分表加控针的检测方法不仅易受主观因素的影响，而且可能会绘被测表面带来新的划伤。

金属板表面自动探伤系统利用机器视觉技术对金属表面缺陷进行自动检查，在生产过程中高速、准确地进行检测，同时由于采用非接角式测量，避免了产生新划伤的可能。

在此系统中，采用激光器作为光源，通过针孔滤波器滤除激光束周围的杂散光，扩束镜和准直镜使激光束变为平行光并以45度的入射角均匀照明被检查的金属板表面。

金属板放在检验台上。检验台可在X、Y、Z三个方向上移动，摄像机采用TCD142D型2048线陈CCD，镜头采用普通照相机镜头。CCD接口电路采用单片机系统。

主机PC机主要完成图像预处理及缺陷的分类或划痕的深度运算等，并可将检测到的缺陷或划痕图像在显示器上显示。CCD接口电路和PC机之间通过RS-232口进行双向通讯，结合异步A/D转换方式，构成人机交互式的数据采集与处理。

该系统主要利用线阵CCD的自扫描特性与被检查钢板X方向的移动相结合，取得金属板表面的三维图像信息。

实例⒊ 汽车车身检测系统

英国ROVER汽车公司800系列汽车车身轮廓尺寸精度的100%在线检测，是机器视觉系统用于工业检测中的一个较为典型的例子。

该系统由62个测量单元组成，每个测量单元包括一台激光器和一个CCD摄像机，用以检测车身外壳上288个测量点。汽车车身置于测量框架下，通过软件校准车身的精确位置。

测量单元的校准将会影响检测精度，因而受到特别重视。每个激光器/摄像机单元均在离线状态下经过校准。同时还有一个在离线状态下用三坐标测量机校准过的校准装置，可对摄像顶进行在线校准。

检测系统以每40秒检测一个车身的速度，检测三种类型的车身。系统将检测结果与人、从CAD模型中撮出来的合格尺寸相比较，测量精度为±0.1mm。

ROVER的质量检测人员用该系统来判别关键部分的尺寸一致性，如车身整体外型、门、玻璃窗口等。实践证明，该系统是成功的，并将用于ROVER公司其它系统列汽车的车身检测。

实例⒋ 纸币印刷质量检测系统

该系统利用图像处理技术，通过对纸币生产流水线上的纸币20多项特征（号码、盲文、颜色、图案等）进行比较分析，检测纸币的质量，替代传统的人眼辨别的方法。

实例⒌ 智能交通管理系统

通过在交通要道放置摄像头，当有违章车辆（如闯红灯）时，摄像头将车辆的牌照拍摄下来，传输给中央管理系统，系统利用图像处理技术，对拍摄的图片进行分析，提取出车牌号，存储在数据库中，可以供管理人员进行检索。

实例⒍金相分析

金相图象分析系统能对金属或其它材料的基体组织、杂质含量、组织成分等进行精确、客观地分析，为产品质量提供可靠的依据。

实例⒎ 医疗图像分析

血液细胞自动分类计数、染色体分析、癌症细胞识别等。

实例⒏ 瓶装啤酒生产流水线检测系统

可以检测啤酒是否达到标准的容量、啤酒标签是否完整

实例⒐ 大型工件平行度、垂直度测量仪

采用激光扫描与CCD探测系统的大型工件平行度、垂直度测量仪，它以稳定的准直激光束为测量基线，配以回转轴系，旋转五角标棱镜扫出互相平行或垂直的基准平面，将其与被测大型工件的各面进行比较。在加工或安装大型工件时，可用该认错器测量面间的平行度及垂直度。

实例⒑ 螺纹钢外形轮廓尺寸的探测器件

以频闪光作为照明光源，利用面阵和线阵CCD作为螺纹钢外形轮廓尺寸的探测器件，实现热轧螺纹钢几何参数在线测量的动态检测系统。

实例⒒ 轴承实时监控

视觉技术实时监控轴承的负载和温度变化，消除过载和过热的危险。

将传统上通过测量滚珠表面保证加工质量和安全操作的被动式测量变为主动式监控。

实例⒓ 金属表面的裂纹测量

用微波作为信号源，根据微波发生器发出不同波涛率的方波，测量金属表面的裂纹，微波的波的频率越高，可测的裂纹越狭小。

前景展望

由于机器视觉系统可以快速获取大量信息，而且易于自动处理，也易于同设计信息以及加工控制信息集成，因此，在现代自动化生产过程中，人们将机器视觉系统广泛地用于工况监视、成品检验和质量控制等领域。

但是机器视觉技术比较复杂，最大的困难在于人的视觉机制尚不清楚。人可以用内省法描述对某一问题的解题过程，从而用计算机加以模拟。但尽管每一个正常人都是“视觉专家”，却不可能用内省法来描述自己的视觉过程。

因此建立机器视觉系统是十分困难的任务。

可以预计的是，随着机器视觉技术自身的成熟和发展，它将在现代和未来制造企业中得到越来越广泛的应用。