机器视觉基本概念学习笔记3

二、

2、相机

图像输出

图像输出单元产生一个适合后续图像处理的视频信号。在标准的相机中，获取的图像将转换成遵循某一种国际视频标准的视频信号：在标准相机中，获取的图像转换成一个遵循国际标准之一的视频信号，对欧洲为CCIR标准，对美国为EIA制定的RS-170标准。

基于CCIR标准，有两个彩色标准:PAL制式和SECAM制式。对RS-170标准的彩色的延展就是RS-170a，即NTSC标准。非标准相机的输出单元要遵循一定的规则，与特定的形式无关，一般是基于RS-422标准的。从技术角度考虑，由于避免了视频标准的限制，数字相机是比较理想的选择；而从经济的角度考虑，这些标准太重要了而不可能完全摆脱它们。

下图是标准制式相机的原理图，CCD完成积分控制后奇数行和偶数行按先后依次转移到输出寄存器（通常将所有奇数行或所有偶数行组成的图像称为一场（field），而两场合并后才称为一桢（frame），然后通过相机内部的同步产生器在每行像素前插入行同步信号（HD），在经过若干行达到一个场时插入场同步信号（VD）。

标准制式相机的原理图

相机的一个重要的非标准选项就是像素时钟输出，来自CCD芯片的像素传输的内部时钟可以适用于后续的图像处理单元，这种像素数据的精确传输是对精确测量的预获取，此外很多相机也能接受外部的时钟输入来进行外同步。另一种对外部事件的响应是用外部事件来触发相机，在测量运动物体的时候这是非常重要的，比如由光电开关触发相机。

隔行扫描是多年前作为电视广播标准的一部分而发展起来的，它主要发展是为了在有效的信号带宽内改进运动影像，目前的视频标准依然依赖于早期的显像管相机和显示屏技术，在如今CCD芯片和纯平显示的年代，这些只会给机器视觉应用带来麻烦，却依然大量应用似乎很奇怪了，前面已经提到这还是由于必须考虑价格因素。

对于显像管，必须控制扫描显像管光敏感区域电子流和在屏幕上产生的图像。扫描从左上角开始，到第一行的末尾，折回到第三行继续扫描。

这种方式，第一次扫描一场的奇数行，第二次扫描一场的偶数行，重叠起来就降低了电视屏幕的闪烁。一次完整的扫描（一帧）对于CCIR标准由625线组成，持续1/25秒。一个RS-170帧由525线组成，持续1/30秒。下图描述了相机输出单元的一些特性、参数及选项。

在折回的时间中，水平同步脉冲加入到视频信号中，表示另一行的开始。同步信号之前和之后的多余时间用于给BLACK提供一个参考。信号的这些部分称为前向通路和后向通路。垂直同步脉冲触发新的一场的开始。

垂直同步脉冲是一个由对CCIR标准多于50线的，对EIA标准多于40线的脉冲序列。因此，这些线不是用于标准视频信号的，标准视频信号应该是对CCIR标准575线，对EIA标准485线。

标准视频信号传输的同步，是基于水平和垂直同步脉冲的。那单个像素呢？按照CCIR标准和EIA标准，图像的宽高比例必须是4：3。因此，对于CCIR标准为767像素/线，对于EIA标准为647像素/线。对于CCIR标准，在52ms内扫描767个像素，需要像素时钟频率为14.75MHz，而对于EIA标准，在52.59ms内扫描647个像素，需要像素时钟频率为12.3MHz。

对于人类视觉系统，单个像素的意义不大。电视的分辨率是以不同的方式测量的：对于水平分辨率最高的要求就是，当CCIR相机指向383.5垂直的黑白线对的时候，一行的邻近像素必须分别获取并显示最大和最小灰度级。

尽管这对应一个矩形信号，但人类视觉系统分辨模糊的从黑到白的灰度转变是没有问题的，因此被看作是一个频率为7.375MHz的正弦信号。

对于EIA标准相应的计算就是一个频率为6.15 MHz的正弦信号。那么，任一视频分量的带宽就分别为7.375MHz和6.15 MHz。然而，视频标准允许低的带宽，就导致低的水平分辨率。

因此相机或监视器能获取和显示的垂直线的个数就是一个质量评估指标。这一参数是来计算单个垂直的黑线和白线，而不是计算线对。简单的监视系统需要300条TV线。高分辨率系统提供550或更多的TV线。在实际中，这种测量并没有精确的使用。因此，一个有550条TV线的相机可能会比另一个号称600条TV线的相机有更好的性能。

显像管屏幕的显示特性是非线性的，强调图像亮的和暗的灰度级。为了补偿这个影响，大多数相机提供r校正（伽马校正）。如果r＝1，输出单元以线性模式工作，r＝0.45表明输出单元强调中灰度级。另外，一些相机提供一个r＝0.25的r校正来增强中灰度级。r校正用于监控系统会很有用，而在测量中作用稍小一些。

如在前一节所述，电子快门用于控制CCD芯片的曝光时间。如果物体照明不好，电子快门速度就需要慢些，以增加曝光时间。视频标准规定最小的快门速度为对于CCIR标准1/50秒，对于EIA标准1/60秒。

如果物体要运动，最小的快门速度会高一些，结果，要求的1V的视频信号幅度就可能达不到。这种情况下，就需要利用增益控制来放大信号。最大增益通常为1：10或1：20。

如果这还不够，就要运用长时间的积分。这些放大器可以是自动运行的也可以是手动运行的。在自动增益控制（AGC）模式中，放大器调整自己来输出幅度为1V的标准视频信号。这对监控系统适用但对测量就不大适用。由于这里我们通常用控制照明工作，最好将相机调到手动增益控制模式，那么相机操作器就会根据指定条件设置精确的增益。

如果图像采集卡从一个输入视频信号切换到另一个输入视频信号，采集卡通常需要获得稳定的图像需要几桢的时间（这段时间用于从复合视频信号中提取同步头）。而且这一影响经常被低估了，这是很烦人的。在某些应用场合，需要多个相机同时拍摄同一工件的不同工位或不同视角，这样就希望所有的视频输入信号是垂直同步的，这一过程的术语就是外部同步或同步锁相，这样就可以避免相机间捕获图像的时间差异。图所示为三种相机间的同步方法。

最简单的（图a）是靠建立一个同步链，从一个相机的视频输出用于下一个相机的同步输入，显然，相机之间的信号迟延可能会导致一些问题。如果同步必须是很精确的，就应该使用一个外部同步发生器如图b所示。

通常一些相机接受水平同步和垂直同步为TTL电平而且很多的中高端图像采集卡都可以提供，因而用采集卡的同步输出同样能够进行相机间的同步，但在使用采集卡的同步输出时需要注意的是它的负载驱动能力，大部分图像采集卡在同时驱动三个以上相机同步时需要增加中继或功率放大器。

相机同步方式（从左向右依次为a,b,c）

对于区分一个CCD芯片的系统和三个CCD芯片的系统获取的彩色图像，有三个不同的系统可用于视频信号输出。这些输出的术语为：复合， Y/C (also know as S-VHS) and RGB。从名字就可以看出，一个复合信号包含亮度信息和彩色信息。

亮度信号与标准CCIR和RS-170亮度信号是相等的，只是简单的叠加了彩色信号。彩色信号是根据PAL标准、SECAM标准、以及NTSC标准的一个彩色分量的复杂组成。显然，这样一个信号的组合会导致信号误差，可能会引起图像失真。因此，将亮度信号（Y信号）和彩色信号（C信号）分离是一个好想法。这种亮度/彩色相机是在性能和价格之间比较满意的折中。对于高性能系统，强烈建议采取RGB方法。

RGB方法避免了彩色信号的组合，而是对三原色的每一种颜色使用各自的标准亮度信号。三个芯片的CCD相机通常都有RGB输出，因为破坏这种带有不充分的复合信号或者亮度/彩色输出信号的相机的质量没有任何意义。高质量的单芯片CCD相机提供所有的三路输出，中等质量相机丢弃RGB输出，单彩色相机仅仅使用复合信号。

像素时钟

像素时钟是用以驱动CCD上的移位寄存器的高速时钟，它将输入的模拟视频信号采样为单个的像素值。像素时钟输出可以由相机或图像采集卡提供。有可能使用图像采集卡的锁相环PLL（Phase－Locked Loop）来产生像素时钟，PLL使用一个参考电平，这个参考电平可以来自采集卡的板内晶振，对于周期的脉冲电平也可以来自外部的行同步信号。

通常用像素抖动（Pixel Jitter）来衡量像素时钟的准确性，它测量的是像素时钟的脉冲上升沿相对于水平同步信号下降沿的偏差，其以单位纳秒为单位。

像素抖动是模拟/数码转换过程中不可避免的，它可能是相机（其内部的像素时钟或水平同步信号） 引入的，也可能是图像采集卡的锁相环（其可以引入附加的像素抖动）引入的。

作为像素抖动的结果，输入的视频信号可能会被提前或滞后采集了，这样就会导致数字化的像素与相机采样的像素不一致，对于连续的视频就会产生闪烁现象。从图像采集卡的锁相环产生的基于稳定的参考电平的像素时钟可以将像素抖动降低在一个很小的范围内。

如果像素时钟足够精确，视频信号应该在图所示的“P”处抽样并通过参考电平完成灰度转化，但由于受到像素抖动的影响，视频信号可能被抽样过早或过晚（图中设定像素抖动引起的误差为±x ns）,这样就导致对应的灰度值与理想值相对低了或高了。通常对图像质量要求很高（比如用于高精度的测量）的图像采集卡像素抖动都控制在±3 ns之内。

正如前面所讨论的，视频信号的同步无一例外的都是基于水平和垂直同步脉冲的。不过，视频标准却没有要求精确的像素（pixel-wise）同步。因此，CCD芯片的像素映射到计算机时受到像素抖动的影响就不是很精确。

虽然可以通过预映射误差，然后编制程序对像素抖动引起的误差进行标定或补偿，然而高精度的测量以及亚像素算法要求精确的像素描述，因此这种解决办法并不能被接受。

图表明了对这一问题更好的硬件解决方法。图像采集卡必须控制基于像素时钟的视频输入信号的抽样率。以测量为目的的图像采集卡将使用外部像素时钟代替内部时钟成为可能。在一些以测量为目的的应用，图像采集卡输出像素时钟来影响给图像采集卡。

因此每一个像素的传输都有严格的控制。最开始采集卡将提供一个像素时钟信号给相机，接着相机将产生一个新的像素时钟信号并且与视频信号一起反溃给采集卡，这样才可以确保输入的为同相视频信号且通过像素时钟来数字化（或称采样）视频信号，相位不准可能来自相机内部的电路迟延。

减小像素抖动的方法

逐行扫描

大多数显示器和相机都是以隔行方式扫描，但实际上人眼看来仍然像一个平滑的图像，相机一般先获取图像的奇数行，对于CCIR标准，它在1/50秒后再获取偶数行，而对于EIA标准，在1/60秒后再获取偶数行。

在机器视觉应用中，物体通常移动很快。当利用隔行扫描相机时，在两场之间可能物体都有移动，结果就会是一副模糊的图像，就像是两次曝光或者是在垂直边缘有梳状效应。

为了解决这种影响，可以将隔行扫描相机设成只扫描一个场，这样垂直分辨率将会减半，而帧采集速率将会提高一倍，相机的这种操作被称为场模式，或者非隔行输出，对许多机器视觉应用都很有用，场模式还能够提供敏感度加倍的好处，由垂直像素BINNING得到（像素BINNING是指CCD传感器的一个特殊读出模式，传感器将2个或多个像素绑定到一起锁定，从多个像素积累的电荷求和），场模式虽然可以提高帧速度、敏感性以及信噪比，但会降低分辨率，在要求对快速运动的物体完全垂直分辨率的应用中，应该使用逐行扫描相机。

触发机制

假设流动生产线上的产品必须由视觉系统来检测。单个产品的图像必须在它被置于在相机前某个确定的时间被取得，视觉系统对外部事件的及时响应即为触发，触发可以通过软件实现也可以通过硬件实现。一般情况下，当一个事件发生时它触发采集卡并同时触发相机的重启信号。另外，同时触发频闪器也可以帮助冻结运动物体的图像。

触发后相机总会有个响应时间，这个时间对于高速运动的物体最好能够精确控制，普通的面阵相机（没有异步触发）总是等一帧扫描完，对于N制式的相机来说这个触发响应时间就会至少有0~33ms之间的不确定时间，如果采集卡寻找同步点的时间再长一点，这个不确定的时间长度又增加了，这段时间内物体有可能已经运动出了视场区域。

为了加快相机的响应速度，就出现了异步重置（Asynchronous）功能，靠采集卡给相机施加外部时钟。当相机被异步重置，除了像素时钟，HD和VD（或相机写允许脉冲WEN）信号都被重置了。采集卡一般都是被动的带着相机的时钟信号进行驱动，相机的HD和VD（或WEN）信号分别控制采集卡的水平扫描时钟和桢扫描时钟，而相机的像素时钟则用以控制采集卡的A/D转换。

而异步重置又分为行异步方式（相机被触发后在下一个HD信号立刻回起点进行扫描）和像素异步方式（CCD在触发后的下一个像素时钟就立刻从头扫描，这样可以更加迅速响应来获取触发瞬间的图像）。如图为外部信号触发（external trigger）相机异步重置的信号信连接以及时序图。

理论上触发原则是很简单描述的，但实际上可能有些麻烦。由于触发机制是非标准的，每一个相机和采集卡都有它自己的特性，触发图像处理系统的成功实现需要相关方面的很多知识。

触发机制

长时间积分

如果最长的积分时间以及最大的增益并不能满足低光照条件的要求，就必须延长积分时间。但显然，噪声的影响会随着积分时间的延长而加强。在室温条件下，积分时间不能够超过10秒。如果图像是绝对静止的，连续拍摄的几副图像相加就能够减少噪声。第二个解决方法就是冷却CCD芯片，从噪声产生一开始就将之减小。通过空气冷却的办法，积分时间可以延长到15分钟；通过水冷却的办法，积分时间可以延长到3个小时。由于长时间的积分并不适应视频标准，因此，这种相机通常都有一个缓存来存储当前图像，直到新一个积分完成。