机器视觉应用方向项目流程及学习思路总结

今天跟大家分享关于机器视觉应用方向项目流程及学习思路总结

1. 视觉项目介绍

机器视觉在工业上的需求主要有二维和三维方面的。

二维方面的有：

识别定位：①Blob分析（主要包括二值化、形态学处理、特征选择。ps:受光照影响较大）②模板匹配（常用的是Shape匹配和Ncc匹配，有时还会用到可变形模板）；OCR光学字符识别；一维码、二维码识别及二者的结合；测量类（单目相机的标定、相机自标定）缺陷检测系列；运动控制，手眼抓取（涉及手眼标定抓取等方面）

三维方面的有：

摄像机双目及多目标定、三维点云数据重构

2. 总体项目流程

做机器视觉的项目，拿到项目时一般遵循如下流程：

（1）需求分析

（2）方案设计：根据客户应用的场合不同，选择相应的镜头、相机、支架、光源及如何打光（感兴趣的可看看《工程光学》一书）等。

（3）概要设计：包含软件架构体系，视觉开发环境（vc++联合halcon还是c#联合halcon等），还有算法流程（怎么通讯、怎么识别等）。

（4）详细设计：每一个功能模块怎么做，包括图像采集模块、处理模块、包括算法模块，如何通讯等。通常将每个模块形成一个动态库，调用相应的接口函数即可，项目图像采集调用SDK也是调用动态库的过程。

（5）测试、调试和修改。

（6）客户交付、确认。

（7）调试：根据客户反馈结果来不断的修改程序Bug。

（8）达到客户需求，最后交付客户及软硬件操作文档。

（9）后期维护。

3. 视觉算法流程

图像采集

图像预处理：包含几何变换、灰度处理、图像增强、图像滤波、二值化、图像细化等

注：图像预处理在视觉算法中一般是可选项，图像效果很好的时候可跳过该步

定位（blob分析、模板匹配）

特征提取：包含几何特征（面积、周长、矩形度）、纹理特征（与灰度相关，如熵、能量值）、概率特征、角点、特征描述算子特征等，直接影响定位、识别的效果对特征区域进行处理（根据不同工业需求选择对应的检测识别算法）结果显示

4. 机器视觉工程师需要具备的能力

4.1 图像处理相关知识

涉及以下几大领域：

图像处理的基本理论知识（图像理论的基础知识）

图像增强（对比度拉伸、灰度变换等）

图像的几何变换（仿射变换，旋转矩阵等）

图像的频域处理（傅里叶变换、DFT、小波变换、高低通滤波器设计）

形态学（膨胀、腐蚀、开运算和闭运算以及凸壳等）

图像分割（HALCON里的Blob分析）

图像复原

运动图像

图像配准（模板匹配等）

模式识别（分类器训练，神经网络深度学习等）

学习参考资料：

经典教材：冈萨雷斯的《数字图像处理》及对应的MATLAB版

杨丹等编著《MATLAB图像处理实例详解》

张铮等编著《数字图像处理与机器视觉——Visual C++与MATLAB实现》

左飞编著的《数字图像处理：原理与实践（MATLAB版）》

左飞编著的《数字图像处理技术详解与Visual C++实践》

谢凤英编著的《Visual C++数字图像处理》

《精通系列·精通Visual C++数字图像处理典型算法及实现(第2版)》

4.2 软件编程功底

软件功底的作用是软件的架构设计分析，架构包括UI层设计、业务逻辑层开发、数据层开发。以下三个方面，每个方面至少会一种，具体选择视所在公司应用而定：

编程语言：C#，C，C++（自己用哪个就学哪个）

界面框架：C#界面，Qt界面，MFC界面（比较老了，以前的项目用的较多）

图像算法处理软件：HALCON，VisionPro，OpenCV等

学习资料参考：

1.C# 可以看书籍《C#从入门到精通》、《Head First C#》、《C#入门经典》、《C#图解教程》、《C#高级编程》、《.Net Frameword 高级编程》、《CLR via C#》

2.C 语言的学习主要看谭浩强写的C语言相关知识

3.C++主要看《C++ primer plus》书籍

4.Qt 学习可以看《Qt Creator快速入门》(入门)、《C++ GUI Qt4》(进阶)

5.MFC 的学习主要看孙鑫编写的《VC++深入详解》这本书及相应的视频教程，并在VC++6.0软件或VS2010等软件上编写程序和实践

4.3 视觉硬件知识

主要在你设计方案时相机、镜头、光源等选型时起到关键作用。

学习资料参考：

主要阅读书籍《工程光学》、重点放在几何光学方面，了解成像原理及相应的光路分析，知道光源的特性、镜头分辨率、相机分辨率等方面的知识。

5. 学习机器视觉的一些建议

1.学习机器视觉一定要结合项目实战，在实践中学习总结经验教训，系统化学习所需知识。

2.补充一定的C++和c#知识，进行VS联合开发，客户现场的学习和现场调试，不断学习示例分析，掌握方法套路流程。

3.根据实际问题，学习模块调用，按照方法套路学习。

4.最好是先用Halcon等视觉处理软件实现图像处理部分，然后在VS开发软件中利用MFC或Qt等图形界面实现出来，实践学习是最好的方法。

机器视觉学习的发展趋势是结合神经网络、深度学习进行相应的人工智能机器视觉开发。

审核编辑 ：李倩