机器视觉火了，三大问题如何解决？

机器视觉是人工智能的一个分支，简单来说，就是用机器代替人眼来做测试和判断。运用机器视觉可以提高生产的灵活性和自动化程度，目前随着核心技术的不断完善，机器视觉下游应用场景不断拓展，包括消费电子、汽车、半导体、虚拟现实、智能安防、健康医疗等。

与人类视觉相比，机器视觉功能范围不仅包括对信息的接受，同时还延伸至对信息的处理与判断，整体包括相机、镜头、视觉控制器、图像处理、传感器、算法平台等。一个典型的机器视觉应用系统包括图像捕捉模块、图像数字化模块、图像处理模块、决策模块、机械控制执行模块以及光源系统等。

机器视觉在实际应用中，还存在很多问题，比如缺陷样本太少怎么办，面对未知缺陷混入有没有更好的解决方案等等。在2019年10月10日的机器视觉研讨会上，机器视觉领域专业人士就机器视觉的工作流程细节、实际项目中遇到的问题及解决方案等做了详细分享和解读。

机器视觉是如何工作的？

机器视觉的工作过程离不开深度学习，深度学习是机器学习研究中的一个新领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像、声音和文本，深度学习的概念源于人工智能神经网络的研究。

深度学习的工作流程大致可概括为标注、训练和推理。首先，人工收集和采集图像，标注特征，形成数据；然后，将这些数据喂给计算机，让计算机进行训练，生成网络进行评估，如果这个网络的性能符合要求，就可以上线，实现检测。网络在上线之后，会产生大量的数据，这些数据又可以变成新的样本，通过加入数据，进行迭代优化，让网络和检测系统越来越好。

在深度学习的过程中，建立一个高质量的训练数据集非常关键。高质量训练数据集对于成功部署深度学习解决方案至关重要，边缘情况或者标记不当的数据集会使网络混乱，而标记良好、内部一致的数据集的效果会更佳，训练图像必须在其所代表的类别中具备典型，训练图像样式必须尽量贴近系统部署时会遇到的图像。

深度学习对于机器视觉的应用大致可以分成三种，一是分类，即可以将产品分为合格和不合格，这是深度学习最大的一个应用；二是定位，即帮助使用者定位物体的位置和数量；三是分割，即可以找到缺陷的轮廓，基于缺陷的轮廓和大小，对产品进行更精细的判别。

相对于传统机器学习，深度学习对于机器视觉的作用更显著，研华（中国）有限公司智能设备事业部资深产品经理孙鸣聪认为，在某些方面，深度学习视觉解决方案会比传统机器视觉解决方案更具优势，前者可以分析无规律图像，精确度高，后者无法分析无规律图像，精确度低。

在应对无规律图像方面，深度学习机器视觉解决方案，即使图像复杂，通过深度学习算法，软件可以自动学习瑕疵的特征，使得无规律图像的分析变得可能；而传统机器视觉解决方案，当图像不规则、无规律时，缺陷的特征很难通过手动设定，无法分析图像。

在精确度方面，深度学习机器视觉解决方案，可通过深度学习算法和制造业特有的数据提高检测的精确度；传统机器视觉解决方案，如果缺陷部分和之前设定好的缺陷有轻微的出入，传统视觉都无法检测出这样的缺陷，导致检测的精确度低。

虽然深度学习在很多方面具有优势，不过也并不是所有任务都适用。FLIR Systems,Inc.现场应用工程师王重普指出，深度学习可以为强主观性或定性问题提供很方便的解决方法，主观性问题或由多种条件复杂的相互作用而得出答案的问题是较为理想的应用。但是，深度学习并非有益于所有任务，他认为，许多基本的检验任务适合通过传统机器视觉技术来完成，比如存在或缺少可清晰界定的特征、测量和对位。

实际应用中存在哪些问题？

虽然，机器视觉在实际应用中存在很多问题需要改进和优化。在研讨会上，中国大恒（集团）有限公司北京图像视觉技术分公司资深解决方案工程师李东平分享了他们在项目中遇到的几个问题以及解决方案，这几个问题分别是，一、缺陷样本太少，二、标注工作量过大，三、混入未知缺陷。

一、缺陷样本太少的问题，比如iWatch，因为苹果的产品品控非常高、良品率高、缺陷量很少，它能提供的缺陷样品就非常少，这样就没有足够多的缺陷数据可以进行训练。

二、标注工作量大的问题，对于缺陷检测和分割来说，标注的时候需要把缺陷都描出来，如果对于图像覆盖比较大，缺陷比较多的话，工作量就比较大。

三、混入未知缺陷的问题，在生产过程中已经知道了几种缺陷，但是不知道将来会出现哪些缺陷，比如生产过程，突然混入异物、其他料，事先不知道会混入什么料，没有进行训练，机器就检测不出来，会将不合格产品作为合格产品输出。

面对这些问题，大恒图像尝试让机器只学习好的样本，没有坏的样本，因为只学习好的样本，就不需要标注，只需要少量好的样本。如果给机器输入一张不好的图片，它就会给出缺陷的区域，因为只训练好的样品，任何缺陷都可以检测出来，而且运行过程也会很快。

对于混入未知缺陷的问题，广东奥普特科技股份有限公司总监贺珍真认为，将传统机器学习和深度学习搭配使用也是一种可行方案。在他看来，传统机器学习和深度学习各具优劣势，外观检测有一种情况，可以看出对比度非常高，用传统方法处理，会非常的稳定和快速。

而深度学习对瑕疵分类则会更有优势，比如客户需要分出缺陷种类，他们用传统方法花了两个月时间调好之后，如果换另外一种物料，又得重新调，这种情况便适合使用深度学习。然而对于没有进行训练的缺陷出现，深度学习就没有办法检测出来。

如果生产的过程中出现这种情况，奥普特尝试用传统的方法和深度学习一起应用，传统的方法解决传统的、快速的问题，甚至把合格品分出来，再用深度工具去做一些瑕疵的分类。

总结

随着智能化水平不断提高，机器视觉已经进入高速发展期，中国机器视觉市场需求也将不断增长，报告显示，2018年中国机器视觉市场规模超过100亿元，预计2019年市场规模将接近125亿，面对日益扩大的市场需求，不断发现实际应用中的问题，并优化产品解决方案是企业能够站稳市场位置的一个重要关键点。