“超强煤矿大脑”智能视频（AI行为分析）应用

一、“超强煤矿大脑”应用背景及意义

煤矿行业是我国国民经济的支柱产业，在全国能源结构和一次能源消费中占有重要比例，2020年我国的一次能源消耗其中煤炭占比达到 57%。目前，由于国家宏观政策产业结构调整和技术进步，我国煤矿安全生产事故总量逐年下降，安全生产整体形势总体稳定好转，但是与欧美等采煤先进的发达国家相比，在煤矿事故发生总数量以及死亡人数上仍然差距十分明显。据数据统计，中国的煤炭开采中的死亡人数超过全世界煤矿死亡人数总和的 3 倍多，我国依旧是全球发生煤炭事故死亡情况最严峻的国家。煤矿井下是一个环境多变复杂，工作环节较多，作业人员数量较多，设备庞大集中的综合性危险系数较大的产业，每时每刻都可能出现安全隐患，容易发生安全事故。通过从大量的煤矿死亡事故统计中可以发现，80%以上的死亡事故都是由于作业人员的不安全行为所导致的。大量的数据显示，人的违规行为会受到人因，环境，设备、组织等较多因素（如图 1 所示）的影响，其中，井下工作人员的安全行为能力不足是引起违规行为发生的最根本原因。如果想要更好地减少煤矿事故的发生，保证煤炭产业的安全发展，就必须在当前的技术能力以及政策的情况下，从本源出发，减少违规行为的产生。

图 1煤矿事故致因分析图

目前现代化高产高效矿井安装了视频监控系统，在地面设置了调度指挥中心，采取安全管理值班人员实时盯着各重点位置，及时消除隐患。但井下点多面广环节多，难以长时间保持警觉，调度人员不可能 24 小时实时监控，无法进行及时获取相关隐患信息。所以，需要研制一套“超强煤矿大脑”视频智能识别设备替代监控人员，实时发现各种事故隐患，立即进行预警和发出控制信息，避免重大事故的发生。

通过本项目的实施，将人工智能技术和计算机视觉技术有机融入煤矿安全生产各个环节，能够减少井下作业员工违章行为数量，及时发现设备和环境事故隐患，提高煤矿安全生产的智能化管理水平，适应国家安监总局对提高煤矿自动化应用程度的要求和我国煤矿安全高效生产的发展趋势。因此，“超强煤矿大脑”视频智能识别设备的应用具有重要意义。

二，国内外研究现状

纵观国内外出现的基于视觉的图像目标检测识别的技术和方法，大体可归结为两大类，一类是传统手动提取特征的机器学习方法，采用人工设计方法提取特征，进行训练学习，把训练后的特征送入分类模型，进行行为和图像识别（如图2所示）。特征提取算法主要有Harris、HOG、SIFT、LBP、SURF、DPM、FAST等，分类算法有 SVM 算法［33］、Adaboost 算法等。这些方法需要设计人员具有一定的设计技巧，虽然运行速度较快，但提取特征不完整、鲁棒性差以及无法提取深度特征信息。

图2 传统行为目标检测识别流程

另一类是基于深度学习的行为识别和图像识别方法，常见的有基于CNN卷积神经网络的RCNN、Fast-RCNN、Faster-RCNN以及基于回归的单阶段SDD、YOLO等方法。

所有的深度学习识别方法都是基于多层卷积神经网络， 卷积神经网络是一种具有深度结构的前馈人工神经网络，对输入信息实现非线性表征，一般CNN包含多个卷积层、池化层、全连接层，每个网络层完成不同的任务，且每种网络层具体层数据网络需求确定，各网络层相互配合完成特征提取。一般的CNN结构如图3所示

图3 卷积神经网络结构

RCNN目标检测识别方法，RCNN系列目标识别算法均是基于RCNN改进而来的，RCNN目标识别方法是首个可以应用于工业级别的解决方案。它的提出改变了目标检测领域的主要研究思路，之后的FAST RCNN、 FASTER-RCNN等算法都沿袭了RCNN的思想。RCNN算法思路流程如图4所示。

图4 RCNN算法思路流程

因为RCNN系列目标检测算法，均需要经过候选框选取与CNN特征提取两步，所以时间复杂度高，无法实时检测目标。有人提议能不能舍弃矩形候选框提取分支，直接基于候选框回归从图像中检测出目标的类别以及位置，这时，YOLO，SSD算法出现了。

YOLO目标检测识别方法

基于回归的目标检测算法中，YOLO和SSD是典型代表，将候选框选取、特征提取和分类全部在一个无分支的卷积神经网络中完成，简化了网络结构并加快了检测速度，目标检测算法迈入了可以实时应用的时代。本小节中对YOLO算法V3版本进行介绍。

YOLO整体流程十分简单，如图5所示。将待检测的图片，缩放成448 x 448大小的图像，将整张图缩放后的图像送入YOLO算法中构建的卷积神经网络中完成特征提取、目标分类以及bounding box回归操作。最终同时得到矩形预测框的位置以及框内目标分类的概率分布。

图5 YOLO目标识别检测流程图

虽然经过YOLO算法改进，提升了识别速度和准确率，但和实际工业应用需求还是具有一定距离。尤其在煤矿监控视频流中，使用这些方法无法在识别精度和速度上满足要求。

基于煤矿监控视频流进行违章行为识别、设备环境隐患识别，由于视频流数据量较大，加上煤矿井下环境嘈杂、煤尘水雾影响、光照度低和照明亮度变化较大，成功案例较少。从基于视频的人体行为识别研究来看，主要有传统人体行为识别技术和基于深度学习的人体行为识别技术。

传统行为识别算法的核心也是基于特征工程的，处理输入视频数据时包含基于手工构造特征进行特征提取、特征处理、特征分类三个流程。传统行为识别算法流程如图6 所示。传统行为识别算法中，最具有代表性的算法就是iDT算法，它是传统行为识别算法中识别效果最好的方法，由DT算法上改进得来。DT算法基本思路是利用光流场来获取运动轨迹，之后沿着运动轨迹提取四种特征：HOG、 MBH、 HOG、trajectory，采集特征后进行特征编码，再用编码结果训练分类器SVM用于特征分类。iDT在DT的基础上加入相邻两帧的光流对比和关键点匹配算法SURF，在一定程度上降低了摄像机运动对行为识别结果的影响。基于视频图像的传统识别算法直接使用视频帧序列进行检测和学习，其缺点是在环境变化较大时鲁棒性较差。

基于深度学习的行为识别算法使用CNN来挖掘行为特征信息，根据算法的输入数据格式分类，第一种为基于人体骨骼节点的行为识别，第二种为基于视频图像的行为识别。基于人体骨骼的识别算法依赖于准确的骨骼提取，且受光照这些环境因素影响较小，目前己经有kinect摄像头等技术可以准确快速地提取人体骨架节点信息。但是这些算法需要专用的提取深度信息的专用摄像头。

通过前面国内外研究现状可以看出，现有方法直接用于煤矿监控视频流智能分析和识别存在鲁棒性差、算法复杂、识别准确性和速度无法满足煤矿安全生产实际需求，但是这些方法为进一步研究煤矿视频智能识别提供了良好的基础。

三，“超强煤矿大脑”主要原理与关键技术

（1）建立煤矿安全隐患危险源数据集；

从前面分析可以看出，任何基于视频的智能识别分析系统，离不开大量数据集的建立，针对每个需要监控识别的重要工作场所，采集大量含有安全隐患的视频和图像数据，进行标准，为通用模型建立提供数据基础，并能为国内外同类研究提供相应的支撑；

（2）基于深度学习和Open pose算法，研究适合煤矿安全生产实际的违章行为、设备故障检测识别和环境危险因素识别算法；

在之前研究的基础上，提出适应于煤矿监控视频的安全隐患识别算法，能够满足煤矿安全生产实际需求，在准确性和速度方面由于现有方法。

（3）利用煤矿安全隐患危险源数据集和煤矿安全违章行为、设备环境隐患识别算法，在工业实验矿井训练能够满足需求的识别模型；

（4）研制煤矿视频识别统一平台设备，集成煤矿已有海量数据，进行识别、报警和设备联动。

四，“超强煤矿大脑”功能

隐患识别

对各种物的不安全状态、设备的异常情况进行实时识别，比如可实现皮带跑偏、堆煤、撕裂、皮带上的大煤块、锚杆的识别及报警，必要时紧急停车，可避免由于大块煤、锚杆造成的设备损坏、堆煤等事故。可识别工作面支架护帮不到位、风窗风门没有关闭、岔道红绿灯不亮等安全隐患，并进行广播告警。

l 人员违章违规行为识别

实现井下人员各种常见违章违规行为的视频自动识别、图像抓拍、声音预警、实时自动统计分析，防止各类人员伤亡事故发生。比如违章乘坐皮带、矿车、在轨道上行走、工作期间疲劳操作、打瞌睡、乘车时工具伸出车外，进入危险地点、在危险地点、场所行走、乘车站点拥挤等。

l 环境的不安全因素

实现巷道、工作面、掘进头等场所变形、偏帮、冒顶、落石、地鼓等环境不安全因素的实时识别检测，当超过规定数值时，及时记录报警，方便相关人员及时采取措施进行维修维护。

五，“超强煤矿大脑”通过多种技术手段提高煤矿安全生产的智能化管理水平。

涉及算法：

AI神经网络的深度学习算法、视频结构化技术、人脸识别算法、人脸比对算法、人体识别算法、物体识别算法、活体算法、3D画面矫正算法、移动侦测算法、图像比对算法、物体轨迹算法、人体跟踪算法等。

部分算法功能展示

【定义】在煤炭皮带运输机运送物料时皮带跑偏，皮带向左或向右跑偏。

【场景】煤炭落料无规律的偏向输送带的任意一边，使皮带的重力作用不均，导致皮带两边的张力不同，从而造成皮带跑偏。

【定义】当煤炭皮带运输机运送物料时出现超过规定煤炭的大块，则定义为大煤块检测。也可以扩展检测采用传送带运送的常见颗粒物（比如煤炭、砂石、粮食等）超过规定的大小。

【场景】煤炭皮带运输机，适用V形或梯形截面传送带也可以定制其它形状的传送带，适用于采矿、粮仓、酒厂制造等场景

【定义】当煤炭皮带运输机运送物料时出现锚杆，则立即锚杆检测预警。

【场景】煤炭皮带运输机，适用V形或梯形截面传送带也可以定制其它形状的传送带，适用于采矿。

【定义】风门长时间敞开或关闭不严，立即预警。

【场景】风门长时间敞开或关闭不严，就会破坏矿井通风系统，造成风流紊乱，使有害气体聚集，给矿井安全带来危险隐患，瓦斯突出逆流波。煤矿风窗风门没有关闭，可以预警，自定义设置时间。

【定义】当监控摄像机检测到有人携带超长工具，超大工具乘坐猴车则定义携带工具预警。

【场景】矿井工人上下班时间，乘坐猴车。

【定义】警戒区域有人越位闯入，或有人越位乘车。

【场景】矿井危险禁区，或超越乘坐车的范围。

【定义】人数达到系统设定人数，且在较短的时间内人数达到上限立即报警。

【场景】该功能主要应用于矿井有些场景需要控制人数，用于检测关键点位人数。以防人数过多发生安全隐患。

【定义】当有人在值班室，坐在椅子上的活跃度极低，甚至一动不动，则有可能是在睡觉，系统定义为睡岗

【场景】值班岗位

【定义】当应该要有人值班的岗位，长时间没有人的情况下，则定义为缺岗

【场景】值班岗位

【定义】诊断摄像机状态是否正常、异常、离线（被遮挡，被切断电源，被剪断线路）

【场景】任何监控场景

【企业介绍】

微视图灵以人工智能、物联传感技术为核心，利用自主知识产权的深度学习架构、机器视觉、深耕行为分析算法技术研发， 结合人脸识别、人体识别、物体识别等人工智能算法、致力于为用户提供全球领先的人工智能产品和行业解决方案。

核心技术团队来自中科院，清华大学，电子科技大学等知名学府。 专注于计算机视觉和深度学习，布局城市安防，打通AI在智慧司法、智慧校园、智慧养老、智慧交通、智慧医院、智慧社区等几大垂直场景的应用。（欢迎合作：0755-8981 5448）

［作者简介］

王德永，教授，高级工程师。主要研究方向为矿山信息化、视频行为识别等，先后主持或参与国家社科基金和省部级教学项目、省级自然科学科研项目 10 多项，主持项目获河南省科技进步三等奖1项、河南省第六届高等学校教学成果二等奖1项，主持和参与国家精品课程 1 门，省级（教指委）精品课程 5 门，省级精品资源共享课程 2 门，主编参编公开出版发行的工学结合教材开发15本；公开发表论文 23篇，其中 EI 收录 10 篇。