安防AI大数据的流程解析及数据处理技术

说到安防，人们可能首先会想到视频监控。视频监控从最早的模拟闭路监控系统开始，经历过模拟监控、数字监控、网络监控等重要发展阶段，如今进入了大数据的时代。随着人工智能、大数据的迅速发展，用现有的数据库管理工具难以管理所有的数据集合。

对于安防AI，看上去是AI，实际上最后是大数据，大数据才是智能化的基础。人工智能、深度学习、机器学习、大数据应用在安防AI中， 说到底都是对大数据的采集、建模和应用。本文大致说一下安防AI中，对于大数据的运用过程与环节，让大家有个大致的印象。

|| 安防AI大数据流程三个环节

数据采集

数据采集，有说数据获取，这是数据的来源，安防AI中这个数据是来源于视频监控系统中的视频流，当然往大了说安防，还包括很多内容，但是基本都是以视频监控为核心，这里主要指视频监控系统。

数据预处理

对于采集到的实时或者历史视频，是只能看不能应用的，要调用就得结构化，先给视频流解码，把视频流还原成一张张图片，再对图片进行预处理。可能不同的公司对预处理包含的步骤内容说法不太一致。先对图片进行目标清洗垃圾，清洗掉模糊的、不合尺寸的，目标无法识别的、无目标对象的等等。

当然，有些场景可能只有这样的图像，这需要用到另外一些图像处理方法，和我们的主题相关但不是一回事。这样我们就可以得到基本符合要求的图像。然后对这些图像中的目标对象进行检测和分割，并改变目标的大小与标准图片大小一致，目标对象包括人形、人脸、车形等，这样就可以拿去训练模型了。

模型训练

对图片中的目标对象进行识别，提取和构建模型，在安防AI中，需要的结构化描述是比较具体的，比如对人的描述就包括性别、年龄、发型特征、发饰、上衣款式特征、下衣款式特征、鞋帽款式特征、交通工具特征、随身物品特征、同行人特征等一系列描述。对车的描述包括车牌号码、厂牌、车身颜色、车辆品牌、车辆类型、车辆特征物(如：年检标、挂饰、纸巾盒、遮阳板)等。

有了这些识别模型，就可以通过语义分析等技术对视频数据进行分类处理存储，并通过后端服务器的智能分析功能进行业务处理，将人、车、物的信息从数据中分离出来。这样公安民警就可以进行快速检索、条件搜图(人)、以图搜图，再配以图片的拍摄地点、时间等数据，就可以进行轨迹查询，再匹配一下大安防系统中的住宿、手机号码、车票等大数据，基本上嫌疑人就是插翅难逃，这对民警的破案效率将是百千倍的提升。这才是安防AI真正的价值所在。

|| 安防AI数据预处理技术及方法

目前常见的数据预处理技术

1)数据清理

数据清理例程就是通过填写缺失值、光滑噪声数据、识别或者删除离群点，并且解决不一致性来进行“清理数据”。

2)数据集成

数据集成过程将来自多个数据源的数据集成到一起。

3)数据规约

数据规约是为了得到数据集的简化表示。数据规约包括维规约和数值规约。

4)数据变换

通过变换使用规范化、数据离散化和概念分层等方法，使得数据的挖掘可以在多个抽象层面上进行。数据变换操作是提升数据挖掘效果的附加预处理过程。

|| 数据清理方法

1)缺失值

对于缺失值的处理，一般是能补的就想办法把它补上，实在补不上的就丢弃处理。通常的处理方法有：忽略元组、人工填写缺失值、使用一个全局变量填充缺失值、使用属性的中心度量填充缺失值、使用与给定元组属同一类的所有样本的属性均值或中位数、使用最可能的值填充缺失值。

2)噪声数据

噪声是被测量变量的随机误差或方差。去除噪声、使数据“光滑”的技术有分箱、回归、离群点分析等。

3)数据清理过程

这个环节主要包括数据预处理、清理方法、校验清理方法、执行清理工具及数据归档。数据清理的原理是通过分析“无效数据”产生的原因和存在形式，利用现有的技术手段和方法去清理，将“无效数据”转化为满足数据质量或应用要求的数据，从而提高数据集的数据质量。常用的工具有Excel、Access、SPSS Modeler、SAS、SPSS Statistics等。

4)模型构建数据统计分析

数据统计为模型构建提供基础，只有通过数据统计分析探索到了数据中隐藏的规律，深度学习才有意义，人工智能才有可能。数据统计又包括数据分析与结果分析，基本的分析方法有：对比分析法、分组分析法、交叉分析法、因素分析法、结构分析法、漏斗图分析法、矩阵关联分析法、综合评价分析法等。

高级的分析方法有：主成分分析法、因子分析法、对应分析法、相关分析法、回归分析法、聚类分析法、判别分析法、时间序列等。这些类别并不是独一使用的，往往是混合使用的，然后再通过进一步的分析对比从中挑选某些组合模型。

5)数据可视化

数据可视化，就是通过一些可视化图形或者报表形式进行展示，增强对分析结果的理解。再针对结果进行进一步的数据再分析，使得整个业务环节形成闭环。只有闭环的数据才能真正发挥出深度学习的效用。

|| 安防AI大数据的应用

安防大数据的应用当前是围绕提升破案率和提升警务工作效率为中心的，要想在安防数据的基础上开发出优秀的应用，必须要深入了解警务工作流程，从接处警、现场勘查、情报研判、应急指挥、关联碰撞、合成作战，再到各类型警用装备间的互联互通，再到各警种间的配合，再到各警种业务数据库间的融合。这些都要有详细地了解，才能发现针对刑侦破案、治安防控、交通管理的应用间的差异。

举例说，比如针对嫌疑人的追踪，可能是脸，但是大部分时候视频是识别不出脸的，这是事实，人脸识别仅在车站、机场、银行等卡点场景才有用。但是绝大多数逃犯都是有点反侦察能力的，不是看到摄像头就绕着走，就是故意遮挡不让看，或者干脆等到天黑再走。

这时候能运用到的主要就是通过嫌疑人的外形特征进行追踪，以图搜图配上区域范围选择、时间段选择，再配上同行人特征、随行物品特征、工具特征，就可以有效地对嫌疑人进行高效筛选，再通过综合情报进行轨迹研判，这种情况下，嫌疑人几乎就是瓮中之鳖，上天无路入地无门。如果再出现小朋友老年人走失，想找到就是分分钟的事，再也不会出现让发动大批警力沿街查找，动辄耗费数十个小时的情况了。这样，公安会不喜欢么?

说到底，大数据最终是为应用服务的，只有最后真正提高了公安民警的工作效率和破案率，才能证明安防AI的价值和意义。这就要求我们既要懂AI业务，又要懂公安业务。脱离了这两者，想让安防AI得到大面积推广是连想都不要想的。