安防监控视频结构化那些事儿

随着高清化视频监控的演进和平安城市建设的飞速发展，监控摄像机遍布大街小巷。据不完全统计，一个中等规模的城市就有上万路乃至数十万路摄像机覆盖，这是一个蕴含海量信息的庞大系统，每天产生的视频数据相当于1000亿张照片。

海量的视频记录了少部分价值信息，这些价值信息为大多数事件留下了影像资料，为事后追溯事件真相、维护社会治安、预防并打击违法犯罪、保障生命财产安全、促进日常工作生活正常运行带来巨大便利。

即便不考虑各个监控系统之间的信息关联，光浏览这些视频就需要花费大量的人力物力。解决这一问题的核心技术即视频结构化描述技术，将海量视频或图片的非结构化数据提取并转化为结构化信息描述。

视频结构化是将视频内容按照语义关系，采用时空分割、特征提取和对象识别等处理手段，组织成可供计算机和人理解的文本信息技术，并进一步转化为公安实战所用的情报，实现视频数据向信息、情报的转化。

视频内容管理平台支持实时视频和历史视频分析，按照不同智能分析算法模型，采用结构化标准语义定义，将提取结构化信息存储到分布式数据库（元数据），按照业务需求设定智能分析算法规则，支持对视频进行快速、高效研判。

实时视频结构化分析包括智能行为行析、车辆（包括车牌）信息结构化。历史视频结构化分析包括车辆（包括车牌）、视频摘要和视频搜索结构化。

智能行为分析结构化信息主要包括：目标的颜色（占比最大的颜色）、坐标（目标画面中心点）、种类（人、车、物）、时间，所关联的视频，目标的尺寸。

车辆结构化信息包括：车牌号码、车牌颜色、车辆颜色、车辆特征（车辆类型、车辆品牌、车辆子品牌、年款和局部特征），所关联的视频。

视频搜索结构化信息包括：目标坐标（目标画面中心点）、目标轮廓、时间，所关联的视频以及帧号，目标的尺寸。

视频搜索通过对非结构化的原始视频数据进行智能分析，通过对背景和前景建模处理，提取出视频中运动目标对象的信息、颜色、尺寸、轨迹等，并建立目标对象的结构化数据库，侦查人员可以通过设置目标类别（人、车、物）、出现区域、运动方向和轨迹等搜索条件，通过对目标颜色模糊匹配，快速从视频中搜索出满足条件的目标对象，并以视频缩略列表的形式展现，通过图片跳转播放目标对象在原始视频中的真实场景，侦查人员可以进行更进一步的分析研判，提高侦查人员从海量视频中查找目标的效率。

具体视频搜索分为元数据提取和视频搜索处理两部分，如下：

视频搜索元数据提取示意图

1、视频帧采用基于运动目标的行为分析处理，通过背景建模、前景提取、目标跟踪等，提取图像的背景图和目标元数据信息。

2、目标元数据包括目标轨迹、目标大小（像素大小）、目标颜色（黑、白、红、黄、绿、蓝、未知）和目标类型（人、车、未知）。

3、将目标元数据存到数据库元数据表。元数据表包括视频文件id、对象id、目标大小、目标类型、目标颜色、目标轨迹和起止时间。

视频搜索处理示意图

1、搜索分为两种方式：目标搜索，输入条件包括目标类型（人/车/物），目标颜色（黑、灰、白、红、黄、绿、蓝），目标大小、目标区域和排除区；以及轨迹搜索。根据输入条件搜索元数据表，返回对应元数据。

2、根据元数据查询到的结果和目标的轨迹信息（以x、y、width、high、time的二进制序列表示），获取轨迹中点的时间戳，抓取视频文件对应时间戳的帧，并截图。

如果是目标搜索，将对应的目标加框并标识，并截图存储。

如果是轨迹搜索，将元数据表中记录的目标轨迹叠加到对应帧上，并截图存储。

案例1#：

2014年X月X日上午9:30，XX市北关公安分局民警接到报案称有人被撞伤，民警根据线索信息确认：嫌疑车辆为“白色北京现代-朗动”小型车，牌照看不清楚。民警利用“视频大数据结构化系统”，对案发生前后的1个半小时内10万余条车辆行驶记录进行批量搜索，系统在1秒钟左右从10万余条数据中查找出160辆“白色北京现代-朗动”小型车在路上行驶；再经人工排查，确认嫌疑车辆，车牌为“*P92347”，整个案件从接案到成功抓获嫌疑人前后共两个多小时。

案例2#：

2014年X月X日晚20:00，在XX市汽车站附件发生一路人被撞伤案件。确认线索信息：逃逸车辆为“黑色大众”轿车，无号牌。办案民警通过“视频大数据处理云存储中心”，对案发1个月前97万多条车辆信息进行排查，快速检索出 2月1日—5日，发现有一台黑色“大众-帕萨特”无牌车辆在城区共出现8次。通过对该车多次历史过车记录进行追踪、分析，确认该车经常驶入同一小区，后经地面侦查将嫌疑人抓捕归案。

案例3#：

201X年X月X日下午三时许，XX市XX镇人民路人民大厦XX发生一宗盗窃案件。民警根据案件线索，利用视频结构化系统提取的人脸图片与人像库、人脸图片库中的信息进行比对分析，共查询到40余张相似的人脸图片。经人工排查，最终掌握嫌疑人身份信息。

有人说2019年的安防主题是“泛安防，去安防”，体现了安防企业的外延需求以及AIoT企业打破安防边界的意愿。AIoT时代，视频大数据的量产爆发，如若不能进行智能化整合与分类，那么这些数据就只是AIoT世界中的废料和垃圾山而已。视频结构化技术将原始视频数据精缩，变为更易查找、占存储更小且更具备应用价值的高精度数据，是 AI Cloud、城市大脑、安防视觉中枢、视频编码及车辆结构化、ReID等场景应用落地的关键技术。