张飞软硬开源基于STM32 BLDC直流无刷电机驱动器开发视频套件,👉戳此立抢👈

安防AI大数据的流程解析及数据处理技术

视频监控安防D1net 2018-11-27 15:25 次阅读

说到安防,人们可能首先会想到视频监控。视频监控从最早的模拟闭路监控系统开始,经历过模拟监控、数字监控、网络监控等重要发展阶段,如今进入了大数据的时代。随着人工智能、大数据的迅速发展,用现有的数据库管理工具难以管理所有的数据集合。 

对于安防AI,看上去是AI,实际上最后是大数据,大数据才是智能化的基础。人工智能、深度学习机器学习、大数据应用在安防AI中, 说到底都是对大数据的采集、建模和应用。本文大致说一下安防AI中,对于大数据的运用过程与环节,让大家有个大致的印象。

|| 安防AI大数据流程三个环节

数据采集

数据采集,有说数据获取,这是数据的来源,安防AI中这个数据是来源于视频监控系统中的视频流,当然往大了说安防,还包括很多内容,但是基本都是以视频监控为核心,这里主要指视频监控系统。

数据预处理

对于采集到的实时或者历史视频,是只能看不能应用的,要调用就得结构化,先给视频流解码,把视频流还原成一张张图片,再对图片进行预处理。可能不同的公司对预处理包含的步骤内容说法不太一致。先对图片进行目标清洗垃圾,清洗掉模糊的、不合尺寸的,目标无法识别的、无目标对象的等等。

当然,有些场景可能只有这样的图像,这需要用到另外一些图像处理方法,和我们的主题相关但不是一回事。这样我们就可以得到基本符合要求的图像。然后对这些图像中的目标对象进行检测和分割,并改变目标的大小与标准图片大小一致,目标对象包括人形、人脸、车形等,这样就可以拿去训练模型了。

模型训练

对图片中的目标对象进行识别,提取和构建模型,在安防AI中,需要的结构化描述是比较具体的,比如对人的描述就包括性别、年龄、发型特征、发饰、上衣款式特征、下衣款式特征、鞋帽款式特征、交通工具特征、随身物品特征、同行人特征等一系列描述。对车的描述包括车牌号码、厂牌、车身颜色、车辆品牌、车辆类型、车辆特征物(如:年检标、挂饰、纸巾盒、遮阳板)等。

有了这些识别模型,就可以通过语义分析等技术对视频数据进行分类处理存储,并通过后端服务器的智能分析功能进行业务处理,将人、车、物的信息从数据中分离出来。这样公安民警就可以进行快速检索、条件搜图(人)、以图搜图,再配以图片的拍摄地点、时间等数据,就可以进行轨迹查询,再匹配一下大安防系统中的住宿、手机号码、车票等大数据,基本上嫌疑人就是插翅难逃,这对民警的破案效率将是百千倍的提升。这才是安防AI真正的价值所在。

|| 安防AI数据预处理技术及方法

目前常见的数据预处理技术

1)数据清理

数据清理例程就是通过填写缺失值、光滑噪声数据、识别或者删除离群点,并且解决不一致性来进行“清理数据”。

2)数据集成

数据集成过程将来自多个数据源的数据集成到一起。

3)数据规约

数据规约是为了得到数据集的简化表示。数据规约包括维规约和数值规约。

4)数据变换

通过变换使用规范化、数据离散化和概念分层等方法,使得数据的挖掘可以在多个抽象层面上进行。数据变换操作是提升数据挖掘效果的附加预处理过程。

|| 数据清理方法

1)缺失值

对于缺失值的处理,一般是能补的就想办法把它补上,实在补不上的就丢弃处理。通常的处理方法有:忽略元组、人工填写缺失值、使用一个全局变量填充缺失值、使用属性的中心度量填充缺失值、使用与给定元组属同一类的所有样本的属性均值或中位数、使用最可能的值填充缺失值。

2)噪声数据

噪声是被测量变量的随机误差或方差。去除噪声、使数据“光滑”的技术有分箱、回归、离群点分析等。

3)数据清理过程

这个环节主要包括数据预处理、清理方法、校验清理方法、执行清理工具及数据归档。数据清理的原理是通过分析“无效数据”产生的原因和存在形式,利用现有的技术手段和方法去清理,将“无效数据”转化为满足数据质量或应用要求的数据,从而提高数据集的数据质量。常用的工具有Excel、Access、SPSS Modeler、SAS、SPSS Statistics等。

4)模型构建数据统计分析

数据统计为模型构建提供基础,只有通过数据统计分析探索到了数据中隐藏的规律,深度学习才有意义,人工智能才有可能。数据统计又包括数据分析与结果分析,基本的分析方法有:对比分析法、分组分析法、交叉分析法、因素分析法、结构分析法、漏斗图分析法、矩阵关联分析法、综合评价分析法等。

高级的分析方法有:主成分分析法、因子分析法、对应分析法、相关分析法、回归分析法、聚类分析法、判别分析法、时间序列等。这些类别并不是独一使用的,往往是混合使用的,然后再通过进一步的分析对比从中挑选某些组合模型。

5)数据可视化

数据可视化,就是通过一些可视化图形或者报表形式进行展示,增强对分析结果的理解。再针对结果进行进一步的数据再分析,使得整个业务环节形成闭环。只有闭环的数据才能真正发挥出深度学习的效用。

|| 安防AI大数据的应用

安防大数据的应用当前是围绕提升破案率和提升警务工作效率为中心的,要想在安防数据的基础上开发出优秀的应用,必须要深入了解警务工作流程,从接处警、现场勘查、情报研判、应急指挥、关联碰撞、合成作战,再到各类型警用装备间的互联互通,再到各警种间的配合,再到各警种业务数据库间的融合。这些都要有详细地了解,才能发现针对刑侦破案、治安防控、交通管理的应用间的差异。

举例说,比如针对嫌疑人的追踪,可能是脸,但是大部分时候视频是识别不出脸的,这是事实,人脸识别仅在车站、机场、银行等卡点场景才有用。但是绝大多数逃犯都是有点反侦察能力的,不是看到摄像头就绕着走,就是故意遮挡不让看,或者干脆等到天黑再走。

这时候能运用到的主要就是通过嫌疑人的外形特征进行追踪,以图搜图配上区域范围选择、时间段选择,再配上同行人特征、随行物品特征、工具特征,就可以有效地对嫌疑人进行高效筛选,再通过综合情报进行轨迹研判,这种情况下,嫌疑人几乎就是瓮中之鳖,上天无路入地无门。如果再出现小朋友老年人走失,想找到就是分分钟的事,再也不会出现让发动大批警力沿街查找,动辄耗费数十个小时的情况了。这样,公安会不喜欢么?

说到底,大数据最终是为应用服务的,只有最后真正提高了公安民警的工作效率和破案率,才能证明安防AI的价值和意义。这就要求我们既要懂AI业务,又要懂公安业务。脱离了这两者,想让安防AI得到大面积推广是连想都不要想的。

原文标题:安防AI大数据全流程解析

文章出处:【微信号:D1Net15,微信公众号:视频监控安防D1net】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

【5月12】不懂编程没关系,邀请您来学AI

不懂编程没关系,邀请您来学AI活动概述:本活动是现场讲座,由台湾知名AI教育专家、金门创新学院院长、台湾Android技
发表于 05-24 00:00 0次 阅读
【5月12】不懂编程没关系,邀请您来学AI

【5月12】不懂编程没关系,邀请您来学AI

不懂编程没关系,邀请您来学AI活动概述:本活动是现场讲座,由台湾知名AI教育专家、金门创新学院院长、台湾Android技
发表于 05-24 00:00 0次 阅读
【5月12】不懂编程没关系,邀请您来学AI

无所不能的“GAN”究竟是什么?

虽然近期对GAN存在着大量炒作,但它显然是近年来从AI领域出现的最有趣的新概念之一,我们可以期待在不....
的头像 新智元 发表于 06-19 17:27 161次 阅读
无所不能的“GAN”究竟是什么?

AI如何来成为媒婆的

出现了很多AI婚恋软件,用户输入年龄、住址、年薪等内容即可通过大数据获得匹配者。
发表于 06-19 17:01 31次 阅读
AI如何来成为媒婆的

人工智能创作的作品有版权吗

人工智能所创作的作品其本质是人类利用计算机系统或者计算机系统本身自动生成的内容。
发表于 06-19 16:51 26次 阅读
人工智能创作的作品有版权吗

百度人工智能的技术处于什么水平

百度无论在AI核心技术、战略、商业化等层面均已走在全球前沿。
发表于 06-19 16:46 29次 阅读
百度人工智能的技术处于什么水平

AI视频编码技术创新 探索极致视觉体验

4月19日LiveVideoStackCon音视频技术大会在上海举办,AI视频编码技术领跑者-微帧科....
发表于 06-19 16:12 13次 阅读
AI视频编码技术创新 探索极致视觉体验

未来人工智能该如何治理

近年来,人工智能迅速发展,正在深刻改变人类社会生活、改变工业生产体系。
发表于 06-19 16:05 27次 阅读
未来人工智能该如何治理

工业互联网赋能平台“树根互联” 完成B轮5亿元融资

工业互联网赋能平台公司树根互联宣布已完成B轮5亿元融资,本轮融资由和君资本领投,众为资本、鼎兴量子、....
的头像 OFweek工控 发表于 06-19 15:38 110次 阅读
工业互联网赋能平台“树根互联” 完成B轮5亿元融资

智能机器人产业政策以及未来发展趋势分析

机器人的研发、制造、应用已成为衡量一个国家科技创新和高端制造水平的重要标志。
发表于 06-19 15:32 42次 阅读
智能机器人产业政策以及未来发展趋势分析

中国数字医疗应用普及率领先全球

数字医疗的概念近年来逐渐兴起,整合机器学习、人工智能(AI)与大数据等技术,使医疗领域的IT创新应用....
发表于 06-19 15:27 30次 阅读
中国数字医疗应用普及率领先全球

5G银行+AI机器人 变革服务的闯将

一踏入坐落在苏州工业园区的工商银行5G智慧网点,主动上前迎宾的不是大堂经理,而是两位银行服务机器人“....
的头像 东莞市机器人产业协会 发表于 06-19 14:20 103次 阅读
5G银行+AI机器人 变革服务的闯将

AI美颜迅速“蹿红” 各厂商扎堆布局

恰似“忽如一夜春风来,千机万机‘美颜’开”。
的头像 三星GALAXY盖乐世 发表于 06-19 14:16 187次 阅读
AI美颜迅速“蹿红” 各厂商扎堆布局

应用、“流派”繁多,什么是“真AI相机”?

到2022年,搭载AI功能的智能手机出货量占比将从2017年的不到10%提升到80%,年销量将超13....
的头像 华为EMUI 发表于 06-19 14:13 172次 阅读
应用、“流派”繁多,什么是“真AI相机”?

智能手机:市场乏力背后,研发创新仍是破局“王道”

在市场增长乏力环境下,国产手机厂商及供应链企业主要在AI、摄像头、显示屏、芯片、屏下指纹、快充、5G....
的头像 华为EMUI 发表于 06-19 14:11 176次 阅读
智能手机:市场乏力背后,研发创新仍是破局“王道”

闻泰科技AI×IoT战略初现 以开发新的物联网科技解决方案为目标

日本ecruit Technologies株式会社将与中国大型ODM企业闻泰科技合作,共同推进物联网....
的头像 半导体投资联盟 发表于 06-19 11:11 200次 阅读
闻泰科技AI×IoT战略初现 以开发新的物联网科技解决方案为目标

AI碰上无人机会发生什么

全新AutoAI功能专门为加速企业人工智能开发而设计,使那些极其耗时的数据准备和预处理环节实现自动化....
发表于 06-19 10:23 35次 阅读
AI碰上无人机会发生什么

未来人工智能在游戏中的应用

自从1997年深蓝(IBM的计算机程序)在一场国际象棋比赛中击败加里卡斯帕罗夫以来,人工智能在游戏领....
发表于 06-19 10:21 31次 阅读
未来人工智能在游戏中的应用

AIOT趋势下的智能家居怎么样

人工智能的发展是带给智能家居领域最大的福利,人工智能会不断促进生态的融合。
发表于 06-19 10:02 37次 阅读
AIOT趋势下的智能家居怎么样

DeepMind发布VQ-VAE-2算法,将AI换脸的技术提升到了真假难辩的高度

该算法从感观效果上来看比生成对抗神经网络(GAN)的来得更加真实,堪称AI换脸界的大杀器。
的头像 AI科技大本营 发表于 06-19 09:57 177次 阅读
DeepMind发布VQ-VAE-2算法,将AI换脸的技术提升到了真假难辩的高度

为什么我们需要机器学习?

人类很难掌握大量特征之间的复杂关系,但是机器可以通过大规模的数据轻松地捕捉到它。
的头像 大数据文摘 发表于 06-19 09:27 127次 阅读
为什么我们需要机器学习?

韩国开始利用AI面试士官

AI面试系统将对其表情、声音、语调、脉搏等进行分析,做出综合评价。
发表于 06-19 09:04 29次 阅读
韩国开始利用AI面试士官

人工智能是否可以真正的理解人类的艺术

人工智能与人类艺术家也会一同进化。
发表于 06-19 08:53 36次 阅读
人工智能是否可以真正的理解人类的艺术

你知道人工智能健康管理平台吗

基于云计算和大数据,人工智能健康管理可以实时采集患者病理数据、闭环跟踪监护、疑难病症分析诊疗、实时健....
发表于 06-19 08:50 27次 阅读
你知道人工智能健康管理平台吗

世界人工智能大会剧透的有哪些亮点

提升智能会务水平,建设世博智能街区,完善主会场及周边智能化配套,为参会嘉宾和市民提供“AI+”服务体....
发表于 06-19 08:42 25次 阅读
世界人工智能大会剧透的有哪些亮点

行业 | NVIDIA宣布CUDA支持Arm,用于构建百万兆级AI超级计算机

6月17日消息,NVIDIA周一宣布支持Arm CPU,为高性能计算行业开辟了一条全新途径,以构建具....
的头像 旺材芯片 发表于 06-19 08:39 251次 阅读
行业 | NVIDIA宣布CUDA支持Arm,用于构建百万兆级AI超级计算机

NVIDIA宣布CUDA支持Arm 开辟实现百万兆级超算的新途径

NVIDIA近日宣布支持Arm CPU,为高性能计算行业开辟了一条全新途径,以构建具有极高能效水平的....
的头像 英伟达NVIDIA中国 发表于 06-18 17:24 824次 阅读
NVIDIA宣布CUDA支持Arm 开辟实现百万兆级超算的新途径

英特尔如何破解AI时代的大数据难题?

为了帮助客户在数据的海洋中抓住商业价值,并且让这一过程通过更加智能化的手段变得简单易用,英特尔在底层....
的头像 知IN 发表于 06-18 17:20 553次 阅读
英特尔如何破解AI时代的大数据难题?

Facebook构建虚拟空间训练AI

近日,Facebook推出一个开源的模拟数据集,希望帮助研究人员创建更加真实的AR/VR体验,最终目....
的头像 机器人技术与应用 发表于 06-18 17:07 267次 阅读
Facebook构建虚拟空间训练AI

产业互联网下的AI发生了什么

人工智能产业链主要分为基础层、技术层和应用层三个层面,技术层面包括计算机视觉、语言识别、深度学习等。....
发表于 06-18 16:42 61次 阅读
产业互联网下的AI发生了什么

AI的发展会终结艺术吗

当AI进入艺术界的时候,可能在以后会出现新的艺术思潮,艺术流派,艺术批评等。
发表于 06-18 16:37 62次 阅读
AI的发展会终结艺术吗

AI可以让语言变得有价值吗

实时转录对于语音来说,是一个重要的价值转化。
发表于 06-18 16:28 36次 阅读
AI可以让语言变得有价值吗

中兴BladeA7海外版上市 7月首发5G新机

这款Soc采用8核1.6GHz Arm Cortex-A55处理器架构,相比ArmCortex-A5....
的头像 科技美学 发表于 06-18 16:23 461次 阅读
中兴BladeA7海外版上市 7月首发5G新机

AI和5G会为客服行业带来什么

5G射频频率较高,能提供更为稳定及高速的信息交换能力,从而让设备能一直保持良好的数据交互,将让AI的....
发表于 06-18 16:23 95次 阅读
AI和5G会为客服行业带来什么

AI医疗为科技型企业带来了什么

随着互联网高速发展,旧的产业格局不断被打破,智能+也给大健康产业带来新可能。
发表于 06-18 16:15 101次 阅读
AI医疗为科技型企业带来了什么

Zendesk推出自助式AI强化联络中心解决方案

Zendesk通过扩展的AI驱动的联络中心解决方案宣布了新的自助服务体验。
的头像 CTI论坛 发表于 06-18 16:03 648次 阅读
Zendesk推出自助式AI强化联络中心解决方案

如何利用AI和IOT打造智慧家庭

随着AI等应用,特别是和IoT深度融合后,智慧家庭越来越懂用户的习惯与需求,衍生出更多人性化的场景应....
发表于 06-18 16:00 94次 阅读
如何利用AI和IOT打造智慧家庭

AI和IOT对于AIOT来说谁更重要

AIoT是AI与IoT的结合体,将“智能”与“连接”深度融合。
发表于 06-18 15:55 96次 阅读
AI和IOT对于AIOT来说谁更重要

未来制造业的发展应用中 人工智能扮演了哪些角色

2008年爆发国际金融危机以来,各个发达国家纷纷开始了对制造业过度外包的反思。并提出了一系列政策以帮....
发表于 06-18 15:52 85次 阅读
未来制造业的发展应用中 人工智能扮演了哪些角色

为什么说VR全景营销将成为未来的营销趋势

想必大家都知道2019年的热点话题是人工智能、5G、VR,其中VR在经历了2016年的高热度后,VR....
发表于 06-18 15:16 89次 阅读
为什么说VR全景营销将成为未来的营销趋势

聚焦 | 什么是AI芯片“存储墙”的解决方案?

对于计算和I/O来讲,和中国经济调控一样,都是“ 水多了加面,面多了加水”螺旋式上升。
的头像 ssdfans 发表于 06-18 15:12 283次 阅读
聚焦 | 什么是AI芯片“存储墙”的解决方案?

什么是AI芯片“存储墙”的解决方案?

作为从小学马列的中国人,我们最熟悉螺旋式上升的概念。对于计算和I/O来讲,和中国经济调控一样,都是“....
的头像 ssdfans 发表于 06-18 15:12 294次 阅读
什么是AI芯片“存储墙”的解决方案?

点亮智慧出行 金溢科技将出席2019深圳国际智能交通展

近日,2019深圳第8届国际智能交通暨卫星导航与位置服务展览会将在深圳会展中心盛大开幕,作为亚洲最大....
的头像 深圳市汽车电子行业协会 发表于 06-18 15:08 305次 阅读
点亮智慧出行 金溢科技将出席2019深圳国际智能交通展

俄首个机器人宇航员将坐在特制椅子上飞向太空

据俄罗斯卫星网报道,近日,俄罗斯火箭航天业消息人士表示,预计8月乘坐“联盟 MS-14”飞船的首个俄....
发表于 06-18 15:05 44次 阅读
俄首个机器人宇航员将坐在特制椅子上飞向太空

人工智能与实体经济融合发展研究

我国经济正在由高速增长阶段转向高质量发展阶段,迫切需要新一代人工智能等重大创新添薪续力。
的头像 山东省物联网协会 发表于 06-18 15:04 267次 阅读
人工智能与实体经济融合发展研究

医疗数字化遇数据灾难 病患隐私被共享

当你在药店或候诊室里百无聊赖地等待,或者在网站上浏览咨询你的药品账单时,你可以留一下你前方或后面的人....
发表于 06-18 15:00 104次 阅读
医疗数字化遇数据灾难 病患隐私被共享

三星以后致力于哪些方面

区块链是一种宁静存储生意业务数据的要领,旨在跟踪比特币生意业务。
发表于 06-18 14:57 63次 阅读
三星以后致力于哪些方面

数字赋能健康 未来医疗会如何变化

5G、大数据、互联网+医疗健康、智慧医疗、人工智能……在数字的赋能下,未来医疗将会怎样的发展?
发表于 06-18 14:54 193次 阅读
数字赋能健康 未来医疗会如何变化

人脸识别技术如何帮助寻亲

用了多算法融合引擎,通过多算法同时对同一张照片进行多维度识别,能大大提升识别准确率。
发表于 06-18 13:52 51次 阅读
人脸识别技术如何帮助寻亲

海康威视表示华为海思本身并不开发安防产品 其竞争力不受影响

海康威视回答,我们与其他友商一样使用各种渠道的元器件。华为海思本身并不开发安防产品,对海思来说,其关....
的头像 半导体投资联盟 发表于 06-18 11:28 537次 阅读
海康威视表示华为海思本身并不开发安防产品 其竞争力不受影响

大数据学习必看书籍

大数据学习书籍 这几本书一定要看
发表于 06-10 15:27 25次 阅读
大数据学习必看书籍

使用神箭手数据导出服务

如何在神箭手上导出数据?
发表于 05-31 16:29 54次 阅读
使用神箭手数据导出服务

大数据监控binlog组件的maxwell组件

大数据实时监控mysql数据库binlog(二)
发表于 05-16 11:24 70次 阅读
大数据监控binlog组件的maxwell组件

图解大数据处理架构

大数据处理架构
发表于 05-09 17:11 61次 阅读
图解大数据处理架构

大数据hadoop生态系统概念简单介绍

零基础大数据入门3--大数据生态系统及其各组件简介...
发表于 05-05 14:34 64次 阅读
大数据hadoop生态系统概念简单介绍

大数据在未来的优势

大数据时代的到来,Java大数据才是未来的高富帅!...
发表于 04-29 17:05 71次 阅读
大数据在未来的优势

大数据应用于实际的案例中的三步流程

大数据应用于实际的案例中,主要的应用流程是什么?...
发表于 04-25 06:20 110次 阅读
大数据应用于实际的案例中的三步流程

利用机器学习和大数据何建立信用评分的模型

利用Logistic回归拟合信用评分卡模型
发表于 04-19 16:27 215次 阅读
利用机器学习和大数据何建立信用评分的模型

盘点基本大数据相关书籍

想学大数据?先看完这几本书再说
发表于 04-19 12:55 153次 阅读
盘点基本大数据相关书籍

大数据之Hive数据仓库

大数据 Hive数据仓库
发表于 03-19 11:10 147次 阅读
大数据之Hive数据仓库