发烧友10周年庆典,全网超值优惠来袭!千元现金券,下单抽奖赶紧参与》》

安防AI大数据的流程解析及数据处理技术

视频监控安防D1net 2018-11-27 15:25 次阅读

说到安防,人们可能首先会想到视频监控。视频监控从最早的模拟闭路监控系统开始,经历过模拟监控、数字监控、网络监控等重要发展阶段,如今进入了大数据的时代。随着人工智能、大数据的迅速发展,用现有的数据库管理工具难以管理所有的数据集合。 

对于安防AI,看上去是AI,实际上最后是大数据,大数据才是智能化的基础。人工智能、深度学习机器学习、大数据应用在安防AI中, 说到底都是对大数据的采集、建模和应用。本文大致说一下安防AI中,对于大数据的运用过程与环节,让大家有个大致的印象。

|| 安防AI大数据流程三个环节

数据采集

数据采集,有说数据获取,这是数据的来源,安防AI中这个数据是来源于视频监控系统中的视频流,当然往大了说安防,还包括很多内容,但是基本都是以视频监控为核心,这里主要指视频监控系统。

数据预处理

对于采集到的实时或者历史视频,是只能看不能应用的,要调用就得结构化,先给视频流解码,把视频流还原成一张张图片,再对图片进行预处理。可能不同的公司对预处理包含的步骤内容说法不太一致。先对图片进行目标清洗垃圾,清洗掉模糊的、不合尺寸的,目标无法识别的、无目标对象的等等。

当然,有些场景可能只有这样的图像,这需要用到另外一些图像处理方法,和我们的主题相关但不是一回事。这样我们就可以得到基本符合要求的图像。然后对这些图像中的目标对象进行检测和分割,并改变目标的大小与标准图片大小一致,目标对象包括人形、人脸、车形等,这样就可以拿去训练模型了。

模型训练

对图片中的目标对象进行识别,提取和构建模型,在安防AI中,需要的结构化描述是比较具体的,比如对人的描述就包括性别、年龄、发型特征、发饰、上衣款式特征、下衣款式特征、鞋帽款式特征、交通工具特征、随身物品特征、同行人特征等一系列描述。对车的描述包括车牌号码、厂牌、车身颜色、车辆品牌、车辆类型、车辆特征物(如:年检标、挂饰、纸巾盒、遮阳板)等。

有了这些识别模型,就可以通过语义分析等技术对视频数据进行分类处理存储,并通过后端服务器的智能分析功能进行业务处理,将人、车、物的信息从数据中分离出来。这样公安民警就可以进行快速检索、条件搜图(人)、以图搜图,再配以图片的拍摄地点、时间等数据,就可以进行轨迹查询,再匹配一下大安防系统中的住宿、手机号码、车票等大数据,基本上嫌疑人就是插翅难逃,这对民警的破案效率将是百千倍的提升。这才是安防AI真正的价值所在。

|| 安防AI数据预处理技术及方法

目前常见的数据预处理技术

1)数据清理

数据清理例程就是通过填写缺失值、光滑噪声数据、识别或者删除离群点,并且解决不一致性来进行“清理数据”。

2)数据集成

数据集成过程将来自多个数据源的数据集成到一起。

3)数据规约

数据规约是为了得到数据集的简化表示。数据规约包括维规约和数值规约。

4)数据变换

通过变换使用规范化、数据离散化和概念分层等方法,使得数据的挖掘可以在多个抽象层面上进行。数据变换操作是提升数据挖掘效果的附加预处理过程。

|| 数据清理方法

1)缺失值

对于缺失值的处理,一般是能补的就想办法把它补上,实在补不上的就丢弃处理。通常的处理方法有:忽略元组、人工填写缺失值、使用一个全局变量填充缺失值、使用属性的中心度量填充缺失值、使用与给定元组属同一类的所有样本的属性均值或中位数、使用最可能的值填充缺失值。

2)噪声数据

噪声是被测量变量的随机误差或方差。去除噪声、使数据“光滑”的技术有分箱、回归、离群点分析等。

3)数据清理过程

这个环节主要包括数据预处理、清理方法、校验清理方法、执行清理工具及数据归档。数据清理的原理是通过分析“无效数据”产生的原因和存在形式,利用现有的技术手段和方法去清理,将“无效数据”转化为满足数据质量或应用要求的数据,从而提高数据集的数据质量。常用的工具有Excel、Access、SPSS Modeler、SAS、SPSS Statistics等。

4)模型构建数据统计分析

数据统计为模型构建提供基础,只有通过数据统计分析探索到了数据中隐藏的规律,深度学习才有意义,人工智能才有可能。数据统计又包括数据分析与结果分析,基本的分析方法有:对比分析法、分组分析法、交叉分析法、因素分析法、结构分析法、漏斗图分析法、矩阵关联分析法、综合评价分析法等。

高级的分析方法有:主成分分析法、因子分析法、对应分析法、相关分析法、回归分析法、聚类分析法、判别分析法、时间序列等。这些类别并不是独一使用的,往往是混合使用的,然后再通过进一步的分析对比从中挑选某些组合模型。

5)数据可视化

数据可视化,就是通过一些可视化图形或者报表形式进行展示,增强对分析结果的理解。再针对结果进行进一步的数据再分析,使得整个业务环节形成闭环。只有闭环的数据才能真正发挥出深度学习的效用。

|| 安防AI大数据的应用

安防大数据的应用当前是围绕提升破案率和提升警务工作效率为中心的,要想在安防数据的基础上开发出优秀的应用,必须要深入了解警务工作流程,从接处警、现场勘查、情报研判、应急指挥、关联碰撞、合成作战,再到各类型警用装备间的互联互通,再到各警种间的配合,再到各警种业务数据库间的融合。这些都要有详细地了解,才能发现针对刑侦破案、治安防控、交通管理的应用间的差异。

举例说,比如针对嫌疑人的追踪,可能是脸,但是大部分时候视频是识别不出脸的,这是事实,人脸识别仅在车站、机场、银行等卡点场景才有用。但是绝大多数逃犯都是有点反侦察能力的,不是看到摄像头就绕着走,就是故意遮挡不让看,或者干脆等到天黑再走。

这时候能运用到的主要就是通过嫌疑人的外形特征进行追踪,以图搜图配上区域范围选择、时间段选择,再配上同行人特征、随行物品特征、工具特征,就可以有效地对嫌疑人进行高效筛选,再通过综合情报进行轨迹研判,这种情况下,嫌疑人几乎就是瓮中之鳖,上天无路入地无门。如果再出现小朋友老年人走失,想找到就是分分钟的事,再也不会出现让发动大批警力沿街查找,动辄耗费数十个小时的情况了。这样,公安会不喜欢么?

说到底,大数据最终是为应用服务的,只有最后真正提高了公安民警的工作效率和破案率,才能证明安防AI的价值和意义。这就要求我们既要懂AI业务,又要懂公安业务。脱离了这两者,想让安防AI得到大面积推广是连想都不要想的。

原文标题:安防AI大数据全流程解析

文章出处:【微信号:D1Net15,微信公众号:视频监控安防D1net】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

【5月12】不懂编程没关系,邀请您来学AI

不懂编程没关系,邀请您来学AI活动概述:本活动是现场讲座,由台湾知名AI教育专家、金门创新学院院长、台湾Android技
发表于 05-24 00:00 0次 阅读
【5月12】不懂编程没关系,邀请您来学AI

大数据分析对于物联网来说是个怎样的存在

技术的进步使得可以在小型设备中嵌入增强的计算能力,并以接近实时的速度从中提取实时流数据。
发表于 09-12 17:52 301次 阅读
大数据分析对于物联网来说是个怎样的存在

关于智能音箱我们该如何进行挑选

如今,在智能家居理念的指引下,演讲者逐渐与人工智能结为夫妻,在家里扮演着“智能管家”的角色,除了播放....
发表于 09-12 17:17 77次 阅读
关于智能音箱我们该如何进行挑选

威盛欧拉蜜最新推出智能离线语音技术

语言是人类最方便最高效的信息沟通方式,从输入的效率来看,语音的信息交换密度要远远高于键盘打字的速度。....
发表于 09-12 17:10 558次 阅读
威盛欧拉蜜最新推出智能离线语音技术

由于数据短缺和研发耗资AI医美难以真正落地

在做人工智能训练模型的时候,数据是最重要的因素,因为只有通过大数据训练,才能让训练的模型更接近于实际....
发表于 09-12 17:04 75次 阅读
由于数据短缺和研发耗资AI医美难以真正落地

AIOT难道只是口头上的说说而已吗

AIoT是人工智能和物联网相遇的地方,它将智能带到了边缘。
发表于 09-12 16:40 157次 阅读
AIOT难道只是口头上的说说而已吗

怎样来正确的理解工业物联网

工业物联网(IIoT)和人工智能(AI)等新兴技术的令人兴奋的承诺正在沿着转型之旅更快地推动企业发展....
发表于 09-12 16:34 140次 阅读
怎样来正确的理解工业物联网

工业机器人对于数据是如何进行处理的

无论是传统的工业机器人,还是最先进的协作机器人,它们都要依靠传感器获取的数据构建更佳的机器学习(ML....
发表于 09-12 16:25 112次 阅读
工业机器人对于数据是如何进行处理的

AI的变革将带来医疗超声市场的进一步扩容

针对目前国内超声发展情况,GE医疗中国超声产品事业部总经理马海燕表示,国内同国外市场差别主要为国内对....
发表于 09-12 16:18 237次 阅读
AI的变革将带来医疗超声市场的进一步扩容

AI医生的问世将使得智慧医疗看病更简单

新时代新技术为新医疗带来了无限可能,与会专家预言,人工智能技术将广泛应用于智能诊断、临床决策、精准治....
发表于 09-12 16:13 178次 阅读
AI医生的问世将使得智慧医疗看病更简单

2019智能制造大会”即将于2019年9月16日在上海闵行隆重举办

上海是我国制造业发展的高地,智能制造已成为上海全球科技创新中心建设的核心支柱,是打响“上海制造”品牌....
的头像 倩倩 发表于 09-12 16:07 301次 阅读
2019智能制造大会”即将于2019年9月16日在上海闵行隆重举办

谷歌开发者大会焦点:Android 10原生支持5G,TF2.0大更新

为期两天的2019谷歌开发者大会刚刚落下帷幕,谷歌推出了最新的Android 10、TensorFl....
的头像 章鹰 发表于 09-12 16:00 2994次 阅读
谷歌开发者大会焦点:Android 10原生支持5G,TF2.0大更新

嵌入式视觉是如何成为AI的驱动力的

在人工智能技术趋势报告中,人工智能功能应用程序的增长速度比其他应用程序更快,它确定了计算机视觉,其中....
发表于 09-12 15:17 50次 阅读
嵌入式视觉是如何成为AI的驱动力的

哪些重要的事情是通过物联网技术实现

物联网是一种“技术工具包”,可用于创建新的业务价值,同时保护您的企业免受数字中断。
发表于 09-12 15:13 155次 阅读
哪些重要的事情是通过物联网技术实现

嵌入式AI虽然重要但没我们想象的那么强大

想想AI,你几乎总是想到一个基于云的计算系统,在这个系统中,查询在源头捕获并发送到云进行处理,然后将....
发表于 09-12 14:34 51次 阅读
嵌入式AI虽然重要但没我们想象的那么强大

大数据成为建立智慧城市的重要基石

可以预见,大数据作为一种新时代的信息基础设施,必定会在智慧城市建设中形成更全面的覆盖。
的头像 电子魔法师 发表于 09-12 11:54 209次 阅读
大数据成为建立智慧城市的重要基石

AI技术可实时识别出无线电脉冲信号

科学家建立了一个自动化系统,该系统利用人工智能(AI)来革新天文学家实时检测和捕捉快速无线电脉冲(F....
发表于 09-12 11:54 46次 阅读
AI技术可实时识别出无线电脉冲信号

IDC发布最新版全球大数据市场规模预测,中国持续稳定增长

IDC认为,在2019-2023年预测期内,全球大数据市场相关收益将实现13.1%的CAGR(复合年....
的头像 墨记 发表于 09-12 11:49 3402次 阅读
IDC发布最新版全球大数据市场规模预测,中国持续稳定增长

你对于车联网的了解有多少

今年车联网的发展将进入快车道。波士顿咨询的数据显示,全球主要市场60%的车都会配置互联网技术。
发表于 09-12 11:25 178次 阅读
你对于车联网的了解有多少

远鉴科技用生物识别技术开启智慧安防之门

自iPhoneX的面部识别被破解开始,单一生物特征认证的不稳定性和局限性被暴露了出来。在这种情况下远....
的头像 倩倩 发表于 09-12 11:25 277次 阅读
远鉴科技用生物识别技术开启智慧安防之门

大数据和人工智能会对智慧交通的发展造成什么影响

随着科技的快速发展,人们的生活水平也越来越高了。特别是大数据技术和人工智能技术的快速发展,使得人们的....
发表于 09-12 11:16 240次 阅读
大数据和人工智能会对智慧交通的发展造成什么影响

什么是大数据,大数据开发需要学习什么?

  数据,对于很多人来说想必是非常熟悉的东西了,在前几年数据可能对于我们来说是一个非常专业的词汇,但是随着时代的发展,数...
发表于 09-12 11:09 793次 阅读
什么是大数据,大数据开发需要学习什么?

冠勋资质构建领航优势,技术强企布局山东

冠勋的很多创新举措都堪称开创行业先河。为了保障服务质量,冠勋建立了完备的技术服务力量,为客户提供专业....
的头像 倩倩 发表于 09-12 10:55 162次 阅读
冠勋资质构建领航优势,技术强企布局山东

各行多家企业上马布局 智慧校园解决方案层出不穷

事实上,安装“人脸识别”系统并非上述几所学校首创。目前,国内多所学校都已进入“刷脸时代”,人脸识别功....
的头像 倩倩 发表于 09-12 10:50 328次 阅读
各行多家企业上马布局 智慧校园解决方案层出不穷

从业者也需沉心思考:安防究竟需要一款怎样的AI芯片?

好的芯片一定是在实际场景中打磨迭代而来的,怎么去破解“用金钱投入换取时间”是目前最大的难点,没有10....
的头像 倩倩 发表于 09-12 10:44 220次 阅读
从业者也需沉心思考:安防究竟需要一款怎样的AI芯片?

智慧城市的建设从哪里开始

物联网、生物识别、人工智能……加速迭代更新的“黑科技”,正依托大数据资源重塑着交通、医疗、社会治理等....
发表于 09-12 10:34 164次 阅读
智慧城市的建设从哪里开始

FPGA在安防应用中独具优势

FPGA不仅可针对每一种具体的应用根据算法结构进行深度定制,达到较高的计算效率和能效,技术风险也低于....
的头像 倩倩 发表于 09-12 10:15 240次 阅读
FPGA在安防应用中独具优势

ICU会是智能医疗走出边缘的突破口吗

曾经关注过很多关于人工智能在医疗领域的应用,比如运用得非常成熟的医疗影像诊断,用于医疗器械的研发,医....
发表于 09-12 09:47 124次 阅读
ICU会是智能医疗走出边缘的突破口吗

未来语音芯片在AIoT道路上的发展情况如何

所谓语音芯片,或者叫语音IC,是指一台电子设备中负责发出声音、收录声音的处理模块。事实上,这东西在你....
发表于 09-11 17:03 101次 阅读
未来语音芯片在AIoT道路上的发展情况如何

5G的到来基于AI技术的应用会越来越多

近年来,AI在教育行业加速落地,从直播课程中的AI老师,到比尔盖茨、扎克伯格盛赞的自适应教育,再到近....
发表于 09-11 16:39 64次 阅读
5G的到来基于AI技术的应用会越来越多

AI换脸软件 “ZAO”首次做出回应

“ZAO”称,在用户使用过程中,为保护肖像权不被冒用,“ZAO”设置了真人验证环节,整个过程仅为验证....
的头像 倩倩 发表于 09-11 16:13 504次 阅读
AI换脸软件 “ZAO”首次做出回应

智慧医疗的发展还将面临着诸多挑战

什么是智慧医疗?这是当前国内外医疗卫生领域最热门的名词,也是众说纷纭、最难以界定含义的概念。
发表于 09-11 16:11 153次 阅读
智慧医疗的发展还将面临着诸多挑战

物联网赋能智慧健康早筛早诊引领重大疾病防治

据悉,在健康物联网或者说医疗健康物联网的应用方面,江苏省一直走在全国的前列。其中,无锡在健康物联网构....
的头像 倩倩 发表于 09-11 15:46 233次 阅读
物联网赋能智慧健康早筛早诊引领重大疾病防治

国产FPGA厂商如何才能实现逆境突围

据MRFR统计2018年全球FPGA市场规模为60亿美元左右,随着AI+5G的应用逐步展开, FPG....
发表于 09-11 15:39 52次 阅读
国产FPGA厂商如何才能实现逆境突围

5G技术为移动医疗和远程医疗“注入灵魂”

阿斯利康全球执行副总裁、国际业务及中国总裁王磊表示:“今年是无锡物联网产业走过的第十个年头。如今,世....
的头像 倩倩 发表于 09-11 15:27 373次 阅读
5G技术为移动医疗和远程医疗“注入灵魂”

“一体化”安防措施全力护航开学季,全面筑牢校园安全门槛

为确保开学期间辖区校园周边交通出行安全、有序,九龙坡警方依托新闻媒体、双微平台、LED、短信等渠道,....
的头像 倩倩 发表于 09-11 14:52 220次 阅读
“一体化”安防措施全力护航开学季,全面筑牢校园安全门槛

福光股份是科创板中少有的研发费用下降的企业之一

2019上半年,福光股份营收2.71亿元,与上年同期持平;归母净利润4628.86万元,同比增加13....
的头像 倩倩 发表于 09-11 14:22 244次 阅读
福光股份是科创板中少有的研发费用下降的企业之一

张家口教育云平台校园安防管理服务云平台培训会议顺利召开

市教育局郑局长,安全科马科长在会议中传达了学习贯彻中央领导同志关于加强校园安全工作的重要指示批示精神....
的头像 倩倩 发表于 09-11 14:15 293次 阅读
张家口教育云平台校园安防管理服务云平台培训会议顺利召开

荣耀9X系列搭载4800万像素AI超清模式拍照表现非常完美

可以说,影响一款手机最终成像效果的因素有很多,而先进的算法、4800万像素传感器和强大的ISP构成了....
发表于 09-11 11:24 113次 阅读
荣耀9X系列搭载4800万像素AI超清模式拍照表现非常完美

人工智能的发展需要看趋势也要看需求

据中国信息通信研究院提供的数据,截至今年3月底,全球共有5386家活跃的人工智能企业,其中约22.1....
发表于 09-11 11:17 52次 阅读
人工智能的发展需要看趋势也要看需求

云从科技携手华为Atlas,在人像识别领域联合创新

目前,国内视频监控系统历经数字化、网络化、高清化的摄像基础阶段,尚未进入人工智能时代。而应用层面,对....
的头像 倩倩 发表于 09-11 11:14 220次 阅读
云从科技携手华为Atlas,在人像识别领域联合创新

人工智能对教育行业的影响将日渐深远

近年来,随着人工智能的发展,AI对教育行业的影响也日渐深远。适时地,人工智能产业政策密集出台,相关政....
发表于 09-11 11:04 79次 阅读
人工智能对教育行业的影响将日渐深远

小米有品在智能安防领域再添重磅新品,有品平台开启预售

此外,本次预售的DUN智能猫眼依旧以性价比和关怀性作为主要方向。 相较之下,DUN智能猫眼的功能更为....
的头像 倩倩 发表于 09-11 10:48 276次 阅读
小米有品在智能安防领域再添重磅新品,有品平台开启预售

云创大数据惊艳亮相南京智能安防博览会

作为云创知名度较高的产品之一,A8000超低功耗云存储系统得到了全国多家单位,尤其是公安系统观众的青....
的头像 倩倩 发表于 09-11 10:42 305次 阅读
云创大数据惊艳亮相南京智能安防博览会

人工智能在医疗落地的过程中有什么困难

新技术给人带来的希望很容易让人们忘记医疗器械AI化可能带来的问题。
发表于 09-11 10:39 171次 阅读
人工智能在医疗落地的过程中有什么困难

大数据怎样帮助企业成长

相信那些鲜少接触过大数据的人,很难清楚知晓究竟多大的数据量才能被称为大数据。
发表于 09-11 10:32 217次 阅读
大数据怎样帮助企业成长

“人机合作”将是未来机器人领域的发展趋势

传统制造中,工人们常常会因为工作内容具有危害性或对身体有伤害的物质存在等问题而苦恼,后来工业机器人的....
发表于 09-11 10:19 32次 阅读
“人机合作”将是未来机器人领域的发展趋势

工业互联网迎来了怎样的新动能

工业互联网正成为诸如腾讯等互联网巨头重点发力的领域,也是新经济的蓝海,而工业大数据则是工业互联网的“....
发表于 09-11 10:16 199次 阅读
工业互联网迎来了怎样的新动能

円星科技与英韧科技达为了AI大数据存储市场达成合作

9月4日,全球精品硅智财开发商円星科技(M31 Technology,TPEX: 6643) 与存储....
的头像 电子魔法师 发表于 09-11 10:12 270次 阅读
円星科技与英韧科技达为了AI大数据存储市场达成合作

哪些技术支持了人工智能在智能安防领域的应用

在新兴的人工智能AI应用和大数据分析技术不断推动安防行业的发展,而目前数据吞吐量最大的是语音数据与视....
发表于 09-11 09:53 181次 阅读
哪些技术支持了人工智能在智能安防领域的应用

AI治理怎样做到趋利避害

AI的发展在繁荣中也夹杂着蛮荒,在狂飙中也袒露出软肋。
发表于 09-11 08:57 32次 阅读
 AI治理怎样做到趋利避害

物联网监控怎样改善我们的隐私安全

新技术将不断涌现,并可能加速。
发表于 09-11 08:49 191次 阅读
物联网监控怎样改善我们的隐私安全

大数据的来源分析

Hadoop教程:大数据概述
发表于 08-27 10:52 63次 阅读
大数据的来源分析

大数据处理和分析能力的提高

如何提高大数据处理和分析的能力
发表于 08-23 13:07 96次 阅读
大数据处理和分析能力的提高

大规模数据集分析

给大数据分析师的一双大礼 Apache Kylin和Superset
发表于 08-22 14:33 73次 阅读
大规模数据集分析

高压反激式控制器在视频安防系统的应用

视频安防系统得益于高压反激式控制器
发表于 08-22 14:25 82次 阅读
高压反激式控制器在视频安防系统的应用

大数据的四种思维方式

大数据所带来的四种思维方式的转变
发表于 08-12 11:37 72次 阅读
大数据的四种思维方式

美国农业大数据的行业分析

随着全球人口的增加,天气的波动更加不稳定,以及依赖石油的农业对于石化燃料的价格越来越敏感,必然激励更多地运用新技术来提高...
发表于 08-08 07:45 84次 阅读
美国农业大数据的行业分析

如果没有TA安防行业会是什么样

如果没有TA,或许你想象不出安防行业会变成怎样。不错,TA的一小步,就是安防行业的一大步。...
发表于 08-08 07:29 85次 阅读
如果没有TA安防行业会是什么样

大数据在农业的应用

罗德尼·席林(RodneySchilling)是美国伊利诺伊州的一个农场主,他和父亲二人经营着1300英亩(约7900亩)田地。他的父亲已经83岁了...
发表于 08-07 06:04 74次 阅读
大数据在农业的应用

安防设备如何防汛

监控是安防的主力军,在汛期监控身负“眼睛”的责任,将各地情况尽收眼底。如果这时候出现问题,则失去了其本身的价值。因此,摄...
发表于 08-02 08:43 65次 阅读
安防设备如何防汛