电子发烧友网 > 物联网 > 正文

大数据中的数据是从哪里来的

2020年01月08日 13:52 次阅读

在现在社会上的企业中,最常见的数据搜集方法就是个人设备上的信息采集。这其中可能会涉及到一些个人隐私的泄露,也可能没有。不过这不是今天讨论的主题,今天我主要给大家解答一下——大数据处理的数据从何而来?在现在的数据技术时代中,数据有着不可替代的地位,抛开数据谈大数据服务就是瞎扯,没有数据做支撑的大数据平台就是一个空壳。数据是一切数据分析、数据挖掘、大数据处理、ai算法的核心。

从在目前来看,绝大多数公司或者组织做大数据处理时,他们的数据来源于:设备收集、数据库、日志、爬虫等等。当然,如果是学术或者个人做大数据处理的研究的话,数据还经常可能来源于:开源数据集、造数据(假数据/模拟数据)等等。这很好理解,因为在公司中,常常数据都是需要服务于真实业务,所以数据也就来自于真实业务,而个人或者学术上可以使用一些特定的开源数据集来做相应研究,下面我们来介绍一下公司中经常获取数据的这几种方法:

1、设备收集

设备收集顾名思义就是使用一些设备来进行收集数据,比如在工业界电力行业常用的Scada数据就是通过常用的一些终端电子设备,直接放在汇流箱、逆变器等设备上,实时将电流电压数据记录并保存下来,这样得到大量的数据。

大数据中的数据是从哪里来的

再如,我们每个人的手机可能都是某些软件的数据收集终端,我们每天的运动步数可能会被支付宝/微信记录下,我们每天点开软件的次数等等这些操作,都是各个软件收集数据的一个手段。这些数据可以直接放入到大数据环境当中,也可以通过关系型数据库做一个跳板。

2、从数据库导入

在大数据技术风靡起来前,关系型数据库(RDMS)是主要的数据分析与处理的途径。许多公司的业务逻辑数据都是存放在关系型数据库中。比如一个电商网站,你购买了一件商品,发生的这种行为绝对会生成一条数据在数据库中。比如你收藏了一件商品、退货了一件商品等等这种行为都会被记录到数据库中。

发展至今数据库技术已经相当完善,当大数据出现的时候,行业就在考虑能否把数据库数据处理的方法应用到大数据中。虽然出现Hive等大数据产品,但是在生产过程中业务数据依旧使用 RDMS 进行存储,这是因为产品需要实时响应用户的操作,在毫秒级完成读写操作,而大数据产品不是应对这种情况出现的。

到这里你可能就有一个疑问,如何把业务的数据库同步到大数据平台中?一般来说业务数据我们使用实时和离线采集数据来将数据抽取到数据仓库中。然后再进行后续数据处理和分析,我们常用的数据库导入工具是Sqoop。Sqoop是 Apache 旗下一款 Hadoop 和关系型数据库之间传送离线数据的工具。实现关系型数据库同 Hadoop 集群的 Hdfs、Hbase、Hive 进行数据同步,是连接传统关系型数据库和 Hadoop 的桥梁。

3、日志导入

日志系统将我们系统运行的每一个状况信息都使用文字或者日志的方式记录下来,这些信息我们可以理解为业务或是设备在虚拟世界的行为的痕迹,通过日志对业务关键指标以及设备运行状态等信息进行分析。

除了常规记录的方式收集日志之外,一般用户的一些行为日志收集的方式我们采用埋点的形式进行收集。埋点的意思实际上是在前端页面上放上一个监控点,它能够记录下你所有的一些行为,比如你鼠标来来回回移动了几下,你点击了哪些地方,你在这篇文章上停留了多久,你在输入框中输入了什么字然后又删除了等等所有的一些行为,都可以被埋点所记录。而将日志数据导入到大数据环境中也有许多的方案,常见的日志收集解决方案如ELK搭建日志采集+日志查询+可视化系统。Flume+Kafka+Hive/Spark+SparkStreaming实现日志的实时采集+离线分析+实时处理的架构等等。

4、爬虫

爬虫是一种通过模拟正常人浏览访问网站的一类程序,它通过模拟正常人访问网站,从而达到获取该网站数据的目的,比如说我访问了一下天气预报网站,并复制了今天的温度发给女朋友,我说对女朋友说“宝贝,今天温度很合适,咱们去爬山吧”,女朋友回“分手吧,40度的温度你叫我爬山,你根本不爱我”。看吧,我成功通过获取网站的数据丢失了一个女朋友。爬虫就是通过模拟人的方式去访问网站,并获取网站的数据的。

时日至今,爬虫的数据成为公司重要战略资源,通过获取同行的数据跟自己的数据进行支撑对比,管理者可以更好做出决策。爬虫也是一个非常有用和常见的数据获取方式。数据采集是数据分析、数据挖掘工作中的第一步。数据采集的准确性决定了这个数据分析报告是不是有使用价值。只有当数据采集具有科学性、客观、严密的逻辑性时,建立在这样的数据分析基础之上得出来的结论才具有现实的价值和意义。

责任编辑:ct

下载发烧友APP

打造属于您的人脉电子圈

关注电子发烧友微信

有趣有料的资讯及技术干货

关注发烧友课堂

锁定最新课程活动及技术直播

电子发烧友观察

一线报道 · 深度观察 · 最新资讯
收藏 人收藏
分享:

评论

相关推荐

《计算机体系结构——软件篇5》之 图形、图像处理 与 数据库

点击右方“佳嵌图标”,可以查看所有课程。我们将《嵌入式工程师-系列课程》分成两大阶段:第一阶段:《计算机体系结构》课程&
发烧友学院发表于 2018-12-08 00:00 669次阅读
《计算机体系结构——软件篇5》之 图形、图像处理 与 数据库

LabVIEW数据采集存储SQL数据库,如何提高存储速度?

程序前面时生成6个采集通道的数据,通过ADO存储到SQL Sever数据库中,但目前程序存储速率主要影响为for循环这里...
发表于 2020-01-08 15:28 26次阅读
LabVIEW数据采集存储SQL数据库,如何提高存储速度?

当人工智能与医学影像技术结合,会给患者带来怎样的...

相比人脑,大数据时代的人工智能最大的优势在于,可以处理和储存海量数据,在对大数据进行学习的基础上,通....
发表于 2020-01-08 14:37 60次阅读
当人工智能与医学影像技术结合,会给患者带来怎样的...

大数据+人工智能 技术画像揪出幕后黑手

我国证券市场监管体系中,证券交易所负责交易监管、上市公司监管、会员监管等一线监管职能,也是承担违法违....
发表于 2020-01-08 14:34 79次阅读
大数据+人工智能 技术画像揪出幕后黑手

华人运通宣布将与复旦大学类脑智能科学与技术研究院...

复旦大学的类脑智能科学与技术研究院院长冯建峰教授表示,通过产研强强合作,在人工智能的算法领域,对华人....
发表于 2020-01-08 14:02 24次阅读
华人运通宣布将与复旦大学类脑智能科学与技术研究院...

互联网大数据有什么不一样的地方

在产业互联网的推动下,大数据的发展趋势将逐渐向智能化领域发展,由于人工智能是大数据应用的重要出口,所....
发表于 2020-01-08 13:48 29次阅读
互联网大数据有什么不一样的地方

大数据分析可以起到什么作用

大数据智能网络服务系统直接处理数据,为用户提供服务结果,这种业务由计算机流程自动处理数据,系统完全依....
发表于 2020-01-08 13:44 14次阅读
大数据分析可以起到什么作用

大数据对于生活中的道德问题会有影响吗

大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。
发表于 2020-01-08 13:39 111次阅读
大数据对于生活中的道德问题会有影响吗

大数据对于企业存在什么价值

从大数据利用的方式上,也可产生几个方面的价值。首先,大数据的价值密度较低,现在可利用和分析的数据只是....
发表于 2020-01-08 11:54 28次阅读
大数据对于企业存在什么价值

评估大数据安全分析平台的因素有哪一些

在考核大数据安全分析平台时,要确保对以下五个要素进行评估,这对实现大数据分析的效果非常关键。
发表于 2020-01-08 11:51 18次阅读
评估大数据安全分析平台的因素有哪一些

大数据分析平台哪一些方面值得去关注

在大数据应用技术中,前端的数据清洗功能远比我们想象的更重要。没有好的清洗自然也不可能有后续的数据建模....
发表于 2020-01-08 11:48 22次阅读
大数据分析平台哪一些方面值得去关注

互联网大数据如何更深层次的去理解

随着大数据的快速发展,就像计算机和互联网一样,大数据很有可能是新一轮的技术革命。
发表于 2020-01-08 11:44 19次阅读
互联网大数据如何更深层次的去理解

大数据的地位如何凸显出来

随着大数据的快速发展,就像计算机和互联网一样,大数据很有可能是新一轮的技术革命。
发表于 2020-01-08 11:41 20次阅读
大数据的地位如何凸显出来

美国在大数据时代有什么难题

大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理。
发表于 2020-01-08 11:36 16次阅读
美国在大数据时代有什么难题

互联网大数据存在多大的价值

大数据(big data),IT行业术语,是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理....
发表于 2020-01-08 11:33 87次阅读
互联网大数据存在多大的价值

互联网大数据带给了电商怎样的新机会

大数据已经出现出爆发态势,在互联网时代起到了很重要的桥梁作用。
发表于 2020-01-08 11:30 17次阅读
互联网大数据带给了电商怎样的新机会

大数据带来怎样的安全威胁

随着连接设备数量和传输速度的急剧增加,企业将可能面对的威胁也会逐渐放大,在过去的一年数据泄露超过54....
发表于 2020-01-08 11:26 10次阅读
大数据带来怎样的安全威胁

区块链如何来保障数据的真实性

大数据表示区块链技术与其他技术不同,区块链技术直接影响着生产关系,因此区块链技术将不仅仅是大数据等技....
发表于 2020-01-08 11:22 13次阅读
区块链如何来保障数据的真实性

大数据和人工智能怎样去改变B2B平台的商业模式

在人工智能的赋能下,供需管理方式将从劳动密集转为技术驱动,以大数据和人工智能为基础,越来越智能化、标....
发表于 2020-01-08 11:19 26次阅读
大数据和人工智能怎样去改变B2B平台的商业模式

大数据之结构化数据是怎么一回事

结构化数据体系在强化中心,存在一个数据中心,所有数据都汇总到中心,并从中心发出,哪怕数据可以映射到各....
发表于 2020-01-08 11:17 18次阅读
大数据之结构化数据是怎么一回事

围绕人工智能、区块链编写一批新教材

一是加快构建中国特色哲学社会科学教材体系。进一步加强马克思主义理论研究和建设工程重点教材建设,拓展、....
发表于 2020-01-08 11:15 75次阅读
围绕人工智能、区块链编写一批新教材

大数据时代的新闻媒体有什么不一样的

随着“大数据”的普及,新闻传媒业的产业层次和传播方式也发生了非常明显的转变。
发表于 2020-01-08 11:14 132次阅读
大数据时代的新闻媒体有什么不一样的

5G+智慧安防如何成为趋势的

智能安防作为物联网最为重要的一大运用场景,长期以来广被各界看好。
发表于 2020-01-08 11:10 17次阅读
5G+智慧安防如何成为趋势的

新元科技“人工智能+智慧城市”战略又获突破

据新元科技的公告显示,此次是公司在“人工智能+智慧城市”战略的又一重大突破。合同显示,子公司清投智能....
发表于 2020-01-08 10:37 177次阅读
新元科技“人工智能+智慧城市”战略又获突破

可信计算平台和rfid如何联系起来

随着计算无处不在的理论推广,可信计算平台的接入范围更广——几乎所有网络应用层的数据都可以进行可信接入....
发表于 2020-01-08 10:16 16次阅读
可信计算平台和rfid如何联系起来

人工智能2019:争议依然如影随形

如果说,人工智能刚开始落地时,人们还充满惶恐,记者与写稿机器人等人工智能辅助工具的关系,还曾一度被渲....
发表于 2020-01-08 10:09 169次阅读
人工智能2019:争议依然如影随形

区块链无抵押贷款发放说明了什么

将腾讯云区块链技术与仓单质押融资场景充分融合,结合智能仓储、智慧物联网、人工智能、大数据分析等技术能....
发表于 2020-01-08 08:54 93次阅读
区块链无抵押贷款发放说明了什么

人工智能是万能的吗

人工智能还在制作“深度假冒”的影片,让人们难以分辨。
发表于 2020-01-07 17:32 93次阅读
人工智能是万能的吗

人工智能技术可以养活世界吗

AI在农业上之运用,目前已初见成效,未来仍需要农民与各界持续提供田间农作物数据,建立完整农业大数据数....
发表于 2020-01-07 17:28 85次阅读
人工智能技术可以养活世界吗

两江新区智能交通系统的指挥中枢,两江新区交巡警指...

“指挥中心是汇集交通管理信息的枢纽,进行交通管理调度的中心,重大交通行动的指挥控制中心。”据相关工作....
发表于 2020-01-07 11:14 203次阅读
两江新区智能交通系统的指挥中枢,两江新区交巡警指...

区块链技术对监管沙盒有什么作用

“区块链”这个名词来源于比特币体系底层数据结构的样式,现在用来指代无须信任中心授权和背书便可以运营数....
发表于 2020-01-07 11:00 48次阅读
区块链技术对监管沙盒有什么作用

区块链怎样做才能创造出价值

区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。
发表于 2020-01-07 10:27 39次阅读
区块链怎样做才能创造出价值

智慧养老可以带来哪一些便利的地方

随着大数据、云计算等信息技术飞速发展,智能养老设备性能越来越优越,功能越来越全面,已经慢慢进入居家、....
发表于 2020-01-07 10:12 44次阅读
智慧养老可以带来哪一些便利的地方

AI的多维世界是什么样的

人脑在计算速度,数据处理等方面会遇到瓶颈甚至极限,但AI的出现改变了这一切。在AI眼中,所谓的边界,....
发表于 2020-01-07 09:49 28次阅读
AI的多维世界是什么样的

物联网盛行的时代隐私如何自处

人们可以通过数据加密的方式保护自己的隐私,例如安全多方计算和同态加密技术。
发表于 2020-01-07 09:18 475次阅读
物联网盛行的时代隐私如何自处

物联网技术在地震中可以起到什么作用

在AI、物联网技术、5G等高科技手段应用于无人机、远程、数据采集、远程医疗等医疗工作的情况下,人员搜....
发表于 2020-01-07 08:44 32次阅读
物联网技术在地震中可以起到什么作用

基于DES算法的RFID怎样设计安全系统

改进后的DES算法具有面积小、功耗低的特点,更适合用于RFID标签电路。
发表于 2020-01-06 17:06 146次阅读
基于DES算法的RFID怎样设计安全系统

物质移动网络的将来,各种的数据表明看终端

利用规模小, 由IPV4向IPV6进化,从网络端到端的全面改造,关联网络,支撑,应用,终端等各个环节....
发表于 2020-01-06 14:22 248次阅读
物质移动网络的将来,各种的数据表明看终端

老肯医疗智慧物联网服务云平台及相关产品正式上市

为此,消毒灭菌设备物联网化已是迫在眉睫。物联网的采用,可帮助医护人员实时获取设备状态、设备故障、预警....
发表于 2020-01-06 13:55 242次阅读
老肯医疗智慧物联网服务云平台及相关产品正式上市

大数据智能化成就了哪一些就业

一个城市的产业发展与所需人才结构息息相关。“热专业”的背后,正凸显出近年来重庆产业变迁。
发表于 2020-01-06 11:40 56次阅读
大数据智能化成就了哪一些就业

佛山采用物联网传感器技术全方位监测城市安全

桥梁、化工厂、燃气管道……面对形式种类繁多的安全风险,如何能够跨领域,全方位监测,实现城市应急安全管....
发表于 2020-01-06 11:39 348次阅读
佛山采用物联网传感器技术全方位监测城市安全

无人零售为何没有火起来

新技术与零售融合的趋势不可逆转,但是零售数字化转型,还是应该回归零售本身,注重便利和优质产品。
发表于 2020-01-06 11:12 32次阅读
无人零售为何没有火起来

安防企业如何深耕交通大数据

行业发展推动技术创新,技术的迭代为行业提供更多的可能性,在大数据时代,安防行业要持续发展,产业创新必....
发表于 2020-01-06 10:52 190次阅读
安防企业如何深耕交通大数据

交通大数据如何协助春运

而伴随着每一年春运便捷度、舒适度地提升,大数据在其中起到的作用越来越明显,无论是购票系统的完善提升,....
发表于 2020-01-06 10:51 53次阅读
交通大数据如何协助春运

你敢相信L2自动驾驶的安全性吗

特斯拉说自家产品已经具备L4自动驾驶的硬件基础,但目前来看,没有激光雷达,以现有的毫米波雷达和单目摄....
发表于 2020-01-06 10:47 65次阅读
你敢相信L2自动驾驶的安全性吗

2019全球自动驾驶有哪一些融资情况

自动驾驶汽车是汽车产业与人工智能、高性能计算、大数据、物联网等新兴信息技术以及交通出行、城市管理等多....
发表于 2020-01-06 10:28 67次阅读
2019全球自动驾驶有哪一些融资情况

数据库技术的发展趋势是怎样的

在过去的几十年,数据库开发者都像是在单打独斗,就好像操作系统以下的就完全是黑盒了,这个假设也没错,毕....
发表于 2020-01-06 10:13 63次阅读
数据库技术的发展趋势是怎样的

企业级OLTP数据库GaussDB T的云服务上...

华为GaussDB T基于创新性数据库内核,提供高性能事务实时处理能力、金融级高可用能力,可以用于金....
发表于 2020-01-05 10:30 310次阅读
企业级OLTP数据库GaussDB T的云服务上...

你能想象吗?通过人工智能可以快速识别抓捕癌细胞

人工智能可以瞬间抓捕癌细胞,就像安防的摄像头,它只需要把片子输进去,自己就会读,当它辨别这是肿瘤细胞....
发表于 2020-01-05 09:49 490次阅读
你能想象吗?通过人工智能可以快速识别抓捕癌细胞

华夏银行在业务场景中人工智能应用的赋能成效

在智能风控应用布局上,华夏银行不断迭代智能化和数字化信贷服务平台,通过引进外部先进风控技术和自主开发....
发表于 2020-01-05 09:32 381次阅读
华夏银行在业务场景中人工智能应用的赋能成效

谷歌的人工智能实现了最先进的文本摘要性能

在测试中,研究小组选择了表现最佳的Pegasus模型,该模型包含了5.68亿个参数。它有两个训练材料....
发表于 2020-01-05 09:11 323次阅读
谷歌的人工智能实现了最先进的文本摘要性能

未来的5G到底有什么作用

家庭娱乐将因为5g带来翻天覆地的变化,我们目前家庭里面能够实现的视频传输速度基本上能满足1080p的....
发表于 2020-01-04 11:49 736次阅读
未来的5G到底有什么作用

RFID数字化智能工厂如何实现的大数据互联

随着智能化的不断快速发展,智慧工厂也慢慢成为行业的趋势,许多企业会在工厂采用RFID来管理。在生产制....
发表于 2020-01-04 11:42 545次阅读
RFID数字化智能工厂如何实现的大数据互联

2020第十二届北京国际数据中心技术设备展览会

2020第十二届北京国际数据中心技术设备展览会 2020 the 12th beijing international data center technology equipme...
发表于 2020-01-03 10:28 39次阅读
2020第十二届北京国际数据中心技术设备展览会

【项目分享】基于STM32的步进电机S型加减速控制算法

基于STM32的步进电机S型加减速控制算法 STM32简介STM32代表ARM Cortex-M内核的32位微控制器。专为要求...
发表于 2019-12-16 09:41 710次阅读
【项目分享】基于STM32的步进电机S型加减速控制算法

使用Labview的DataBase 非常方便的操作数据库

首先感谢NI公司为自动化测试所作的贡献! 一、问题描述:     利用Labview自带的DataBase选板函数...
发表于 2019-12-07 18:03 371次阅读
使用Labview的DataBase 非常方便的操作数据库

WMS系统如何减弱供应链的牛鞭效应?

WMS等系统的广泛应用使供应链信息趋向在线化、数据化和智能化,信息的流动、共享和决策支持将大幅优化库存,减...
发表于 2019-12-06 11:42 145次阅读
WMS系统如何减弱供应链的牛鞭效应?

PLC根据寄存器数值查询电脑数据库中的数据并返回结果到寄存器

        案例是通过一个智能网关,实现PLC与数据库的双向通讯,根据PLC中的数...
发表于 2019-11-21 10:17 342次阅读
PLC根据寄存器数值查询电脑数据库中的数据并返回结果到寄存器

NLPIR平台在文本分类方面的技术解析

文本分类问题就是将一篇文档归入预先定义的几个类别中的一个或几个,而文本的自动分类则是使用计算机程序来实现这种文...
发表于 2019-11-18 17:46 296次阅读
NLPIR平台在文本分类方面的技术解析

手册第六节部分算法例程在CCS上无法编译生成.out文件

不知是否有学习过手册中第六节部分算法例程,为什么那些算法例程在CCS上无法编译生成.out文件呢? 为此,我也进行...
发表于 2019-11-08 07:33 161次阅读
手册第六节部分算法例程在CCS上无法编译生成.out文件

【免费直播】AI芯片专家陈小柏博士,带你解析AI算法及其芯片操作系统。

直播内容:人工智能是新一轮科技革命和产业转型的核心驱动力,在海量数据、深度学习和超强算力的支持下,人工智能迎来...
发表于 2019-11-07 14:03 400次阅读
【免费直播】AI芯片专家陈小柏博士,带你解析AI算法及其芯片操作系统。