0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

随着物联网部署的快速增长,迎来挖掘数据湖

如意 来源:物联之家网 作者:iothome 2020-08-25 11:32 次阅读

许多科技评论员将数据称为“新石油”。在当前疫情的影响下,数据也可以被视为公用事业,比如电力、水和宽带。这是塑造、支持、保护和优化所有生命的重要资源。

随着物联网部署的快速增长,各组织正在捕获比以往更多的数据。但是,围绕数据的使用仍然存在许多问题需要厘清。数据的价值是什么?如何使它们可用,并有效地使所有利益相关方(政府、公民和企业)受益?如果可能的话,如何将其货币化?鉴于后冠状病毒时代的影响,这是一个高度热门的领域。

挖掘数据湖

物联网的使用增加了来自新设备、环境和流程的额外数据,而这些是组织以前无法连接或探索的。在概念验证阶段,可以将这些数据视为独立资产,但最终目标是将其与其他数据结合起来,以创建可以分解和利用的“数据湖”。然而,尽管许多组织和实体(如地方当局)都在按部就班地收集这些数据,但他们尚未有效地挖掘该数据,对其进行审查以生成新信息并最大限度地发挥其真正价值。

随着越来越多物联网项目的部署和成熟,大量数据(可能有数十亿)将被添加到现有存储库中。如今,数据正在以惊人的速度积累,而且这些数据对组织和公民来说将是有价值和有用的。某些数据可以设计为收集并主动与第三方共享,以帮助社区决策。这方面的一个例子是智慧城市基础设施——城镇规划师、建筑公司、公用事业公司、公众咨询机构、服务提供商等等可能希望访问特定数据,以进行规划、建设或改善服务。

另一方面,随着物联网的推出,在广泛共享数据方面可能会出现冲突,例如,测量气候和污染的数据点可能越来越多,这可能会揭示一个城市不断上升的二氧化碳水平,这将导致该城市受到严格审查和罚款。随着暴露于污染环境和易受新“超级病毒”影响之间的联系得到确立,测量空气质量水平现已成为当务之急。并且,数据洞察力与潜在的社会和商业影响之间的平衡可能成为一个需要管理的复杂问题。

但首先,数据必须以可使用的方式进行挖掘和构建,因此必须有一个系统来确定谁有权使用这些数据。这些数据是免费的还是商业的?还是这些数据是机密的,仅供内部使用?冠状病毒疫情期间,随着个人追踪数据的开放,最新的发展已经超越了数据保护的担忧——这将成为确保我们城市人口健康的常规做法吗?

公共部门正在进行大量培训,内容涉及如何使用数据、雇佣数据科学家与使用第三方资源、如何组合工具以使数据挖掘有效——获得正确的专业知识至关重要。

提出正确的问题并定义数据集的查询也很重要。如果您没有提出正确问题以从中获得最大的洞察力,那么收集越来越多的数据将毫无价值。使用物联网平台处理数据的好处包括强大的分析和可视化功能,这可以提供趋势分析甚至投资回报(ROI)。这些工具和可视化功能可以针对各个部门和利益相关方进行定制和个性化。

保护数据

在实施物联网网络基础设施时,安全是重中之重。对于许多物联网部署来说,将需要使用公共和私有数据源的组合,但是如何安全管理数据呢?一些数据将与任务关键型基础设施和运营(如交通流量、能源和水基础设施)有关。此外还有中央政府、地方当局和公共机构公布的公共领域或“开放”数据,包括环境(天气、洪水、空气质量)、交通(机场、道路、电动汽车、停车场、公共汽车)、城镇和城市(住房、城市规划、休闲、废物和能源)、教育、卫生(医院、医疗绩效)等。

这就是需要中间件的地方,该中间件可以有效地分割数据网络并确定适当的流量优先级,使数据能够正确有效地路由到正确的存储库和分析引擎。收集的数据越多,挑战就越大。这需要一种全面的数据策略,不仅要涵盖各种数据来源,而且还要包括引入数据的路径和收集方法。

解决文化问题

当涉及到物联网部署时,文化仍然是采用的主要障碍。全天候监控或公司访问我们个人数据的想法让人们感到紧张。这主要是由于该数据将要发生什么,以及谁最终拥有该数据的未知事实所致。

好消息是,大多数物联网数据都是以匿名、安全的形式收集和传输的。作为跟踪流程的一部分,这些数据将被解读、整理、分析并与其他数据集成。与电子商务网站收集的个人数据相比,物联网数据组合主要用于提供总体情况并跟踪趋势和变化。此外,隐私设计是物联网系统解决方案的固有功能,可缓解隐私问题。

随着物联网继续成为我们日常生活的一部分,我们很可能会看到这种格局的演变,甚至在细化级别上,在这种级别上,已授予将特定数据用于特定目的的权限。因此,教育对于克服文化顾虑、宣传物联网数据使用的好处至关重要,例如,在智能建筑中,物联网如何对能源使用等要素产生积极影响——不仅仅是在降低费用方面,而且在减少对环境的影响以及更多后续收益方面。

目前缺乏关于如何共享数据的立法框架,这是业界一直在寻求的东西。同时,GDPR是围绕数据共享和数据处理的唯一通用机制,但它需要扩展和本地化。我们现在正处于数据共享的早期采用阶段,在这一阶段,组织正在寻找最佳实践和咨询,复制其他人在数据挖掘和管理方面所做的工作,以确定最佳策略,同时也在尝试创新方法。

围绕物联网数据使用的演变是一个持续发展的过程,但对于那些从计划和项目中收集越来越多的数据的组织而言,这可能也是一个挑战。将物联网数据与其他来源相结合,挖掘并以更加灵活和量身定制的方式提供给各种利益相关方,是一项复杂的任务,需要与专业团队合作。

希望有效利用新数据的组织应寻求建立由专家和提供商组成的互补生态系统,这能够在复杂情况下获得数据收集、挖掘和分发的指导,并解决所有必要的障碍,包括基础设施、安全和文化障碍等。

数据使用的潜在价值是巨大的——可以为所有人提供更好、更安全、更高效的生活。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据
    +关注

    关注

    8

    文章

    6511

    浏览量

    87573
  • 物联网
    +关注

    关注

    2867

    文章

    41576

    浏览量

    358240
  • 数据分析
    +关注

    关注

    2

    文章

    1351

    浏览量

    33731
收藏 人收藏

    评论

    相关推荐

    海光3号CPU带动海光信息业绩快速增长

    海光3号CPU带动海光信息业绩快速增长 海光信息近年来增长极为迅猛;2017年,海光公司进行“海光1号”的流片研发,并在2018年进行了量产,同时其按照销售一代、验证一代、研发一代、规划一代的节奏
    的头像 发表于 10-25 15:39 2221次阅读

    联网专业前景怎么样?

    联网专业前景怎么样? 联网专业在当今技术发展迅速的背景下具有广阔的前景。以下是联网专业的
    发表于 10-20 09:48

    机器学习与数据挖掘方法和应用

    机器学习与数据挖掘方法和应用(经典)
    发表于 09-26 07:56

    基于飞腾派的边缘联网

    本帖最后由 zhh763984017 于 2023-9-21 16:53 编辑 今天给大家分享一个飞腾派的一个应用场景——边缘联网关。边缘联网关可以连接各种
    发表于 09-21 16:50

    潜力巨大!BLDC电机控制器市场有望快速增长

    随着方案成本的下降以及智能家居、智慧物流和新能源汽车等应用领域的扩大,BLDC电机控制器市场潜力可能爆发,有望迎来快速增长的机遇。 前言: BLDC电机控制器是一种广泛应用于电机控制领域的关键设备
    的头像 发表于 09-15 15:12 354次阅读

    一文弄懂数据挖掘的十大算法,数据挖掘算法原理讲解

    数据挖掘主要分为三类:分类算法、聚类算法和相关规则,基本涵盖了当前商业市场对算法的所有需求。这三类包含了许多经典算法。市面上很多关于数据挖掘算法的介绍都是深奥难懂的。今天我就用我的理解
    的头像 发表于 09-14 15:56 529次阅读
    一文弄懂<b class='flag-5'>数据</b><b class='flag-5'>挖掘</b>的十大算法,<b class='flag-5'>数据</b><b class='flag-5'>挖掘</b>算法原理讲解

    功率半导体迎来SiC时代?碳化硅(SiC)的需求快速增长

    在新能源汽车终端市场中,随着SiC材料价格下降,碳化硅(SiC)的需求快速增长,来自于车载充电、驱动逆变和DC-DC转换。
    的头像 发表于 08-27 09:47 828次阅读
    功率半导体<b class='flag-5'>迎来</b>SiC时代?碳化硅(SiC)的需求<b class='flag-5'>快速增长</b>

    机器学习与数据挖掘的区别 机器学习与数据挖掘的关系

    机器学习与数据挖掘的区别 , 机器学习与数据挖掘的关系 机器学习与数据挖掘是如今热门的领域。
    的头像 发表于 08-17 16:30 1517次阅读

    数据挖掘与机器学习专业就业方向

    数据挖掘与机器学习专业就业方向 随着信息技术的不断发展以及互联网的普及,我们现在生活在一个大数据时代中。大量的
    的头像 发表于 08-17 16:29 1208次阅读

    数据挖掘十大算法

    提供有力的支持。 在数据挖掘中,算法起着至关重要的作用。它们是整个数据挖掘流程的核心,负责处理原始的数据,将其转换为可以用于进一步分析和建模
    的头像 发表于 08-17 16:29 1826次阅读

    浅谈工业联网平台

    工业互联网平台 工业互联网平台的本质是在传统云平台的基础上叠加联网、大数据、人工智能等新兴技术,搭建对工业
    发表于 08-10 15:45

    数据中台如何应对数据量的快速增长?#数据中台 #光点科技

    数据
    光点科技
    发布于 :2023年07月10日 10:09:06

    高技术制造业快速增长 高技术制造业包括哪些行业

    高技术制造业快速增长 尽管在经济不太景气的大环境下,但是我国高技术制造业持续快速增长的势头没有停止。而且制造业高端化、智能化、绿色化的态势正在不断深入;升级转型的步伐坚定有力。 根据是新闻联播的报道统计数据
    的头像 发表于 06-19 10:48 2614次阅读
    高技术制造业<b class='flag-5'>快速增长</b> 高技术制造业包括哪些行业

    MLCC市场迎来复苏,价格跌幅减小向稳步增长-阻容1号

    。 -新能源汽车 随着全球新能源汽车产业的快速发展,MLCC在汽车电子领域的应用需求迅速增加。数据显示,电动汽车平均可以搭载超过1万个MLCC,而高端车型的MLCC搭载量更是可以达到3万个
    发表于 06-01 17:20

    联网无线通信技术比较

    相应的大数据采集以及云端应用形成联网大生态(下图为示意图)。   以大家常见的手环为例:通过加速度传感器,脉搏传感器,血氧传感,血压传感等等,加上蓝牙应用层协议(Profiles)和蓝牙内置的MCU,便可
    发表于 05-15 15:57