0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

区块链和大数据的关系及结合的必要性

姚小熊27 来源:人工智能实验室 作者:人工智能实验室 2020-10-23 14:27 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

互联网信息技术的高速发展,更多产业都对产业互联网方面加大投入。大数据、区块链人工智能等高新技术的不断发展,智慧城市应运而生。不过,智慧城市因为数据承载量大,以往的存储方式已经不能满足智慧城市所需的底层架构,因不具备弹性的扩张存储容量,且不能同时存储多种数据,同时安全问题也是智慧城市建设之中的重点,区块链其去中心化的思想与大数据的需求结合,去中心化以简洁的方式保障城市安全,使城市建设和运行更加稳定。

一、大数据和区块链的含义

1.大数据

大数据一般指的是海量、复杂的数据集。传统的数据处理软件无法在合理的时长内捕捉并处理这些数据。这些大数据集包括结构化、非结构化和半结构化数据,每一种数据集都可以通过分析获得洞见。

究竟数据量多大才算“大数据”还有待商榷。但数据量通常为拍字节的倍数;对于最大的项目来说,数据量通常在艾字节范围内。

通常,大数据包括以下三个要素:

海量的数据

各种类型的数据

数据处理和分析的速度

构成大数据存储的数据来源为网站、社交媒体、桌面和移动应用等。大数据的概念来自于使组织能够实际运用数据的组件。此外,企业还可以用大数据解决许多业务问题,如:支持大数据的IT基础设施;应用于数据的分析;大数据项目所需技术;相关技能;以及对大数据有意义的实际用例等。

2.区块链

区块链是一项彻底改变互联网运作方式的技术。该技术的工作原理是创建一系列数据记录,其中每个新纪录都驻留在一个区块中并指向前一个记录。术语“区块链”来自这种连接数据块的结构。

区块链技术使分布式账本系统成为可能,从而使记录更加透明。该技术使用加密技术来保护用户信息,分式账本系统几乎不可能被破解。区块链技术不仅是加密货币的主干技术,还有其它几种用途。

区块链网络上的加密货币交换可呈中心化,也可呈网络化。去中心化的加密货币交换几乎不可能被破解,因为有多个节点支持该系统。区块链技术使点对点共享内容成为可能,无需中间人平台。无论通过区块链网络分享什么内容,用户都保留对内容的所有权,除非用户将其出售给其他人。个人信息非常安全,并受私钥加密保护。

简而言之,区块链是一种网络技术。它可以让用户有机会安全地共享内容,实现点对点交易,不需要中间人或中央管理系统。

二、区块链和大数据的关系是怎么样的呢?

1、数据安全:区块链让数据真正“放心”流动起来

区块链以其可信任性、安全性和不可篡改性,让更多数据被解放出来。用一个典型案例来说明,即区块链是如何推进基因测序大数据产生的。区块链测序可以利用私钥限制访问权限,从而规避法律对个人获取基因数据的限制问题,并且利用分布式计算资源,低成本完成测序服务。区块链的安全性让测序成为工业化的解决方案,实现了全球规模的测序,从而推进数据的海量增长。

2、数据开放共享:区块链保障数据私密性

政府掌握着大量高密度、高价值数据,如医疗数据、人口数据等。政府数据开放是大势所趋,将对整个经济社会的发展产生不可估量的推动力。然而,数据开放的主要难点和挑战是如何在保护个人隐私的情况下开放数据。基于区块链的数据脱敏技术能保证数据私密性,为隐私保护下的数据开放提供了解决方案。数据脱敏技术主要是采用了哈希处理等加密算法。例如,基于区块链技术的英格码系统(Enigma),在不访问原始数据情况下运算数据,可以对数据的私密性进行保护,杜绝数据共享中的信息安全问题。例如,公司员工可放心地开放可访问其工资信息的路径,并共同计算出群内平均工资。每个参与者可得知其在该组中的相对地位,但对其他成员的薪酬一无所知。

3、数据存储:区块链是一种不可篡改的、全历史的、强背书的数据库存储技术

区块链技术,通过网络中所有节点共同参与计算,互相验证其信息的真伪以达成全网共识,可以说区块链技术是一种特定数据库技术。迄今为止我们的大数据还处于非常基础的阶段,基于全网共识为基础的数据可信的区块链数据,是不可篡改的、全历史的、也使数据的质量获得前所未有的强信任背书,也使数据库的发展进入一个新时代。

4、数据分析:区块链确保数据安全性

数据分析是实现数据价值的核心。在进行数据分析时,如何有效保护个人隐私和防止核心数据泄露,成为首要考虑的问题。例如,随着指纹数据分析应用和基因数据检测与分析手段的普及,越来越多的人担心,一旦个人健康数据发生泄露,将可能导致严重后果。区块链技术可以通过多签名私钥、加密技术、安全多方计算技术来防止这类情况的出现。当数据被哈希后放置在区块链上,使用数字签名技术,就能够让那些获得授权的人们才可以对数据进行访问。通过私钥既保证数据私密性,又可以共享给授权研究机构。数据统一存储在去中心化的区块链上,在不访问原始数据情况下进行数据分析,既可以对数据的私密性进行保护,又可以安全地提供给全球科研机构、医生共享,作为全人类的基础健康数据库,对未来解决突发疾并疑难疾病带来极大的便利。

5、数据流通:区块链保障数据相关权益

对于个人或机构有价值的数据资产,可以利用区块链对其进行注册,交易记录是全网认可的、透明的、可追溯的,明确了大数据资产来源、所有权、使用权和流通路径,对数据资产交易具有很大价值。

一方面,区块链能够破除中介拷贝数据威胁,有利于建立可信任的数据资产交易环境。数据是一种非常特殊的商品,与普通商品有着本质区别,主要是具有所有权不清晰、 “看过、复制即被拥有”等特征,这也决定了使用传统商品中介的交易方式无法满足数据的共享、交换和交易。因为中介中心有条件、有能力复制和保存所有流经的数据,这对数据生产者极不公平。这种威胁仅仅依靠承诺是无法消除的,而这种威胁的存在也成为阻碍数据流通巨大障碍。基于去中心化的区块链,能够破除中介中心拷贝数据的威胁,保障数据拥有者的合法权益。

另一方面,区块链提供了可追溯路径,能有效破解数据确权难题。区块链通过网络中多个参与计算的节点来共同参与数据的计算和记录,并且互相验证其信息的有效,既可以进行信息防伪,又提供了可追溯路径。把各个区块的交易信息串起来,就形成了完整的交易明细清单,每笔交易来龙去脉非常清晰、透明。另外,当人们对某个区块的“值”有疑问时,可方便地回溯历史交易记录进而判别该值是否正确,识别出该值是否已被篡改或记录有误。

为什么要把大数据和区块链结合起来?

1.安全性

区块链没有把数据上传到云服务器上,也没有把数据存储在一个地方,而是把所有数据东西分成小部分并使其分布在整个计算机网络上。它有效地排除了中间人。没有必要使用第三方来处理交易。当可以依赖去中心化的、不可篡改的分类账时,就不必再信任供应商或服务提供者。此外,区块链上发生的所有事情都是加密的,并且可以证明数据没有被更改。由于其分布式特性,所以可以检查网络中所有节点上的所有分类帐的文件签名,并验证它们是否未经更改。

2.数据质量

区块链提供的卓越的数据安全性和数据质量,可以改变人们处理大数据的方式。这非常有用,因为安全性仍然是物联网生态系统的主要关注点。物联网系统将各种设备和大量数据暴露在安全漏洞之下。而区块链具有强大的潜力,可以阻止黑客入侵,并在从银行、医疗保健到智能城市等多个领域提供安全保障。

3.隐私性

这是区块链与当今常见的传统技术模式的主要区别之一。区块链不需要网络层本身的任何标识。这意味着下载和开始使用该技术不需要姓名、电子邮件、地址或其他任何信息。不会严格要求用户个人信息意味着没有中央服务器存储用户信息,这使得区块链技术比可能被破坏的中央服务器更安全,不会使其用户的敏感数据处于危险之中。

4.透明性

区块链技术最吸引人的一个方面是它的隐私性。然而,这导致了一些关于隐私性和透明性如何有效共存的困惑。区块链之所以透明,是因为每个公共地址的持有和交易都是公开的。使用带有用户公共地址的资源管理器,可以查看他们的资产和交易。这种透明性以前从未在金融体系中存在过,特别是在大型企业方面,并增加了迄今为止尚未存在的某种程度上的问责制。

5.自动化

如今,业务流程无疑正在从缓慢的手工方法,转为更加自动化和集中化的趋势。自动化流程有很多好处:更快地完成任务、增加可见性、标准化输出、减少错误和降低成本等等。尽管自动化在帮助企业提高生产效率方面做了大量工作,但未来还会发生进一步的变化。特别是,区块链工作流程自动化可以帮助那些严重依赖交易和基于文档的流程的组织在数字化转型中迈出重要一步。

四、区块链在大数据中的应用起到的作用

将区块链技术应用于大数据之中,使得平台上数据无法随意修改、增删,使得大数据极具弹性,存储量也随之增加,安全性和技术性兼得。区块链技术对大数据的影响在于对于数据方面的确认以及数据存储方面,为大数据平台提供有力的技术补充。依托大数据和区块链技术融合,凸显区块链技术价值,使得所存储数据安全和信息都真实兼备,便于后期预测和分析。区块链是数字经济时代不可或缺的重要技术。

在智慧城市基础平台的搭建之中,大数据、区块链技术的优势明显。区块链技术与大数据技术的结合,使得智慧城市网络中,中心化管理机制不复存在,取而代之的是区块链技术赋予的分布式管理机制,消除了数据集中破坏的风险,免除了数据被人为的篡改,保障了城市数据安全,使得智慧城市各项功能更加完善。通过大数据、区块链技术构建智慧城市,也增强了数据的可靠性,使得智慧城市平台的数据更加稳定。

利用区块链、大数据技术的优势,也使得城市的“数据孤岛”得以打破,为智慧城市的建设和管理提供了有力的技术支持,利用相关方面技术,智慧城市基础数据建设规模方面也会增加,数据存储量大。反馈过程之中的精准度高,规避了更多智慧城市建设之中的各类问题。

随着社会经济的发展以及城市人口的增多,城市面临着各种各样的压力,城市管理、交通水平、公共服务等方面的问题层出不穷,智慧城市的建设发展随之兴起。随着大数据、区块链等互联网信息技术的不断发展成熟,在智慧城市的建设之中成为重要的基石。智慧城市包含智慧交通、智慧消费以及智慧环境等等多个领域,多种产业,而区块链、大数据也仅仅是科技发展之中互联网技术的缩影,只有充分发挥信息技术才能使得城市智慧化建设快速发展以致成熟。
责任编辑:YYX

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 大数据
    +关注

    关注

    64

    文章

    9029

    浏览量

    143054
  • 区块链
    +关注

    关注

    112

    文章

    15574

    浏览量

    110506
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    RDMA设计1:开发必要性1之设计考虑

    。 一. 选择 RDMA IP 开发必要性 为了满足大批量数据的采集、 存储与传输需求, 如机器学习、 雷达、 ⾦融⻛控、 航空航天等, 如何在 FPGA 上实现高带宽、 低延时的数据传输以
    发表于 11-19 14:30

    嵌入式软件测试与专业测试工具的必要性深度解析

    系统化解决方案,其必要性体现在多个维度:满足行业合规要求汽车电子ISO 26262、航空DO-178C等标准强制要求代码覆盖率指标达到C1(分支覆盖)≥100%、MC/DC(修正条件判定覆盖)≥100
    发表于 09-28 17:42

    数据中台对接MES系统的必要性体现在哪方面

    数据中台对接MES(制造执行系统)的必要性体现在 数据整合与共享、生产过程透明化、决策支持智能化、系统协同与效率提升、灵活性与可扩展性 等多个层面,能够打破数据孤岛、挖掘
    的头像 发表于 09-11 11:33 459次阅读

    利用传感器强化基坑安全监测的必要性

    在城市化向纵深发展的今天,基坑变形安全监测已非锦上添花,而是工程安全与城市运行的刚性需求,其必要性源于多重现实挑战:工程风险与日俱增:规模与深度挑战:现代基坑日益呈现“大、深、近、杂”的特点——规模
    的头像 发表于 08-28 11:30 625次阅读
    利用传感器强化基坑安全监测的<b class='flag-5'>必要性</b>

    光伏电站监控运维管理的必要性

    对光伏电站的运维管理进行监控,通过系统化的平台整合物联网、AI算法、大数据分析等先进技术,实现对电站运行状态的实时感知、故障预警和智能决策,实现从数据采集、分析到决策的全流程智能化。其作用覆盖经济
    的头像 发表于 08-06 09:52 550次阅读
    光伏电站监控运维管理的<b class='flag-5'>必要性</b>

    RDMA简介1之RDMA开发必要性

    为了满足大批量数据的采集、存储与传输需求,越来越多的数据密集型应用如机器学习、雷达、金融风控、航空航天等选择使用现场可编程逻辑门阵列作为数据采集前端硬件来实现高性能的数据采集系统。FP
    发表于 06-03 14:38

    半导体硅表面氧化处理:必要性、原理与应用

    特性。本文从半导体硅表面氧化的必要性出发,深入探讨其原理、方法、优势以及在集成电路、微电子器件等领域的广泛应用,旨在揭示表面氧化处理在推动半导体技术发展中的重要作
    的头像 发表于 05-30 11:09 1504次阅读
    半导体硅表面氧化处理:<b class='flag-5'>必要性</b>、原理与应用

    直流SPD系统中后备保护器(SCB)的必要性及行业应用方案

    的核心区别在于:直流故障电流不存在自然过零点,一旦SPD因过载或老化发生短路故障,故障电流会持续存在且难以通过传统断路器切断,可能引发火灾或设备损毁。因此,在直流SPD前端加装SCB(Surge Protective Device Circuit Breaker)后备保护器具有以下必要性
    的头像 发表于 05-19 14:59 843次阅读
    直流SPD系统中后备保护器(SCB)的<b class='flag-5'>必要性</b>及行业应用方案

    高考考场引入身份证人脸识别终端考务通的必要性

    终端这一先进的身份验证技术。下面,我们将详细探讨高考考场使用身份证人脸识别终端的必要性。首先,使用身份证人脸识别身份核验终端、刷脸核验一体机或人证对比终端可以大大
    的头像 发表于 05-19 10:14 568次阅读
    高考考场引入身份证人脸识别终端考务通的<b class='flag-5'>必要性</b>

    构建智慧校园建设的必要性

    智慧校园建设本质上是一场以信息技术为核心的教育革命,其技术架构的先进与创新直接决定了校园数字化转型的深度与广度。从底层基础设施到上层应用服务,智慧校园构建了一个完整的技术生态系统。 一、物联网
    的头像 发表于 05-15 11:01 331次阅读

    汉思新材料:国际关税贸易战背景下电子芯片胶国产化的必要性

    国际关税贸易战背景下电子芯片胶国产化的必要性分析一、引言近年来,中美关税贸易战持续升级,双方在半导体、电子设备等关键领域展开激烈博弈。美国通过加征关税(如对华商品最高税率达145%)、限制技术出口
    的头像 发表于 04-18 10:44 685次阅读
    汉思新材料:国际关税贸易战背景下电子芯片胶国产化的<b class='flag-5'>必要性</b>

    在晶圆衬底上生长外延层的必要性

    本文从多个角度分析了在晶圆衬底上生长外延层的必要性
    的头像 发表于 04-17 10:06 717次阅读

    RS485通信的必要性和接线方法

    在探讨RS485通信之前,有必要先提及RS232通信。即便您不熟悉RS232通信,您很可能已经见过并使用过RS232接口——只需查看家中台式电脑的机箱背面即可证实。
    的头像 发表于 04-03 09:17 2494次阅读
    RS485通信的<b class='flag-5'>必要性</b>和接线方法

    晶体管栅极多晶硅掺杂的原理和必要性

    本文介绍了多晶硅作为晶体管的栅极掺杂的原理和必要性
    的头像 发表于 04-02 09:22 2136次阅读
    晶体管栅极多晶硅掺杂的原理和<b class='flag-5'>必要性</b>

    石油开发企业部署人员定位系统的必要性及方案解析

    开发企业而言,这更是一项具有战略意义的举措。本文将以新锐科创的RTK+蓝牙+4G融合定位系统为范例,深入阐释石油开发企业部署人员定位系统的必要性及该系统的卓越性能。 一、石油开发企业面临的定位困境 恶劣自然环境阻碍定位
    的头像 发表于 03-24 16:07 533次阅读
    石油开发企业部署人员定位系统的<b class='flag-5'>必要性</b>及方案解析