0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

大数据技术的四大挑战与十大趋势

工业4俱乐部 来源:工业4俱乐部 2023-02-09 16:24 次阅读

日前,中科院院士梅宏联合中国人民大学、华中科技大学、中科院计算技术研究所、中国科学院大学、北京理工大学多位专家,发布最新论文《大数据技术前瞻》。该文在计算体系重构的背景下,指出了大数据技术发展的四大技术挑战和十大发展趋势。 论文指出,在大数据应用需求驱动下,计算技术体系正面临重构,从“计算为中心”向“数据为中心”转型,在新的计算技术体系下,一系列基础理论和核心技术问题亟待破解,新型大数据系统技术成为重要发展方向,同时面临四大挑战。

01新型大数据系统技术的四大挑战

挑战一:如何构建数据为中心的计算体系

全球大数据规模增长快速,2020年全球新增数据规模为64ZB,是2016年的400%,2035年新增数据将高达2140ZB1,大数据呈现指数级增长。随着数字经济的发展和数字化转型的深入,愈来愈多的数据资源正以数据要素的形态独立存在并参与数字经济活动全过程。因此构建以数据为中心的新型计算体系,以适用新的应用环境。如何组织和管理超大规模的数据要素已经成为一项难题:例如,针对大数据管理,面临数据跨域访问带来的各种问题、系统规模持续增大带来的可用性下降、维护大规模数据带来的成本和能耗持续增高等严峻挑战。

挑战二:如何满足大数据高效处理的需求

数据规模呈指数级增长,数据动态倾斜、稀疏关联、应用复杂,传统大数据处理架构数据处理成本高企、时效性差,如何满足规模海量、格式复杂、需求多变的大数据高效处理需求是大数据处理面临的重要挑战。

挑战三:如何实现多源异构大数据的可解释性分析

随着数据量持续地爆炸式增长和各类应用的不断拓展与深化,基于深度学习的主流方法因其仅关注单源单模态数据且模型只知其然不知其所以然的特性已无法满足发展需求。如何打破数据多源异构造成的隔阂,融合多域甚至全域数据中蕴含的知识,实现分析结果的可解释,从而提升其可用性,是当前大数据分析面临的主要挑战。

挑战四:如何形成系统化大数据治理框架与关键技术

针对大数据应用过程中的对数据汇聚融合、质量保障、开放流通、标准化和生态系统建设的需求,大数据治理技术逐渐成为发展热点,然而当前系统化的大数据治理框架尚未形成,开放共享、质量评估、价值预测等关键技术远未成熟,成为制约大数据发展的主要瓶颈。

02大数据技术十大未来发展趋势

趋势一:数据与应用进一步分离,实现数据要素化

数据从一开始是依附于具体应用的。数据库技术的出现使得数据与应用实现了第一次分离。数据存储在数据库中,不再依赖具体的应用而存在。数据要素化的需求将推动数据与应用进一步分离,数据不再依赖于具体的业务场景,数据以独立的形态而存在于数据库中,并通过数据服务向不同的业务场景提供服务。例如,人口数据库,可以向全部的涉及人口信息的业务场景提供服务。

趋势二:数联网作为数字化时代的新型信息基础设施

将形成一套完整的数联网基础软件理论、系统软件架构、关键技术体系,包括:针对数联网软件以数据为中心的特点,需要从复杂网络和复杂系统等复杂性理论出发,研究数联网软件的结构组成、行为模式和外在性质;针对数联网软件的数据传存算一体化需求,需要采用数据互操作技术和软件定义思想,研究数联网软件运行机理、体系结构与关键机制;针对数联网软件跨层级、跨地域、跨系统运行带来的可靠性、可用性、安全性等质量挑战,需要以数据驱动为手段,研究数联网环境下保障服务质量与保护质量的原理、机制与方法。

趋势三:从单域到跨域数据管理,促进数据要素的共享与协同

数据为中心计算的核心目标是数据价值的最大化,关键要打破“数据孤岛”,实现数据要素的高效共享与协同。传统数据管理局限在单一企业、业务、数据中心等内部,未来大数据管理将从传统的单域模式发展到跨域模式,跨越空间域、管辖域和信任域。但跨空间域造成网络时延较高且不稳定;跨管辖域造成数据与应用异构,数据管理复杂度大大提升;跨信任域则要求具备容忍各类恶意错误的能力,跨域带来的这些变化将为大数据技术带来了新的机遇和挑战。

趋势四:大数据管理与处理系统体系结构异构化日趋明显

体系结构创新进入“黄金十年”,围绕不同数据处理特征的新型加速器(GPU、TPU、APU 等各种xPU)层出不穷,存储器件快速发展,高速SSD、新型非易失内存、新型计算网络等成为大数据处理系统的重要硬件配置,计算与存储的融合趋势明显。为极大程度发挥数据管理能力,大数据管理系统在存储、网络、计算等硬件上最大化挖掘新型硬件的处理能力。在处理上针对不同数据处理需求,配置不同计算与存储硬件成为大数据处理系统的主流架构。数据驱动的计算架构快速发展,从控制流到数据流到系统设计切换成为大数据处理系统从微观到宏观的重要体系结构设计理念。

趋势五:扩展性优先设计到性能优先设计

数据规模急剧增长,大数据处理需求越来越走向深度价值挖掘,数据处理计算愈发密集,数据管理与处理的成本成为大数据管理与处理系统的重要考量因素,传统“以扩展性优先”的大数据处理系统设计将会被“以性能优先”的系统设计所替代。Spark、Flink 等系统在大数据处理生态系统中的占有率明显体现了这一趋势,图计算(图加速器、图计算框架等)、深度学习框架(Tensorflow、PyTorch 等)等领域专用大数据处理系统的崛起也是这一系统设计理念在技术生态上的表现。智能化数据管理、近似计算等新兴管理与处理方法成为性能优先设计的重要技术手段。

趋势六:近数处理成为突破大数据处理系统性能瓶颈的重要途径

存算一体类体系结构技术快速发展,新型SSD等新型存储赢家功能愈发丰富,分布式计算系统边缘能力迅速发展,以上三种体系结构技术发展为大数据近数处理提供了良好的发展契机。近数处理体现在“存储上移”(如在GPU、FPGA 等计算设备上集成HBM)、“算力下沉”(如在DRAM 内存或者SSD 存储设备上集成处理能力)、“分布扩展”(如在云、边、端分布式处理数据,降低数据处理中心压力)。

趋势七:从单域单模态分析到多域多模态融合,实现广谱关联计算

传统大数据分析技术大多仅聚焦于单一来源单一模态数据,而实际应用中往往要对来自不同来源不同模态(如文本、图像、音视频等)的数据进行联合分析,从而实现不同来源与不同模态数据之间的信息互补。此外,诸多领域的大数据往往具有重要的时空属性,当前研究对这类信息的利用还不太充分。因此,探究能够跨模态关联、跨时空关联的广谱关联技术是大数据分析处理的一个重要趋势。

趋势八:从聚焦关联到探究因果,实现分析结果可解释

如何让大数据分析模型更加稳定且具有可解释性,从而使其分析结果对用户而言变得更加可信、更为可用最好还能具备一定的可回溯性是大数据分析面临的巨大挑战。虽然已有因果推断与可解释性分析技术取得了一定进展,但总体来说尚处于起步阶段,离实际应用还有很长一段距离。因此,从关联到因果也是未来大数据分析技术的重要研究方向。

趋势九:高能效大数据技术是可持续发展的关键

全球大数据的持续高速增长,尤其是碳达峰、碳中和目标的提出,要求大数据技术栈必须走低碳高效、可持续发展的路线。例如云数据管理系统以资源共享、节能高效为主要特点,将是未来大数据管理的主要基础形态;在云数据管理基础上的全国一体化高能效大数据管理,可以进一步由于算力和数据要素的大规模调度与流通,将成为未来大数据管理的主要方向,形成低碳发展新格局。

趋势十:大数据标准规范和以开源社区为核心的软硬件生态系统将成为发展的重点

随着大数据在各个领域应用的迅速普及,标准化需求将不断增长,与大数据流动融合、质量评估,及与行业、领域应用密切相关的大数据标准将成为发展重点。开源社区在大数据软硬件生态建设中的地位不断加强,对开源社区的主导权争夺将成为各国技术、产品和市场竞争的重要战场。

03结束语

回顾国内外大数据技术在管理、处理、分析与治理四个方面近十年的发展,可以看出,数据规模高速增长,现有处理计算能力已经成为瓶颈;数据成为生产要素,但数据价值释放不充分;从产业生态重点的变迁看,呈现出“应用先于理论技术,市场先于标准法规”的现象,虽然大数据已经在一些应用领域(特别是互联网领域)取得了较好的成效,但是大数据基础理论和应用技术不成熟,大数据治理体系远未建立,总体上,大数据发展仍然处于初级阶段。 中国在大数据发展方面取得积极进展,但总体上较之国际先进水平,仍存在差距。具体地,大数据管理技术大部分领域与国外顶尖水平基本相同或接近,其中高能效一体化大数据管理领域处于国际领先水平;大数据处理技术多数领域与国外顶尖水平尚存在技术差距,在资源和互联网应用领域大数据处理技术应用较好,与国际最高水平基本持平;大数据分析的基础理论与核心技术方面与国际先进水平还存在着一定差距,在商业等领域应用方面已超越国外;大数据治理技术整体上发展较晚,体系远未成形,技术产品生态仍由国外主导,同时在以数联网为代表的数据开放流通技术方面与国际先进水平相当。 面向未来,在大数据应用需求驱动下,计算技术体系有必要进行重构,以数据为中心的新型大数据系统技术成为重要方向,信息技术体系将从“计算为中心”向“数据为中心”转型,新的基础理论和核心技术问题仍有待探索和破解。以大数据管理、处理、分析和治理为核心的大数据技术在原有通用计算体系上的持续优化仍有发展空间,数据为中心的新技术体系将成为缩小大数据规模指数级增长、与大数据计算需求和能力之间“剪刀差”的突破点。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 大数据
    +关注

    关注

    64

    文章

    8576

    浏览量

    136516
  • 深度学习
    +关注

    关注

    73

    文章

    5200

    浏览量

    119803

原文标题:梅宏院士等:大数据技术的四大挑战与十大趋势

文章出处:【微信号:industry4_0club,微信公众号:工业4俱乐部】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    大数据技术是干嘛的 大数据核心技术有哪些

    的核心技术,包括数据采集、存储与管理、处理与分析等方面。 一、大数据技术背景和概念 1.1 背景 随着互联网技术的迅猛发展,人们可以通过各种
    的头像 发表于 01-31 11:07 559次阅读

    华为发布2024智能光伏十大趋势

    华为以“持续创新,质胜未来,加速光伏成为主力能源”为主题,举办2024智能光伏十大趋势发布会。
    的头像 发表于 01-25 11:17 278次阅读

    华为发布2024数据中心能源十大趋势

    今日,华为举办2024数据中心能源十大趋势发布会并发布《白皮书》。发布会上,华为数据中心能源领域总裁尧权定义未来数据中心的三大特征:安全可靠、融合极简、低碳绿色,并分享
    的头像 发表于 01-15 17:29 480次阅读

    AIGC将如何落地?2024 AIGC应用层十大趋势

    1 月 3 日,钉钉联合国际知名咨询机构 IDC 发布首份《2024 AIGC 应用层十大趋势白皮书》(下称《白皮书》)。
    的头像 发表于 01-08 17:10 701次阅读
    AIGC将如何落地?2024 AIGC应用层<b class='flag-5'>十大趋势</b>

    2024人工智能四大趋势

    2023年,世人见证了ChatGPT在全球范围的大火。以生成式人工智能为代表的新一代人工智能问世,改变了人工智能(AI)技术与应用的发展轨迹,加速了人与AI的互动进程,是人工智能发展史上的新里程碑。2024年,人工智能技术与应用的发展又会呈现出哪些
    的头像 发表于 01-05 10:37 595次阅读

    人工智能未来十大趋势

    人工智能未来十大趋势 随着科技的飞速发展,人工智能领域也在不断地向前推进。无论是在工业领域还是在个人生活中,人工智能正在发挥着越来越重要的作用。那么,未来十大人工智能趋势都有哪些呢?接下来,我们
    的头像 发表于 08-17 12:36 3859次阅读

    层峰观点-关注四大趋势将物联网提升至新的水平

    行业现有的成就,必须思考下一步做些什么才能将行业应用提升到一个新的水平?为了推动物联网向前发展,我们必须关注以下四大趋势。点击文末的 阅读原文 按钮或是复制链接阅读完整内容: https
    的头像 发表于 07-24 18:30 243次阅读
    层峰观点-关注<b class='flag-5'>四大趋势</b>将物联网提升至新的水平

    规模挑战 (1)#大数据处理

    大数据
    未来加油dz
    发布于 :2023年07月05日 11:41:50

    负极市场四大趋势研判

    锂电产业链走过一季度产能出清调整,二季度整体需求提振,四大主材领域自4月开始订单回暖显著。
    的头像 发表于 06-11 09:54 593次阅读
    负极市场<b class='flag-5'>四大趋势</b>研判

    IPv6发展的三大趋势

     IPv6的发展现在有三大趋势:一是过渡在加速,二是从双栈向IPv6单栈发展,三是从IPv6到IPv6﹢的发展。
    发表于 05-12 09:59 552次阅读

    大数据技术有哪些 大数据前景

    大数据从字面意思来理解,就是海量数据的结合,从数据分析全流程的角度,大数据技术主要包括数据采集与
    的头像 发表于 04-14 17:45 3669次阅读

    大数据技术主要学什么 大数据技术就业方向

    大数据技术专业主要包括以下方面的学习内容:   数据技术数据库是存储和管理数据的关键
    的头像 发表于 04-14 17:21 5357次阅读

    华为云FusionInsight助力客户全面演进到现代数据栈 云领未来

    IDC调研显示,大数据与分析成为政企数字化转型第一要务,但是企业在使用大数据技术过程中还面临一些挑战。在2023年1月,《大数据
    的头像 发表于 04-12 14:30 250次阅读

    大数据技术主要学什么

    大数据技术主要学什么 大数据技术专业主要学统计学、数学、计算机、医学、环境科学、经济学、社会学、管理学、数据采集、计算机编程语言等。 就业方
    发表于 04-12 13:53 6513次阅读

    云计算与大数据的联系和发展趋势

     云计算技术的发展,可降低大数据业务成本;同时,基于海量业务数据,可实现云计算服务的创新。因此,大数据与云计算的结合使用是计算机技术的一个发
    发表于 04-11 14:59 1329次阅读