11月5日,在云栖大会一体化大数据智能峰会上,由开放原子开源基金会、X-lab开放实验室和阿里巴巴开源委员会联合出品的《2022开源大数据热力报告》重磅发布。
开放原子开源基金会副秘书长刘京娟
开放原子开源基金会副秘书长刘京娟对报告进行了深度解读。报告基于公开数据研究最活跃的102个开源大数据项目,探寻出开源大数据技术发展背后的“摩尔定律”:每隔40个月,开源项目热力值就会翻一倍,技术完成一轮更新迭代。在过去8年里,发生了5次较大规模的技术热力跃迁,多元化、一体化、云原生成为当前开源大数据发展趋势的最显著特征。
定量分析“后Hadoop时代”开源趋势
Hadoop作为开源大数据技术的起源,兴起于2006年,至今已有16年历史。报告收集了从Hadoop发展第10年(即2015年)至今的相关公开数据,并进行了关联分析,定义了开源项目热力值研究模型,用量化指标描述开源项目的开发迭代活跃度和受开发者欢迎程度。 报告所呈现的开源大数据热力图,从技术全景、技术栈分类以及项目维度对入围项目的热力表现进行洞察,将项目进程中的关键事件与热力表现关联分析,并访谈了开源基金会、知名开源项目等领域专家,尝试找到项目健康发展一般规律,并对有效提升项目影响力的方法论进行了归纳总结。开源大数据技术的“摩尔定律”
报告发现,每隔40个月,热力值会提升1倍,开源大数据完成一轮技术迭代升级,而且技术周期在加速缩短。在8年时间内,发生了多轮热力变迁,反映出背后技术的更新换代趋势。开发者对「数据查询与分析」保持了长期的开发热情,连续8年位居热力值榜首。2017年,「流处理」热力值超过「批处理」,大数据处理进入实时阶段。数据规模不断扩大,数据结构也更多样化,「数据集成」从2020年开始爆发式增长。三大热力趋势:多元化、一体化和云原生
用户需求多样化推动技术多元化。「数据湖」以34%的热力值年均复合增长率高居热力值增速第一位,「交互式分析」、「DataOps」紧随其后,分列第二、三位 。而原有Hadoop体系的产品迭代则趋于稳定,热力值年均复合增长率为1%。 从2015年开始,计算部分率先进入「一体化」演进历程,其中的典型代表「流批一体」在2019年出现了第一个热力峰值。以数据湖存储为代表的存储一体化从2019年起进入了一个新的发展阶段,涌现了Delta Lake、 Iceberg和Hudi等热点项目。 云原生大规模重构开源技术栈。诞生于云原生时代的开源项目如雨后春笋般破土成长。「数据集成」、「数据存储」、「数据开发与管理」等领域均有重大项目更迭,新项目热力值占比已经超过了80%。开源大数据热力榜单TOP30
本报告从102个入围项目中,评选出了TOP30热力榜单。Kibana以989.40的热力值高居榜首。ClickHouse(数据查询与分析)、Airflow(数据调度与编排)、Flink(流处理)、Airbyte(数据集成)分别摘得各自细分领域的TOP1。Pulsar、Doris、StarRocks、DolphinScheduler、SeaTunnel等一众中国开源项目也表现出高热力趋势。把解决用户痛点作为核心竞争力,是这些优秀开源项目的共同特征,这一特征保证它们与时俱进,成为热力趋势中的“常青树”。 感谢开源中国、InfoQ和阿里云开发者社区的战略支持;感谢对本报告内容产出做出重要贡献的32位专家和贡献者;感谢CSDN、DataFun、Segmentfault思否、开源社等社区合作。报告下载地址:
https://www.openatom.org/other/%E5%BC%80%E6%BA%90%E5%A4%A7%E6%95%B0%E6%8D%AE%E7%83%AD%E5%8A%9B%E6%8A%A5%E5%91%8A2022.pdf
原文标题:《2022开源大数据热力报告》重磅发布
文章出处:【微信公众号:开放原子】欢迎添加关注!文章转载请注明出处。
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。
举报投诉
-
OpenHarmony
+关注
关注
23文章
3316浏览量
15161 -
开放原子基金会
+关注
关注
1文章
467浏览量
4961
原文标题:《2022开源大数据热力报告》重磅发布
文章出处:【微信号:开放原子,微信公众号:开放原子】欢迎添加关注!文章转载请注明出处。
发布评论请先 登录
相关推荐
5G智能制造热力工厂数字孪生可视化平台,推进热力行业数字化转型
开始探索数字化转型之路。而5G智能制造工厂数字孪生可视化平台,正是这一转型过程中的重要工具。5G智能制造工厂数字孪生可视化平台,通过集成物联网、大数据、云计算、人工智能等先进技术,实现了对热力生产全过程的数字化模拟和实时监控。
诚邀报名|黄向东邀您共话开源工业物联网大数据
2023 开放原子开发者大会 OPEN ATOM DEVELOPERS CONFERENCE 开源工业物联网大数据分论坛 2023.12.17 物联网与大数据技术的飞速进步,为工业数字化转型提供
开源工业物联网大数据分论坛圆满举办
日,“开源工业物联网大数据”分论坛在无锡成功召开。论坛以工业物联网大数据全生命周期管理为线索,邀请国内相关知名开源项目企业分享其典型成果,并邀请相关企业分享其实践案例。 蘑菇云客空间共
诚邀报名|黄向东邀您共话开源工业物联网大数据
2023开放原子开发者大会 . OPEN ATOM DEVELOPERS CONFERENCE 开源工业物联网大数据分论坛 2023.12.17 物联网与大数据技术 的飞速进步,为工业数字 化转型
华为鸿蒙系统
]^
2021年11月17日,HarmonyOS迎来第三批开源,新增开源组件769个,涉及工具、网络、文件数据、UI、框架、动画图形及音视频7大类。^ [57]^
2022年8月,
发表于 11-02 19:39
士兰微电子发布2022年度可持续发展报告 提升公司ESG治理水平
-Silan- SUSTAINABILITY REPORT 可持续发展报告 2022年度 2023年8月3日,士兰微电子在上海证券交易所网站发布了《2022年度可持续发展
ADI发布《2022年环境、社会责任和公司治理报告》
北京2023年7月18日 /美通社/ -- 全球领先的半导体公司Analog Devices, Inc. (Nasdaq: ADI)发布《2022年环境、社会责任和公司治理(ESG)报告》,报
旷视科技正式发布2022年可持续发展报告
今日,旷视科技正式发布『2022年可持续发展报告 - 让物理世界更美好』,报告通过“践行硬科技企业责任、科技促进实体经济高质量发展、发展负责任的AI、技术普惠,让AI触手可及、绿色创新
中兴通讯正式发布2022年度可持续发展报告
近些年,一系列环境与气候问题,让大家意识到可持续发展已成为必然之举。而实行可持续发展,中兴通讯一直在路上。 今天,中兴通讯正式发布2022年度可持续发展报告,这是我们连续十五年每年主动向社会发
重磅首发!“2022-2023大数据创新成果榜”揭晓
2023年4月7日,“2022-2023大数据创新成果榜”征集结果正式发布。本次创新成果征集由信息化观察网、2022-2023大数据应用创新
大数据是什么 大数据存储的概念 大数据应用场景有哪些
大数据的成功管理取决于几个方面,例如数据的收集、存储、处理、分析和可视化。在大数据的处理过程中,各种技术和算法也被不断地应用于解决各种问题。大数据技术将继续发展和应用于各种领域,成为管
发表于 05-03 09:23
•2811次阅读
评论