侵权投诉

腾讯云新一代分布式存储系统发布,支持百亿甚至千亿级文件规模存储

2020-09-24 16:53 次阅读

刚刚获悉,由腾讯云大数据团队主导的Ozone 1.0.0版本在Apache Hadoop社区正式发布。据了解,经过2年多的社区持续开发和内部1000+节点的实际落地验证,Ozone 1.0.0已经具备了在大规模生产环境下实际部署的能力。

Ozone 是Apache Hadoop社区推出的新一代分布式存储系统,它的出现满足了大量小文件的存储问题,解决了Hadoop分布式文件系统在可扩展性上的缺陷。作为Hadoop生态圈的一款新的对象存储系统,能够支持百亿甚至千亿级文件规模的存储。

腾讯云大数据团队Ozone项目负责人陈怡表示,作为大数据领域的领导厂商,腾讯是国内一线互联网公司中最早加入社区的,目前已经在Ozone项目上已经主导完成了集群网络拓扑感知的开发,以及数据写入Multi-Raft Pipeline功能的开发。同时,主导的StorageContainerManager(SCM) 高可用HA功能也正在开发中。

腾讯云新一代分布式存储系统发布,支持百亿甚至千亿级文件规模存储

Ozone 架构图

以集群网络拓扑感知来说,在传统的大数据构架下,有了网络拓扑结构,计算引擎的调度器可以将任务调度到离数据最近的节点来获取“数据的局部性”。即便是新兴的计算存储分离构架,同样也需要集群网络拓扑信息,来保证数据的故障容错能力和高可用性。

陈怡进一步介绍说,在Ozone 的Alpha 发布后,腾讯内部的大数据平台上线了Ozone生产集群,承接了一部分业务的数据存储。随着数据服务体量的增加,逐渐发现Ozone写入性能显现出了一定的波动和瓶颈。基于这个发现,腾讯Ozone项目组设计并开发了数据写入Multi-Raft Pipeline功能,显著的提升了Ozone的写入吞吐量和性能。

此外,为了测试Ozone整体的稳定性和性能,作为部署应用的先锋小队,腾讯内部部署了一个1000个数据节点的集群。进行了长达几个月的稳定性和压力测试。期间团队遇到并解决了各种OOM、节点Crash、性能低于预期等问题。经过全面的优化之后,单集群1000个节点现已能长时间稳定运行,并且所有的数据都校验确认正确无误。

除了1000个节点集群的测试,1.0.0版本还进行10亿个元数据对象的测试和优化,进一步解决长期困扰HDFS的大量小文件问题。目前Ozone 1.0.0能够轻松支持10亿个10KB小对象的写入,同时元数据节点内存使用不超过64GB。

为了确保Ozone和Hive、Spark、Impala等计算框架的无缝对接,Ozone 1.0.0进行了和Hive LLAP、Spark以及Impala的集成测试。TPC-DS的测试表明,在100GB和1TB两种数据量大小下,Ozone总体比HDFS有3.5%的优势。

经过不断的测试和优化,升级后的Ozone 1.0.0在版本功能上有了质的跨越。除了支持 Hadoop Compatible FileSystem、Hadoop 2.x以及 Hadoop3.x环境,Ozone 1.0.0还兼容Hadoop生态的Kerberos认证体系,支持数据的用户无感知加密存放和Ranger授权集成、GDPR “Right to Erasure”以及网络构架感知。

未来,腾讯云大数据还将发挥自身技术优势和积累,在Ozone的基础上开发基于SCM的新一代高性能分布式文件系统,并持续推进Ozone在更多腾讯内外部业务的实践落地,部署更大规模的生产集群。同时,进一步拥抱开源,深度参与Hadoop社区,提高Ozone的可靠性、稳定性和性能,将其打造成新一代大数据文件和对象混合存储系统。

值得一提的是,腾讯大数据团队除了在Ozone 项目上的贡献之外,近年来在开源领域的贡献正在逐步加速,目前已完成了大数据核心能力全开源。同时,还结合实际业务场景推动开源技术加速落地,通过技术实践和创新持续回馈社区贡献开源。在Apache基金会的大数据项目上,腾讯已经为主流的Hadoop、Spark、Flink等项目贡献了大量的特性和patch。

责任编辑:gt

收藏 人收藏
分享:

评论

相关推荐

B端大数据最难的环节,当数工业大数据

B端大数据最难的环节,当数工业大数据。 作者:苏打编辑:tuya出品:财经涂鸦 过去10-20年,在....
的头像 Les 发表于 10-26 18:25 220次 阅读
B端大数据最难的环节,当数工业大数据

无人机技术在文物行政执法和安全监管中的应用

国家文物局近日通报了2019年度全国文物行政执法和安全监管工作情况。通报显示,全国文物行政执法和安全....
发表于 10-26 17:47 97次 阅读
无人机技术在文物行政执法和安全监管中的应用

盘点扫地机器人品牌排名

iRobot由美国顶尖学府麻省理工大学的机器人专家在1990年创立,经过了30年的发展,iRobot....
的头像 我快闭嘴 发表于 10-26 16:51 193次 阅读
盘点扫地机器人品牌排名

华为发布了《5G白皮书》将成为全球经济增长的新引擎

近日,华为携手中国信息通信研究院和运营商、行业等多家产业伙伴联合在线发布了《5G人才发展新思想白皮书....
的头像 lhl545545 发表于 10-26 16:19 207次 阅读
华为发布了《5G白皮书》将成为全球经济增长的新引擎

人工智能如何高效地存储和管理数据

随着大数据的大量来源以及企业可用数据量的增加,存储容量规划已成为存储管理员的问题。据估计,每天产生2....
的头像 电子魔法师 发表于 10-26 16:17 211次 阅读
人工智能如何高效地存储和管理数据

中国大力扶持人工智能技术的发展

10月13日,第三届数字中国建设峰会上国家互联网信息办公室、国家发改委、工业和信息化部相关负责人围绕....
的头像 电子魔法师 发表于 10-26 15:57 361次 阅读
中国大力扶持人工智能技术的发展

物联网会代替互联网成为万物互联时代的主导技术吗?

互联网(Internet)早已是我们工作、生活不可或缺的一部分,而物联网(IoT)作为后起之秀,将与....
的头像 如意 发表于 10-26 15:49 453次 阅读
物联网会代替互联网成为万物互联时代的主导技术吗?

大数据热潮下,如何对税收风险进行管理

当前,我国的数字化进程已经扩展到政务、民生、实体经济等各个领域,税务机关应立足战略思维进行前瞻规划,....
的头像 如意 发表于 10-26 15:38 336次 阅读
大数据热潮下,如何对税收风险进行管理

数据中心整机柜服务器的演变过程,从“单打独斗”到“齐心协力”

随着时代的发展,数据中心向着集中化、规模化、精细化发展。互联网应用和云计算业务的爆发性增长,推动数据....
的头像 牵手一起梦 发表于 10-26 15:18 225次 阅读
数据中心整机柜服务器的演变过程,从“单打独斗”到“齐心协力”

探访这个亚洲规模第一、全球领先的基因测序中心

江北新区生物医药公共服务平台商务总监谢可辉介绍说:“在样本汇交、数据采集的基础上,中心以大数据处理平....
的头像 MEMS 发表于 10-26 15:05 91次 阅读
探访这个亚洲规模第一、全球领先的基因测序中心

新基建大背景下,如何让数据进行价值变现

“过去10-20年,在整个中国互联网的推动下,C端数据的积累已经非常丰富。而下一个10年或者20年,....
的头像 牵手一起梦 发表于 10-26 14:50 221次 阅读
新基建大背景下,如何让数据进行价值变现

是互联网抛弃了老人还是老人抛弃了互联网?

互联网从最初的概念,经过十几年来持续的发展,如今已经成为了推动和影响社会变革的一股重要力量,是当前社....
的头像 电子魔法师 发表于 10-26 14:22 110次 阅读
是互联网抛弃了老人还是老人抛弃了互联网?

海力士收购英特尔业务后,其NAND业务全球市场占有率姜提升至第二

2020年10月20日,SK海力士和英特尔在韩国时间10月20日共同宣布签署收购协议,根据协议约定,....
的头像 电子发烧友网工程师 发表于 10-26 14:21 181次 阅读
海力士收购英特尔业务后,其NAND业务全球市场占有率姜提升至第二

工业互联网:产业数字化转型的挑战及发展态势

2019年中国制造规模和美国、德国、日本三国之和相当,占全球规模的28.3%。但与世界先进水平相比,....
的头像 工程师邓生 发表于 10-26 13:52 170次 阅读
工业互联网:产业数字化转型的挑战及发展态势

玩家的布局:为什么家电厂商转型IoT迫在眉睫?

01 内外环境 中国的家电市场从未平静。 今年1月,小家电领域赫赫有名的巨头飞利浦首次传出将剥离并出....
的头像 工程师邓生 发表于 10-26 13:46 562次 阅读
玩家的布局:为什么家电厂商转型IoT迫在眉睫?

互联网+医疗保障是医药卫生体制改革的重点

广东省医改办日前印发《广东省深化医药卫生体制改革近期重点工作任务》,部署了加强公共卫生体系建设、深入....
的头像 陈翠 发表于 10-26 11:29 280次 阅读
互联网+医疗保障是医药卫生体制改革的重点

时速350公里“复兴号”动车组正式投入运营

国务院新闻办举行新闻发布会。工业和信息化部副部长王志军介绍“十三五”工业通信业发展成就。
的头像 lhl545545 发表于 10-26 11:26 208次 阅读
时速350公里“复兴号”动车组正式投入运营

智能音箱发展步入成熟期

小米集团智能硬件部产品总监梁浩则认为,智能音箱的发展主要抓住了两个重要时机,一是AI技术发展到今天,....
的头像 我快闭嘴 发表于 10-26 10:50 287次 阅读
智能音箱发展步入成熟期

向建军:下一个时代一定是汽车电子业务蓬勃发展的盛宴

导语 在过去,芯片制造一直是中国科技行业的一块短板,这使得包括华为在内的中国智能设备制造商始终受制于....
的头像 FPGA开发圈 发表于 10-26 09:47 139次 阅读
向建军:下一个时代一定是汽车电子业务蓬勃发展的盛宴

大华海量数据存储系统的性能特点和实现

随着视频监控系统在城市防控体系建设中地位的日益提高,高清视频监控点位的数量开始呈现爆发式增长,随之而....
发表于 10-26 09:47 92次 阅读
大华海量数据存储系统的性能特点和实现

一文了解区块链的未来

从接触区块链开始,我一直坚信它可能会与其他技术一起,在未来的某个时刻颠覆我们的世界,它为什么有这么大....
的头像 电子魔法师 发表于 10-26 09:39 205次 阅读
一文了解区块链的未来

五年内用户每个月使用流量提升38倍,资费下降超过了95%

工信部信息通信发展司司长闻库表示,五年来,我们国家固定宽带和手机流量的平均资费下降超过了95%,现在....
发表于 10-26 09:22 56次 阅读
五年内用户每个月使用流量提升38倍,资费下降超过了95%

中国卫通推出丰富的卫星资源和全球站网布局“1+3+N”应用平台

日前,在以“网融万物,智向未来”为主题的2020年中国国际信息通信展览会(PT展)上,中国卫通业务运....
的头像 lhl545545 发表于 10-26 09:13 125次 阅读
中国卫通推出丰富的卫星资源和全球站网布局“1+3+N”应用平台

王志军:互联网普及率提前超额完成规划目标

工业化和信息化融合步伐加快。智能制造深入推进,一批数字化车间和智能工厂初步建成。工业互联网取得阶段性....
的头像 我快闭嘴 发表于 10-26 09:08 200次 阅读
王志军:互联网普及率提前超额完成规划目标

非侵入式在线实时电力负荷识别方法及识别系统的技术介绍

本发明属于物联网和大数据技术领域,涉及一种非侵入式在线实时电力负荷识别方法及识别系统。它解决了现有设....
发表于 10-26 08:00 18次 阅读
非侵入式在线实时电力负荷识别方法及识别系统的技术介绍

马斯克希望用星链卫星建设地球与火星之间互联网桥梁

来源: 网易科技 美国太空探索技术公司SpaceX总裁兼首席运营官格温肖特维尔(Gwynne Sho....
发表于 10-26 06:32 75次 阅读
马斯克希望用星链卫星建设地球与火星之间互联网桥梁

产业互联网金融发展的关键节点正逐步打通

数字化平台下的非银金融机构出路在哪里?最合理、最有前途的模式就是互联网或物联网形成的数字化平台与各类....
发表于 10-26 06:25 36次 阅读
产业互联网金融发展的关键节点正逐步打通

GT-526S手持式粒子计数器的特性、功能作用与应用范围

Met One Instruments的GT-526S是一款功能齐全的六通道电池供电便携式粒子计数器....
的头像 牵手一起梦 发表于 10-25 15:42 129次 阅读
GT-526S手持式粒子计数器的特性、功能作用与应用范围

5G+人工智能如何为用户提供更好的产品体验?

第二,在内容生产、内容编辑方面的应用。我们的人工智能平台能够利用类似像机器人写稿这样的技术,7×24....
的头像 lhl545545 发表于 10-25 10:56 481次 阅读
5G+人工智能如何为用户提供更好的产品体验?

贵州移动致力于打造最先进的信息通信技术,深入渗透4G 调整优化5G

“为给客户提供更优质、更实惠的产品”是贵州移动“优+产品”的主旨。贵州移动始终认真落实提速降费专项工....
的头像 lhl545545 发表于 10-25 10:53 370次 阅读
贵州移动致力于打造最先进的信息通信技术,深入渗透4G 调整优化5G

全国首个5G数字直播产业基地“辽生活”服务平台同步启动上线

日前,由辽宁省辽勤集团有限公司举办的2020辽宁省首届电商直播节暨第二届“丰饶辽乡”品牌博览会,创造....
的头像 lhl545545 发表于 10-25 10:50 274次 阅读
全国首个5G数字直播产业基地“辽生活”服务平台同步启动上线

马云:详谈互联网金融的三大核心因素

据国内媒体报道,在昨天于上海举办的第二届外滩金融峰会上,联合国数字合作高级别小组联合主席马云出席并发....
的头像 如意 发表于 10-25 10:43 456次 阅读
马云:详谈互联网金融的三大核心因素

我国启动部署5G网络,成为大数据领域的国家新型工业化产业示范基地

在国新办发布会上,工业和信息化部新闻发言人、信息通信发展司司长闻库表示,过去五年,我国数字经济实现了....
的头像 lhl545545 发表于 10-25 10:34 408次 阅读
我国启动部署5G网络,成为大数据领域的国家新型工业化产业示范基地

智慧媒体学院进一步推动媒体产业从移动互联网时代跨入智能互联网时代

央视网智慧媒体学院正式成立并揭牌。这是央视网依托“人工智能编辑部”核心资源,联合高校、科研机构及互联....
的头像 lhl545545 发表于 10-25 10:13 681次 阅读
智慧媒体学院进一步推动媒体产业从移动互联网时代跨入智能互联网时代

乌镇打造“云享乌镇”城镇大脑,实现智慧城镇建设从“有”到“优”跨越

记者在采访中了解到,今年4月,乌镇已启动智慧城镇建设 3.0 迭代升级计划,并制定“乌镇镇新型智慧城....
的头像 lhl545545 发表于 10-25 10:05 213次 阅读
乌镇打造“云享乌镇”城镇大脑,实现智慧城镇建设从“有”到“优”跨越

大华指挥中心视频监控应用解决方案的组织架构和特点分析

大华指挥中心视频监控应用解决方案以视频综合平台为核心,为公安即时发现、精确指挥、快速抓捕提供了一整套....
发表于 10-25 09:51 155次 阅读
大华指挥中心视频监控应用解决方案的组织架构和特点分析

5G、AI、产业互联网如何赋能航空航天产业创新升级?

本次论坛还以“新产业、新动能”为主题展开了圆桌对话,对话嘉宾围绕太仓市的航空航天产业如何升级发展,5....
的头像 lhl545545 发表于 10-25 09:44 447次 阅读
5G、AI、产业互联网如何赋能航空航天产业创新升级?

我国千兆固定宽带接入用户数快速提升,用户总数达4.76亿户

10月20日, 工业和信息化部运行监测协调局发布2020年前三季度通信业经济运行情况,文件显示我国固....
发表于 10-25 09:29 167次 阅读
我国千兆固定宽带接入用户数快速提升,用户总数达4.76亿户

5G促使CDN市场驶入高速发展轨道,“亏损换市场”仍是主流

2015-2017年,CDN价格戓加剧,云厂商及创新型CDN厂商纷纷相继大幅降价;2018年以来,中....
发表于 10-25 09:23 395次 阅读
5G促使CDN市场驶入高速发展轨道,“亏损换市场”仍是主流

预计到2024年,5G和边缘计算的云工作负载转移到边缘

在这种超连接的工业环境中,边缘计算及其解决方案具有不可知的属性,可用于各种应用,如自主资产、远程资产....
的头像 lhl545545 发表于 10-24 15:31 522次 阅读
预计到2024年,5G和边缘计算的云工作负载转移到边缘

直播成互联网巨头“香饽饽”,电商巨头与短视频平台短兵相接?

商家之所以花费很大力气运营“双十一”活动,是希望于通过直播电商为自身业绩回血;而且,商家充分利用好线....
的头像 lhl545545 发表于 10-24 14:45 1025次 阅读
直播成互联网巨头“香饽饽”,电商巨头与短视频平台短兵相接?

欧盟委员会将在下一代超级计算机上投资80亿欧元?

据外媒报道,欧盟委员会近日敦促27个国家共同努力,加快光纤和5G网络的推出,以拉动受疫情冲击的欧洲经....
的头像 lhl545545 发表于 10-24 13:58 269次 阅读
欧盟委员会将在下一代超级计算机上投资80亿欧元?

云米集尘扫拖机器人:一月一抛 不用每天倒垃圾

今天,小米生态链企业云米发布了一款集尘扫拖机器人Alpha1C,再也不用动手换尘盒了。 这款扫拖机器....
的头像 工程师邓生 发表于 10-24 12:01 299次 阅读
云米集尘扫拖机器人:一月一抛 不用每天倒垃圾

2030年全球人工智能行业市场规模将近16万亿美元,美国占市场较大份额

人工智能诞生于20世纪50年代中期,1956年被确立为一门学科,至今经历过经费枯竭的两个寒冬(197....
的头像 牵手一起梦 发表于 10-24 11:19 487次 阅读
2030年全球人工智能行业市场规模将近16万亿美元,美国占市场较大份额

中国OTT终端激活量快速增长,用户渗透率接近46%

OTT是指通过公共互联网面向电视机传输视频内容的可控可管服务,其接收终端为智能电视或OTT盒子+传统....
的头像 牵手一起梦 发表于 10-24 11:16 241次 阅读
中国OTT终端激活量快速增长,用户渗透率接近46%

2020年全球人工智能行业市场现状及竞争格局

本文分析了2020年全球人工智能行业市场现状及竞争格局,现阶段,美国企业占据较大市场份额。
的头像 电子魔法师 发表于 10-24 10:57 634次 阅读
2020年全球人工智能行业市场现状及竞争格局

施耐德电气家庭创建适合新能源格局的端到端能源管理,住宅生态系统

一种多合一的智能能源管理解决方案,可为电池供电、具有可选的或部分的后备电源、发电机支持和控制、内置电....
的头像 lhl545545 发表于 10-24 10:38 251次 阅读
施耐德电气家庭创建适合新能源格局的端到端能源管理,住宅生态系统

美国司法部向谷歌提出反垄断诉讼背后真正的原因

众议院的报告是立法分支,而司法部的起诉是行政分支,两套体系并不重合。尽管美国司法部调查了四大互联网巨....
的头像 lhl545545 发表于 10-24 10:07 5365次 阅读
美国司法部向谷歌提出反垄断诉讼背后真正的原因

大数据与物联网如何相互协作

来源:互联网         随着物联网不断的发展的趋于成熟期,我们同时也收集了更多的信息数据,其...
发表于 10-22 06:01 0次 阅读
大数据与物联网如何相互协作

用BI软件做财务分析,连分析模型都不用做

用BI软件做的分析报表直观又好看,这是大家公认的,除了这个之外,用BI软件做财务分析连分析模型都不用做,BI软件就能提供...
发表于 10-19 14:59 0次 阅读
用BI软件做财务分析,连分析模型都不用做

财务可视化报表,萌新也能轻松玩转

在这个越来越讲究报表直观易懂的环境,一般的财务分析报表已经远远不能满足现在的财务分析需求。但不用担心,有需求就有产品,有...
发表于 10-19 14:56 0次 阅读
财务可视化报表,萌新也能轻松玩转

3d线上互动展示平台为企业带来的优势

3d线上展示平台为企业提供了全天候网上推介、供采对接、直播营销、在线洽谈等功能,不少外贸企业通过线上直播吸引了大批客户,“...
发表于 09-24 14:46 101次 阅读
3d线上互动展示平台为企业带来的优势

请问大屏的数据可视化分析报表怎么做?

大屏是数据可视化分析的一个展示方式,和pc(电脑)端、手机移动端一样都需要在pc端进行规划和设计。那么,怎么在pc端快速制作一...
发表于 09-08 16:58 0次 阅读
请问大屏的数据可视化分析报表怎么做?

请问怎么将BI软件上的公司logo换成自己的?

BI软件登录页面上的、BI报表制作页面上的、网页标题上的公司名称与logo,能不能换成自己的?改当然是可以改的,并且还不复杂...
发表于 09-02 11:42 101次 阅读
请问怎么将BI软件上的公司logo换成自己的?

请问如何在NAS网络存储中正确创建存储池?

通过NAS网络存储,你可将多个硬盘合并为一个称之为存储池的单一存储设备。卷可在存储池之上创建。如果存储池有可分配空间,则...
发表于 09-01 18:05 202次 阅读
请问如何在NAS网络存储中正确创建存储池?

5G是如何助力工业物联网?

5G如何助力工业物联网 制造和工业组织承受着巨大的压力,需要尽可能提高流程效率。从解开生产线上的瓶颈,到简化昂贵设备的维护...
发表于 09-01 17:41 202次 阅读
5G是如何助力工业物联网?

请问怎么把BI数据可视化报表发给领导看?

在BI工具上三除两下搞定数据可视化报表后,怎么把做好的报表发给领导看?领导是否能够从手机或平板上快速打开数据可视化报表,...
发表于 09-01 17:26 101次 阅读
请问怎么把BI数据可视化报表发给领导看?

请问SD怎样做到循环存储?

请教一下SD怎样做到循环存储呢?
发表于 08-28 02:21 0次 阅读
请问SD怎样做到循环存储?