您好，欢迎来电子发烧友网！ ，新用户？[免费注册]

您的位置：电子发烧友网>源码下载>数值算法/人工智能>

基于Hadoop平台的分布式重复数据删除解决方案

大小：0.96 MB 人气： 2017-12-22 需要积分：1

推荐 + 挑错 + 收藏(0) + 用户评论（0）

前往下载地址

分享到:

标签：分布式(73781)Hadoop(15736)

　　针对数据中心存在大量数据冗余的问题，特别是备份数据造成的存储容量浪费，提出一种基于Hadoop平台的分布式重复数据删除解决方案。该方案通过检测并消除特定数据集内的冗余数据，来显著降低数据存储容量，优化存储空间利用率。利用Hadoop大数据处理平台下的分布式文件系统（HDFS）和非关系型数据库HBase两种数据管理模式，设计并实现一种可扩展分布式重删存储系统。其中，MapReduce并行编程框架实现分布式并行重删处理，HDFS负责重删后的数据存储，在HBase数据库中构建索引表，实现高效数据块索引查询。最后，利用虚拟机镜像文件数据集对系统进行了测试，基于Hadoop平台的分布式重删系统能在保证高重删率的同时，具有高吞吐率和良好的可扩展性。

基于Hadoop平台的分布式重复数据删除解决方案

非常好我支持^.^

(0) 0%

不好我反对

(0) 0%

用户评论

发表评论即可获得积分！ 详见积分规则

      发表评论

      用户评论
      评价:好评中评差评

      发表评论，获取积分！ 请遵守相关规定！