0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

盘点一下这些常见的分布式文件系统

存储界 来源:未知 作者:李倩 2018-08-15 16:25 次阅读

大数据的最底层的内容就是存储,只有把数据存在能高效访问的分布式系统下才能提升工作效率。今天带大家来盘点一下这些常见的分布式文件系统:

Lustre

Lustre是一个非常安全,规模很大的分布式文件系统,最早由CFS(Cluster File System Inc.)公司研发,最后由CFS、惠普和因特尔三家公司一起与2003年推出第一版发布版,发展到现在已经非常成熟。其存储量通常以PB起步,节点支持数也能打到万级。但是其对设备有特殊要求。

HDFS

HDFS是Hadoop内置的分布式文件系统,之前也有过介绍。HDFS最大的优势就是价格低廉,因此也使用极为广泛。并且其高可靠性,高容错性也让使用者非常信赖。虽然HDFS的存储级别也在PB以上,但是对于小文件过多的情况HDFS不能很好的支持。

QFS

QFS和HDFS类似,都是为了解决高效顺序读写大量数据的问题。但是QFS在性能上优于HDFS,读写效率提升综合越60%。现在QFS还比较小众,没有经过大量的使用测试,因此还不能用于大规模的生产环境。

GlusterFS

GlusterFS也是一个PB级别的集群文件系统,其思想是将集群内所有服务器的存储空间汇到一个大的网络系统上。这样做最大的特点就是无中心,不会有单点故障。

Alluxio

Alluxio是第一个基于内存的分布式文件系统,因此其相应速度也会超出普通的分布式文件系统很多,例如HDFS就比它慢数百倍。并且Alluxio和Spark也有良好的交互。最重要的是Alluxio中国人开发的,文档都是中文的,对于被英文文档困扰很久的小伙伴绝对是福音。

Ceph

Ceph也是一个没有单点故障的分布式文件系统,Ceph的每个节点上都有一小部分资源用于计算节点的数据信息,从而非常优秀的实现负载均衡。

PVFS

PVFS是一个并行虚拟文件系统,他能很好的支持linux上的原声命令和工具,例如rm、dd、cat等。但是PSFS是单管理节点的,因此存在单点故障,并且在启动后无法灵活的修改。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 文件系统
    +关注

    关注

    0

    文章

    269

    浏览量

    19655
  • 大数据
    +关注

    关注

    64

    文章

    8577

    浏览量

    136518

原文标题:常见分布式文件系统大盘点,想了解大数据先从存储开始

文章出处:【微信号:cunchujie,微信公众号:存储界】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    分布式软件系统

    分布式程序设计语言及其编译(解释)系统分布式文件系统分布式数据库系统等。 分布式操作
    发表于 07-22 14:53

    分布式文件系统和fastDFS

    项目(1)(分布式文件系统、fastDFS,代码实现fastDFS 文件上传和下载)
    发表于 05-10 08:51

    分布式系统的优势是什么?

    当讨论分布式系统时,我们面临许多以下这些形容词所描述的 同类型: 分布式的、删络的、并行的、并发的和分散的。分布式处理是
    发表于 03-31 09:01

    HarmonyOS分布式数据库,为啥这么牛?

    ! ②分布式文件系统 分布式数据管理技术中的分布式文件系统实现了组网认证设备间的文件的统
    发表于 11-19 15:38

    HarmonyOS应用开发-分布式语音摄像头体验

    、组件说明使用HarmonyOS分布式文件系统和AI语音识别功能开发了分布式语音摄像头。使用此相机应用程序,同
    发表于 08-24 15:06

    文解读在RTThread平台上使用DFS分布式文件系统

    1、RTThread平台使用DFS文件系统  简单介绍了一下DFS代码框架和如何在RTThread平台上使用DFS分布式文件系统。工作比较忙先把目前整理的发出来,希望对小伙伴们有帮助,
    发表于 09-15 16:57

    HarmonyOS分布式文件系统开发指导

    分布式文件系统概述 分布式文件系统(hmdfs,HarmonyOS Distributed File System)提供跨设备的文件访问能力
    发表于 11-14 17:14

    采用信任管理的分布式文件系统TrustFs

    在传统的分布式文件系统中用户无法判断文件的可信任性,针对此问题提出采用信任管理的分布式文件系统TrustFs,使用数字签名对
    发表于 04-02 08:57 19次下载

    海量邮件分布式文件系统的设计与实现

    本文通过归纳分析已有的分布式系统体系结构,研究并设计了一个针对于海量邮件存储的分布式文件系统。受Google File System 架构的启发,针对单个元数据服务器带来的瓶颈问
    发表于 01-09 13:56 12次下载

    基于分布式文件系统元数据操作优化

    随着网络应用的迅速发展,网络时代数据规模越来越大,海量数据存储和大规模并发的I/O成为了分布式系统中的瓶颈。单机环境下的文件系统已经不能满足当前网络时代的大容量、高可靠性、高性能、高扩展性等需求
    发表于 02-24 13:46 0次下载
    基于<b class='flag-5'>分布式</b><b class='flag-5'>文件系统</b>元数据操作优化

    AFS,GFS ,QKFile主流分布式存储文件系统

    主流的3种分布式存储文件系统 存储架构分两种,一种是传统存储阵列架构,另一种就是本文将要重点介绍的分布式存储架构
    发表于 08-02 11:04 3083次阅读

    分布式文件系统主从式的伸缩性架构设计

    Hadoop当中负责分布式存储的HDFS,被定义为分布式文件系统,对于进入到平台当中的数据,提供高效的、可容错、可扩展的数据存储,这得益于分布式文件
    发表于 01-05 10:42 1093次阅读
    <b class='flag-5'>分布式</b><b class='flag-5'>文件系统</b>主从式的伸缩性架构设计

    什么是分布式文件系统

    我们无时无刻不在使用文件系统,进行开发时在使用文件系统,浏览网页时在使用文件系统,玩手机时也在使用文件系统
    的头像 发表于 03-10 16:21 3588次阅读

    分布式文件系统的设计框架

    因为HDFS系统分布式文件系统)可由数百或数千个存储文件数据片段的服务器组成,即HDFS系统包含较多的硬件设备,所以HDFS
    的头像 发表于 03-20 11:37 763次阅读

    分布式文件系统的设计原理是什么?

    从多个源访问相同的数据,并且即使一个或多个源不可用也可以访问该数据。 下面,小编给大家介绍一下分布式文件系统的设计原理是什么? 1、可扩展性:分布式
    的头像 发表于 10-17 17:35 383次阅读