0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

文件系统的分布式分发过程

华为产品资料 来源:华为产品资料 作者:华为产品资料 2022-07-01 14:41 次阅读

什么是分布式文件系统

在传统NAS文件系统架构中,一般采用Active-Passive架构,文件系统归属某1个控制器,在创建文件系统的时候,需要对文件系统的归属进行规划,采用多个文件系统运行在不同的控制器上,实现系统中每个控制器的负载均衡。

这样的NAS架构,1个文件系统只能发挥1个控制器的硬件性能,无法把多控制器的硬件资源都利用起来获得更高的性能,因此无法支持单一命名空间。如果采用创建多个文件系统,由于不同文件系统的业务压力各不相同,也很难以实现系统的负载均衡。

华为闪存存储采用分布式文件系统架构,文件系统没有控制器归属约束,通过均衡算法将文件系统的目录和文件均衡分布到集群中每个控制器,实现每个控制器负载自动均衡,1个文件系统也能将整个存储集群的资源充分利用达到系统的最大性能和容量能力,客户可以免规划轻松使用单文件系统或者多个文件系统方式部署使用。

文件系统的分布式分发过程

文件系统分布式分发过程就是将目录和子文件设置到不同的FSP(File Service Partition,用于承载文件系统目录和文件的逻辑分区,均衡分布在所有控制器的vNode上)中运行,从而达到将文件系统的目录和文件分发到所有CPU处理的过程。

139bbdd6-f790-11ec-ba43-dac502259ad0.png

分布式策略——目录均衡模式

目录均衡模式可以消除单个控制器或CPU瓶颈,客户端创建的目录均衡分布在所有的CPU或控制器上,发挥存储所有控制器和CPU性能。1、将文件系统的一级和二级目录均衡地分发到不同的FSP上。海量文件共享场景下,一二级目录访问频繁,这样可让系统先达到基本的均衡性

2、从第三级目录开始,优先选择该目录的父目录所在的vNode进行分发,这样可减少深层次目录访问的跨控转发开销,获得较好的处理时延。

13b10376-f790-11ec-ba43-dac502259ad0.png

分布式策略——性能模式

无论一、二级目录或更深层次的目录,都优先选择挂载IP所在的控制器,在该控制器以内的FSP进行轮询分发。这样,在一个IP地址以下所有的目录读写都没有IO转发,获得最佳的读写性能。

性能模式可以最大化发挥存储系统的读写性能,但对IO模型有一定要求,适合于对性能要求较高,并且每个客户端会自己管理自己的目录和文件的场景。

13d96f64-f790-11ec-ba43-dac502259ad0.png

原文标题:闪存存储如何实现分布式文件系统架构

文章出处:【微信公众号:华为产品资料】欢迎添加关注!文章转载请注明出处。

审核编辑:彭静
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 控制器
    +关注

    关注

    112

    文章

    15155

    浏览量

    170959
  • 硬件
    +关注

    关注

    11

    文章

    2918

    浏览量

    64722
  • 文件系统
    +关注

    关注

    0

    文章

    272

    浏览量

    19670

原文标题:闪存存储如何实现分布式文件系统架构

文章出处:【微信号:huaweidoc,微信公众号:华为产品资料】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    分布式IO工业自动化数据采集与分析的核心

    代替人工操纵机器和机器体系进行加工生产的趋势,分布式I/O可以与各种传感器、执行器和控制系统相连接,实现生产线的自动化控制。通过实时采集和传输数据,分布式I/O能够精确控制生产过程中的
    发表于 12-28 14:47

    鸿蒙原生应用开发——分布式数据对象

    01、什么是分布式数据对象 在可信组网环境下,多个相互组网认证的设备将各自创建的对象加入同一个 sessionId,使得加入的多个数据对象之间可以同步数据,也就是说,当某一数据对象属性发生
    发表于 12-08 10:01

    分布式系统硬件资源池原理和接入实践

    /distributed_hardware_components_cfg.json 三个接口的 so 实现后,编译打包到系统库路径下,同时配置到分布式硬件部件配置文件中,设备组网上线后,可以看到
    发表于 12-06 10:02

    redis分布式锁的应用场景有哪些

    系统中,多个节点可能同时访问共享资源,例如数据库、文件系统等。使用Redis分布式锁可以保证在同一时刻只有一个节点能够访问该资源,避免了并发冲突问题,确保数据的一致性。 分布式任务调度
    的头像 发表于 12-04 11:21 519次阅读

    zookeeper分布式原理

    是提供一个高可用的、一致性的机制,用于解决分布式系统中常见的一致性问题,比如Leader选举、分布式锁等。在本文中,我们将详细介绍Zookeeper的原理和工作机制。 数据模型 Zookeeper的数据模型是一个类似于
    的头像 发表于 12-03 16:33 361次阅读

    HarmonyOS分布式文件系统开发指导

    分布式文件系统概述 分布式文件系统(hmdfs,HarmonyOS Distributed File System)提供跨设备的文件访问能力
    发表于 11-14 17:14

    Linux的文件系统特点

    Linux的文件系统特点 文件系统要有严格的组织形式,使得文件能够以块为单位进行存储。 文件系统中也要有索引区,用来方便查找一个文件分成的多
    的头像 发表于 11-09 14:48 452次阅读
    Linux的<b class='flag-5'>文件系统</b>特点

    分布式文件系统的设计原理是什么?

    什么是分布式文件系统分布式文件系统(DFS)是一种计算机文件系统,使用户能够从多个分布式位置存
    的头像 发表于 10-17 17:35 405次阅读

    基于ZigBee的分布式井盖监控系统

    随着我国现代经济发展水平的不断提高,城市井盖数目逐渐增加。由于较多井盖被盗,致使路面形成陷阱,危害到过往车辆和行人安全。本文提出了一种基于 ZigBee无线网络的智能安全监控系统,解决分布式布控困难
    发表于 09-18 08:46

    OpenHarmony 分布式硬件关键技术

    OpenHarmony技术峰会——生态与互联分论坛 ​ 正 文 内 容 OpenHarmony是一款面向未来万物互联场景的操作系统,其设计采用了分布式架构。那么OpenHarmony相比于传统操作系统
    发表于 08-24 17:25

    适用于Linux的最佳通用文件系统 Linux文件系统的安装

    为您的计算机选择正确的文件系统可能是一个困难的过程。您可能会想知道:为什么文件系统很重要?有没有适用于安装 Linux 的特定文件系统? 事实证明,有两种
    发表于 08-03 10:22 188次阅读
    适用于Linux的最佳通用<b class='flag-5'>文件系统</b> Linux<b class='flag-5'>文件系统</b>的安装

    过程语言(2)#分布式数据

    分布式数据
    未来加油dz
    发布于 :2023年07月03日 23:00:52

    过程语言(1)#分布式数据

    分布式数据
    未来加油dz
    发布于 :2023年07月03日 23:00:11

    #分布式数据

    分布式数据
    未来加油dz
    发布于 :2023年07月03日 22:58:32

    如何使用分布式存储系统促进AI模型训练

    这凸显了分布式存储在人工智能(AI)领域的重要性。JuiceFS 是一个开源、高性能的分布式文件系统,为这个问题提供了解决方案。
    发表于 06-12 09:28 343次阅读
    如何使用<b class='flag-5'>分布式</b>存储<b class='flag-5'>系统</b>促进AI模型训练