0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

文件系统的分布式分发过程

华为产品资料 来源:华为产品资料 作者:华为产品资料 2022-07-01 14:41 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

什么是分布式文件系统

在传统NAS文件系统架构中,一般采用Active-Passive架构,文件系统归属某1个控制器,在创建文件系统的时候,需要对文件系统的归属进行规划,采用多个文件系统运行在不同的控制器上,实现系统中每个控制器的负载均衡。

这样的NAS架构,1个文件系统只能发挥1个控制器的硬件性能,无法把多控制器的硬件资源都利用起来获得更高的性能,因此无法支持单一命名空间。如果采用创建多个文件系统,由于不同文件系统的业务压力各不相同,也很难以实现系统的负载均衡。

华为闪存存储采用分布式文件系统架构,文件系统没有控制器归属约束,通过均衡算法将文件系统的目录和文件均衡分布到集群中每个控制器,实现每个控制器负载自动均衡,1个文件系统也能将整个存储集群的资源充分利用达到系统的最大性能和容量能力,客户可以免规划轻松使用单文件系统或者多个文件系统方式部署使用。

文件系统的分布式分发过程

文件系统分布式分发过程就是将目录和子文件设置到不同的FSP(File Service Partition,用于承载文件系统目录和文件的逻辑分区,均衡分布在所有控制器的vNode上)中运行,从而达到将文件系统的目录和文件分发到所有CPU处理的过程。

139bbdd6-f790-11ec-ba43-dac502259ad0.png

分布式策略——目录均衡模式

目录均衡模式可以消除单个控制器或CPU瓶颈,客户端创建的目录均衡分布在所有的CPU或控制器上,发挥存储所有控制器和CPU性能。1、将文件系统的一级和二级目录均衡地分发到不同的FSP上。海量文件共享场景下,一二级目录访问频繁,这样可让系统先达到基本的均衡性

2、从第三级目录开始,优先选择该目录的父目录所在的vNode进行分发,这样可减少深层次目录访问的跨控转发开销,获得较好的处理时延。

13b10376-f790-11ec-ba43-dac502259ad0.png

分布式策略——性能模式

无论一、二级目录或更深层次的目录,都优先选择挂载IP所在的控制器,在该控制器以内的FSP进行轮询分发。这样,在一个IP地址以下所有的目录读写都没有IO转发,获得最佳的读写性能。

性能模式可以最大化发挥存储系统的读写性能,但对IO模型有一定要求,适合于对性能要求较高,并且每个客户端会自己管理自己的目录和文件的场景。

13d96f64-f790-11ec-ba43-dac502259ad0.png

原文标题:闪存存储如何实现分布式文件系统架构

文章出处:【微信公众号:华为产品资料】欢迎添加关注!文章转载请注明出处。

审核编辑:彭静
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 控制器
    +关注

    关注

    114

    文章

    17650

    浏览量

    190295
  • 硬件
    +关注

    关注

    11

    文章

    3556

    浏览量

    68750
  • 文件系统
    +关注

    关注

    0

    文章

    301

    浏览量

    20811

原文标题:闪存存储如何实现分布式文件系统架构

文章出处:【微信号:huaweidoc,微信公众号:华为产品资料】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    【节能学院】Acrel-1000DP分布式光伏监控系统在奉贤平高食品 4.4MW 分布式光伏中应用

    摘要:在“双碳”和新型电力系统建设背景下,分布式光伏接入比例不断提高,对配电网电压、调度运行及调峰等环节造成强烈冲击。本文设计包含平台层、设备层二层架构体系的分布式光伏管控平台,以及小容量工商业
    的头像 发表于 08-23 08:04 3307次阅读
    【节能学院】Acrel-1000DP<b class='flag-5'>分布式</b>光伏监控<b class='flag-5'>系统</b>在奉贤平高食品 4.4MW <b class='flag-5'>分布式</b>光伏中应用

    分布式光伏发电监测系统技术方案

    分布式光伏发电监测系统技术方案 柏峰【BF-GFQX】一、系统目标 :分布式光伏发电监测系统旨在通过智能化的监测手段,实现对
    的头像 发表于 08-22 10:51 2890次阅读
    <b class='flag-5'>分布式</b>光伏发电监测<b class='flag-5'>系统</b>技术方案

    分布式光伏监测难?并网型分布式光伏系统光伏功率预测方案

    一、分布式光伏发电系统   安科瑞 邹玉丽   分布式光伏发电系统的基本设备包括光伏电池组件、光伏方阵支架、直流汇流箱、直流配电柜、并网逆变器、交流配电柜等设备,另外还有供电
    的头像 发表于 05-20 10:17 884次阅读
    <b class='flag-5'>分布式</b>光伏监测难?并网型<b class='flag-5'>分布式</b>光伏<b class='flag-5'>系统</b>光伏功率预测方案

    Vsan数据恢复——Vsan分布式文件系统上虚拟机不可用的数据恢复

    一台采用VsSAN分布式文件系统的存储设备由于未知原因关机重启。管理员发现上层的虚拟机不可用,存储内的数据丢失。
    的头像 发表于 05-15 17:42 426次阅读
    Vsan数据恢复——Vsan<b class='flag-5'>分布式</b><b class='flag-5'>文件系统</b>上虚拟机不可用的数据恢复

    分布式光伏发运维系统实际应用案例分享

    安科瑞刘鸿鹏 摘 要 分布式光伏发电系统其核心特点是发电设备靠近用电负荷中心,通常安装在屋顶、建筑立面或闲置空地上,截至2025年,分布式光伏发电系统在全球和中国范围内取得了显著发展,
    的头像 发表于 04-09 14:46 996次阅读
    <b class='flag-5'>分布式</b>光伏发运维<b class='flag-5'>系统</b>实际应用案例分享

    浅谈分布式光伏系统在工业企业的设计及应用

    主要对工业厂区屋顶分布式光伏发电系统的设计及应用进行研究,为工业厂区能源供应提供一种全新的解决思路和技术支持。介绍了工业厂区屋顶分布式光伏系统及其优势,分析了工业厂区屋顶
    的头像 发表于 03-21 14:24 730次阅读
    浅谈<b class='flag-5'>分布式</b>光伏<b class='flag-5'>系统</b>在工业企业的设计及应用

    如何正确选择嵌入文件系统

    Linux嵌入系统中,文件系统和缓存机制常导致数据存储稳定性问题。本文通过案例分析原因,对比不同文件系统特性,为开发者提供优化建议,助力提升数据稳定性和
    的头像 发表于 03-17 11:35 868次阅读
    如何正确选择嵌入<b class='flag-5'>式</b><b class='flag-5'>文件系统</b>?

    NFS网络文件系统深度解析

    NFS:Network File System 网络文件系统,基于内核的文件系统。Sun 公司开发,通过使用 NFS,用户和程序可以像访问本地文件一样访问远端系统上的
    的头像 发表于 03-01 14:15 1177次阅读

    分布式存储有哪几种类型?

    分布式存储有哪几种类型?分布式存储系统是一种将数据分散存储在多台独立节点上的技术,根据数据模型可分为键值存储、列式存储、文档存储和图形存储等类型;按数据存储单位可分为基于文件、块和对象
    的头像 发表于 02-20 11:00 1127次阅读

    分布式云化数据库有哪些类型

    分布式云化数据库有哪些类型?分布式云化数据库主要类型包括:关系型分布式数据库、非关系型分布式数据库、新SQL分布式数据库、以列方式存储数据、
    的头像 发表于 01-15 09:43 880次阅读

    基于ptp的分布式系统设计

    在现代分布式系统中,精确的时间同步对于确保数据一致性、系统稳定性和性能至关重要。PTP(Precision Time Protocol)是一种网络协议,用于在分布式
    的头像 发表于 12-29 10:09 978次阅读

    服务器数据恢复—Lustre分布式文件系统数据恢复案例

    5台节点服务器,每台节点服务器上有一组RAID5阵列。每组RAID5阵列上有6块硬盘(其中1块硬盘设置为热备盘,其他5块硬盘为数据盘)。上层系统环境为Lustre分布式文件系统。 机房天花板漏水
    的头像 发表于 12-25 11:39 807次阅读
    服务器数据恢复—Lustre<b class='flag-5'>分布式</b><b class='flag-5'>文件系统</b>数据恢复案例

    HarmonyOS Next 应用元服务开发-分布式数据对象迁移数据文件资产迁移

    使用分布式数据对象迁移数据,当需要迁移的数据较大(100KB以上)或需要迁移文件时,可以使用分布式数据对象。原理与接口说明详见分布式数据对象跨设备数据同步。 说明:自API 12起,由
    发表于 12-24 10:11

    HarmonyOS Next 应用元服务开发-分布式数据对象迁移数据权限与基础数据

    使用分布式数据对象迁移数据,当需要迁移的数据较大(100KB以上)或需要迁移文件时,可以使用分布式数据对象。原理与接口说明详见分布式数据对象跨设备数据同步。 说明:自API 12起,由
    发表于 12-24 09:40

    安科瑞Acrel-1000DP分布式光伏监控系统在8.3MWp分布式光伏发电中的应用

    安科瑞分布式光伏监控系统在上海汽车变速器有限公司 8.3MWp分布式光伏发电项目中的应用
    发表于 12-16 15:03 0次下载