0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

现有文件系统元数据管理的潜在缺陷

智能计算芯世界 来源:智能计算芯世界 作者:智能计算芯世界 2022-11-03 09:54 次阅读

在HPC计算和存储业务中,针对文件系统的IO请求中,一半以上是元数据访问。元数据访问特点:

I/O大小较小(元数据大小通常只有几百Byte),使得元数据服务器CPU的负载重

许多元数据操作包含多次子操作,例如打开文件需要进行多次的路径解析,使得元数据操作会触发多次网络I/O

当前,主流并行文件系统大多采用分布式解决方案中,Lustre、CephFS采用子树划分+目录条带化;BeeGFS根据名称的Hash值分布到多节点;GlusterFS采用无中心架构;IndexFS的元数据以KV存储,通过GIGA+算法分布到多节点。

现有文件系统元数据管理的潜在缺陷:1)POSIX的语义限制了元数据性能提升,2)数据结构不利于并发处理,3)元数据性能提升面临的机遇,如IO设备跨越式发展(NVMe SSD充裕的IOPS和带宽,多通道并发能力)。

针对文件系统元数据一直是文件系统的瓶颈问题,单点元数据性能仍然存在很大的提升空间,如没有充分发挥IO效能,没有充分发挥计算效能等,本文提出改进数据结构,降低IO之间的依赖,发挥并行IO能力(降低目录路径解析延迟,降低大目录访问延迟,降低数据块访问延迟)改进算法,发挥计算部件的并行计算能力等措施。

ae4569f4-5b09-11ed-a3b6-dac502259ad0.png

ae5cb000-5b09-11ed-a3b6-dac502259ad0.png

ae7fec96-5b09-11ed-a3b6-dac502259ad0.png

ae9a679c-5b09-11ed-a3b6-dac502259ad0.png

aeebf8dc-5b09-11ed-a3b6-dac502259ad0.png

af65a614-5b09-11ed-a3b6-dac502259ad0.png

afdc0ed0-5b09-11ed-a3b6-dac502259ad0.png

b0228e46-5b09-11ed-a3b6-dac502259ad0.png

b042d386-5b09-11ed-a3b6-dac502259ad0.png

b05b5c94-5b09-11ed-a3b6-dac502259ad0.png

b0e52dde-5b09-11ed-a3b6-dac502259ad0.png

b100e182-5b09-11ed-a3b6-dac502259ad0.png

b1d9fd5a-5b09-11ed-a3b6-dac502259ad0.png

b213196e-5b09-11ed-a3b6-dac502259ad0.png

b27ac53c-5b09-11ed-a3b6-dac502259ad0.png

b39871c6-5b09-11ed-a3b6-dac502259ad0.png

b3af8028-5b09-11ed-a3b6-dac502259ad0.png

b3eda33a-5b09-11ed-a3b6-dac502259ad0.png

b414b4c0-5b09-11ed-a3b6-dac502259ad0.png

b4465692-5b09-11ed-a3b6-dac502259ad0.png

b4681fa2-5b09-11ed-a3b6-dac502259ad0.png

针对文件系统元数据一直是文件系统的瓶颈问题,单点元数据性能仍然存在很大的提升空间,如没有充分发挥IO效能,没有充分发挥计算效能等,本文提出改进数据结构,降低IO之间的依赖,发挥并行IO能力(降低目录路径解析延迟,降低大目录访问延迟,降低数据块访问延迟)改进算法,发挥计算部件的并行计算能力等措施。

审核编辑:彭静
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 存储
    +关注

    关注

    12

    文章

    3856

    浏览量

    84661
  • 数据管理
    +关注

    关注

    1

    文章

    260

    浏览量

    19429
  • 文件系统
    +关注

    关注

    0

    文章

    273

    浏览量

    19676

原文标题:HPC并行文件:元数据如何纵向可扩展?

文章出处:【微信号:AI_Architect,微信公众号:智能计算芯世界】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    Linux文件系统简介

    任何一个操作系统中,文件管理是其基本功能之一,而文件管理是由文件系统来完成的。
    发表于 04-15 11:46 2078次阅读
    Linux<b class='flag-5'>文件系统</b>简介

    基于GPRS与TCP的车载动态称重数据管理系统设计

    基于GPRS与TCP的车载动态称重数据管理系统设计
    发表于 08-06 12:20

    进一步了解iMatrix平台核心功能之系统数据管理

    本帖最后由 imatrix 于 2013-7-30 11:15 编辑 iMatrix平台的系统数据管理是维护各系统定义的模型数据,包
    发表于 07-30 10:58

    在VxWorks操作系统的Nor Flash上怎么建立TFFS文件系统

    目前的嵌入式系统多使用FLASH作为主存,因此,如何有效管理FLASH上的数据非常重要。文章以MX29LV160BT芯片为例,讨论了在VxWorks操作系统下NorFlash上建立TF
    发表于 09-05 07:13

    数据管理功能详解

    库的情况下,执行即时搜索、实时修订,随时管理已发放设计文档,使得用户更轻松地采用标准、查找零件、管理设计变更、筛选重复模型等。此外,浩辰3D软件的数据管理工具,还可以对正在审核或已发放生产的设计
    发表于 11-03 15:32

    【学习打卡】OpenHarmony的分布式数据管理介绍

    时,应用程序和用户可以操作数据,无论数据是在本地还是在远程系统上。本地和远程文件处理的处理方式相同。数据管理过程包括不同功能的组合,可确保
    发表于 07-15 15:49

    车载MP3中Flash文件系统的设计与应用

    基于Flash 存储器的特点,详细介绍适合于车载MP3 的Flash 文件系统(包括Flash存储管理系统和FAT 文件系统) 的具体设计。利用Flash
    发表于 04-15 10:03 18次下载

    车载MP3中Flash文件系统的设计与应用

    基于Flash 存储器的特点,详细介绍适合于车载MP3 的Flash 文件系统(包括Flash存储管理系统和FAT 文件系统) 的具体设计。利用Flash
    发表于 05-16 13:54 11次下载

    Linux 内核/sys 文件系统介绍

    linux2.6内核引入sysfs文件系统,sysfs可以看成与proc,devfs和devpty同类别的文件系统,该文件系统是虚拟的文件系统,可以更方便对
    发表于 04-25 16:20 4086次阅读
    Linux 内核/sys <b class='flag-5'>文件系统</b>介绍

    需要了解文件系统管理

    文件系统是基于操作系统的,用来管理和组织保存在磁盘驱动器上的数据系统软件,通过对数据存储布局/
    发表于 04-25 17:40 478次阅读
    需要了解<b class='flag-5'>文件系统管理</b>

    linux文件系统中的虚拟文件系统设计详解

    ;更进一步,对文件的 操作可以跨文件系统而执行。如图 1 所示,我们可以使用 cp 命令从 vfat 文件系统格式的硬盘拷贝数据到 ext3 文件系
    发表于 04-02 14:37 1583次阅读
    linux<b class='flag-5'>文件系统</b>中的虚拟<b class='flag-5'>文件系统</b>设计详解

    FATFS文件系统详解

    一、文件系统负责管理和存储文件信息的软件机构称为文件管理系统,简称
    发表于 11-29 09:51 29次下载
    FATFS<b class='flag-5'>文件系统</b>详解

    服务器数据恢复—Zfs文件系统数据恢复案例

    一台zfs文件系统服务器,管理员误操作删除服务器上的数据
    的头像 发表于 11-03 15:02 223次阅读
    服务器<b class='flag-5'>数据</b>恢复—Zfs<b class='flag-5'>文件系统</b><b class='flag-5'>数据</b>恢复案例

    Linux的文件系统特点

    ,近期经常被读取和写入,文件系统应该有缓存层。 文件应该用文件夹的形式组织起来,方便管理和查询。 Linux内核要在自己的内存里面维护一套数据
    的头像 发表于 11-09 14:48 486次阅读
    Linux的<b class='flag-5'>文件系统</b>特点

    服务器数据恢复—ocfs2文件系统被误格式化为Ext4文件系统数据恢复案例

    由于工作人员的误操作,将Ext4文件系统误装入到存储中Ocfs2文件系统数据卷上,导致原Ocfs2文件系统被格式化为Ext4文件系统。 由
    的头像 发表于 12-04 10:49 234次阅读
    服务器<b class='flag-5'>数据</b>恢复—ocfs2<b class='flag-5'>文件系统</b>被误格式化为Ext4<b class='flag-5'>文件系统</b>的<b class='flag-5'>数据</b>恢复案例