0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

如何去自制文件系统?开发文件系统为什么难?

Linux爱好者 来源:奇伢云存储 作者:奇伢云存储 2021-06-11 16:27 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

我们这个自制文件系统,就是想从形意结合,让读者朋友能够跟随着笔者一起经历一次文件系统由 0 到 1 的过程,构建好知识框架,后续的深造将会得心应手。

好,话不多说,我们先从什么是文件系统讲起,简单介绍一些探索文件系统的基础知识。

1 查看现有文件系统实例

Linux 文件系统相比大家都使用过。大家在自己的 Linux 上机器上执行 mount 命令就能看到当前系统上挂载的所有文件系统:

mount

示例如下:

root@localhost:~# mount

sysfs on /sys type sysfs (rw,nosuid,nodev,noexec,relatime,seclabel)

proc on /proc type proc (rw,nosuid,nodev,noexec,relatime)

/dev/mapper/cl-root on / type xfs (rw,relatime,seclabel,attr2,inode64,noquota)

。。。。

比如通过这一行信息我们能看出来:

sysfs on /sys type sysfs (ro,nosuid,nodev,noexec,relatime)

信息拆解分析:

sysfs:文件系统名称;

/sys :文件系统目录挂载点;

sysfs:文件系统类型

(ro,nosuid,nodev,noexec,relatime):挂载参数

这里蕴含的重要信息:

同一个文件系统类型可以创建多个实例,挂载在不同的挂载点,就跟面向对象里的类和实例的关系;

挂载点必须是目录;

其实,mount 这个命令很强大,不仅能 list 所有的文件系统,还能挂载文件系统。如下:

挂载文件系统命令:

# 把已经格式化好的 /dev/sdb1 盘挂到 /mnt 目录上

mount -t ext4 /dev/sdb1 /mnt/

对应卸载文件系统命令:

# 卸载 /mnt 的挂载点

umount /mnt

2 查看目录挂载的文件系统用量

mount 命令能看到所有的挂载列表,但是如果你想要看到所有文件系统的使用情况,则需要另一个命令:df。df 命令用来查看当前操作系统挂载的文件系统和使用情况:

df -Tha

-T 参数能够让你看到所有的文件系统实例的类型;

-h 参数能够以更符合人类的友好的形式展示数据;

-a 参数展示所有的文件系统,包括 0 Blocks 的文件系统(默认是会过滤掉的);

示例如下:

root@localhost:~# df -ahT

Filesystem Type Size Used Avail Use% Mounted on

sysfs sysfs 0 0 0 - /sys

proc proc 0 0 0 - /proc

/dev/mapper/cl-root xfs 17G 11G 7.0G 60% /

。。。

注意,如果 df 没有加 -a 参数,类似于上面 sysfs,proc 这种用量 0 的会被过滤掉。这也是 mount 和 df 两个命令默认显式信息的区别。

3 查看文件系统挂载配置

文件系统挂载可以通过 mount 命令直接挂载,但是 mount 命令挂载并没有持久化,关机重启就没了。所以想要关机重启之后,还能自动挂载到指定目录,那么就要把挂载规则写到 /etc/fstab 文件中,fstab 就是 fs table 的缩写,很容易理解。

操作系统在启动的时候,就会解析这个文件,并按照这个文件里的配置,自动挂载文件系统了。

如下:

root@localhost:~# cat /etc/fstab

/dev/mapper/cl-root / xfs defaults 0 0

UUID=600e3771-af4a-48ca-a557-02204c9a48a5 /boot ext4 defaults 1 2

/dev/mapper/cl-swap swap swap defaults 0 0

fstab 的文件格式:

《设备标识》 《挂载目录》 《文件系统类型》 《挂载参数》 《dump选项》 《fsck选项》

从左到右参数拆解:

设备标识:能够标识到唯一的文件系统所在的设备,这里可以是设备路径,也可以是 LABEL,或者 UUID;

挂载目录:文件系统挂载的目录点;

文件系统类型:比如 ext4,ext2,xfs 之类的;

挂载参数:可以填 defaults,也可以精细化配置,比如只读还是可写(rw/ro),同步刷盘还是异步(async/sync),等等;

dump选项:让你能控制文件系统备份的频率,0 表示不备份;

fsck选项:让你控制是否开机用 fsck 自检,0 表示不要;

4 查看内核支持的文件系统

这个直接去看内核模块即可:

ls /lib/modules/${kernel_version}/kernel/fs/

不同的 Linux 发行版略有不同,比如,centos 一般为:

ls -l /lib/modules/4.18.0-80.el8.x86_64/kernel/fs/

ubuntu 一般为:

ls -l /lib/modules/4.4.0-142-generic/kernel/fs/

在对应的目录找到对应的 .ko 模块,比如 ext4.ko ,如果想看内核已经加载的内核模块,可以调用 lsmod 看到。

简单普及一下 .ko 模块的知识:

ko 其实是 kernel object 的缩写,这类文件存在的意义其实和用户态的 .so 库类似,都是为了模块化的编程实践。内核把核心主干框架之外的功能拆解成模块,需要的时候就加载 ko 模块,不需要的时候卸载即可。这样带来的好处就是方便开发和使用,保持内核的核心代码极度精炼。

类似于文件系统,硬件驱动等等,都是以这种形式来加载使用的。

开发文件系统为什么难?

为什么文件系统的开发大家会觉得非常难?原因其实不在于实现,而在于调试和排障,因为早期文件系统的开发只能在内核之中,这个带来了非常高的门槛。

1 内核文件系统

因为在此之前我们看到了文件系统是位于内核之中, vfs 之下,块存储模块之上的一个位置。对外呈现文件存储实现,对下管理裸块设备。划重点,文件系统是位于内核的一个模块,那就可以理解了,内核模块的开发之所以艰难就是难在调试和排障,用户态的程序你可以随意 debug,出问题最多也就是 panic,coredump,内核态的程序出了文件就是宕机,所有现场都丢失,你只能通过日志,kdump 等手段来排查。并且内核态程序的编写是要注意非常多的规范的,比如内存分配,比用户态的要谨慎的多。

poYBAGDDH2uAPpurAACPSwcAWCA828.jpg

那怎么办?我们本次的目标是要自制实现一个极简的文件系统,但总不能带大家趟一次内核开发的坑吧!那可是要吓退 99% 的小伙伴。

有办法的,内核开发者考虑到了这个问题,又考虑到文件系统的需求是千变万化的,所以提供了一种手段,把 IO 路径导向用户态,由用户态程序捕获到 IO ,从而实现文件的存储,这个机制就叫 FUSE 机制。

2 FUSE 文件系统

作为自制 FS 系列第一篇,我们不讲 FUSE 的实现,而是通过一个动画来演示 IO 的旅途:

pYYBAGDDH3WAGbrnAACf32rrssQ509.jpg

这里的路径做了一些简化,简化了用户态之上的逻辑处理,为什么路径是这样子?什么是 FUSE ?下篇专题解释。

总结

本篇文章是为后续铺垫一些基础知识,从形的方面,系统介绍了一些命令,告诉你文件系统怎么配置,怎么挂载,怎么查看,怎么获取到使用详情。这些基础知识在后面自制文件系统的时候,都要用上。这些 Linux 命令都是帮助我们从文件系统的外围去用,去摸,去嗅,从而再去深入理解。

我们目标不止如此,我们是要亲手做一个文件系统,动手做过一遍的东西,你对它理解也将会突飞猛进,更加深刻。

下面总结一下上面的基础以上的知识:

mount 用来列举查看当前所有文件系统实例,也能支持挂载命令(但 mount 挂载不会持久化,重启就没了),umount 用来卸载;

/etc/fstab 是用来配置文件系统挂载规则的,是持久化的配置,重启不丢;

df -aTh 用来查看每个文件系统挂载目录的详情,包括空间使用量,总量,挂载点等信息;

内核模块的功能以 ko 文件的形式体现,在 /lib/modules/${kernel_version}/kernel/fs/ 目录可以看到支持的内核文件系统模块,lsmod 命令可以看到已经加载的内核模块;

文件系统开发之所以难?是因为之前在内核中开发,内核开发最难的在于调试和排障手段不方便。那文件系统还有出路吗?有,奇伢带你自制一个极简的文件系统,基于 Linux 系统使用纯 Go 语言来做哦,敬请期待后续,自己动手,理解更深。

责任编辑:lq6

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • Linux
    +关注

    关注

    88

    文章

    11628

    浏览量

    217964
  • 文件系统
    +关注

    关注

    0

    文章

    301

    浏览量

    20810

原文标题:自制文件系统:文件系统的样子

文章出处:【微信号:LinuxHub,微信公众号:Linux爱好者】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    明晚8点|睿擎文件系统实战:从开发到发布全流程解析

    文件操作到镜像发布,一次直播掌握完整开发流程!在嵌入式系统开发中,文件系统是数据存储、配置管理和资源访问的核心基础。然而在实际开发中,
    的头像 发表于 11-11 11:53 373次阅读
    明晚8点|睿擎<b class='flag-5'>文件系统</b>实战:从<b class='flag-5'>开发</b>到发布全流程解析

    【直播预告】下周三晚8点|睿擎文件系统实战:从开发到发布全流程解析

    文件操作到镜像发布,一次直播掌握完整开发流程!在嵌入式系统开发中,文件系统是数据存储、配置管理和资源访问的核心基础。然而在实际开发中,
    的头像 发表于 11-06 18:05 1676次阅读
    【直播预告】下周三晚8点|睿擎<b class='flag-5'>文件系统</b>实战:从<b class='flag-5'>开发</b>到发布全流程解析

    睿擎派文件系统指南:从开发到发布全流程实践 | 技术解析

    在嵌入式系统开发中,文件系统扮演着至关重要的角色,它负责数据的持久化存储、配置文件管理和资源访问等核心功能。睿擎平台提供了一套完整的文件系统解决方案,从
    的头像 发表于 11-05 18:13 7696次阅读
    睿擎派<b class='flag-5'>文件系统</b>指南:从<b class='flag-5'>开发</b>到发布全流程实践 | 技术解析

    文件系统,使用iar编译报错,gcc可以正常编译,为什么?

    文件系统,使用iar编译报错,gcc可以正常编译,为什么?
    发表于 09-23 06:54

    技术贴|【RK3588】ELF 2开发板如何添加exFAT和NTFS文件系统格式

    基于RK3588设计的ELF2开发板在搭载Desktop22.04系统时,对TF卡的文件系统支持存在以下限制:不支持exFAT格式;支持NTFS格式,但需手动挂载;针对上述兼容性问题,本文将介绍
    的头像 发表于 08-27 17:21 3206次阅读
    技术贴|【RK3588】ELF 2<b class='flag-5'>开发</b>板如何添加exFAT和NTFS<b class='flag-5'>文件系统</b>格式

    Linux三大主流文件系统解析

    还在为选择哪个文件系统而纠结?作为一名摸爬滚打多年的运维老鸟,我将用最接地气的方式,带你彻底搞懂 Linux 三大主流文件系统的奥秘。
    的头像 发表于 08-05 17:37 1041次阅读

    飞凌嵌入式ElfBoard ELF 1板卡-文件系统简介

    /服务器上Linux的文件系统是一样的,只是嵌入式Linux文件系统根据产品功能进行过裁剪,在内容多少和体积大小上不同。进行嵌入式Linux产品开发,构建一个合适的文件系统是不可或缺的
    发表于 06-19 17:22

    服务器数据恢复—ocfs2文件系统被格式化为Ext4文件系统的数据恢复案例

    服务器存储数据恢复环境&故障: 人为误操作将Ext4文件系统误装入一台服务器存储上的Ocfs2文件系统数据卷上,导致原Ocfs2文件系统被格式化为Ext4文件系统
    的头像 发表于 06-10 12:03 562次阅读
    服务器数据恢复—ocfs2<b class='flag-5'>文件系统</b>被格式化为Ext4<b class='flag-5'>文件系统</b>的数据恢复案例

    Linux文件系统打包及镜像制作,触觉智能RK3562开发板演示

    本文介绍Linux开发文件系统打包及镜像制作的方法,演示Linux文件系统打包及镜像制作,适用于想将配置好的系统环境打包成镜像批量烧录。触觉智能RK3562
    的头像 发表于 04-28 16:45 764次阅读
    Linux<b class='flag-5'>文件系统</b>打包及镜像制作,触觉智能RK3562<b class='flag-5'>开发</b>板演示

    如何正确选择嵌入式文件系统

    Linux嵌入式系统中,文件系统和缓存机制常导致数据存储稳定性问题。本文通过案例分析原因,对比不同文件系统特性,为开发者提供优化建议,助力提升数据稳定性和
    的头像 发表于 03-17 11:35 859次阅读
    如何正确选择嵌入式<b class='flag-5'>文件系统</b>?

    在stm32cubeprogrammer上烧录时,取消勾选根文件系统,烧录后发现sd卡上根文件系统的分区没有了,为什么?

    在修改了linux内核后,我想只把bootfs烧录到sd卡上,而不擦除根文件系统的分区。 我在stm32cubeprogrammer上烧录时,取消勾选根文件系统,烧录后发现sd卡上根文件系统的分区没有了。
    发表于 03-07 06:38

    NFS网络文件系统深度解析

    NFS:Network File System 网络文件系统,基于内核的文件系统。Sun 公司开发,通过使用 NFS,用户和程序可以像访问本地文件一样访问远端
    的头像 发表于 03-01 14:15 1160次阅读

    服务器数据恢复—Zfs文件系统服务器数据恢复案例

    服务器数据恢复环境&故障: 一台zfs文件系统的服务器,管理员误操作删除了服务器上的数据。
    的头像 发表于 01-16 17:27 631次阅读

    防止根文件系统破坏,OverlayRootfs 让你的设备更安全

    OverlayRootfs介绍OverlayRootfs是指利用OverlayFS技术创建的根文件系统(rootfilesystem)。OverlayFS是一种联合文件系统(UnionFS),允许将
    的头像 发表于 01-08 16:33 2454次阅读
    防止根<b class='flag-5'>文件系统</b>破坏,OverlayRootfs 让你的设备更安全

    关于更新openharmony文件系统时遇到的问题

    用的固件,文件系统,内核是之前的,之前版本用起来没问题。但是 用下面三个的时候 固件可以正常烧录,也按照文档里面加载了环境变量,但是烧录内核和文件系统(都是U盘更新的)的时候出现了这样的问题
    发表于 12-30 11:55