【问题标题】:Why does Linux use getdents() on directories instead of read()?为什么 Linux 在目录上使用 getdents() 而不是 read()?
【发布时间】:2016-03-22 01:42:10
【问题描述】:

我在浏览 K&R C 时注意到,要读取目录中的条目,他们使用:

while (read(dp->fd, (char *) &dirbuf, sizeof(dirbuf)) == sizeof(dirbuf))
    /* code */

其中dirbuf 是系统特定的目录结构,dp->fd 是有效的文件描述符。在我的系统上,dirbuf 将是 struct linux_dirent。请注意,struct linux_dirent 有一个灵活的数组成员作为条目名称,但为了简单起见,我们假设它没有。 (在这种情况下处理灵活的数组成员只需要一点额外的样板代码)。

但是,Linux 不支持这种结构。当使用read() 尝试读取上述目录条目时,read() 返回-1 并且errno 设置为EISDIR。

相反,Linux 专门用于读取目录的系统调用,即getdents() 系统调用。但是,我注意到它的工作方式与上面几乎相同。

while (syscall(SYS_getdents, fd, &dirbuf, sizeof(dirbuf)) != -1)
    /* code */

这背后的原因是什么?与在 K&R 中使用 read() 相比,似乎没有什么好处。

【问题讨论】:

标签: c linux unix architecture filesystem-access


【解决方案1】:

getdents 将返回 struct linux_dirent。它将对任何底层类型的文件系统执行此操作。 “磁盘上”格式可能完全不同,只有给定的文件系统驱动程序知道,因此简单的用户空间读取调用无法工作。也就是说,getdents 可以从原生格式转换为填充linux_dirent。

用 read() 从文件中读取字节不能说同样的话吗?文件中数据的磁盘格式不需要跨文件系统统一,甚至不需要在磁盘上连续 - 因此,我希望从磁盘读取一系列字节再次委托给文件系统驱动程序。

由 VFS [“虚拟文件系统”] 层处理的不连续文件数据。无论 FS 选择如何组织文件的块列表(例如,ext4 使用“inode”:“index”或“information”节点。这些使用“ISAM”(“索引顺序访问方法”)组织。但是, MS/DOS FS 可以有一个完全不同的组织)。

每个 FS 驱动程序在启动时都会注册一个 VFS 函数回调表。对于给定的操作(例如open/close/read/write/seek),表中有相应的条目。

VFS 层(即来自用户空间系统调用)将“向下调用”到 FS 驱动程序,FS 驱动程序将执行操作,执行它认为满足请求所需的任何操作。

我假设 FS 驱动程序会知道数据在磁盘上常规文件中的位置 - 即使数据是碎片化的。

是的。例如,如果读取请求是从文件中读取前三个块(例如 0,1,2),则 FS 将查找文件的索引信息并获取要读取的物理块列表(例如 1000000, 200,37) 从磁盘表面。这一切都在 FS 驱动程序中透明地处理。

用户空间程序只会看到它的缓冲区填满了正确的数据,而不管 FS 索引和块提取必须有多复杂。

也许 [松散地] 更恰当地将此称为传输 inode 数据,因为存在文件的 inode(即,inode 具有索引信息以“分散/收集”文件的 FS 块)。但是,FS 驱动程序也在内部使用它来读取目录。也就是说,每个目录都有一个 inode 来跟踪该目录的索引信息。

因此,对于 FS 驱动程序而言,目录很像具有特殊格式信息的平面文件。这些是目录“条目”。这就是getdents 返回的内容。这“位于”inode 索引层之上。

目录条目可以是可变长度[基于文件名的长度]。因此,磁盘格式将是(称为“A 型”):

static part|variable length name
static part|variable length name
...

但是……有些 FS 以不同的方式组织自己(称之为“B 型”):

<static1>,<static2>...
<variable1>,<variable2>,...

因此,类型 A 的组织可能被用户空间 read(2) 调用原子地读取,类型 B 会遇到困难。所以,getdents VFS 调用会处理这个问题。

难道 VFS 不能像 VFS 一样提供一个目录的“linux_dirent”视图吗?

这就是getdents 的用途。

再一次,我假设 FS 驱动程序知道每个文件的类型,因此当对目录而不是一系列字节调用 read() 时可以返回 linux_dirent。

getdents不一直存在。当 dirent 的大小是固定的并且只有 一个 FS 格式时,readdir(3) 调用可能会在下面执行 read(2) 并得到一系列字节 [这是 only what @ 987654336@提供]。实际上,IIRC,一开始只有readdir(2)和getdents和readdir(3)不存在。

但是,如果 read(2) 很“短”(例如两个字节太小),你会怎么做?您如何将其传达给应用程序?

我的问题更像是因为 FS 驱动程序可以确定文件是目录还是常规文件(我假设它可以),并且由于它最终必须拦截所有 read() 调用,为什么不是t read() 在实现为读取 linux_dirent 的目录上?

dir 上的read 不会被拦截并转换为getdents,因为操作系统是极简主义的。它希望您了解差异并进行适当的系统调用。

open(2) 用于文件或目录 [opendir(3) 是包装器,open(2) 在下面]。您可以读取/写入/查找文件和查找/获取目录。

但是 ... 执行 read 以返回 EISDIR。 [旁注:我在原来的 cmets 中忘记了这一点]。在它提供的简单“平面数据”模型中,没有办法传达/控制getdents 可以/做的所有事情。

因此,对于内核和应用程序开发人员来说,通过getdents 接口,而不是允许使用劣质方式获取部分/错误信息。

此外,getdents以原子方式做事。如果您正在读取给定程序中的目录条目,则可能有其他程序正在创建和删除该目录中的文件或重命名它们——就在您的 getdents 序列的中间。

getdents 将呈现一个原子视图。文件存在或不存在。它已被重命名或没有。因此,无论您周围发生了多少“动荡”,您都不会得到“半修改”的观点。当您向 getdents 询问 20 个条目时,您会得到它们 [如果只有那么多,您会得到 10 个]。

旁注:一个有用的技巧是“过度指定”计数。也就是说,告诉getdents 你想要 50,000 个条目[你必须提供空间]。你通常会得到大约 100 个左右。但是,现在,您得到的是完整目录的 atomic 快照。我有时会这样做而不是循环计数为 1--YMMV。您仍然必须防止立即消失,但至少您可以看到它(即后续文件打开失败)

因此,对于 刚刚 已删除的文件,您总是会获得“完整”条目和 no 条目。这不是说该文件仍然存在,只是它在getdents 时存在。另一个进程可能会立即删除它,但不会在getdents

中间

如果read(2) 被允许,您将不得不猜测要读取多少数据,并且不知道哪些条目在部分状态下完全形成。如果 FS 具有上述 B 类组织,则单次读取不会在一个步骤中原子地获取静态部分和可变部分。

放慢read(2) 的速度去做getdents 所做的事情在哲学上是不正确的。

getdents、unlink、creat、rmdir 和 rename(等)操作是互锁的并序列化以防止任何不一致 [更不用说 FS 损坏或泄漏/丢失的 FS 块]。换句话说,这些系统调用都“相互了解”。

如果 pgmA 将“x”重命名为“z”并且 pgmB 将“y”重命名为“z”,它们不会发生冲突。一个先行,然后再行,但没有 FS 块丢失/泄漏。 getdents 获取整个视图(无论是“x y”、“y z”、“x z”还是“z”),但它永远不会同时看到“x y z”。

【讨论】:

  • 这一切都很好,除了你不能告诉getdents()你想要多少条目,只有你的缓冲区的字节大小。这就是count 参数所代表的含义,即缓冲区的大小以字节为单位,而不是您将返回的(可变长度)dirent 的数量。如果没有关于目录内容的先验知识,您不知道有多少目录条目将适合您的缓冲区。因此,您马上又要猜测您想要多少条目,而您关于能够指定条目数量的理论是不正确的(请参阅手册页中的代码示例)。
  • 这个答案完全不正确。 linux 内核中有许多read 的实现,它们以原子方式运行并且只返回完整的记录。 inotify 就是一个例子。真正的答案由 user38527 在下面发布:最初在目录上的 read 实现不正确,getdents 被添加为行为正确的第二个接口。所以这完全是关于向后兼容性,而不是关于 read 无法执行这项工作。
  • @MuhKarma NO! 如果read(2) 尝试从目录中读取,它总是返回EISDIR。 only 访问是通过 syscall readdir。自 Linux v1.0 以来一直如此。我刚刚检查了 v1.0 内核源代码以确定 [而且,我从 v0.94(或更早版本)开始就一直在使用 linux]。 getdents 是在更改 linux_dirent 结构时添加的(旧的 readdir 系统调用仍然存在并返回旧的 dirent 结构)。当添加getdents 时,libc readdir 被重写以使用它。
  • @CraigEstey NO! sys_readdir 在 v0.95c 中添加。 sys_read 来自工作到 v0.98-pl1 的目录。见kernel.googlesource.com/pub/scm/linux/kernel/git/nico/archive
【解决方案2】:

在 K&R 中(实际上,至少是 Unix 到 SVr2,perhaps SVr3),目录条目为 16 个字节,其中 2 个字节用于 inode,14 个字节用于文件名。

使用read 是有道理的,因为磁盘上的目录条目大小都相同。 16 字节(2 的幂)也有意义,因为它不需要硬件乘法来计算偏移量。 (我记得 1978 年左右有人告诉我,Unix 磁盘驱动程序使用浮点并且速度很慢......但这是二手的,虽然很有趣)。

后来对目录的改进允许使用更长的名称,这意味着大小不同(没有必要将巨大的条目与可能的最大名称完全相同)。提供了一个更新的界面,readdir。

Linux 提供了一个底层 接口。根据其manual page:

这些不是你感兴趣的接口。看看 readdir(3) 用于符合 POSIX 的 C 库接口。这一页 记录裸内核系统调用接口。

如您的示例所示,getdents 是一个系统调用,可用于实现readdir。未指定实现readdir 的方式。早期的 readdir(大约 30 年前)不能作为库函数实现,使用 read 和 malloc 以及类似的函数来管理从目录中读取的长文件名,这并没有什么特别的原因。

在这种情况下(可能)将功能移入内核是为了提高性能。因为getdents 一次读取多个目录条目(与readdir 不同),这可能会减少读取小目录的所有条目的开销(通过减少系统调用的数量)。

进一步阅读:

【讨论】:

  • @GiorgianBorca-Tasciuc getdents 将返回 struct linux_dirent。它将对任何底层类型的文件系统执行此操作。 “磁盘上”格式可能完全不同,仅对给定的文件系统驱动程序已知,因此简单的用户空间 read 调用可能不起作用。也就是说,getdents 可以从原生格式转换为填充linux_dirent
  • 同意:应用程序必须知道目录条目在磁盘上的存储方式(每个文件系统可能不同)。
  • 常规文件是另一种情况(它们没有文件系统驱动程序可能知道的结构)。
  • @GiorgianBorca-Tasciuc “但是 VFS 就不能像 VFS 提供文件的“平面视图”一样呈现目录的“linux_dirent”视图吗?”是的,这正是getdents 所做的。再读几遍。我在第一条评论中也说了这么多。目录上的read 不会被拦截并转换为getdents,因为操作系统是极简主义的。你对文件或目录执行open(2) [opendir(3) 是包装器,并且在下面打开(2)]。您可以读取/写入/查找文件和读取/查找/getdents 目录 [no 写入]。如果您想要标准化信息,请使用getdents。如果您想要原始信息,请使用read。
  • @CraigEstey 很抱歉让您感到沮丧,但在您最后的评论中,您回答了我想回答的问题 - getdents() 背后的理性;操作系统(或驱动程序 - 在我的场景中,FS 驱动程序正在将调用从 read() 转换为 getdents())是极简主义的。我想我没有清楚地传达我想要回答的问题。再次感谢您,对于我可能造成的任何挫折,我深表歉意。如果你能做出这个答案,我会把它标记为正确的。
【解决方案3】:

您的怀疑是正确的:让 read 系统调用在目录上工作并返回一些标准化数据,而不是让单独的 getdents 系统调用更有意义。 getdents 是多余的,降低了界面的统一性。其他答案断言“读取”作为接口在某种程度上不如“getdents”。他们是不正确的。如您所见,“read”和“getdents”的参数和返回值是相同的;只是“读取”仅适用于非目录,而“getdents”仅适用于目录。 “getdents”可以很容易地被折叠成“read”来获得一个统一的系统调用。

不是这种情况的原因是历史原因。最初,“读取”对目录起作用,但在文件系统中返回实际的原始目录条目。解析起来很复杂,因此 另外 添加了 getdirents 调用来读取,以提供与文件系统无关的目录条目视图。最终,目录上的“读取”功能被关闭。目录上的“读取”也可以与 getdirents 的行为相同,而不是被关闭。只是不是,可能是因为它看起来是重复的。

特别是在 Linux 中,“read”在长时间读取目录时返回错误,几乎可以肯定某些程序依赖于这种行为。因此,向后兼容性要求 Linux 上的“读取”永远不会对目录起作用。

【讨论】:

    猜你喜欢
    • 2014-09-21
    • 2012-08-31
    • 2012-02-10
    • 1970-01-01
    • 1970-01-01
    • 2015-01-09
    • 2022-06-14
    • 1970-01-01
    • 2022-11-02
    相关资源
    最近更新 更多