写入远程文件：write() 何时真正返回？

Question

我有一个客户端节点将文件写入另一个节点上的硬盘（实际上我正在写入并行 fs）。

我想了解的是：
当我write()（或pwrite()）时，write 调用究竟何时返回？

我看到了三种可能性：

1. write 在客户端对 I/O 操作进行排队后立即返回：
   在这种情况下，write 可以在数据实际离开客户端节点之前返回（如果您正在写入本地硬盘驱动器，则写入调用采用延迟写入，其中数据只是排队等待写入。但这是否也会发生当您写入远程硬盘时？）。我写了一个测试用例，在其中我将一个大矩阵（1GByte）写入文件。没有fsync，它显示出非常高的带宽值，而使用fsync，结果看起来更真实。所以看起来它可能正在使用延迟写入。

2. write 在数据传输到服务器缓冲区后返回：
   现在数据在服务器上，但驻留在其主存储器的缓冲区中，但尚未永久存储在硬盘驱动器上。在这种情况下，I/O 时间应该以通过网络传输数据的时间为主。

3. write 在数据实际存储到硬盘后返回：
   我敢肯定，默认情况下不会发生这种情况（除非您编写的文件非常大，这会导致您的 RAM 被填满并最终被清除等等......）。

另外，我想确定的是：
是否会出现程序在没有任何数据实际离开客户端节点的情况下终止的情况，这样延迟、带宽和硬盘驱动器带宽等网络参数根本不包含在程序的执行时间中？考虑到我们不做fsync 或类似的事情。

编辑：我正在使用 pvfs2 并行文件系统

Answer 1

选项 3. 当然简单且安全。然而，一个生产质量的 POSIX 兼容并行文件系统，其性能足以让任何人真正关心使用它，通常会使用选项 1 结合一些或多或少涉及的机制来避免冲突，例如多个客户端缓存同一个文件。

俗话说，“计算机科学中只有两件难事：缓存失效和命名事物以及非一错误”。

如果文件系统应该与 POSIX 兼容，您需要去学习 POSIX fs 语义，并查看 fs 如何在获得良好性能的同时支持这些语义（或者，它跳过了 POSIX 语义的哪些部分，例如 NFS） .使这个错误的有趣之处在于，POSIX fs 语义可以追溯到 1970 年代，几乎没有考虑如何支持网络文件系统。

我不具体了解 pvfs2，但通常为了符合 POSIX 并提供良好的性能，选项 1 可以与某种缓存一致性协议（例如 Lustre 使用）一起使用。对于 fsync()，数据必须在 fsync() 返回之前实际传输到服务器并提交到服务器上的稳定存储（磁盘或电池支持的写入缓存）。当然，客户端对脏页的数量有一定的限制，之后它将阻止进一步的 write() 到文件，直到一些已经传输到服务器。

Answer 2

您可以选择三个选项中的任何一个。这取决于您提供给open 调用的标志。这取决于本地安装文件系统的方式。这也取决于远程服务器的配置方式。

以下内容均取自 Linux。 Solaris 和其他可能有所不同。

一些重要的open 标志是O_SYNC、O_DIRECT、O_DSYNC、O_RSYNC。

一些重要的 NFS 挂载标志是 ac、noac、cto、nocto、lookupcache、sync、async。

用于导出 NFS 的一些重要标志是 sync、async、no_wdelay。当然，NFS 正在导出的文件系统的挂载标志也很重要。例如，如果您从 Linux 导出 XFS 或 EXT4，并且出于某种原因使用了nobarrier 标志，则服务器端断电几乎肯定会导致数据丢失。