【发布时间】：2021-04-13 10:15:51
【问题描述】：
我有一个由脚本调用的程序。该程序将大量数据写入磁盘上的文件，然后终止。一旦运行完成，脚本就会切断整个系统的电源。
我遇到的问题是文件没有完整写入。如果它是一个 4GiB 的文件，当我稍后查看它时，实际上只有大约 2GiB 会在磁盘上。我能够可靠地确保写入所有数据的唯一方法是在程序完成后在退出前让程序休眠一小段时间，但这是一个非常糟糕且不可靠的黑客，我不想使用。这是我最近尝试的一些示例代码：
int main () {
FILE *output;
output = fopen("/logs/data", "w");
[fwrite several GiB of data to output]
fflush(output);
int fdo = open("/logs", O_RDONLY);
fsync(fdo);
fclose(output);
close(fdo);
return 0;
}
我最初尝试使用文件描述符构建我的 FILE 并在所使用的描述符 (/logs/data) 上调用 fsync()，但这产生了同样的问题。根据fsync(2) 的规范：
调用 fsync() 并不一定能确保 包含该文件的目录也已到达磁盘。为此 目录的文件描述符上的显式 fsync() 也是 需要。
这导致我使用上面的代码，仅为包含我的数据文件的目录创建一个特定的文件描述符并在其上调用 fsync()。然而结果是一样的。我真的不明白为什么会发生这种情况，因为 fsync() 应该是阻塞的：
调用阻塞直到 设备报告传输已完成。
另外，如您所见，我在 FILE 上添加了一个 fflush()，我认为 fsync() 可能只是在同步之前的数据被冲洗了，但这对情况没有任何影响。
在结束程序之前，我需要以某种方式验证数据是否确实已写入物理介质，但我不知道该怎么做。我看到有一些文件，例如 /sys/block/[device]/[partition]/stat 可以告诉我还有多少脏块要写入，我可以等待该值达到 0 但这不会似乎是解决应该是一个简单问题的好方法，此外，如果磁盘上正在运行任何其他程序，那么我也不想等待他们同步数据，因为我只关心完整性此特定文件和 stat 文件不区分。
编辑 根据建议，我尝试 fsync() 两次，首先在文件上，然后在目录上：
int main () {
FILE *output;
int fd = open("/logs/data", O_WRONLY | O_CREAT, 660);
output = fdopen(fd, "w");
[fwrite several GiB of data to output]
fsync(fd);
int fdo = open("/logs", O_RDONLY);
fsync(fdo);
fclose(output);
close(fd);
close(fdo);
return 0;
}
这产生了一些有趣的输出。对于一个 4GiB（4294967296 字节）的文件，磁盘上的实际数据大小为 4294963200，恰好与总值相差 1 个页面文件（4096 字节）。它似乎非常接近一个可行的解决方案，但它仍然不能保证每一个数据字节。
【问题讨论】：
-
阅读 Raymond Chen 的this，记住存储设备是谎言。
-
我认为重点在于，除了对文件本身进行 fsync 之外，您还必须对目录进行 fsync，而您当前的代码没有这样做。
-
也许
output的stdio缓冲区中有一些未写入的数据直到fclose调用才被写入。尝试在fsync(fd);之前调用fflush(output);。 -
你是如何关闭电源的（“安全地，等待缓冲写入被写入”，或“危险地/快速地进行重大鲁莽”）？
-
同步和刷新只保证数据从块缓存写入设备。它不保证设备已将数据写入媒体。这就是 SSD 上的 FUA（强制单元访问）和断电预防的用途。以上都不能保证正在运行的进程已将所有数据写入块缓存。这就是 Linux 关闭命令的用途。它告诉所有正在运行的进程终止。如果您只是关闭电源而不关闭，那么您是在故意丢失数据。
标签： c linux system-calls fsync