C# 内存映射文件 - 更好地按顺序读取或写入？

Question

我有两个大约 50GB 的文件：一个 输入 和一个 输出 文件。 我正在使用内存映射文件来管理这两个文件。

input 文件包含 3 百万个网页，在我确定了 排列 π他们，我必须以新的顺序将网页写入 output 文件。

所以，我可以选择顺序读取输入文件，并在输出不同位置写入网页 文件，根据 排列 π。
或者我可以做相反的事情：根据排列 π 随机读取输入文件并写入按顺序进入输出文件。

哪个选项更快？为什么？

Answer 1

TL;DR：由于缓存，所有文件追加操作都是顺序的。甚至对文件中间的写入也会按照块大小等进行电梯排序和执行。

出于以下几个原因，随机写入往往比随机读取更快：

1. 当文件增长时，文件系统可以选择放置新块的位置。
2. 不必立即执行写入，写入缓冲区可以确保一次写入整个块，这意味着不会将数据添加到已经有位置的现有块中。
3. 在读取完成之前无法进行处理。阅读依赖于预测缓存。操作系统擅长预缓存顺序读取，这对于随机读取来说很糟糕。如果您的读取小于块大小，情况会更糟——从磁盘读取的实际数据量将大于文件大小。