随机化非常大的文本文件的行

Question

我想随机化包含超过 3200 万行 10 位字符串的文件中的行。我知道如何使用File.ReadAllLines(...).OrderBy(s => random.Next()).ToArray() 执行此操作，但这不是内存效率，因为它将所有内容加载到内存中（超过 1.4GB）并且仅适用于 x64 架构。

另一种方法是拆分它并随机化较短的文件，然后合并它们，但我想知道是否有更好的方法来做到这一点。

Answer 1

您当前的方法将分配至少 2 个大字符串数组（可能更多——我不知道 OrderBy 是如何实现的，但它可能会进行自己的分配）。

如果您通过在行之间进行随机排列（例如使用Fisher-Yates shuffle）来“就地”随机化数据，它将最大限度地减少内存使用量。当然，如果文件很大，它仍然会很大，但您不会分配超过必要的内存。

---

编辑：如果所有行的长度相同 (*)，这意味着您可以随机访问文件中的给定行，因此您可以直接在文件中进行 Fisher-Yates shuffle。

(*) 并假设您没有使用字符可以具有不同字节长度的编码，例如 UTF-8

Answer 2

此应用程序使用字节数组演示您想要的内容

1. 它创建一个填充数字 0 到 32000000 的文件。
2. 它加载文件，然后使用块复制 Fisher-Yates 方法在内存中随机播放它们。
3. 最后，它以打乱的顺序写回文件

内存使用峰值约为 400 MB。在我的机器上运行大约 20 秒（主要是文件 IO）。

public class Program
{
    private static Random random = new Random();

    public static void Main(string[] args)
    {
        // create massive file
        var random = new Random();
        const int lineCount = 32000000;

        var file = File.CreateText("BigFile.txt");

        for (var i = 0; i < lineCount ; i++)
        {
            file.WriteLine("{0}",i.ToString("D10"));
        }

        file.Close();

        int sizeOfRecord = 12;

        var loadedLines = File.ReadAllBytes("BigFile.txt");

        ShuffleByteArray(loadedLines, lineCount, sizeOfRecord);

        File.WriteAllBytes("BigFile2.txt", loadedLines);
    }

    private static void ShuffleByteArray(byte[] byteArray, int lineCount, int sizeOfRecord)
    {
        var temp = new byte[sizeOfRecord];

        for (int i = lineCount - 1; i > 0; i--)
        {
            int j = random.Next(0, i + 1);
            // copy i to temp
            Buffer.BlockCopy(byteArray, sizeOfRecord * i, temp, 0, sizeOfRecord);
            // copy j to i
            Buffer.BlockCopy(byteArray, sizeOfRecord * j, byteArray, sizeOfRecord * i, sizeOfRecord);
            // copy temp to j
            Buffer.BlockCopy(temp, 0, byteArray, sizeOfRecord * j, sizeOfRecord);
        }
    }
}