如何多线程输入/输出进程和cpu进程

Question

我正在编写一个加密程序来加密文件（大小）来做到这一点，我目前的方法是从文件中读取 1024 个字节，加密这些字节，并将它们写入临时文件，然后重复直到完成.此过程完成后，将删除原始文件并将临时文件重命名为原始文件的名称。

这是一段处理 n 字节（n 为 1024）的示例代码：

        private void processChunk(BinaryReader Input, BinaryWriter Output, int n)
    {
        // Read n bytes from the input fileStream
        Byte[] Data = Input.ReadBytes(n);
        // Read n bytes from the streamCipher
        Byte[] cipherData = StreamCipher.OutputBytes(n);
        for (int x = 0; x < n; x++)
            // XOR a byte of the input stream with a corresponding byte of the streamCipher
            Data[x] ^= cipherData[x];
        // Write n bytes to the output fileStream
        Output.Write(Data);
    }

所以我很确定我不能对加密算法进行多线程处理，因为字节是作为密钥流生成的，并且取决于之前生成的字节，但是从文件和 cpu 操作中读取和写入可以吗？

最好的策略是什么？

Answer 1

自发地，我建议并行运行三个线程：

1. 将数据块读入内存的读取器线程。
2. 一个加密线程完成所有工作。
3. 将加密数据写入磁盘的写入器线程。

三个线程通过两个队列进行通信，如 .Net 4 提供的 BlockingCollection。参见Fast and Best Producer/consumer queue technique BlockingCollection vs concurrent Queue。

所以线程 1 填充队列 1，线程 2 读取队列 1 并填充队列 2，线程 3 读取队列 3。如果任何线程比其他线程快，BlockingCollection 将阻塞读取或写入线程，直到线程打开对方已经追了上来。例如，如果将 BlockingCollection 设置为最大大小 10，则读取线程将在加密线程之前读取 10 个数据块后阻塞。

还有一个观察：Input.ReadBytes 将为每次读取在堆上分配一个新的字节数组。这个数组将在当前块被处理后被丢弃，所以如果你有大文件和快速加密算法，内存分配和垃圾收集实际上可能会显着影响性能（.Net 在分配时将内存缓冲区归零）。相反，您可以使用由读取和加密线程保留和返回的缓冲区池，并使用 Stream.Read 方法接受现有缓冲区进行写入。

Answer 2

你可以这样做：

1. 读取所有数据并将其存储在列表中，其中每个条目是根据n的字节数组

2. 运行加密并将所有加密字节保存在内存中。

3. 一次写入所有输出字节。

这样您只能访问文件两次。