如何在没有内存不足异常的情况下将大文件 (>1 GB) 的编码转换为 Windows 1252？

Question

考虑：

public static void ConvertFileToUnicode1252(string filePath, Encoding srcEncoding)
{
    try
    {
        StreamReader fileStream = new StreamReader(filePath);
        Encoding targetEncoding = Encoding.GetEncoding(1252);

        string fileContent = fileStream.ReadToEnd();
        fileStream.Close();

        // Saving file as ANSI 1252
        Byte[] srcBytes = srcEncoding.GetBytes(fileContent);
        Byte[] ansiBytes = Encoding.Convert(srcEncoding, targetEncoding, srcBytes);
        string ansiContent = targetEncoding.GetString(ansiBytes);

        // Now writes contents to file again
        StreamWriter ansiWriter = new StreamWriter(filePath, false);
        ansiWriter.Write(ansiContent);
        ansiWriter.Close();
        //TODO -- log success  details
    }
    catch (Exception e)
    {
        throw e;
        // TODO -- log failure details
    }
}

以上代码对大文件返回内存不足异常，仅适用于小文件。

Answer 1

我认为仍然使用StreamReader 和StreamWriter 但读取字符块而不是一次或逐行读取是最优雅的解决方案。它不会随意假设文件由可管理长度的行组成，也不会因多字节字符编码而中断。

public static void ConvertFileEncoding(string srcFile, Encoding srcEncoding, string destFile, Encoding destEncoding)
{
    using (var reader = new StreamReader(srcFile, srcEncoding))
    using (var writer = new StreamWriter(destFile, false, destEncoding))
    {
        char[] buf = new char[4096];
        while (true)
        {
            int count = reader.Read(buf, 0, buf.Length);
            if (count == 0)
                break;

            writer.Write(buf, 0, count);
        }
    }
}

（我希望StreamReader 有一个像Stream 这样的CopyTo 方法，如果有，这将基本上是一个单行！）

Answer 2

不要 readToEnd 并像一次一行地读取它或 X 个字符。如果您读到最后，您会立即将整个文件放入缓冲区。

Answer 3

试试这个：

using (FileStream fileStream = new FileStream(filePath, FileMode.Open))
{
    int size = 4096;
    Encoding targetEncoding = Encoding.GetEncoding(1252);
    byte[] byteData = new byte[size];

    using (FileStream outputStream = new FileStream(outputFilepath, FileMode.Create))
    {
        int byteCounter = 0;

        do
        {
            byteCounter = fileStream.Read(byteData, 0, size);

            // Convert the 4k buffer
            byteData = Encoding.Convert(srcEncoding, targetEncoding, byteData);

            if (byteCounter > 0)
            {
                outputStream.Write(byteData, 0, byteCounter);
            }
        }
        while (byteCounter > 0);

        inputStream.Close();
    }
}

可能有一些语法错误，因为我是从内存中完成的，但这就是我处理大文件的方式，一次读取一个块，进行一些处理并将块保存回来。这确实是唯一的方法（流式传输），无需依赖读取所有内容的大量 IO 开销和存储所有内容、将其全部转换到内存中然后将其全部保存回来的巨大 RAM 消耗。

您可以随时调整缓冲区大小。

如果您希望您的旧方法在不抛出 OutOfMemoryException 的情况下工作，您需要告诉 垃圾收集器 允许非常大的对象。

在 App.config 中，<runtime> 下添加以下行（我的代码不需要它，但值得了解）：

<gcAllowVeryLargeObjects enabled="true" />