在c#中将字节流写入文件的有效方法是什么？

Question

我有 5GB 左右的字节形式的大数据。

我需要将此数据存储在文件ServerData.xml 中。这个数据应该先转换成字符串，然后保存到文件中，这样我们就可以对文件进行操作了。

我使用下面的代码将字节流转换为字符串，然后将其保存在文件中。

private const string fileName = "ServerData.xml";

public void ProcessBuffer(byte[] receiveBuffer, int bytes)
{
    if (!File.Exists(fileName))
    {
        using (File.Create(fileName)) { };
    }

    TextWriter tw = new StreamWriter(fileName, true);
    tw.Write(Encoding.UTF8.GetString(receiveBuffer).TrimEnd((Char)0));
    tw.Close();
}

这是正确的方法吗？

或者请提出更好的方法，以便将来不会出现任何内存问题？

Answer 1

只有当ProcessBuffer 始终使用在代码点边界上被破坏的 UTF-8 编码文本调用时，您问题中的代码才能工作。这对我来说似乎不太可能，所以我希望您在解码为文本时遇到错误。

然而，解码成文本然后写入，是相当没有意义的，而且确实适得其反。这些字节已经是 UTF-8 编码的。当它们从套接字到达时，将它们直接写入文件。不要对它们进行任何处理。当您使用XmlReader 读取 XML 时，解析器将从文档的 XML 声明中读取编码为 UTF-8，并能够解码文档的其余部分。我假设文档的 XML 声明指定了 UTF-8，但这似乎很有可能。你应该检查一下。

您应该摆脱对您编写字节没有用处的文本编写器。将字节直接写入文件流。并尽量避免重复打开和关闭文件。这是非常低效的。仅打开和关闭文件一次。

Answer 2

您可以使用FileStream 将这些字节简单地写入文件：

public void ProcessBuffer(byte[] receivedBuffer, int bytes)
{
    using (var fileStream = new FileStream(fileName, FileMode.Create)) // overwrites file
    {
        fileStream.Write(receivedBuffer, 0, bytes);
    }
}

更新：如果您没有足够的资源，您将无法处理如此大的 XML 文档。我建议重新格式化这个文件。例如，我会解析这个 XML 并将数据插入 SQL 数据库。然后，您可以轻松地处理如此大量的数据。

Answer 3

为什么要转成字符串？

using System.IO;

public static void WriteBytes(byte[] bytes, string filename)
{
    using (FileStream fs = new FileStream(filename, FileMode.OpenOrCreate))
    using (BinaryWriter writer = new BinaryWriter(fs, Encoding.UTF8))
    {
        writer.Write(bytes);
    }
}

Answer 4

我希望将所有字节都写入文件。并且在读取的时候先转成字符串，然后再用XDocument、XElement等转成XML。通过在文件中写入字节可以节省空间，而且效率很高，

我更喜欢 File.WriteAllBytes 方法，而不是使用 FileStream。

private const string fileName = "ServerData.xml";
public void ProcessBuffer(byte[] receiveBuffer, int bytes)
{
    File.WriteAllBytes(filename, bytes);


    // And when reading
    var bytes = File.ReadAllBytes(filename);
    var binaryReader = new BinaryReader(new MemoryStream(bytes));
    // Parse strings and make xml,
    binaryReader.ReadString();

}