如何将带有整数的字节数组写入以 utf8 格式编码的文件

Question

最近我偶然发现了一个关于 UTF8 的问题。我被要求以 UTF8 编码写入和读取文件。乍一看，我认为这很容易，但事实并非如此。 我的问题是我必须编写一个包含字符串和整数或短整数的二进制文件。 为此，我写了

            byte[] BOM  = new byte[] {0xEF, 0xBB, 0xBF};
            byte[] Head;
            byte head4[] = new byte[4];
            UTF8Encoding utf8 = new UTF8Encoding(false);
            using (FileStream stream = new FileStream(fileName, FileMode.Create))
            {

                    stream.Write( BOM,0, BOM.Length);
                    Byte[] title = utf8.GetBytes("Hello_Abra");
                    stream.Write(title, 0, title.Length);

                    string HeadString = new string('\0', INDEXLength);
                    Head = utf8.GetBytes(HeadString);
                    stream.Write( Head, 0, Head.Length);

                    WriteInt(1258, head4, 0 );  
                    stream.Write( head4, 0, head4.Length);

            }


        public static void WriteInt(int TheInt, byte[] ToArray, int atIndex) 
    {

        for (int i=0; i<limit; i++) 
        {
            byte thebyte = (byte) (TheInt & 0xff);
            ToArray[atIndex+i] = thebyte;
            TheInt = TheInt>>8;
        }
    }

当我调用 WriteInt 函数获取整数值并尝试将其写入文件时，结果文件的内容始终为 ANSI，所有字符均以 ANSI 格式写入。 另一方面，如果我只写字符串，则文件内容为 UTF8，字符串以 2 字节 UFT8 格式写入。

怎么了。这是实现目标的正确方法。 任何帮助表示感谢。

乔斯

Answer 1

您从 int 中提取的原始字节不是 UTF-8 编码的，因此它们会破坏解码过程。

您可以对字符串表示进行编码：

Head = utf8.GetBytes("1258".ToString());
stream.Write( Head, 0, Head.Length);

当然 BASE-64 会为较大的数字生成较短的字符串：

WriteInt(1258, head4, 0 );
Head = utf8.GetBytes(Convert.ToBase64String(head4));
stream.Write( Head, 0, Head.Length);

Answer 2

由于您在同一个文件中混合了字符串和非字符串数据，因此您根本不应该在文件的前面编写 BOM。您不能将二进制数写入 UTF-8 编码的文本文件。您需要将整个文件视为二进制文件，而不是文本，并根据需要简单地对各个字符串进行编码/解码。

您还存在知道 UTF-8 编码字符串在哪里结束的问题。我怀疑你正试图在它之后写一个空终止符，但你没有这样做。你可以使用stream.WriteByte(0)。

另一方面，从FileStream 中读取以空字符结尾的字符串很困难。您必须一次将一个字节的流读入缓冲区，直到遇到空值，然后您可以使用UTF8Encoding 对缓冲区进行解码。效率不高。

就我个人而言，我会将以 null 结尾的字符串改为以长度为前缀的字符串。然后你可以使用BinaryWriter 和BinaryReader 为你处理一切，例如：

using (FileStream stream = new FileStream(fileName, FileMode.Create))
{
    using (BinaryWriter writer = new BinaryWriter(stream, Encoding.UTF8))
    {
        writer.Write("Hello_Abra");
        writer.Write(new string('\0', INDEXLength));
        writer.Write(Int32(1258));
    }
}

string s;
int i;
using (FileStream stream = new FileStream(fileName, FileMode.Open))
{
    using (BinaryReader reader = new BinaryReader(stream, Encoding.UTF8))
    {
        s = reader.ReadString();
        s = reader ReadString();
        i = reader.ReadInt32();
    }
}