ICU 字节顺序标记 (BOM)答案

【问题标题】：ICU Byte Order Mark (BOM)ICU 字节顺序标记 (BOM)
【发布时间】：2011-10-30 17:40:25
【问题描述】：

我正在使用 ICU 的 ustdio 函数将 UnicodeString 对象写入一系列编码的文件，但它似乎没有预先添加 BOM。

我的代码：

void write_file(const char* filename, UnicodeString &str) {

    UFILE* f = u_fopen(filename, "w", NULL, "UTF-16 LE");
    u_file_write(str.getTerminatedBuffer(), str.length() + 1, f);
    u_fclose(f);
}

int _tmain(int argc, _TCHAR* argv[])
{
    UnicodeString str(L"ΠαρθένωνΗ");

    write_file("test.txt", str);

    return 0;
}

当我将 LE 更改为 BE 时，文件编码确实交换了，但是没有 BOM，十六进制编辑器中的输出文件是：

A0 03 B1 03  C1 03 B8 03  AD 03 BD 03  C9 03 BD 03  97 03 00 00

注意：如果我将代码页设置为“UTF-16”，则会有一个 BOM，但是一旦我手动指定字节序，它就会消失。

或者，有没有办法可以将 UnicodeString 写入带有 BOM 的文件？

【问题讨论】：

嗯，有道理不是吗？ BOM 可以帮助文件的读者发现字节序。所以你的机器默认写什么并不重要。如果您使用“UTF-16”，那么任何人都可以阅读它。
这种行为是 Unicode 标准规定的：如果您有一些更高级别的协议（在本例中是您的 C 代码）来指示字节顺序，则不得使用 BOM。

标签： c++ unicode endianness icu byte-order-mark

【解决方案1】：

u_fputc(0x00feff,f);

会做的。

【讨论】：

【解决方案2】：

只是猜测，“UTF-16 LE”和“UTF-16 BE”旨在用于明确指定字节顺序并且在使用文件的上下文中不需要 BOM。

您应该能够将自己的BOM character '\ufeff' 写入文件。

【讨论】：

你完全正确。如果您需要 utf-16 LE 或 BE 下的 BOM 字符，您应该编写自己的 BOM 字符。请注意，“utf-16”转换器写入 BOM 并“检测”传入的 BOM，因此 utf-16 可以读取 LE 或 BE，如果有 BOM。 u_fputc(0x00feff,f);