MSVC UTF8 字符串编码使用不正确的代码点

Question

我正在尝试将字符“Ā” (https://www.fileformat.info/info/unicode/char/0100/index.htm) 写入 C++11 UTF8 字符串（使用 u8 前缀）。

const char *const utf8 = u8"Ā";
const char *const utf8_2 = u8"\u0100";
const char *const chars = "Ā";

const int utf8_len = strlen(utf8);
const int utf8_2_len = strlen(utf8_2);
const int chars_len = strlen(chars);

在 MSVC (16.2.4) 下运行会导致：

utf8_len == 5
utf8_2_len = 2;
chars_len = 2;

地点：

utf8 == "Ä€"
utf8_2 == "Ä€"
chars == "Ä€"

源文件设置为 UTF8（无 BOM）。

对 Clang 和 GCC 进行同样的尝试可以按预期工作：

https://godbolt.org/z/PNZFCa

有谁知道为什么会发生这种行为？为什么 u8 前缀的 Unicode 字符被编码为 5 个字节（应该是 2 个字节）？

Answer 1

Microsoft 编译器假定没有 BOM 的文件使用本地 ANSI 编码，在您的情况下可能是 Windows-1252。如果您从命令行运行cl /?，您将看到以下命令行开关：

...
/source-charset:<iana-name>|.nnnn set source character set
/execution-charset:<iana-name>|.nnnn set execution character set
/utf-8 set source and execution character set to UTF-8
...

如果您不想使用 BOM 保存，请使用 /source-charset:UTF-8 或 /utf-8。

以 UTF-8 保存的测试代码，没有 BOM：

#include <stdio.h>
#include <string.h>

int main()
{
    const char *const utf8 = u8"Ā";
    printf("%zu\n",strlen(utf8));
}

输出：

C:\>cl /nologo test.cpp
test.cpp

C:\>test
5

C:\>cl /nologo /utf-8 test.cpp
test.cpp

C:\>test
2