在 C 中打印 UTF-8 字符串的字节

Question

我想打印单词“česnek”的单个字节，期望打印 7 个字节，因为“č”被编码为 2 个字节，但它会在终端中打印诸如问号之类的垃圾字符。如果我打印出整数值，我会得到这个序列。

-60 -115 101 115 110 101 107

为什么前两个数字是负数？ 这是我用来尝试的代码。

 char *utfstring = "česnek";
 for(size_t i = 0; i < strlen(utfstring); i++) {
 printf("%c ", utfstring[i]);
 }
 for(size_t i = 0; i < strlen(utfstring); i++) {
 printf("%d ", utfstring[i]);
 }

我希望前两个值是 c4 8d 因为 č 是根据 https://www.utf8-chartable.de/unicode-utf8-table.pl?start=256&unicodeinhtml=dec 编码的

Answer 1

使用(unsigned char)utfstring[i]或0xFF & utfstring[i]得到十六进制输出如下：

char *utfstring = u8"česnek";
for(size_t i = 0; i < strlen(utfstring); i++)
    printf("%02X ", 0xFF & utfstring[i]);

输出：

"C4 8D 65 73 6E 65 6B"

第一个字母字符 č 在 UTF8 中不能用单个字节表示。如果您一次打印一个字节 utfstring，则 UTF8 编码被破坏。

必须打印为u8"č" 或u8"\xC4\x8D"

一般来说，如果您希望将字节序列分解为单独的 Unicode 代码点，您将需要一个 Unicode 库，例如 iconv。如果您只是想查找č，请使用标准字符串函数，例如strstr(utfstring, u8"č")。

Answer 2

首先，char 的签名是implementation-defined。最重要的是，您告诉printf() 使用%d 打印一个签名号码。要将它们可移植地打印为无符号数字，您需要将它们转换为 unsigned 并使用 %u format specifier 打印它们：

printf("%u ", (unsigned char) utfstring[i]);

这将处理负数，但您还有另一个问题：C 标准不要求编译器在源代码中接受 UTF-8 编码的字符。标准只保证small set of basic characters。您可能需要查看特定编译器和标准库的文档以了解如何处理。您可能会得到 UTF-8、其他编码或垃圾；无论你得到什么，它都不是便携式的。如果这听起来很蹩脚，你是对的，它是 - C/C++ 在 i18n 方面已经追赶了很长时间。

好消息是，情况正在好转。如果您的编译器支持 C11，您可以并且应该利用 UTF-8 string literals 在字符串中可移植地编码 UTF-8 代码点。

Answer 3

当 UTF 表示为 多字节时，您的 for-loop 逐字节遍历字符值。

char *utfstring = "česnek"; 超过六个字节长！ 因为该字符串中的第一个“字符”占用了超过一个字节。 （UTF 表示的巧妙之处在于，每个字节都是自编码的，通过单独检查每个字节的二进制内容，您可以可靠地确定它是什么“类型”字节，以及它落在哪里[如果适用] 在多字节序列中。）

您的逻辑尝试对这些字节使用%c 和%d 格式，但可以说，这两种格式都不是最合适的。 “在这个[人类]环境中，这些不是真正的字符，也不是整数。”试试%x ...十六进制。 “给我看看。”