将无符号字符数组传递给字符串函数

Question

假设我有一些 utf8 编码的字符串。在其中，单词使用";" 分隔。 但是这个字符串中的每个字符（";" 除外）都有 utf8 值 >128。 假设我将此字符串存储在 unsigned char 数组中：

unsigned char buff[]="someutf8string;separated;with;";

将这个buff 传递给strtok 函数是否安全？ （如果我只想使用";" 符号提取单词）。

我担心strtok（或strcpy）期望char指针，但在我的 字符串某些值的值 > 128。 那么这种行为是否已定义？

Answer 1

根据 C11 标准（ISO/IEC 9899:2011 §7.24.1 字符串处理约定，¶3，已添加重点）：

对于本条中的所有功能，每个字符都应为 解释为好像它具有 unsigned char 类型（因此每个 可能的对象表示是有效的并且具有不同的值）。

^{注意：C99 标准中没有此段落。}

所以我看不出有什么问题。

Answer 2

不，它不安全——但是如果它编译它几乎肯定会按预期工作。

unsigned char buff[]="someutf8string;separated;with;";

这很好；该标准特别允许使用字符串字面量初始化字符类型的数组（包括unsigned char）。字符串文字的连续字节初始化数组的元素。

strtok(buff, ";")

这是一个约束冲突，需要编译时诊断。 （这与 C 标准所说的某些东西是非法的差不多。）

strok 的第一个参数的类型为 char*，但您传递的参数类型为 unsigned char*。这两种指针类型不兼容，它们之间没有隐式转换。如果程序包含这样的调用（例如，gcc -std=c99 -pedantic-errors 确实会拒绝它），符合标准的编译器可能会拒绝您的程序。

许多 C 编译器在严格执行标准要求方面有些松懈。在许多情况下，编译器会针对包含违反约束的代码发出警告——这是完全有效的。但是，一旦编译器诊断出违反约束并继续生成可执行文件，该可执行文件的行为就不是由 C 标准定义的。

据我所知，任何不拒绝此调用的实际编译器都会生成行为符合您预期的代码。指针类型char* 和unsigned char* 几乎可以肯定具有相同的表示形式并以与参数相同的方式传递，并且类型char 和unsigned char 明确要求对非负值具有相同的表示形式。即使对于超过CHAR_MAX 的值，例如您正在使用的值，编译器也必须不遗余力地生成行为不端的代码。在不使用 2 补码作为有符号整数的系统上，您可能会遇到问题，但您不太可能遇到这样的系统。

如果您添加显式转换：

strtok((char*)buff, ";")

删除约束违规并可能会消除任何警告 - 但行为仍然严格未定义。

不过，在实践中，大多数编译器都试图将 char、signed char 和 unsigned char 几乎互换处理，部分原因是为了迎合像您这样的代码，部分原因是他们必须竭尽全力做其他事情。