示例无效的 utf8 字符串？答案

【问题标题】：Example invalid utf8 string?示例无效的 utf8 字符串？
【发布时间】：2010-11-21 01:05:58
【问题描述】：

我正在测试我的一些代码如何处理不良数据，我需要一些无效的 UTF-8 字节序列。

您能否发布一些（理想情况下）解释它们为什么不好/您从哪里得到它们的解释？

【问题讨论】：

Really Good, Bad UTF-8 example test data的可能重复

标签： unit-testing utf-8

【解决方案1】：

看看Markus Kuhn's UTF-8 decoder capability and stress test file

您会发现许多 UTF-8 违规的示例，包括单独的起始字节、缺少连续字节、超长序列等。

【讨论】：

【解决方案2】：

在 PHP 中：

$examples = array(
    'Valid ASCII' => "a",
    'Valid 2 Octet Sequence' => "\xc3\xb1",
    'Invalid 2 Octet Sequence' => "\xc3\x28",
    'Invalid Sequence Identifier' => "\xa0\xa1",
    'Valid 3 Octet Sequence' => "\xe2\x82\xa1",
    'Invalid 3 Octet Sequence (in 2nd Octet)' => "\xe2\x28\xa1",
    'Invalid 3 Octet Sequence (in 3rd Octet)' => "\xe2\x82\x28",
    'Valid 4 Octet Sequence' => "\xf0\x90\x8c\xbc",
    'Invalid 4 Octet Sequence (in 2nd Octet)' => "\xf0\x28\x8c\xbc",
    'Invalid 4 Octet Sequence (in 3rd Octet)' => "\xf0\x90\x28\xbc",
    'Invalid 4 Octet Sequence (in 4th Octet)' => "\xf0\x28\x8c\x28",
    'Valid 5 Octet Sequence (but not Unicode!)' => "\xf8\xa1\xa1\xa1\xa1",
    'Valid 6 Octet Sequence (but not Unicode!)' => "\xfc\xa1\xa1\xa1\xa1\xa1",
);

来自http://www.php.net/manual/en/reference.pcre.pattern.modifiers.php#54805

【讨论】：

【解决方案3】：

格式不正确的字节序列模式的概念可以从格式良好的字节序列表中得到。请参阅 Unicode 标准 6.2 中的“Table 3-7. Well-Formed UTF-8 Byte Sequences”。

    Code Points    First Byte Second Byte Third Byte Fourth Byte
  U+0000 -   U+007F   00 - 7F
  U+0080 -   U+07FF   C2 - DF    80 - BF
  U+0800 -   U+0FFF   E0         A0 - BF     80 - BF
  U+1000 -   U+CFFF   E1 - EC    80 - BF     80 - BF
  U+D000 -   U+D7FF   ED         80 - 9F     80 - BF
  U+E000 -   U+FFFF   EE - EF    80 - BF     80 - BF
 U+10000 -  U+3FFFF   F0         90 - BF     80 - BF    80 - BF
 U+40000 -  U+FFFFF   F1 - F3    80 - BF     80 - BF    80 - BF
U+100000 - U+10FFFF   F4         80 - 8F     80 - BF    80 - BF

以下是从 U+24B62 生成的示例。我将它们用于错误报告：Bug #65045 mb_convert_encoding breaks well-formed character

// U+24B62: "\xF0\xA4\xAD\xA2"
"\xF0\xA4\xAD"    ."\xF0\xA4\xAD\xA2"."\xF0\xA4\xAD\xA2"
"\xF0\xA4\xAD\xA2"."\xF0\xA4\xAD\xA2"."\xF0\xA4\xAD"

可以在各种库中看到尾随字节（[0x80, 0xBF]）范围的过度简化。

// U+0800 - U+0FFF
\xE0\x80\x80

// U+D000 - U+D7FF
\xED\xBF\xBF

// U+10000 -  U+3FFFF
\xF0\x80\x80\x80

// U+100000 - U+10FFFF
\xF4\xBF\xBF\xBF

【讨论】：

【解决方案4】：

,̆ 特别邪恶。我认为它是在 ubuntu 上组合的。

逗号

【讨论】：

【解决方案5】：

模糊测试 - 生成随机的八位字节序列。很可能你迟早会得到一些非法序列。

【讨论】：

没有什么比拥有 heisenbugs 或 eisentests 更糟糕的了。测试通过 10 次，你发布产品，测试失败。
@EricDuminil 听说过 srand() 吗？
很公平。您能否在答案中提及它，以便我可以恢复我的反对票？
啊哈。嗯，总有一些新东西要学，这就是我首先来到 SO 的原因。我认为您的srand() 建议是个好主意，它可能会帮助这里的其他人。
我们可以直接创建无效字符串，我们不需要随机性来尝试并最终找到它们，尽管字符串处理库会（可能！）受益于模糊测试以防万一。