在 PHP 中测试 UTF-8 字符串是一种可靠的方法吗？

Question

我在另一个答案中找到了一个有用的功能，我想知道是否有人可以向我解释它在做什么以及它是否可靠。我使用的是 mb_detect_encoding()，但在 Linux 操作系统上读取 ISO 8859-1 文件时它不正确。

这个功能似乎在我测试的所有情况下都有效。

这里是问题：Get file encoding

函数如下：

function isUTF8($string){
    return preg_match('%(?:
    [\xC2-\xDF][\x80-\xBF]              # Non-overlong 2-byte
    |\xE0[\xA0-\xBF][\x80-\xBF]         # Excluding overlongs
    |[\xE1-\xEC\xEE\xEF][\x80-\xBF]{2}  # Straight 3-byte
    |\xED[\x80-\x9F][\x80-\xBF]         # Excluding surrogates
    |\xF0[\x90-\xBF][\x80-\xBF]{2}      # Planes 1-3
    |[\xF1-\xF3][\x80-\xBF]{3}          # Planes 4-15
    |\xF4[\x80-\x8F][\x80-\xBF]{2}      # Plane 16
    )+%xs', $string);
}

这是检测 UTF-8 字符串的可靠方法吗？ 它到底在做什么？它可以变得更健壮吗？

Answer 1

如果您不知道字符串的编码，则不可能以任何准确度猜测编码。这就是为什么mb_detect_encoding 根本不起作用。但是，如果您知道字符串应该采用什么编码，则可以使用mb_check_encoding 检查它是否是该编码中的有效字符串。它或多或少地完成了您的正则表达式所做的事情，可能更全面一些。它可以用明确的“是”或“否”来回答问题“这个字节序列在 UTF-8 中有效吗？”。这并不一定意味着字符串实际上是 以该编码编码的，只是它可能是。例如，不可能将使用全部 8 位的任何单字节编码与使用 8 位的任何其他单字节编码区分开来。但是 UTF-8 应该是相当可区分的，尽管您可以生成，例如，也恰好是有效 UTF-8 字节序列的 Latin-1 编码字符串。

简而言之，没有办法确定。如果您期望 UTF-8，请检查您收到的字节序列在 UTF-8 中是否有效，然后您可以安全地将字符串视为 UTF-8。除此之外，您几乎无能为力。

Answer 2

好吧，它只检查字符串是否包含恰好对应于有效 UTF-8 代码点的字节序列。但是，它不会标记序列 0x00-0x7F，它是 UTF-8 的 ASCII 兼容子集。

编辑：顺便说一句，我猜想mb_detect_encoding()“无法正常工作”的原因是因为您的 Latin-1 编码文件仅使用了 ASCII 兼容子集，这在 UTF-8 中也有效。难怪mb_detect_encoding() 会将其标记为 UTF-8 并且它是“正确的”，如果数据只是纯 ASCII，那么答案 UTF-8 与 Latin-1、ASCII 或任何其他的一样好扩展的 ASCII 编码。

Answer 3

这只会检测字符串的一部分是否是正式有效的 UTF-8 序列，忽略一个代码单元编码字符（表示 ASCII 中的代码点）。要使该函数返回 true，只要有一个字符看起来像非 ASCII UTF-8 编码字符就足够了。

Answer 4

基本上没有。

• 任何 UTF8 字符串是有效的 8 位编码字符串（即使它会产生乱码）。
• 另一方面，大多数带有扩展 (128+) 个字符的 8 位编码字符串是不是有效的 UTF8，但与任何其他随机字节序列一样，它们可能碰巧是。
• 当然，任何 ASCII 文本都是有效的 UTF8，所以 mb_detect_encoding 实际上这样说是正确的。不，使用 ASCII 文本作为 UTF8 不会有任何问题。这就是 UTF8 首先起作用的原因。

据我了解，您提供的函数不会检查字符串的 有效性，只是它包含一些恰好与 UTF8 相似的序列，因此该函数可能会出错更糟糕。您可能希望在严格模式下同时使用此函数和 mb_detect_encoding，并希望它们相互抵消误报。

如果文本是用非拉丁字母书写的，检测多字节编码的“智能”方法是查找以相同位开头的大小相等的字节块序列。例如，俄语单词“привет”如下所示：

11010000 10111111
11010001 10000000
11010000 10111000
11010000 10110010
11010000 10110101
11010001 10000010

但是，这不适用于拉丁字母（可能还有中文）。

Answer 5

有问题的函数（用户 pilif 在链接问题中发布的函数）似乎取自 PHP 手册中 mb_detect_encoding() 页面上的 this comment：

正如作者所说，该函数仅用于“检查字符串是否包含 UTF-8 字符”，它仅查找“UTF-8 范围内的非 ascii 多字节序列” .因此，如果您的字符串仅包含简单的 ascii 字符（如英文文本），该函数将返回 false（实际上为零），这可能不是您想要的。

他的函数基于同一页面上 this previous comment 中的另一个函数，实际上，该函数旨在检查字符串是否为 UTF-8，并且基于 W3C 某人创建的 this regular expression。

这是原始的、正常工作（我已经测试过）的函数，它会告诉您字符串是否为 UTF-8：

// Returns true if $string is valid UTF-8 and false otherwise.
function is_utf8($string) {

    // From http://w3.org/International/questions/qa-forms-utf-8.html
    return preg_match('%^(?:
          [\x09\x0A\x0D\x20-\x7E]            # ASCII
        | [\xC2-\xDF][\x80-\xBF]             # non-overlong 2-byte
        |  \xE0[\xA0-\xBF][\x80-\xBF]        # excluding overlongs
        | [\xE1-\xEC\xEE\xEF][\x80-\xBF]{2}  # straight 3-byte
        |  \xED[\x80-\x9F][\x80-\xBF]        # excluding surrogates
        |  \xF0[\x90-\xBF][\x80-\xBF]{2}     # planes 1-3
        | [\xF1-\xF3][\x80-\xBF]{3}          # planes 4-15
        |  \xF4[\x80-\x8F][\x80-\xBF]{2}     # plane 16
    )*$%xs', $string);

} // function is_utf8

Answer 6

这可能不是您问题的答案（也许是，请参阅下面的更新），但它可能是您问题的答案。查看我的 Encoding 类，它具有将字符串转换为 UTF8 的方法，无论它们是否已经以 Latin1、Win1252 或 UTF8 编码，或者它们的混合：

Encoding::toUTF8($text_or_array);
Encoding::toWin1252($text_or_array);
Encoding::toISO8859($text_or_array);

// fixes UTF8 strings converted to UTF8 repeatedly: 
//  "FÃÂédÃÂération" to "Fédération"
Encoding::fixUTF8($text_or_array);  

https://stackoverflow.com/a/3479832/290221

该函数逐字节运行，并确定它们中的每一个是否需要转换。

更新：

再想一想，这实际上可能是您问题的答案：

require_once('Encoding.php');

function validUTF8($string){
    return Encoding::toUTF8($string) == $string;
}

这里是编码类： https://github.com/neitanod/forceutf8