htmlspecialchars 导致文本消失答案

【问题标题】：htmlspecialchars causing text to disapearhtmlspecialchars 导致文本消失
【发布时间】：2012-07-27 04:42:16
【问题描述】：

我遇到了一个导致 htmlspecialchars() 返回零长度字符串的特定字符串（它不是完全可打印的，但您可以在下面看到它）。有什么办法可以解决吗？

$Stmnt = 'SELECT subject_name FROM bans WHERE id = 2321';
$Fetch = $Conn->query($Stmnt);
if(!$Fetch)
    die('Could not query DB');
while($Row = $Fetch->fetch_array(MYSQLI_ASSOC))
{
    $RawName = $Row['subject_name'];
    $RawLen = strlen($RawName);
    echo('RAW NAME: ['.$RawName.']'.', LENGTH: ['.$RawLen.']'.'<br />');
    for($i = 0; $i < $RawLen; $i++)
        echo('CHAR '.$i.' = ['.$RawName[$i].'] (ORD: '.ord($RawName[$i]).')<br />');

    $CleanName = htmlspecialchars($RawName, ENT_QUOTES, 'UTF-8');
    $CleanLen = strlen($CleanName);
    echo('CLEAN NAME: ['.$CleanName.']'.', LENGTH: ['.$CleanLen.']'.'<br />');
    for($i = 0; $i < $CleanLen; $i++)
        echo('CHAR '.$i.' = ['.$CleanName[$i].'] (ORD: '.ord($CleanName[$i]).')<br />');
}
$Fetch->close();
echo('DONE');

输出：

RAW NAME: [━═★ Coммander Fι5н �], LENGTH: [31]
CHAR 0 = [�] (ORD: 226)
CHAR 1 = [�] (ORD: 148)
CHAR 2 = [�] (ORD: 129)
CHAR 3 = [�] (ORD: 226)
CHAR 4 = [�] (ORD: 149)
CHAR 5 = [�] (ORD: 144)
CHAR 6 = [�] (ORD: 226)
CHAR 7 = [�] (ORD: 152)
CHAR 8 = [�] (ORD: 133)
CHAR 9 = [ ] (ORD: 32)
CHAR 10 = [C] (ORD: 67)
CHAR 11 = [o] (ORD: 111)
CHAR 12 = [�] (ORD: 208)
CHAR 13 = [�] (ORD: 188)
CHAR 14 = [�] (ORD: 208)
CHAR 15 = [�] (ORD: 188)
CHAR 16 = [a] (ORD: 97)
CHAR 17 = [n] (ORD: 110)
CHAR 18 = [d] (ORD: 100)
CHAR 19 = [e] (ORD: 101)
CHAR 20 = [r] (ORD: 114)
CHAR 21 = [ ] (ORD: 32)
CHAR 22 = [F] (ORD: 70)
CHAR 23 = [�] (ORD: 206)
CHAR 24 = [�] (ORD: 185)
CHAR 25 = [5] (ORD: 53)
CHAR 26 = [�] (ORD: 208)
CHAR 27 = [�] (ORD: 189)
CHAR 28 = [ ] (ORD: 32)
CHAR 29 = [�] (ORD: 226)
CHAR 30 = [�] (ORD: 148)
CLEAN NAME: [], LENGTH: [0]
DONE

【问题讨论】：

标签： php htmlspecialchars html-sanitizing

【解决方案1】：

我现在明白为什么它返回一个长度为零的字符串。很抱歉问这个问题。我应该在发布之前进行更多研究。无论如何，答案如下：

关于PHP手册page for htmlspecialchars：

如果输入字符串在给定编码中包含无效的代码单元序列，则将返回空字符串，除非设置了 ENT_IGNORE 或 ENT_SUBSTITUTE 标志。

然后我问自己这个字符串是什么“无效”？在 Wiki page for UTF-8 上，它提供了一个很好的 UTF-8 编码图。所有表示“纯文本 ASCII”的代码点都是 0-127（字节中的 MSB 始终为 0）。

如果一个字节的 MSB 为 1（十进制 128 到 255），它会告诉 UTF-8 兼容解析器该代码点由多字节链组成。 并且下一个字节的前两个Most-Significant-Bits必须是1，后跟0。

显然在这个字符串中，存在一个字节超过127而后面的字节不是以1&0开头的情况，因此是无效的UTF-8编码。

感谢this SO post 的解决方案，在我看来，它是使用 ENT_SUBSTITUTE 标志（或者我想 ENT_IGNORE 如果您确定删除这些不符合的字节不会是a security issue）。

【讨论】：