Unicode 正则表达式；无效的 XML 字符答案

【问题标题】：Unicode Regex; Invalid XML charactersUnicode 正则表达式；无效的 XML 字符
【发布时间】：2021-03-26 14:19:43
【问题描述】：

有效的 XML 字符列表是众所周知的，由它的规范定义：

#x9 | #xA | #xD | [#x20-#xD7FF] | [#xE000-#xFFFD] | [#x10000-#x10FFFF]

我的问题是，是否可以通过使用 Unicode 通用类别在不实际硬编码代码点的情况下为此（或其逆）创建 PCRE 正则表达式。逆可能类似于 [\p{Cc}\p{Cs}\p{Cn}]，除了不正确地覆盖换行符和制表符并遗漏了一些其他无效字符。

【问题讨论】：

标签： regex unicode pcre

【解决方案1】：

对于内部将代码点存储在UTF-16 中的系统，对于高于 0xFFFF 的代码点，通常使用代理对 (xD800-xDFFF)，在这些系统中，您必须验证您是否真的可以使用例如 \u12345 或必须指定作为代理对。（我刚刚发现在 C# 中可以使用\u1234 (16 bit) and \U00001234 (32-bit)）

根据Microsoft“W3C 建议不允许在元素或属性名称中使用代理字符。”在搜索 W3s 网站时，我发现 C079 和 C078 可能很有趣。

【讨论】：

虽然这是一个有用的实现技巧，但它并不能真正回答我的问题。为了论证，我们假设该实现对非 BMP 字符具有一流的支持，因此根本不需要代理字符。

【解决方案2】：

我知道这并不完全是您问题的答案，但在这里提供它会很有帮助：

匹配有效 XML 字符的正则表达式：

[\u0009\u000a\u000d\u0020-\uD7FF\uE000-\uFFFD]

所以要从 XML 中删除 invalid 字符，您需要执行类似的操作

// filters control characters but allows only properly-formed surrogate sequences
private static Regex _invalidXMLChars = new Regex(
    @"(?<![\uD800-\uDBFF])[\uDC00-\uDFFF]|[\uD800-\uDBFF](?![\uDC00-\uDFFF])|[\x00-\x08\x0B\x0C\x0E-\x1F\x7F-\x9F\uFEFF\uFFFE\uFFFF]",
    RegexOptions.Compiled);

/// <summary>
/// removes any unusual unicode characters that can't be encoded into XML
/// </summary>
public static string RemoveInvalidXMLChars(string text)
{
    if (string.IsNullOrEmpty(text)) return "";
    return _invalidXMLChars.Replace(text, "");
}

我请了我们常驻的正则表达式/XML 天才he of the 4,400+ upvoted post，检查一下，他签了字。

【讨论】：

而不是 text.IsNullOrEmpty() 我认为你需要 string.IsNullOrEmpty(text)
我建议不要删除无效字符，而是将它们替换为替换字符 � (FFFD)。去除无效字符会使调试变得更加困难（问题变得不可见），并且在某些情况下会导致安全漏洞。
谢谢，这为我遇到的一个大问题节省了很多时间
@Jeff Atwood：在这种情况下它会帮助我吗？ stackoverflow.com/questions/29431354/…。如果我从 XML 中删除这些元素，我不会丢失一些数据吗？
@MattEnright FFFE 和 FFFF 是字节顺序标记，如果将 XML 流发送到 Java，则会引发错误。

【解决方案3】：

我在java中试过了，它可以工作：

private String filterContent(String content) {
    return content.replaceAll("[^\\u0009\\u000a\\u000d\\u0020-\\uD7FF\\uE000-\\uFFFD]", "");
}

谢谢杰夫。

【讨论】：

优雅的一站式解决方案。谢谢尤瓦尔。
在我的情况下 (c#) \\u000a\\u000d 是有效字符

【解决方案4】：

如果 xml 中存在十六进制代码，上述解决方案对我不起作用。例如

<element>&#x8;</element>

以下代码会中断：

string xmlFormat = "<element>{0}</element>";
string invalid = " &#x8;";
string xml = string.Format(xmlFormat, invalid);
xml = Regex.Replace(xml, @"[\x01-\x08\x0B\x0C\x0E\x0F\u0000-\u0008\u000B\u000C\u000E-\u001F]", "");
XDocument.Parse(xml);

返回：

XmlException：''，十六进制值 0x08，是无效字符。第 1 行，位置 14。

以下是改进的正则表达式并修复了上述问题：

([0-8BCEFbcef]|1[0-9A-Fa-f]);|[\x01-\x08\x0B\x0C\x0E\x0F\u0000-\u0008\u000B\u000C\ u000E-\u001F]

这是前 300 个 unicode 字符的单元测试，并验证仅删除了无效字符：

[Fact]
        public void validate_that_RemoveInvalidData_only_remove_all_invalid_data()
        {
            string xmlFormat = "<element>{0}</element>";
            string[] allAscii = (Enumerable.Range('\x1', 300).Select(x => ((char)x).ToString()).ToArray());
            string[] allAsciiInHexCode = (Enumerable.Range('\x1', 300).Select(x => "&#x" + (x).ToString("X") + ";").ToArray());
            string[] allAsciiInHexCodeLoweCase = (Enumerable.Range('\x1', 300).Select(x => "&#x" + (x).ToString("x") + ";").ToArray());

            bool hasParserError = false;
            IXmlSanitizer sanitizer = new XmlSanitizer();

            foreach (var test in allAscii.Concat(allAsciiInHexCode).Concat(allAsciiInHexCodeLoweCase))
            {
                bool shouldBeRemoved = false;
                string xml = string.Format(xmlFormat, test);
                try
                {
                    XDocument.Parse(xml);
                    shouldBeRemoved = false;
                }
                catch (Exception e)
                {
                    if (test != "<" && test != "&") //these char are taken care of automatically by my convertor so don't need to test. You might need to add these.
                    {
                        shouldBeRemoved = true;
                    }
                }
                int xmlCurrentLength = xml.Length;
                int xmlLengthAfterSanitize = Regex.Replace(xml, @"&#x([0-8BCEF]|1[0-9A-F]);|[\u0000-\u0008\u000B\u000C\u000E-\u001F]", "").Length;
                if ((shouldBeRemoved && xmlCurrentLength == xmlLengthAfterSanitize) //it wasn't properly Removed
                    ||(!shouldBeRemoved && xmlCurrentLength != xmlLengthAfterSanitize)) //it was removed but shouldn't have been
                {
                    hasParserError = true;
                    Console.WriteLine(test + xml);
                }
            }
            Assert.Equal(false, hasParserError);
        }

【讨论】：

【解决方案5】：

在 C# 中使用 XmlConvert.IsXmlChar Method 删除不正确 XML 字符的另一种方法（自 .NET Framework 4.0 起可用）

public static string RemoveInvalidXmlChars(string content)
{
   return new string(content.Where(ch => System.Xml.XmlConvert.IsXmlChar(ch)).ToArray());
}

或者您可以检查所有字符是否都是 XML 有效的。

public static bool CheckValidXmlChars(string content)
{
   return content.All(ch => System.Xml.XmlConvert.IsXmlChar(ch));
}

.Net Fiddle - https://dotnetfiddle.net/v1TNus

例如垂直制表符 (\v) 对 XML 无效，它是有效的 UTF-8，但不是有效的 XML 1.0，甚至许多库（包括 libxml2）都错过了它并默默地输出无效的 XML。

【讨论】：

【解决方案6】：

在 PHP 中，正则表达式如下所示：

protected function isStringValid($string)
{
    $regex = '/[^\x{9}\x{a}\x{d}\x{20}-\x{D7FF}\x{E000}-\x{FFFD}\x{10000}-\x{10FFFF}]+/u';

    return (preg_match($regex, $string, $matches) === 0);
}

这将处理来自 xml specification 的所有 3 个范围：

#x9 | #xA | #xD | [#x20-#xD7FF] | [#xE000-#xFFFD] | [#x10000-#x10FFFF]

【讨论】：