如何从字符串中删除无效的代码点？

Question

我有一个需要提供标准化字符串的例程。但是，传入的数据不一定是干净的，如果字符串包含无效的代码点，则 String.Normalize() 会引发 ArgumentException。

我想做的只是用一次性字符（例如“？”）替换这些代码点。但要做到这一点，我需要一种有效的方法来搜索字符串以首先找到它们。有什么好的方法吗？

以下代码有效，但它基本上使用 try/catch 作为粗略的 if 语句，因此性能很糟糕。我只是分享它来说明我正在寻找的行为：

private static string ReplaceInvalidCodePoints(string aString, string replacement)
{
    var builder = new StringBuilder(aString.Length);
    var enumerator = StringInfo.GetTextElementEnumerator(aString);

    while (enumerator.MoveNext())
    {
        string nextElement;
        try { nextElement = enumerator.GetTextElement().Normalize(); }
        catch (ArgumentException) { nextElement = replacement; }
        builder.Append(nextElement);
    }

    return builder.ToString();
}

（编辑：）我正在考虑将文本转换为 UTF-32，以便我可以快速迭代它并查看每个 dword 是否对应于一个有效的代码点。有没有可以做到这一点的功能？如果没有，是否有一个无效范围列表？

Answer 1

http://msdn.microsoft.com/en-us/library/system.char%28v=vs.90%29.aspx 应该具有您在引用 C# 中有效/无效代码点列表时要查找的信息。至于怎么做，我需要一点时间来制定一个正确的回应。不过，该链接应该可以帮助您入门。

Answer 2

我继续使用编辑中提示的解决方案。

我在 Unicode 空间中找不到易于使用的有效范围列表；即使是官方的 Unicode 字符数据库也需要进行比我真正想要处理的更多的解析。因此，我编写了一个快速脚本来循环 [0x0, 0x10FFFF] 范围内的每个数字，使用Encoding.UTF32.GetString(BitConverter.GetBytes(code)) 将其转换为string，然后尝试.Normalize()ing 结果。如果引发异常，则该值不是有效的代码点。

根据这些结果，我创建了以下函数：

bool IsValidCodePoint(UInt32 point)
{
    return (point >= 0x0 && point <= 0xfdcf)
        || (point >= 0xfdf0 && point <= 0xfffd)
        || (point >= 0x10000 && point <= 0x1fffd)
        || (point >= 0x20000 && point <= 0x2fffd)
        || (point >= 0x30000 && point <= 0x3fffd)
        || (point >= 0x40000 && point <= 0x4fffd)
        || (point >= 0x50000 && point <= 0x5fffd)
        || (point >= 0x60000 && point <= 0x6fffd)
        || (point >= 0x70000 && point <= 0x7fffd)
        || (point >= 0x80000 && point <= 0x8fffd)
        || (point >= 0x90000 && point <= 0x9fffd)
        || (point >= 0xa0000 && point <= 0xafffd)
        || (point >= 0xb0000 && point <= 0xbfffd)
        || (point >= 0xc0000 && point <= 0xcfffd)
        || (point >= 0xd0000 && point <= 0xdfffd)
        || (point >= 0xe0000 && point <= 0xefffd)
        || (point >= 0xf0000 && point <= 0xffffd)
        || (point >= 0x100000 && point <= 0x10fffd);
}

请注意，此功能不一定适用于通用清理，具体取决于您的需要。它不排除未分配或保留的代码点，只是专门指定为“非字符”的代码点（编辑：以及 Normalize() 似乎阻塞的其他一些代码点，例如 0xfffff）。但是，这些似乎是唯一会导致 IsNormalized() 和 Normalize() 引发异常的代码点，所以这对我来说没问题。

之后，只需将字符串转换为 UTF-32 并进行梳理即可。由于Encoding.GetBytes() 返回一个字节数组并且IsValidCodePoint() 需要一个UInt32，我使用了一个不安全的块和一些强制转换来弥合差距：

unsafe string ReplaceInvalidCodePoints(string aString, char replacement)
{
    if (char.IsHighSurrogate(replacement) || char.IsLowSurrogate(replacement))
        throw new ArgumentException("Replacement cannot be a surrogate", "replacement");

    byte[] utf32String = Encoding.UTF32.GetBytes(aString);

    fixed (byte* d = utf32String)
    fixed (byte* s = Encoding.UTF32.GetBytes(new[] { replacement }))
    {
        var data = (UInt32*)d;
        var substitute = *(UInt32*)s;

        for(var p = data; p < data + ((utf32String.Length) / sizeof(UInt32)); p++)
        {
            if (!(IsValidCodePoint(*p))) *p = substitute;
        }
    }

    return Encoding.UTF32.GetString(utf32String);
}

相对而言，性能很好 - 比问题中发布的示例快几个数量级。将数据保留在 UTF-16 中可能会更快，内存效率更高，但代价是需要大量额外的代码来处理代理。当然，replacement 是 char 意味着替换字符必须在 BMP 上。

编辑：这是一个更简洁的 IsValidCodePoint() 版本：

private static bool IsValidCodePoint(UInt32 point)
{
    return point < 0xfdd0
        || (point >= 0xfdf0 
            && ((point & 0xffff) != 0xffff) 
            && ((point & 0xfffe) != 0xfffe)
            && point <= 0x10ffff
        );
}

Answer 3

似乎唯一的方法就是像你所做的那样“手动”。这是一个与您的结果相同的版本，但速度更快（大约是所有 chars 到 char.MaxValue 的字符串的 4 倍，直到 U+10FFFF 的改进较少）并且不需要 unsafe代码。我还简化并评论了我的 IsCharacter 方法来解释每个选择：

static string ReplaceNonCharacters(string aString, char replacement)
{
    var sb = new StringBuilder(aString.Length);
    for (var i = 0; i < aString.Length; i++)
    {
        if (char.IsSurrogatePair(aString, i))
        {
            int c = char.ConvertToUtf32(aString, i);
            i++;
            if (IsCharacter(c))
                sb.Append(char.ConvertFromUtf32(c));
            else
                sb.Append(replacement);
        }
        else
        {
            char c = aString[i];
            if (IsCharacter(c))
                sb.Append(c);
            else
                sb.Append(replacement);
        }
    }
    return sb.ToString();
}

static bool IsCharacter(int point)
{
    return point < 0xFDD0 || // everything below here is fine
        point > 0xFDEF &&    // exclude the 0xFFD0...0xFDEF non-characters
        (point & 0xfffE) != 0xFFFE; // exclude all other non-characters
}

Answer 4

我最喜欢 Regex 方法

public static string StripInvalidUnicodeCharacters(string str)
{
    var invalidCharactersRegex = new Regex("([\ud800-\udbff](?![\udc00-\udfff]))|((?<![\ud800-\udbff])[\udc00-\udfff])");
    return invalidCharactersRegex.Replace(str, "");
}