【问题标题】:Validate Unicode String and Escape if Unicode is Invalid (C/C++)验证 Unicode 字符串并在 Unicode 无效时转义 (C/C++)
【发布时间】:2010-06-03 21:15:36
【问题描述】:

我有一个程序可以从文件系统中读取任意数据并以 Unicode 格式输出结果。我遇到的问题是有时文件名是有效的 Unicode,有时不是。所以我想要一个可以验证字符串(在 C 或 C++ 中)并告诉我它是否是有效的 UTF-8 编码的函数。如果不是,我希望将无效字符转义,使其成为有效的 UTF-8 编码。这与转义 XML 不同——我也需要这样做。但首先我需要确保 Unicode 是正确的。

我已经看到了一些可以破解它的代码,但如果它存在的话,我宁愿使用一些工作代码。

【问题讨论】:

  • 可以使用ICU等库吗?
  • “转义”通常意味着“插入前缀以表示下一个令牌以不同的方式使用”。例如。经典的'\t' 意味着t 不是字母“t”而是一个TAB。这可能不是你要找的。例如,字节 FF 永远不会出现在 UTF-8 中。因此,无论您插入什么“转义”,只要字节 FF 出现在字符串中,它就不是 UTF-8。
  • 对。如果字节 FF 出现在二进制文件中,我需要将其更改为某些内容。我可能只是将整个东西放入 BASE64 和节点中,它在 XML 中以 BASE64 编码,但我宁愿不这样做。嗯。我可以逃成八进制...

标签: c++ xml unicode escaping


【解决方案1】:

以下代码基于我已经研究了一段时间的IRI 库。 RFC 3987 的第 3.2 节(“将 URI 转换为 IRI”)处理将无效的 UTF-8 八位字节转换为有效的 UTF-8。

#define IS_IN_RANGE(c, f, l)    (((c) >= (f)) && ((c) <= (l)))

int UTF8BufferToUTF32Buffer(char *Data, int DataLen, unsigned long *Buffer, int BufLen, int *Eaten)
{
    if( Eaten )
    {
        *Eaten = 0;
    }

    int Result = 0;

    unsigned char b, b2;
    unsigned char *ptr = (unsigned char*) Data;
    unsigned long uc;

    int i = 0;
    int seqlen;

    while( i < DataLen )
    {
        if( (Buffer) && (!BufLen) )
            break;

        b = ptr[i];

        if( (b & 0x80) == 0 )
        {
            uc = (unsigned long)(b & 0x7F);
            seqlen = 1;
        }
        else if( (b & 0xE0) == 0xC0 )
        {
            uc = (unsigned long)(b & 0x1F);
            seqlen = 2;
        }
        else if( (b & 0xF0) == 0xE0 )
        {
            uc = (unsigned long)(b & 0x0F);
            seqlen = 3;
        }
        else if( (b & 0xF8) == 0xF0 )
        {
            uc = (unsigned long)(b & 0x07);
            seqlen = 4;
        }
        else
        {
            uc = 0;
            return -1;
        }

        if( (i+seqlen) > DataLen )
        {
            return -1;
        }

        for(int j = 1; j < seqlen; ++j)
        {
            b = ptr[i+j];

            if( (b & 0xC0) != 0x80 )
            {
                return -1;
            }
        }

        switch( seqlen )
        {
            case 2:
            {
                b = ptr[i];

                if( !IS_IN_RANGE(b, 0xC2, 0xDF) )
                {
                    return -1;
                }

                break;
            }

            case 3:
            {
                b = ptr[i];
                b2 = ptr[i+1];

                if( ((b == 0xE0) && !IS_IN_RANGE(b2, 0xA0, 0xBF)) ||
                    ((b == 0xED) && !IS_IN_RANGE(b2, 0x80, 0x9F)) ||
                    (!IS_IN_RANGE(b, 0xE1, 0xEC) && !IS_IN_RANGE(b, 0xEE, 0xEF)) )
                {
                    return -1;
                }

                break;
            }

            case 4:
            {
                b = ptr[i];
                b2 = ptr[i+1];

                if( ((b == 0xF0) && !IS_IN_RANGE(b2, 0x90, 0xBF)) ||
                    ((b == 0xF4) && !IS_IN_RANGE(b2, 0x80, 0x8F)) ||
                    !IS_IN_RANGE(b, 0xF1, 0xF3) )
                {
                    return -1;
                }

                break;
            }
        }

        for(int j = 1; j < seqlen; ++j)
        {
            uc = ((uc << 6) | (unsigned long)(ptr[i+j] & 0x3F));
        }

        if( Buffer )
        {
            *Buffer++ = uc;
            --BufLen;
        }

        ++Result;
        i += seqlen;
    }

    if( Eaten )
    {
        *Eaten = i;
    }

    return Result;
}

{
    std::string filename = "...";

    unsigned long ch;
    int eaten;

    std::string::size_type i = 0;
    while( i < filename.length() )
    {
        if( UTF8BufferToUTF32Buffer(&filename[i], filename.length()-i, &ch, 1, &eaten) == 1 )
        {
            i += eaten;
        }
        else
        {
            // replace the character at filename[i] with your chosen
            // escaping, and then increment i by the number of
            // characters used...
        }
    }
}

在你的情况下,你所要做的就是决定你想使用什么样的转义。 URI/IRI 使用百分比编码(“%NN”,其中“NN”是八位字节的 2 位十六进制值)。

【讨论】:

  • 非常酷。谢谢。我会咀嚼这个。还没有决定编码; %NN 有效,但它是非标准的。如果您的过程从一个字符串到第二个字符串并依赖 C++ 向量进行操作,您的代码会变得更简单...
  • 在您的代码中发现了一个错误。您不应该使用 &filename[i] 来获取第 i 个字符的地址。这是对底层缓冲区存储的假设。你应该使用 filename.c_str()+i.
  • 严格来说这不是一个错误,只是一个实现细节。 UTF8BufferToUTF32Buffer() 函数本身就是我从我的实际库代码中复制的。其余的只是为您展示其用法的示例。我通常不在我的代码中使用 std::string,但我确实使用了其他字符串类,其中使用 '[]' 运算符是安全的。
【解决方案2】:

如果您有字符编码转换功能(如 Windows 上的 MultiByteToWideChar 或 WideCharToMultiByte),您可以尝试将字符串从 UTF-8 转换为 UTF-16/32,然后再转换回来。如果您的原始字符串是 UTF-8,那么您将得到相同的字符串。如果没有,您将得到一个错误(如果您只想进行有效性检查,这很有用),或者将无效的 UTF-8 字节替换为有效的内容(这是您最终想要的)。

【讨论】:

  • 在MultiByteToWideChar()的情况下,不需要调用WideCharToMultiByte()来验证结果。 MultiByteToWideChar() 有一个 MB_ERR_INVALID_CHARS 标志,如果它检测到无效字符,该标志会导致函数失败并显示 GetLastError()=ERROR_NO_UNICODE_TRANSLATION。至于转换无效字符,它只能将无效字符转换为默认字符(通常是'?'),这是一个有损操作(您无法从结果中取回原始字符串),在这种情况下您将不得不如果您需要无损转换,请手动对原始文件进行编码。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2020-07-03
  • 1970-01-01
  • 1970-01-01
  • 2012-12-07
相关资源
最近更新 更多