使用 icu 将 UTF-8 转换为 UCS2 导致乱码

Question

这是a previous one的后续问题

该问题中的问题已解决，现在代码按预期进行，但是 utf-8 到 ucs2 转换的最终输出是乱码。我的意思是最终文本的十六进制值无论如何都与 utf-8 版本不对应。我知道它们是不同的编码，但两者之间似乎没有任何映射。

转换的输入是“ĩ”，输出是“ÿþ)^A”。在十六进制中，“ĩ”（utf-8 值）的值为 c4a9，“ÿþ)^A”（ucs2 值）的值为“00FF 00FE 0029 0001”。

我希望有人对此行为有一个解释，或者可以告诉我我在代码中做错了什么。

新更新的代码是：

UErrorCode resultCode = U_ZERO_ERROR;

UConverter* pLatinOneConv = ucnv_open("ISO-8859-1", &resultCode);

// Change the callback to error out instead of the default            
const void* oldContext;
UConverterFromUCallback oldFromAction;
UConverterToUCallback oldToAction;
ucnv_setFromUCallBack(pLatinOneConv, UCNV_FROU_CALLBACK_STOP, NULL, &oldFromAction, &oldContext, &resultCode);
ucnv_setToUCallBack(pLatinOneConv, UCNV_TO_U_CALLBACK_STOP, NULL, &oldToAction, &oldContext, &resultCode);

int32_t outputLength = 0;
int bodySize = uniString.length();
int targetSize = bodySize * 4;
char* target = new char[targetSize];                       

printf("Body: %s\n", uniString.c_str());
if (U_SUCCESS(resultCode))
{
    outputLength = ucnv_fromAlgorithmic(pLatinOneConv, UCNV_UTF8, target, targetSize, uniString.c_str(),
        uniString.length(), &resultCode);
    ucnv_close(pLatinOneConv);
}
printf("ISO-8859-1 just tried to convert '%s' to '%s' with error '%i' and length '%i'", uniString.c_str(), 
    outputLength ? target : "invalid_char", resultCode, outputLength);

if (resultCode == U_INVALID_CHAR_FOUND || resultCode == U_ILLEGAL_CHAR_FOUND || resultCode == U_TRUNCATED_CHAR_FOUND)
{
    if (resultCode == U_INVALID_CHAR_FOUND)
    {
        resultCode = U_ZERO_ERROR;
        printf("Unmapped input character, cannot be converted to Latin1");                    
        // segment Text, if necessary, and add UUIDs copy existing pPdu's addresses and optionals
        UConverter* pUscTwoConv = ucnv_open("UCS-2", &resultCode);
        if (U_SUCCESS(resultCode))
        {
            printf("Text Body: %s\n", uniString.c_str());
            outputLength = ucnv_fromAlgorithmic(pUscTwoConv, UCNV_UTF8, target, targetSize, uniString.c_str(),
                uniString.length(), &resultCode);
            ucnv_close(pUscTwoConv);
        }
        printf("UCS-2 just tried to convert '%s' to '%s' with error '%i' and length '%i'", uniString.c_str(), 
            outputLength ? target : "invalid_char", resultCode, outputLength);

        if (U_SUCCESS(resultCode))
        {
            pdus = SegmentText(target, pPdu, SEGMENT_SIZE_UNICODE_MAX, true);
        }
    }
    else
    {
        printf("DecodeText(): Text contents does not appear to be valid UTF-8");
    }
}
else
{
    printf("DecodeText(): Text successfully converted to Latin1");
    std::string newBody(target, outputLength);
    pdus = SegmentText(newBody, pPdu, SEGMENT_SIZE_MAX);
}

Answer 1

ICU 转换为您提供了正确的结果，但您不太清楚如何处理它们，并成功地将它们转换为乱码。以下是您做错的事情，或多或少是按顺序排列的。

一个

您在（如现有证据所示）本机使用 Latin-1 的系统上打印非拉丁语 1 数据。

当您打印 UTF-8 时，这并没有那么糟糕，因为 UTF-8 的设计目的是不会破坏使用 8 位字符数据的东西太难。您会看到乱码，但至少您会看到所有数据，并且能够将其转换回合理的数据。

UTF-16（顺便说一下，它在 1996 年取代了 UCS-2）不是那么好。 UTF-16 编码的字符串包含两个字节长的代码单元。这两个字节中的任何一个都可以为零。 （所有编码为 UTF-16 的 ASCII 字符都有一个零字节）。只要另一个字节不为零，整个字符就是非 NULL。但是，您的printf、strlen 等不知道 is 另一个字节。他们认为你给他们喂的是 Latin-1，他们会在第一个零字节处停止（他们将其解释为 NULL 字符）。

幸运的是，ĩ 字符在其 UTF-16 编码中没有零字节，所以这次你成功了。

如何正确操作？绝不是printf 或fputs，而是fwrite/std::ostream::write；从不strcpy，总是memcpy；从不strlen，但始终将长度保存在一个单独的变量中。

两个

您在屏幕上打印此数据。

您的屏幕可以以不同且有趣的方式解释（大概）从 0 到 31 的字节，通常是跟随它们的字节。例如，移动光标、发出哔哔声或更改文本颜色。您正在打印的 UTF-16 数据在其编码中绝对可以包含任何字节，即使源包含完全普通的可打印 Unicode 字符。所以几乎任何事情都可能发生。

再次幸运的是，您尝试转换的单个字符在其 UTF-16 表示中不包含有害字节。

如何正确操作？如果您需要打印一些内容以快速查看，请为所有或仅打印不可打印字符的十六进制代码。

 void print_bytes (FILE* fp, const unsigned char* s, int len,
                    bool escape_all) {
   // note: explicit length, *never* strlen!
   // note: unsigned char, you need it
   int i;
   for (i = 0; i < len; ++i, ++s)
   {
      if (escape_all || ! isprint(*s)) {
        fprintf ("\\x%02x", *s);
      } 
      else {
        fputc(*s, fp);
      }
   }
 }

三个

您在 fileinfo 上查找从屏幕上获得的 Latin-1 字符，因此将它们解释为 Unicode 字符，然后获取它们的 16 位字符代码（每个字符一个 16 位代码）并将它们解释为字节。

没什么好说的。只是不要那样做。您有一个以可读的十六进制表示形式打印字节的函数。用它。或者，使用任意数量的免费提供的程序来显示甚至让您编辑这样的表示。

当然，这并不是说您不应该使用 fileinfo。做对了，这基本上意味着知道你的编码是什么，以及任何给定的字符编码与其 Unicode 代码点有何不同（尽管有时相似）。

四个

本段不是关于错误本身，而是关于与您发布的任何代码不对应的开发人员的直觉（或缺乏直觉）。

尽管存在上述所有错误，但您还是设法获得了几乎不错的数据。您在所有偶数位置都有 00，这可能意味着您的整数位大小有问题，您需要摆脱这些零。完成此操作后，您将留下 FFFE 作为前两个字节，您应该将其识别为 BOM。您怀疑您有字节顺序问题，但您没有尝试通过改变 UTF-16 风格（UTF-16LE 与 UTF-16BE）来解决它。

这些是任何 Unicode 开发人员都应该能够几乎本能地应用的东西。

---

Unicode 庞大而复杂，比大多数人意识到的要复杂得多。这只是最开始的开始。

---

请为此答案提出改进建议。