为什么在winapi中转换UTF16 -> UTF8 -> UTF16后文件名有不同的字节？

Question

我有下一个文件：

我使用ReadDirectoryChangesW 读取当前文件夹中的更改。 我得到这个文件的路径：L"TEST Ӡ⬨☐.ipt":

接下来，我要将其转换为 utf8 并返回：

std::string wstringToUtf8(const std::wstring& source) {
  const int size = WideCharToMultiByte(CP_UTF8, 0, source.data(), static_cast<int>(source.size()), NULL, 0, NULL, NULL);
  std::vector<char> buffer8(size);
  WideCharToMultiByte(CP_UTF8, 0, source.data(), static_cast<int>(source.size()), buffer8.data(), size, NULL, NULL);
}

std::wstring utf8ToWstring(const std::string& source) {
  const int size = MultiByteToWideChar(CP_UTF8, 0, source.data(), static_cast<int>(source.size()), NULL, 0);
  std::vector<wchar_t> buffer16(size);
  MultiByteToWideChar(CP_UTF8, 0, source.data(), static_cast<int>(source.size()), buffer16.data(), size);
}

int main() {
    // Some code with ReadDirectoryChangesW and 
    // ...
    // std::wstring fileName = "L"TEST Ӡ⬨☐.ipt""
    // ...

    std::string filenameUTF8 = wstringToUtf8(fileName);
    std::wstring filename2 = utf8ToWstring(filenameUTF8);
    assert(filenameUTF8 == filename2); // FAIL!
    return 0;
}

但我发现断言。 文件名2：

不同的位：[29]

为什么？

Answer 1

57216 似乎属于代理对范围，在 UTF-16 中用于编码非 BMP 代码点。它们需要成对给出，否则解码不会给你正确的代码点。

65533 是解码器给出的特殊错误字符，因为缺少其他代理项。

换句话说：您的原始字符串不是有效的 UTF-16 字符串。

More info on Wikipedia.