使用标准 C++ wifstream 读取 UTF-8 文本并转换为 UTF-16

Question

我想从使用 UTF-8 编码的文件中读取一些文本并将其转换为 UTF-16，使用 std::wifstream，如下所示：

//
// Read UTF-8 text and convert to UTF-16
//
std::wifstream src;
src.imbue(std::locale("???"));          // UTF-8 ???
src.open("some_text_file_using_utf8");
std::wstring line;                      // UTF-16 string
while (std::getline(src, line))
{
    ... do something processing the UTF-16 string ...
}

是否有用于 UTF-8 转换的标准语言环境名称？
使用std::locale 是否可以实现该目标？

我正在使用 Visual Studio 2013。

---

注意：

我知道 I/O 流往往很慢，可以使用 Win32 内存映射文件来加快读取速度，并使用 MultiByteToWideChar() Win32 API 进行转换等。
但对于这种特殊情况，我想要一个仅使用标准 C++ 及其标准库、没有 Boost 的解决方案。

如果 C++ 标准库不能做到这一点，second 选项将是使用 Boost;在这种情况下，我应该使用哪个 Boost 库？

Answer 1

这适用于带有 Visual Studio 的 Windows，我认为可以追溯到 VS2010

#include <locale>  // consume_header, locale
#include <codecvt> // codecvt_utf8_utf16

src.imbue(std::locale(
    src.getloc(),
    new std::codecvt_utf8_utf16<wchar_t, 0x10FFFF, std::consume_header>));

由于 Windows 使用 16 位 wchar_t 并且还普遍使用 UTF-16 作为宽字符编码，因此在该环境中效果很好。 （并且因为我假设一个 Windows 环境，所以我的示例包括 consume_header 来处理 Windows 向 UTF-8 数据添加标头的约定）。

在其他平台上，wchar_t 通常是 32 位的，虽然您可以将 UTF-16 代码单元值存储在这样的 32 位代码单元中，但不会编写任何其他内容来期待这样的东西。在具有 32 位 wchar_t 的平台上，您可能更喜欢使用 std::codecvt_utf8<wchar_t> 来生成 UTF-32 宽字符串。

---

对于可移植性，理想情况下您需要的是一个知道如何从 UTF-8 转换为语言环境的 wchar_t 编码或广泛执行编码的 codecvt 方面。然而，问题在于不需要任何宽编码来支持 UTF-8 中可表示的整个字符范围。最重要的是，wchar_t 对于指定的可移植代码并不是特别有用。

但是，如果您坚持使用 UTF-16 或 UTF-32（取决于 wchar_t 的大小）的平台，一个可能有用的技巧是：

template <int N> struct get_codecvt_utf8_wchar_impl;
template <> struct get_codecvt_utf8_wchar_impl<16> {
  using type = std::codecvt_utf8_utf16<wchar_t>;
};
template <> struct get_codecvt_utf8_wchar_impl<32> {
  using type = std::codecvt_utf8<wchar_t>;
};

using codecvt_utf8_wchar = get_codecvt_utf8_wchar_impl<
    sizeof(wchar_t) * CHAR_BIT>::type;

src.imbue(std::locale(src.getloc(), new codecvt_utf8_wchar));

---

您还可以使用char16_t 和char32_t，它们可以用于可移植代码，但是该标准缺少一些位以使 iostream 可用于这些字符类型，并且实现不完全支持指定的内容.

VS 我认为仍然将char16_t 和char32_t 实现为typedef，因此使用它们的模板专业化不起作用（即使如果您查看标题，专业化确实存在，它们'只是 ifdef'd 因为编译器无法处理它们）。 libstdc++ 尚未实现模板特化，即使它支持 char16_t 和 char32_t 作为真实类型。我所知道的最完整的实现是带有合适编译器（gcc 或 clang）的 libc++，但即使这样仍然缺少 <cuchar> 标头。

由于实现支持有限，因此除了将它们用作跨平台用户代码的一致表示之外，可移植代码无法对它们做很多事情（尽管这即使单独使用也很有用）。