如何可移植地将 std::wstring 写入文件？

Question

我有一个 wstring 声明如下：

// random wstring
std::wstring str = L"abcàdëefŸg€hhhhhhhµa";

文字将是 UTF-8 编码的，因为我的源文件是。

[编辑：根据 Mark Ransom 的说法，情况不一定如此，编译器将决定使用什么编码 - 让我们假设我从编码的文件中读取这个字符串，例如UTF-8]

我非常希望将其放入文件读取中（当文本编辑器设置为正确的编码时）

abcàdëefŸg€hhhhhhhµa

但是ofstream 不是很配合（拒绝接受wstring 参数），而且wofstream 据说需要知道语言环境和编码设置。我只想输出这组字节。一般人是怎么做到的？

编辑：它必须是跨平台的，并且不应依赖编码为 UTF-8。我恰好在wstring 中存储了一组字节，并想输出它们。它很可能是 UTF-16 或纯 ASCII。

Answer 1

对于std::wstring，您需要std::wofstream

std::wofstream f(L"C:\\some file.txt");
f << str;
f.close();

Answer 2

std::wstring 用于 UTF-16 或 UTF-32，not UTF-8。对于 UTF-8，您可能只想使用std::string，并通过std::cout 写出。只是 FWIW，C++0x 将有 Unicode 文字，这应该有助于澄清这种情况。

Answer 3

为什么不将文件写成二进制文件。只需将 ofstream 与 std::ios::binary 设置一起使用。那时编辑应该能够解释它。不要忘记开头的 Unicode 标志 0xFEFF。 使用库编写可能会更好，请尝试以下方法之一：

http://www.codeproject.com/KB/files/EZUTF.aspx

http://www.gnu.org/software/libiconv/

http://utfcpp.sourceforge.net/

Answer 4

有一个（特定于 Windows 的）解决方案应该适合您 here。基本上，将wstring 转换为UTF-8 代码页，然后使用ofstream。

#include < windows.h >

std::string to_utf8(const wchar_t* buffer, int len)
{
        int nChars = ::WideCharToMultiByte(
                CP_UTF8,
                0,
                buffer,
                len,
                NULL,
                0,
                NULL,
                NULL);
        if (nChars == 0) return "";

        string newbuffer;
        newbuffer.resize(nChars) ;
        ::WideCharToMultiByte(
                CP_UTF8,
                0,
                buffer,
                len,
                const_cast< char* >(newbuffer.c_str()),
                nChars,
                NULL,
                NULL); 

        return newbuffer;
}

std::string to_utf8(const std::wstring& str)
{
        return to_utf8(str.c_str(), (int)str.size());
}

int main()
{
        std::ofstream testFile;

        testFile.open("demo.xml", std::ios::out | std::ios::binary); 

        std::wstring text =
                L"< ?xml version=\"1.0\" encoding=\"UTF-8\"? >\n"
                L"< root description=\"this is a naïve example\" >\n< /root >";

        std::string outtext = to_utf8(text);

        testFile << outtext;

        testFile.close();

        return 0;
}

Answer 5

C++ 可以在输出或文件写入时执行从宽字符到本地化字符的转换。 Use codecvt facet 用于此目的。

您可以使用标准的std::codecvt_byname，或非标准的codecvt_facet implementation。

#include <locale>
using namespace std;
typedef codecvt_facet<wchar_t, char, mbstate_t> Cvt;
locale utf8locale(locale(), new codecvt_byname<wchar_t, char, mbstate_t> ("en_US.UTF-8"));
wcout.imbue(utf8locale);
wcout << L"Hello, wide to multybyte world!" << endl;

请注意，在某些平台上，codecvt_byname 只能为系统中安装的语言环境发出转换。因此，我建议在 stackoverflow 中搜索“utf8 codecvt” " 并从列出的许多自定义 codecvt 实现的引用中进行选择。

编辑： 由于 OP 声明字符串已经编码，他应该做的就是从他的代码的每个标记中删除前缀 L 和“w”。

Answer 6

注意，宽流只输出 char * 变量，所以也许你应该尝试使用c_str() 成员函数来转换std::wstring，然后将其输出到文件中。那么它应该可以工作吗？

Answer 7

如果你想编写可移植的代码，你应该不使用 UTF-8 编码的源文件。对不起。

std::wstring str = L"abcàdëefŸg€hhhhhhhµa";

（我不确定这是否真的会损害标准，但我认为确实如此。但即使如此，为了安全起见你也不应该这样做。）

是的，纯粹使用std::ostream 是行不通的。有很多方法可以将 wstring 转换为 UTF-8。我最喜欢的是使用International Components for Unicode。这是一个很大的库，但它很棒。你会得到很多额外的东西和你将来可能需要的东西。

Answer 8

根据我使用不同字符编码的经验，我建议您仅在加载时处理 UTF-8 并节省时间。如果您尝试将内部表示存储在 UTF-8 中，您将陷入痛苦的世界，因为单个字符可能是 1 字节到 4 之间的任何字符。所以像 strlen 这样的简单操作需要查看每个字节来决定 len 而不是分配的缓冲区（尽管您可以通过查看 char 序列中的第一个字节来优化，例如 00..7f 是单字节字符，c2..df 表示 2 字节字符等）。

人们经常提到“Unicode 字符串”时，他们表示 UTF-16，而在 Windows 上 wchar_t 是固定的 2 个字节。在 Windows 中，我认为 wchar_t 很简单：

typedef SHORT wchar_t;

很少需要完整的 UTF-32 4 字节表示并且非常浪费，这里是 Unicode 标准 (5.0) 必须说的：

“平均而言，超过 99% 的 UTF-16 是使用单个代码单元表示的……UTF-16 提供了紧凑的大小与处理 BMP 之外的偶发字符的能力的正确组合”

简而言之，使用 whcar_t 作为您的内部表示，并在加载和保存时进行转换（除非您知道需要它，否则不要担心完整的 Unicode）。

关于执行实际转换，请查看 ICU 项目：

http://site.icu-project.org/

Answer 9

我前段时间遇到了同样的问题，把我在博客上找到的解决方案写了下来。你可能想看看它是否有帮助，尤其是函数wstring_to_utf8。

http://pileborg.org/b2e/blog5.php/2010/06/13/unicode-utf-8-and-wchar_t