使用 std::wifstream 读取带有特殊字符的 unicode 文件

Question

在Linux环境下，我有一段读取unicode文件的代码，类似如下图。

但是，无法正确处理特殊字符（如丹麦字母 æ、ø 和 å）。对于“abcæøåabc”行，输出只是“abc”。使用调试器我可以看到wline 的内容也只有a\000b\000c\000。

#include <fstream>
#include <string>

std::wifstream wif("myfile.txt");
if (wif.is_open())
{
    //set proper position compared to byteorder
    wif.seekg(2, std::ios::beg);
    std::wstring wline;

    while (wif.good())
    {
        std::getline(wif, wline);
        if (!wif.eof())
        {
            std::wstring convert;
            for (auto c : wline)
            {
                if (c != '\0')
                convert += c;
            }
        }
    }
}
wif.close();

谁能告诉我如何让它阅读整行？

感谢和问候

Answer 1

您必须使用imbue() 方法告诉wifstream 该文件被编码为UTF-16，并让它为您消耗BOM。您不必手动 seekg() 越过 BOM。例如：

#include <fstream>
#include <string>
#include <locale>
#include <codecvt>

// open as a byte stream
std::wifstream wif("myfile.txt", std::ios::binary);
if (wif.is_open())
{
    // apply BOM-sensitive UTF-16 facet
    wif.imbue(std::locale(wif.getloc(), new std::codecvt_utf16<wchar_t, 0x10ffff, std::consume_header>));

    std::wstring wline;
    while (std::getline(wif, wline))
    {
        std::wstring convert;
        for (auto c : wline)
        {
            if (c != L'\0')
                convert += c;
        }
    }

    wif.close();
}