无法从 .txt 文件中读取西里尔字母

Question

我想从 .txt 文件中读取这个西里尔文字：аааааааааааа

std::wstring str;
std::wifstream in(path);
std::getline(in, str);
in.close();

但是str 的内容是：аааааааааааа（文件编码 - UTF-8）（在调试中观察到的字符串内容，而不是在控制台中）

我尝试将文件编码更改为 UTF-16（LE 和 BE），有：ÿþ000000000000 和 þÿ000000000000

另外，我找到了this solution，但正如你所见，它没有帮助。

Answer 1

在 Windows 中，您必须以二进制文件打开文件，然后应用 UTF16 方面，否则系统将采用默认代码页。请参见下面的示例。

请注意，使用 UTF8 存储数据是很常见的，即使在 Windows 应用程序中也是如此。您的 Windows 程序要求 API 使用 UTF16，因此您可以以 UTF8 读取/写入文件，然后来回转换为 UTF16

#define _SILENCE_CXX17_CODECVT_HEADER_DEPRECATION_WARNING
//silence codecvt warnings

std::wstring str;
std::wifstream in(path, std::ios::binary);
in.imbue(std::locale(in.getloc(), 
    new std::codecvt_utf16<wchar_t, 0x10ffff, std::little_endian>));
std::getline(in, str);
in.close();

您也可以使用pubsetbuf 来避免codecvt 警告：

std::wifstream in(path, std::ios::binary);
wchar_t wbuf[128] = { 0 };
in.rdbuf()->pubsetbuf(wbuf, 128);

//BOM check
wchar_t bom{};
in.read(&bom, 1);
if(bom == 0xfeff)
    std::cout << "UTF16-LE\n";

//read file
std::wstring str;
std::getline(in, str);
in.close();