Windows 控制台上的 UTF-8 输出

Question

以下代码在我的机器上显示了意外行为（在 Windows XP 上使用 Visual C++ 2008 SP1 和在 Windows 7 上使用 VS 2012 进行了测试）：

#include <iostream>
#include "Windows.h"

int main() {
    SetConsoleOutputCP( CP_UTF8 );
    std::cout << "\xc3\xbc";
    int fail = std::cout.fail() ? '1': '0';
    fputc( fail, stdout );
    fputs( "\xc3\xbc", stdout );
}

我只是用cl /EHsc test.cpp编译。

Windows XP： 控制台窗口中的输出是 ü0ü（翻译为代码页1252，最初显示一些线条图 默认代码页中的字符，可能是 437）。当我更改设置时 控制台窗口使用“Lucida Console”字符集并运行我的 再次test.exe，输出变为1ü，意思是

• 字符ü 可以使用fputs 及其UTF-8 编码C3 BC 编写
• std::cout 无论出于何种原因都不起作用
• failbit 在尝试写入字符后正在设置流

Windows 7： 使用 Consolas 的输出是 ��0ü。更有趣的是。可能写入了正确的字节（至少在将输出重定向到文件时）并且流状态正常，但两个字节被写入为单独的字符。

我试图在“Microsoft Connect”上提出这个问题（参见here）， 但 MS 并没有太大帮助。你不妨看看here 以前有人问过类似的问题。

你能重现这个问题吗？

我做错了什么？ std::cout 和 fputs 不应该相同吗 效果？

已解决：（有点）按照 mike.dld 的想法，我实现了一个 std::stringbuf，在 sync() 中进行从 UTF-8 到 Windows-1252 的转换，并替换了 std::cout 的流缓冲区使用此转换器（请参阅我对 mike.dld 答案的评论）。

Answer 1

我知道这个问题已经很老了，但如果有人仍然感兴趣，下面是我的解决方案。我已经实现了一个非常简单的 std::streambuf 后代，然后在程序执行的最开始将它传递给每个标准流。

这允许您在程序中的任何地方使用 UTF-8。在输入时，数据以 Unicode 格式从控制台获取，然后转换并以 UTF-8 格式返回给您。在输出时完成相反的操作，以 UTF-8 格式从您那里获取数据，将其转换为 Unicode 并发送到控制台。目前未发现任何问题。

另请注意，此解决方案不需要任何代码页修改，SetConsoleCP、SetConsoleOutputCP 或 chcp 或其他内容。

那是流缓冲区：

class ConsoleStreamBufWin32 : public std::streambuf
{
public:
    ConsoleStreamBufWin32(DWORD handleId, bool isInput);

protected:
    // std::basic_streambuf
    virtual std::streambuf* setbuf(char_type* s, std::streamsize n);
    virtual int sync();
    virtual int_type underflow();
    virtual int_type overflow(int_type c = traits_type::eof());

private:
    HANDLE const m_handle;
    bool const m_isInput;
    std::string m_buffer;
};

ConsoleStreamBufWin32::ConsoleStreamBufWin32(DWORD handleId, bool isInput) :
    m_handle(::GetStdHandle(handleId)),
    m_isInput(isInput),
    m_buffer()
{
    if (m_isInput)
    {
        setg(0, 0, 0);
    }
}

std::streambuf* ConsoleStreamBufWin32::setbuf(char_type* /*s*/, std::streamsize /*n*/)
{
    return 0;
}

int ConsoleStreamBufWin32::sync()
{
    if (m_isInput)
    {
        ::FlushConsoleInputBuffer(m_handle);
        setg(0, 0, 0);
    }
    else
    {
        if (m_buffer.empty())
        {
            return 0;
        }

        std::wstring const wideBuffer = utf8_to_wstring(m_buffer);
        DWORD writtenSize;
        ::WriteConsoleW(m_handle, wideBuffer.c_str(), wideBuffer.size(), &writtenSize, NULL);
    }

    m_buffer.clear();

    return 0;
}

ConsoleStreamBufWin32::int_type ConsoleStreamBufWin32::underflow()
{
    if (!m_isInput)
    {
        return traits_type::eof();
    }

    if (gptr() >= egptr())
    {
        wchar_t wideBuffer[128];
        DWORD readSize;
        if (!::ReadConsoleW(m_handle, wideBuffer, ARRAYSIZE(wideBuffer) - 1, &readSize, NULL))
        {
            return traits_type::eof();
        }

        wideBuffer[readSize] = L'\0';
        m_buffer = wstring_to_utf8(wideBuffer);

        setg(&m_buffer[0], &m_buffer[0], &m_buffer[0] + m_buffer.size());

        if (gptr() >= egptr())
        {
            return traits_type::eof();
        }
    }

    return sgetc();
}

ConsoleStreamBufWin32::int_type ConsoleStreamBufWin32::overflow(int_type c)
{
    if (m_isInput)
    {
        return traits_type::eof();
    }

    m_buffer += traits_type::to_char_type(c);
    return traits_type::not_eof(c);
}

那么用法如下：

template<typename StreamT>
inline void FixStdStream(DWORD handleId, bool isInput, StreamT& stream)
{
    if (::GetFileType(::GetStdHandle(handleId)) == FILE_TYPE_CHAR)
    {
        stream.rdbuf(new ConsoleStreamBufWin32(handleId, isInput));
    }
}

// ...

int main()
{
    FixStdStream(STD_INPUT_HANDLE, true, std::cin);
    FixStdStream(STD_OUTPUT_HANDLE, false, std::cout);
    FixStdStream(STD_ERROR_HANDLE, false, std::cerr);

    // ...

    std::cout << "\xc3\xbc" << std::endl;

    // ...
}

省略了wstring_to_utf8 和utf8_to_wstring 可以很容易地用WideCharToMultiByte 和MultiByteToWideChar WinAPI 函数实现。

Answer 2

喂。恭喜您找到了从程序内部更改控制台代码页的方法。我不知道那个调用，我总是必须使用 chcp。

我猜 C++ 默认语言环境正在参与其中。默认情况下，它将使用 GetThreadLocale() 提供的代码页来确定非 wstring 内容的文本编码。这通常默认为 CP1252。您可以尝试使用 SetThreadLocale() 来获取 UTF-8（如果它甚至这样做，不记得了），希望 std::locale 默认为可以处理您的 UTF-8 编码的东西。

Answer 3

现在是时候关闭它了。 Stephan T. Lavavej says 行为是“设计使然”，尽管我无法理解这种解释。

我目前的知识是：UTF-8 代码页中的 Windows XP 控制台不适用于 C++ iostream。

Windows XP 现在已经过时了，VS 2008 也是如此。我很想知道这个问题在较新的 Windows 系统上是否仍然存在。

在 Windows 7 上，效果可能是由于 C++ 流输出字符的方式。从对Properly print utf8 characters in windows console 的回答中可以看出，UTF-8 输出在像putc('\xc3'); putc('\xbc'); 一样一个接一个地打印一个字节时使用 C stdio 失败。也许这就是 C++ 流在这里所做的。