将生成的进程标准输出捕获为 unicode

Question

在我的 C++/WinAPI 代码中，我想运行一些命令并捕获它们的输出。为了测试非 ASCII 输出，我将网络连接重命名为 Ethérnét אבג БбГгДд 并运行 ipconfig。在命令提示符下运行时，输出正确（使用 Courier New 等支持字体时可见）：

C:\>ipconfig
Windows IP Configuration

Ethernet adapter Ethérnét אבג БбГгДд:
(...)

我尝试在the example in this answer 之后将输出重定向到管道。但是从ReadFile() 返回的字节数组不是 unicode - 它以 CP_OEMCP（在我的情况下为 CP437）编码，因此希伯来语和俄语字符以“？”的形式出现。由于字符已经丢失，没有进一步的处理可以恢复它们。

显然这是可能的，因为控制台窗口中的 cmd 可以做到这一点。我该怎么做？

Answer 1

似乎ipconfig 在检测到输出设备是控制台时会产生 Unicode 输出，否则会产生 ANSI 输出。这可能是一种向后兼容的措施。

出于同样的原因，大多数其他内置命令行工具可能只是 ANSI 或行为方式与 ipconfig 相同。在 Windows 中，命令行工具意味着在命令行上使用。不鼓励程序员对他们进行炮轰和解析输出。相反，您应该使用相应的 API。

如果您知道您所期望的语言，您也许可以选择一个代码页来保留内容。

由@Jonathan 添加：未记录： 原来您可以使用环境变量OutputEncoding 控制内置命令的编码。我用 ipconfig 进行了测试，但大概它也可以与其他内置工具一起使用：

> for %e in ("" Unicode Ansi UTF8) do (set OutputEncoding=%~e& ipconfig >ipconfig-%~e.txt)
> (set OutputEncoding=  & ipconfig  1>ipconfig-.txt )
> (set OutputEncoding=Unicode  & ipconfig  1>ipconfig-Unicode.txt )
> (set OutputEncoding=Ansi  & ipconfig  1>ipconfig-Ansi.txt )
> (set OutputEncoding=UTF8  & ipconfig  1>ipconfig-UTF8.txt )

确实，ipconfig-*.txt 已按预期进行编码！请注意，这是未记录的，但它确实对我有用。

附录： 从 Windows 10 v1809 开始，另一种选择是创建 pseudoconsole.

Answer 2

控制台应用程序可以使用不同的方式进行输出。

• 对于控制台句柄，我们可以使用WriteConsoleW 输出已经在 UNICODE。
• 如果我们想使用WriteConsoleA 或WriteFile 作为控制台 处理需要首先将UNICODE文本转换为多字节 WideCharToMultiByte 与 CodePage := GetConsoleOutputCP()
• 如果我们最初没有UNICODE 文本用于输出（比如UTF-8 或 Ansi)，需要先将其转换为UNICODE by MultiByteToWideChar（与CP_UTF8 或CP_ACP）然后 已经再次将其转换为多字节WideCharToMultiByte(GetConsoleOutputCP(), ..)

通常（默认情况下）GetConsoleOutputCP() 返回与GetOEMCP() 相同的值，因此在MultiByteToWideChar 和WideCharToMultiByte 中具有与CP_OEMCP 相同的效果（此常量值转换为GetOEMCP()）

当输出句柄被重定向到一个文件时，只需要使用WriteFile。但是应用程序可以以任何格式将数据写入文件：UNICODE、Ansi (CP_ACP)、UTF-8 (CP_UTF8) 等。将使用什么格式 - 非常取决于具体的应用程序。你无法完全控制这一点。通常你会收到CP_OEMCP 编码的多字节输出。然后您需要决定如何处理它 - 首先您需要更快地将其转换为 UNICODE 并使用 unicode 表单。如果您需要Ansi - 您将需要进行其他一次转换。

说如果你尝试在CP_OEMCP 编码中使用管道输出和OutputDebugStringA - 你得到非英文文本的错误（不可读）输出。 但经过 2 次转换后 CP_OEMCP -> UNICODE -> CP_ACP 您可以使用 OutputDebugStringA 更正显示的文本 但是因为 OutputDebugStringW 存在 - 这里只需要 UNICODE 转换

还有一些应用程序具有用于控制输出到文件格式的特殊选项。说ipconfig.exe 寻找"OutputEncoding" 环境变量并依赖于它的字符串值（"Unicode"、"Ansi"、"UTF-8"）产生不同的输出。默认情况下（如果此环境变量不存在或未知值）CP_OEMCP 使用

管道读取过程的示例。假设输入数据采用CP_OEMCP 编码：

void OnRead(PVOID buf, ULONG cbTransferred)
{
    if (cbTransferred)
    {
        if (int len = MultiByteToWideChar(CP_OEMCP, 0, (PSTR)buf, cbTransferred, 0, 0))
        {
            PWSTR pwz = (PWSTR)alloca((1 + len) * sizeof(WCHAR));

            if (len = MultiByteToWideChar(CP_OEMCP, 0, (PSTR)buf, cbTransferred, pwz, len))
            {
                if (g_bUseAnsi)
                {
                    if (cbTransferred = WideCharToMultiByte(CP_ACP, 0, pwz, len, 0, 0, 0, 0))
                    {
                        PSTR psz = (PSTR)alloca(cbTransferred + 1);

                        if (cbTransferred = WideCharToMultiByte(CP_ACP, 0, pwz, len, psz, cbTransferred, 0, 0))
                        {
                            DoPrint(psz, cbTransferred, OutputDebugStringA);
                        }
                    }
                }
                else
                {
                    DoPrint(pwz, len, OutputDebugStringW);
                }
            }
        }
    }
}

// debugger can incomplete print too big buffer, so split it on small chunks
template<typename T> void DoPrint(T* p, ULONG len, void (WINAPI* fnOutput)(const T*))
{
    ULONG cb;
    T* q = p;
    do 
    {
        cb = min(len, 256);

        q = p + cb;

        T c = *q;

        *q = 0;

        fnOutput(p);

        *q = c;

        p = q;

    } while (len -= cb);
}

---

关于您的具体案例 - ipconfig.exe 使用 WriteConsoleW 输出到控制台。因此它不依赖于当前的系统区域设置，并且可以更正显示多语言文本。但是另一个工具，如route.exe 使用WriteFile 输出（既用于控制台也用于文件）并在此UNICODE 文本之前由WideCharToMultiByte(CP_OEMCP,..) 转换为多字节 - 结果这里会出现问题，如果尝试显示字符CP_OEMCP 代码页（当前系统区域设置）中不存在。如果你有CP437 - 如果使用UNICODE -> CP_OEMCP，希伯来语和俄语字符将丢失，只需要使用unicode直接输出到控制台和文件。这可能吗 - 取决于具体应用程序。比如说route.exe 这是不可能的。对于ipconfig.exe，这是可能的，因为它始终以 unicode 格式写入控制台，并且如果您将 "OutputEncoding" 设置为 "Unicode" 或 "UTF-8"，也可以以 unicode 或 utf-8 写入文件