【问题标题】:CMD pipe different form Powershell pipe?CMD管道与Powershell管道不同?
【发布时间】:2021-06-28 11:13:01
【问题描述】:

我正在尝试将 Node.js 输出通过管道传输到 preatty-pino

node .\dist\GameNode.js | pino-pretty

在 CMD 中运行它我得到了我的格式化输出,但在 powershell 中运行它我什么也没得到。 我读到 Powershell 在管道时使用对象,所以我尝试了

node .\dist\GameNode.js | Out-String -Stream | pino-pretty

但这也行不通。

为什么它在 CMD 中有效,但在 Powershell 中无效? 谢谢:)

【问题讨论】:

    标签: powershell cmd pipe


    【解决方案1】:

    注意:问题中描述的具体pino-pretty 问题不能通过以下信息解决。 Lukas(OP)已提交错误报告here

    什么都没有令人惊讶,但根本区别是:

    • cmd.exe的管道进行原始数据,即字节流(接收数据的给定程序可能会或可能不会本身解释为文本)。

    • PowerShell 的管道在与 外部程序 对话时,仅处理 文本(字符串),这有两个含义:

      • 在将数据传送到外部程序时,文本必须编码,这取决于存储在@中的字符编码987654322@.

      • 在接收来自外部程序的数据时,必须解码数据,这取决于存储在@中的字符编码987654333@,默认为系统的 OEM 代码页,反映在chcp

        • 这种解码总是发生,无论数据是随后在 PowerShell 中进一步处理还是传递给另一个外部程序。。 p>

          • this answer 讨论了这种有时存在问题的无法通过 PowerShell 的管道发送原始数据甚至在两个外部程序之间
        • 唯一的例外是如果外部程序输出既没有被捕获,也没有通过管道发送,也没有重定向到文件:在这种情况下,数据直接打印到控制台(终端),但仅在 本地 控制台中(当使用 PowerShell 远程处理与 remote 机器交互时,再次总是涉及解码)。

          • 这种直接显示的打印有时会隐藏编码问题,因为某些程序,尤其是python,在这种情况下在某些情况下使用完整的 Unicode 支持;也就是说,输出可能打印正常,但是当您尝试进一步处理它时,编码问题可能会出现。
          • 强制解码的简单方法将调用包含在(...)中;例如,
            python -c "print('eé')" 打印 很好,但是
            (python -c "print('eé'))" 会出现编码问题;有关详细信息,请参阅底部部分

    控制台应用程序传统上使用活动 OEM 代码页进行字符编码和解码,Node.js 始终使用 UTF-8

    因此,为了让 PowerShell 与 Node.js 程序正确通信,您必须(暂时)首先设置以下内容:

    $OutputEncoding = [Console]::OutputEncoding = [System.Text.UTF8Encoding]::new()
    

    如果您想从根本上切换到 UTF-8,无论是系统范围(具有深远影响)还是仅适用于 PowerShell 控制台窗口,请参阅 @987654324 @。


    顺便说一句:中继外部程序的输出永远不需要中间的Out-String -Stream 管道段 - 它实际上是(昂贵的)无操作,因为逐行流式传输 stdout 输出是 PowerShell 默认情况下所做的。换句话说:这对你的情况没有影响也就不足为奇了。


    可选阅读:方便功能Invoke-WithEncoding和诊断功能Debug-NativeInOutput用于ad-hoc编码需求/诊断:

    如果无法将所有 PowerShell 控制台切换到 UTF-8 和/或您需要处理使用除 UTF-8 或活动 OEM 代码页以外的特定编码的“流氓”程序,您可以安装:

    • 函数Invoke-WithEncoding在调用外部程序时临时切换到给定编码,直接来自this Gist,如下所示(我可以向您保证,这样做是安全的,但您应该经常检查):
    # Download and define advanced function Invoke-WithEncoding in the current session.
    irm https://gist.github.com/mklement0/ef57aea441ea8bd43387a7d7edfc6c19/raw/Invoke-WithEncoding.ps1 | iex
    
    • 函数Debug-NativeInOutput帮助诊断外部程序的编码问题,直接来自this Gist,如下(同样,您应该先检查):
    # Download and define advanced function Debug-NativeInOutput in the current session.
    irm https://gist.github.com/mklement0/eac1f18fbe0fc2798b214229b747e5dd/raw/Debug-NativeInOutput.ps1 | iex
    

    以下是使用python 命令打印重音字符的示例命令

    与 Node.js 一样,Python 的行为是非标准的,虽然它不使用 UTF-8,但系统的活动 ANSI(!) 代码页(而不是预期的 OEM 代码页)。

    也就是说,即使您将 PowerShell 控制台切换为 UTF-8,默认情况下与 Python 脚本的通信也无法正常工作,除非付出额外的努力,Invoke-WithEncoding 可以为您封装:

    注意:我在这里使用 Python 作为示例,来说明这些函数是如何工作的。 可以让 Python 使用 UTF-8,即通过将环境变量 PYTHONUTF8 设置为 1 或 - 在 v3.7+ 中 - 通过传递参数 -X utf8(大小写精确) .


    Invoke-WithEncoding 示例:

    # Outputs *already-decoded* output, so if the output *prints* fine, 
    # then *decoding* worked fine too.
    PS> Invoke-WithEncoding { python -c "print('eé')" } -Encoding Ansi -WindowsOnly
    eé
    
    • 请注意,Invoke-WithEncoding 确保 实际解码 到 .NET 字符串在输出之前发生,因此编码问题不会被 direct-to-display 意外掩盖em> 输出 似乎 在 Windows 上是正确的(见下文了解更多信息)。

    • -WindowsOnly 是为了跨平台兼容,并确保在这种情况下仅在 Windows 上应用编码(在 Unix 上,Python 使用 UTF-8)。


    Debug-NativeInOutput 示例:

    使用默认的 PowerShell 控制台,使用系统的 OEM 代码页,您将看到以下输出,其中包含从 PowerShell (Core) 7.1 调用的相同 Python 命令:

    PS> Debug-NativeInOutput { python -c "print('eé')" }
    

    • 注意 DecodedOutput 属性,显示 mis 解码结果,基于将 Python 的输出解释为 OEM- 而不是 ANSI 编码:'eΘ'。 (Input* 属性是空白的,因为该命令不涉及将数据传送到 Python 脚本。)

    • 相比之下,direct-to-display 打印输出 prints 很好(因为 Python 那时 - 并且只有那时 - 使用 Unicode),隐藏 问题,但只要您想以编程方式处理输出 - 在变量中捕获,发送到管道中的另一个命令,重定向到文件 - 编码问题就会浮出水面。

    • Invoke-WithEncoding 一样,Debug-NativeInOutput 支持-Encoding 参数,因此如果您将-Encoding Ansi 传递给上述调用,您将看到Python 的输出被正确解码。

    • 输出反映了这样一个事实:在 PowerShell (Core) 中,$OutputEncoding 默认为 UTF-8,而在 Windows PowerShell 中则默认为 ASCII(!)。这种与控制台窗口中实际编码的不匹配是有问题的,this comment on GitHub issue #14945 提出了一种方法来解决这个问题(仅适用于 PowerShell (Core))。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2011-07-16
      • 2017-08-01
      • 1970-01-01
      • 2014-04-16
      相关资源
      最近更新 更多